DE102019206049A1

DE102019206049A1 - Erkennung und Behebung von Rauschen in Labels von Lern-Daten für trainierbare Module

Info

Publication number: DE102019206049A1
Application number: DE102019206049.8A
Authority: DE
Inventors: William Harris Beluch; Maximilian Autenrieth; Jan Mathias Koehler
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2020-10-29
Also published as: WO2020216622A1

Abstract

Verfahren (100) zum Trainieren eines trainierbaren Moduls (1) mit den Schritten:• eine Mehrzahl von Abwandlungen (1a-1c) des trainierbaren Moduls (1), die sich so weit voneinander unterscheiden, dass sie bei fortschreitendem Lernen nicht deckungsgleich ineinander überführt werden, wird jeweils mindestens mit einer Teilmenge der Lern-Datensätze (2) vortrainiert (110);• Lern-Eingangsgrößenwerte (11a) mindestens eines Lern-Datensatzes (2) werden allen Abwandlungen (1a-1c) als Eingangsgrößen (11) zugeführt (120);• aus der Abweichung der Ausgangsgrößenwerte (13), in die die Abwandlungen (1a-1c) die Lern-Eingangsgrößenwerte (11a) jeweils übersetzen, voneinander wird ein Maß für die Unsicherheit (13b) dieser Ausgangsgrößenwerte (13) ermittelt (130);• in Antwort darauf, dass die Unsicherheit (13b) ein vorgegebenes Kriterium (140) erfüllt, wird die Gewichtung des Lern-Datensatzes (2) im Training des trainierbaren Moduls (1) angepasst (180), und/oder es werden ein oder mehrere Lern-Ausgangsgrößenwerte (13a) des Lern-Datensatzes (2) angepasst (190).Verfahren (200), wobei das trainierbare Modul weiterhin betrieben wird (220) und ein System (50, 60,70, 80) mit einem Ansteuersignal (5) ansteuert.

Description

Die vorliegende Erfindung betrifft das Training trainierbarer Module, wie sie beispielsweise für Klassifikationsaufgaben und/oder Objekterkennung beim zumindest teilweise automatisierten Fahren eingesetzt werden.
Stand der Technik
Das Führen eines Fahrzeugs im Straßenverkehr durch einen menschlichen Fahrer wird in der Regel trainiert, indem ein Fahrschüler im Rahmen seiner Ausbildung immer wieder mit einem bestimmten Kanon an Situationen konfrontiert wird. Der Fahrschüler muss auf diese Situationen jeweils reagieren und bekommt durch Kommentare oder gar ein Eingreifen des Fahrlehrers eine Rückmeldung, ob seine Reaktion richtig oder falsch war. Dieses Training mit einer endlichen Anzahl von Situationen soll den Fahrschüler dazu befähigen, beim eigenständigen Führen des Fahrzeugs auch unbekannte Situationen zu meistern.
Um Fahrzeuge ganz oder teilweise automatisiert am Straßenverkehr teilnehmen zu lassen, wird angestrebt, diese mit in ganz ähnlicher Weise trainierbaren Modulen zu steuern. Diese Module erhalten beispielsweise Sensordaten aus dem Fahrzeugumfeld als Eingangsgrößen und liefern als Ausgangsgrößen Ansteuersignale, mit denen in den Betrieb des Fahrzeugs eingegriffen wird, und/oder Vorprodukte, aus denen derartige Ansteuersignale gebildet werden. Beispielsweise kann eine Klassifikation von Objekten im Umfeld des Fahrzeugs ein derartiges Vorprodukt sein.
Für dieses Training wird eine hinreichende Menge an Lern-Datensätzen benötigt, die jeweils Lern-Eingangsgrößenwerte und zugehörige Lern-Ausgangsgrößenwerte umfassen. Beispielsweise können die Lern-Eingangsgrößenwerte Bilder umfassen und mit der Information, welche Objekte in den Bildern enthalten sind, als Lern-Ausgangsgrößenwerte gelabelt sein.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zum Trainieren eines trainierbaren Moduls entwickelt. Das trainierbare Modul übersetzt eine oder mehrere Eingangsgrößen in eine oder mehrere Ausgangsgrößen.
Unter einem trainierbaren Modul wird insbesondere ein Modul angesehen, das eine mit anpassbaren Parametern parametrierte Funktion mit großer Kraft zur Verallgemeinerung verkörpert. Die Parameter können beim Training eines trainierbaren Moduls insbesondere dergestalt angepasst werden, dass bei Eingabe von Lern-Eingangsgrößenwerten in das Modul die zugehörigen Lern-Ausgangsgrößenwerte möglichst gut reproduziert werden. Das trainierbare Modul kann insbesondere ein künstliches neuronales Netzwerk, KNN, beinhalten, und/oder es kann ein KNN sein.
Das Training erfolgt anhand von Lern-Datensätzen, die Lern-Eingangsgrößenwerte und zugehörige Lern-Ausgangsgrößenwerte als Labels enthalten. Dabei umfassen mindestens die Lern-Eingangsgrößenwerte Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden. Anders als bei rein synthetischen Daten stehen also nach dem maschinellen Erfassen von Lern-Eingangsgrößenwerten nicht auch gleich die zugehörigen Lern-Ausgangsgrößenwerte als Labels bereit, sondern diese Labels müssen in einem je nach technischer Anwendung mehr oder weniger aufwändigen Prozess ermittelt werden. Meistens erfordert dieser Prozess menschliche Arbeit und ist dementsprechend fehleranfällig.
Der Begriff „Lern-Datensatz“ bezeichnet nicht die Gesamtheit aller zur Verfügung stehender Lern-Daten, sondern eine Kombination aus einem oder mehreren Lern-Eingangsgrößenwerten und genau diesen Lern-Eingangsgrößenwerten als Labels zugeordneten Lern-Ausgangsgrößenwerten. Bei einem für die Klassifikation und/oder Regression eingesetzten trainierbaren Modul kann ein Lern-Datensatz beispielsweise ein Bild als Matrix von Lern-Eingangsgrößenwerten in Kombination mit den Softmax-Scores, die das trainierbare Modul hieraus idealerweise generieren sollte, als Vektor von Lern-Ausgangsgrößenwerten umfassen.
Im Rahmen des Verfahrens wird eine Mehrzahl von Abwandlungen des trainierbaren Moduls jeweils mindestens mit einer Teilmenge der Lern-Datensätze vortrainiert. Dabei unterscheiden sich die Abwandlungen so weit voneinander, dass sie bei fortschreitendem Lernen nicht deckungsgleich ineinander überführt werden. Die Abwandlungen können beispielsweise strukturell unterschiedlich sein. Beispielsweise können mehrere Abwandlungen von KNNs erzeugt werden, indem jeweils unterschiedliche Neuronen im Rahmen eines „Dropouts“ deaktiviert werden. Die Abwandlungen können aber auch beispielsweise durch Vortraining mit hinreichend unterschiedlichen Teilmengen der insgesamt vorhandenen Lern-Datensätze, und/oder durch Vortraining ausgehend von hinreichend unterschiedlichen Initialisierungen, erzeugt werden.
Die Abwandlungen können beispielsweise unabhängig voneinander vortrainiert werden. Es ist jedoch auch beispielsweise möglich, das Vortraining zu bündeln, indem nur ein trainierbares Modul oder eine Abwandlung trainiert wird und erst nach Abschluss dieses Trainings aus diesem Modul, bzw. dieser Abwandlung, weitere Abwandlungen erzeugt werden.
Nach dem Vortraining werden Lern-Eingangsgrößenwerte mindestens eines Lern-Datensatzes allen Abwandlungen als Eingangsgrößen zugeführt. Diese identischen Lern-Eingangsgrößenwerte werden von den verschiedenen Abwandlungen in verschiedene Ausgangsgrößenwerte übersetzt. Aus der Abweichung dieser Ausgangsgrößenwerte voneinander wird ein Maß für die Unsicherheit dieser Ausgangsgrößenwerte ermittelt.
Dabei können die Ausgangsgrößenwerte beispielsweise Softmax-Scores sein, die angeben, mit welchen Wahrscheinlichkeiten der Lern-Datensatz in welche der möglichen Klassen klassifiziert wird.
Für die Ermittlung der Unsicherheit aus einer Vielzahl Ausgangsgrößenwerte kann eine beliebige Statistikfunktion verwendet werden. Beispiele für solche Statistikfunktionen sind die Varianz, die Standardabweichung, der Mittelwert, der Median, ein geeignet gewähltes Quantil, die Entropie und das Variation Ratio.
Sofern die Abwandlungen des trainierbaren Moduls auf verschiedene Weisen erzeugt worden sind, beispielsweise einerseits durch „Dropouts“ und andererseits durch sonstige strukturelle Änderungen oder durch eine andere Initialisierung des Vortrainings, können insbesondere beispielsweise die Abweichungen zwischen denjenigen Ausgangsgrößenwerten, die von auf verschiedene Weisen erzeugten Abwandlungen geliefert werden, getrennt voneinander verglichen werden. Es können also beispielsweise die Abweichungen zwischen Ausgangsgrößenwerten, die von durch „Dropouts“ entstandenen Abwandlungen geliefert wurden, und die Abweichungen zwischen Ausgangsgrößenwerten, die von in sonstiger Weise strukturell geänderten Abwandlungen geliefert wurden, getrennt voneinander betrachtet werden.
Die Begriffe „Abweichungen“ und „Unsicherheit“ sind in diesem Zusammenhang nicht auf den eindimensionalen, univariaten Fall beschränkt, sondern umfassen Größen beliebiger Dimension. Es können also beispielsweise mehrere Unsicherheits-Merkmale kombiniert werden, um eine multivariate Unsicherheit zu erhalten. Dies erhöht die Unterscheidungsgenauigkeit zwischen Lern-Datensätzen mit zutreffender Zuordnung der Lern-Ausgangsgrößenwerte zu den Lern-Eingangsgrößenwerten (d.h. „zutreffend gelabelten“ Lern-Datensätzen) einerseits und Lern-Datensätzen mit unzutreffender Zuordnung (d.h. „unzutreffend gelabelten“ Lern-Datensätzen) andererseits.
In Antwort darauf, dass die Unsicherheit ein vorgegebenes Kriterium erfüllt, wird die Gewichtung des Lern-Datensatzes im Training des trainierbaren Moduls angepasst, und/oder es werden ein oder mehrere Lern-Ausgangsgrößenwerte des Lern-Datensatzes angepasst.
Es wurde erkannt, dass sich bei einer zutreffenden Zuordnung der Lern-Ausgangsgrößenwerte zu den Lern-Eingangsgrößenwerten die unterschiedlichen Abwandlungen des trainierbaren Moduls eine Tendenz haben, übereinstimmende „Meinungen“ bezüglich der Ausgangsgröße auszugeben. Die in der zutreffenden Zuordnung steckende Information setzt sich beim Vortraining gleichsam durch und wirkt sich dahingehend aus, dass die Unterschiede zwischen den Abwandlungen sich wenig oder gar nicht in unterschiedlichen Ausgangsgrößen manifestieren. Je weniger zutreffend die Zuordnung ist, desto mehr fehlt genau dieser Effekt und desto größer sind die Abweichungen zwischen den Ausgangsgrößenwerten, die die Abwandlungen jeweils zu den gleichen Lern-Eingangsgrößenwerten liefern.
Werden alle Lern-Datensätze in dieser Weise analysiert, dann wird sich typischerweise herausstellen, dass die Zuordnung für einige Lern-Datensätze in einem höheren Maße zutreffend ist als für andere Lern-Datensätze. Hierin spiegelt sich hauptsächlich wider, dass die Zuordnung, also das Labeln, bei den meisten Anwendungen trainierbarer Module von Menschen vorgenommen wird und dementsprechend fehleranfällig ist. Beispielsweise kann dem Menschen im Interesse eines hohen Durchsatzes pro Lern-Datensatz nur eine sehr kurze Zeit zur Verfügung stehen, so dass er in Zweifelsfällen nicht genauer nachforschen kann, sondern irgendeine Entscheidung treffen muss. Auch können beispielsweise unterschiedliche Bearbeiter die Kriterien, nach denen sie labeln sollen, unterschiedlich auslegen. Wirft beispielsweise ein Objekt in einem Bild einen Schatten, so kann ein Bearbeiter diesen Schatten mit zum Objekt zählen, da er ja durch die Anwesenheit des Objekts verursacht wurde. Hingegen kann ein anderer Bearbeiter den Schatten nicht zum Objekt zählen mit der Begründung, dass der Schatten nichts ist, womit ein Mensch oder Fahrzeug kollidieren kann.
Ebenso gibt es beispielsweise beim Labeln medizinischer Daten, wie beispielsweise Bilddaten, Mehrdeutigkeiten. Für die Erkennung vieler Krankheiten und der jeweiligen Ausprägungsgrade ist eine konkrete Methode als „Goldstandard“ anerkannt, um die jeweilige Aussage mit größtmöglicher Genauigkeit zu treffen. Diese Genauigkeit geht jedoch häufig mit einem so hohen Aufwand einher, dass es nicht praktikabel ist, alle für das Training des trainierbaren Moduls benötigen Lern-Datensätze auf diese Weise zu labeln.
Möglichen negativen Effekten, die ein möglicherweise unzutreffendes Labeln von Lern-Datensätzen hat, kann entgegengewirkt werden, indem die Gewichtung des Lern-Datensatzes im Training des trainierbaren Moduls angepasst wird. Insbesondere können Widersprüche, die sich beim Training durch die Verarbeitung zutreffend gelabelter Lern-Datensätze einerseits und unzutreffend gelabelter Lern-Datensätze andererseits ergeben, gemildert oder ganz aufgelöst werden. Die Anpassung der Gewichtung kann so weit gehen, dass ein als unzutreffend gelabelt erkannter Lern-Datensatz gar nicht mehr beim weiteren Training berücksichtigt wird.
Alternativ oder auch in Kombination zu der Anpassung der Gewichtung können auch eine oder mehrere Lern-Ausgangsgrößenwerte des Lern-Datensatzes angepasst werden. Wie zuvor erläutert, ist eine teilweise oder vollständig unzutreffende Zuordnung von Lern-Ausgangsgrößenwerten zu Lern-Eingangsgrößenwerten die letztendliche Ursache für eine höhere Unsicherheit der Ausgangsgrößenwerte. Eine Anpassung der Lern-Ausgangsgrößenwerte packt das Übel der hohen Unsicherheit sozusagen an der Wurzel.
Im einfachsten Fall kann die Anpassung des Lern-Ausgangsgrößenwerts gezielt darauf gerichtet sein, die Unsicherheit zu vermindern. Es kann also beispielsweise der Lern-Ausgangsgrößenwert nach Maßgabe eines beliebigen Optimierungsalgorithmus oder einer beliebigen anderen Suchstrategie variiert werden mit dem Optimierungsziel, die Unsicherheit zu vermindern. Eine derartige Korrektur ist selbstkonsistent und benötigt kein Vorwissen darüber, welcher neue Lern-Ausgangsgrößenwert richtig ist.
Eine Kombination beider Maßnahmen kann insbesondere beispielsweise dann sinnvoll sein, wenn die Bemühungen, zutreffendere Lern-Ausgangsgrößenwerte (Labels) zu beschaffen, nur für einen Teil der Lern-Datensätze erfolgreich sind. Lern-Datensätze, deren Lern-Ausgangsgrößenwerte sich als unzutreffend erweisen und auch nicht verbessern lassen, können dann beispielsweise untergewichtet werden oder ganz unberücksichtigt bleiben.
In einer besonders vorteilhaften Ausgestaltung werden anpassbare Parameter, die das Verhalten des trainierbaren Moduls charakterisieren, optimiert. Diese Optimierung hat zum Ziel, den Wert einer Kostenfunktion zu verbessern. Die Kostenfunktion misst, inwieweit das trainierbare Modul die in Lern-Datensätzen enthaltenen Lern-Eingangsgrößenwerte auf die zugehörigen Lern-Ausgangsgrößenwerte abbildet.
Beim herkömmlichen Training trainierbarer Module sind alle Lern-Datensätze in dieser Hinsicht gleichberechtigt, d.h., die Kostenfunktion misst, wie gut die Lern-Ausgangsgrößenwerte reproduziert werden. Für die Bewertung, inwieweit die Lern-Ausgangsgrößenwerte wie gewünscht reproduziert werden, kann ein beliebiges Fehlermaß zum Einsatz kommen, wie etwa die Kreuzentropie oder die Methode der kleinsten Fehlerquadratsumme.
Dieser Prozess wird dahingehend abgeändert, dass in Antwort darauf, dass das vorgegebene Kriterium erfüllt ist, die Gewichtung mindestens eines Lern-Datensatzes in der Kostenfunktion reduziert wird.
Beispielsweise kann ein Lern-Datensatz umso geringer gewichtet werden, je höher die auf der Basis seiner Lern-Eingangsgrößenwerte ermittelte Unsicherheit der Ausgangsgrößenwerte ist. Dies kann bis zu dem Punkt gehen, dass in Antwort darauf, dass die Unsicherheit ein vorgegebenes Kriterium erfüllt, dieser Lern-Datensatz aus der Kostenfunktion ganz herausfällt, d.h., für das weitere Training des trainierbaren Moduls gar nicht mehr verwendet wird. Hierhinter steckt die Erkenntnis, dass der Zusatznutzen, den die Berücksichtigung eines weiteren Lern-Datensatzes bringt, durch die sich aus einem ungenauen oder falschen Lern-Ausgangsgrößenwert im Trainingsprozess ergebenden Widersprüche ganz oder teilweise kompensiert, oder sogar überkompensiert, werden kann. Keine Information kann also besser sein als eine falsche Information.
Das vorgegebene Kriterium kann insbesondere beispielsweise beinhalten, dass die Unsicherheit größer oder kleiner ist als ein vorgegebenes Quantil der aus Lern-Eingangsgrößenwerten einer Vielzahl anderer Lern-Datensätze ermittelten Unsicherheiten oder als ein vorgegebener Schwellwert. Beispielsweise kann das Kriterium beinhalten, dass der Lern-Datensatz zu denjenigen k % Lern-Datensätzen gehört, deren Lern-Eingangsgrößenwerte auf Ausgangsgrößenwerte mit den höchsten Unsicherheiten übersetzt werden. Das bedeutet, dass die Unsicherheiten, für die diese k % Lern-Datensätze verantwortlich sind, mindestens so groß sind wie die Unsicherheiten, die von allen anderen, nicht zu den k % gehörenden, Lern-Datensätzen herrühren. Hierhinter steckt die Erkenntnis, dass selektive Maßnahmen, wie das Anpassen der Gewichtung und/oder des Labels, bei denjenigen Lern-Datensätzen, die am unzutreffendsten gelabelt sind, den größten Effekt haben.
Das Anpassen eines oder mehrerer Lern-Ausgangsgrößenwerte, also des Labels, kann insbesondere beinhalten, die Eingabe mindestens eines neuen Lern-Ausgangsgrößenwerts über eine Eingabeeinrichtung anzufordern. Insbesondere kann die Zuordnung des neuen Lern-Ausgangsgrößenwerts zu den Lern-Eingangsgrößenwerten durch einen Experten in Bezug auf die richtige Deutung der Lern-Eingangsgrößenwerte erfolgen. So können beispielsweise Bilder, die durch medizinische Bildgebung erhalten werden, von Fachärzten in Bezug auf die Anomalie, deren Vorhandensein bzw. Ausprägung mit dem trainierbaren Modul festgestellt werden soll, gelabelt werden. Messdaten, die an in Serie hergestellten Produkten erfasst wurden, können von Experten für diese Produkte gelabelt werden, die beispielsweise ein Exemplar des Produkts durchsägen und von innen begutachten. Bilder von Verkehrssituationen, die das trainierbare Modul für die Zwecke des zumindest teilweise automatisierten Fahrens klassifizieren soll, können beispielsweise von einem Experten für Verkehrsrecht gelabelt werden, der auch komplizierte Verkehrssituationen mit einer Kombination aus mehreren Verkehrszeichen richtig zu deuten weiß.
Die genannten Beispiele zeigen, dass es aufwändig sein kann, für einen unzutreffend gelabelten Lern-Datensatz durch Mitwirkung eines Experten ein neues, zutreffenderes Label zu beschaffen. Dies mag inhaltlich auf dem jeweiligen Fachgebiet der „Goldstandard“ sein, jedoch ist der Experte nicht immer sofort verfügbar.
Daher beinhaltet in einer weiteren besonders vorteilhaften Ausgestaltung das Anpassen eines oder mehrerer Lern-Ausgangsgrößenwerte, mindestens einen Ausgangsgrößenwert, den das trainierbare Modul, und/oder eine Abwandlung dieses trainierbaren Moduls, bei seinem aktuellen Trainingsstand den Lern-Eingangsgrößenwerten des Lern-Datensatzes zuordnet, und/oder eine Verrechnung mehrerer derartiger Ausgangsgrößenwerte, als neuen Lern-Ausgangsgrößenwert dieses Lern-Datensatzes zu setzen. Die Verrechnung kann beispielsweise einen Mittelwert oder Median umfassen.
Hierzu kann es insbesondere vorteilhaft sein, für das Vortraining der Abwandlungen eine Epochenzahl e zu wählen, bei der zwar schon die Grundzüge des inhaltlichen Zusammenhangs zwischen Lern-Eingangsgrößenwerten und Lern-Ausgangsgrößenwerten gelernt wurden, jedoch das im Einzelfall falsche Label eines Lern-Datensatzes noch nicht endgültig gelernt wurde.
Die Situation ist in gewisser Weise vergleichbar damit, dass erzieherische Maßnahmen der Jugendgerichtsbarkeit die gewünschte Verhaltensänderung mit der größten Wahrscheinlichkeit bewirken, wenn sie im passenden Stadium des Entwicklungsprozesses verabreicht werden. Ein zu junges Kind würde etwa durch Arrest oder Sozialstunden lediglich verschreckt, ohne den Sinn zu begreifen, während ein Jugendlicher, dessen kriminelle Fehlentwicklung bereits gefestigt ist, die neuerliche Maßnahme vielleicht nur noch mit den Worten „immer her damit, ich sammel das“ kommentiert.
Daher wird in einer besonders vorteilhaften Ausgestaltung in Antwort darauf, dass der Verlauf mindestens einer Unsicherheit als Funktion der Epochenzahl e des Vortrainings bei einer Epochenzahl e₁ ein Minimum annimmt, die Abwandlungen zur Ermittlung der Ausgangsgrößenwerte auf einem Trainingsstand betrieben werden, der der Epochenzahl e=e₁ entspricht. Dabei kann insbesondere beispielsweise diejenige Unsicherheit, deren Verlauf untersucht, mit einem anderen statistischen Maß gemessen werden als diejenige Unsicherheit, mit der überhaupt festgestellt wird, dass bezüglich mindestens eines Lern-Ausgangsgrößenwerts Verbesserungsbedarf besteht.
Es wurde erkannt, dass dieses Minimum den Übergang markiert zwischen dem besagten Lernen der Grundzüge, das noch nicht durch den Einfluss falscher Labels beeinträchtigt wird, und dem zunehmenden Verwässern dieses Lernerfolgs durch das Lernen aus falschen Labels. Insbesondere liefert das trainierbare Modul, bzw. die Abwandlung, im Minimum bei e=e₁ zu einem falsch gelabelten Lern-Eingangsgrößenwert eine vergleichsweise genaue Schätzung, welches Label stattdessen zutreffend ist.
Sollten im Wesentlichen in allen Lern-Datensätzen die Zuordnungen zwischen den Lern-Eingangsgrößenwerten und den Lern-Ausgangsgrößenwerten korrekt sein, dann ist im Verlauf der Unsicherheit kein oder nur ein sehr schwach ausgeprägtes Minimum zu erwarten. Vielmehr wird die Unsicherheit dann monoton mit der Epochenzahl e sinken, um irgendwann abzuflachen.
In der Regel kann man in dem Zustand mit Epochenzahl e=e₁ noch nicht erkennen, dass genau hier das Minimum liegt. Dies wird erst dann offenkundig, wenn bei Werten e>e₁ die ermittelte Unsicherheit wieder steigt. Wird dies aber erkannt, dann kann für die weitere Untersuchung der Trainingsstand in den Abwandlungen auf die Epoche e=e₁ zurückgesetzt werden.
Der in dieser Hinsicht optimale Trainingsstand lässt sich alternativ oder auch in Kombination hierzu auch über die Genauigkeit bestimmen, mit der Validierungs-Eingangsgrößenwerte aus Validierungs-Datensätzen auf zugehörige Validierungs-Ausgangsgrößenwerte abgebildet werden.
Bei den Validierungs-Datensätzen handelt es sich um Datensätze, die analog zu den Lern-Datensätzen eine Zuordnung von Eingangsgrößenwerten zu Soll-Ausgangsgrößenwerten beinhalten. Jedoch wird das trainierbare Modul bewusst nicht auf den Validierungs-Datensätzen trainiert. Daher misst die mit Hilfe der Validierungs-Datensätze ermittelte Genauigkeit die Fähigkeit des trainierbaren Moduls, das aus den Lern-Datensätzen gelernte Wissen zu verallgemeinern. Gute Werte für die Genauigkeit lassen sich also nicht durch bloßes „Auswendiglernen“ dieses Wissens „erschleichen“. Die Validierungs-Datensätze können sich weiterhin vorteilhaft dadurch auszeichnen, dass die Zuordnung der Validierungs-Ausgangsgrößenwerte zu den Validierungs-Eingangsgrößenwerten aus einer besonders zuverlässigen Quelle stammt. Die Validierungs-Datensätze können also insbesondere beispielsweise mit einer besonders zuverlässigen und dafür aufwändigen Methode, von einem besonders ausgewiesenen Experten für die jeweilige Anwendung, und/oder nach einem für die jeweilige Anwendung anerkannten „Goldstandard“, gelabelt sein. Der Aufwand pro Label ist also in der Regel bei den Validierungs-Datensätzen erheblich größer als bei den Lern-Datensätzen. Dementsprechend stehen typischerweise deutlich weniger Validierungs-Datensätze als Lern-Datensätze zur Verfügung.
Wenn in allen Lern-Datensätzen den Lern-Eingangsgrößenwerten jeweils die zutreffenden Lern-Ausgangsgrößenwerte zugeordnet sind, dann ist zu erwarten, dass beim Test des trainierbaren Moduls mit den Validierungs-Datensätzen die Genauigkeit mit zunehmender Epochenzahl e des Trainings monoton zunimmt, bis sie irgendwann in eine Sättigung geht. Ist hingegen die Zuordnung für einen Teil der Lern-Datensätze nicht zutreffend, so wird die Genauigkeit nach dem besagten Lernen der Grundzüge ein Maximum annehmen, bevor sie durch das Lernen aus den falschen Labels wieder abnimmt.
Daher wird in einer weiteren vorteilhaften Ausgestaltung in Antwort darauf, dass die von dem trainierbaren Modul, und/oder von mindestens einer Abwandlung, als Funktion der Epochenzahl e des jeweiligen Trainings erzielte Genauigkeit, mit der Validierungs-Eingangsgrößenwerte aus Validierungs-Datensätzen auf die zugehörigen Validierungs-Ausgangsgrößenwerte abgebildet werden, bei einer Epochenzahl e₂ ein Maximum annimmt, die Abwandlungen zur Ermittlung der Ausgangsgrößenwerte auf einem Trainingsstand betrieben, der der Epochenzahl e=e₂ entspricht. Für die Ermittlung der Genauigkeit kann ein beliebiges Fehlermaß zum Einsatz kommen, wie beispielsweise eine mittlere betragsmäßige Abweichung, eine mittlere quadratische Abweichung, die Kreuzentropie oder die Methode der kleinsten Fehlerquadratsumme.
Analog zur Bestimmung des Minimums der Unsicherheit wird man bei e=e₂ nicht sofort erkennen, dass hier das Maximum liegt. Offenkundig wird dies erst, wenn die Genauigkeit für höhere Epochenzahlen e wieder fällt. Die Abwandlungen werden dann für die weitere Untersuchung auf den Trainingsstand e=e₂ zurückgedreht.
Der Weg über die Genauigkeit liefert eine anhand der Validierungs-Datensätze abgesicherte Bestimmung e₂ der Epochenzahl e, auf der die Abwandlungen sinnvollerweise betrieben werden sollten. Es wurde jedoch erkannt, dass der auf dem Weg über die Unsicherheit ermittelte Wert e₁ eine gute Approximation für den Wert e₂ ist. Diese Approximation ist auch dann verfügbar, wenn Validierungs-Datensätze nicht oder nur mit zu hohem Aufwand beschafft werden können.
Wie zuvor erläutert, ändert sich der qualitative Verlauf sowohl der Unsicherheit als auch der Genauigkeit als Funktion der Epochenzahl e deutlich, wenn sich zu zutreffend gelabelten Lern-Datensätzen ein gewisser Anteil unzutreffend gelabelter Lern-Datensätze gesellt. Daher wird in einer weiteren besonders vorteilhaften Ausgestaltung aus dem Verlauf der Unsicherheit, und/oder der Genauigkeit, als Funktion der Epochenzahl e des Vortrainings darauf geschlossen, inwieweit die Zuordnung der Lern-Ausgangsgrößenwerte zu den Lern-Eingangsgrößenwerten in den Lern-Datensätzen zutreffend ist.
Insbesondere kann in Antwort darauf, dass die Unsicherheit als Funktion der Epochenzahl e des Vortrainings überwiegend abnimmt, festgestellt werden, dass die Zuordnung der Lern-Ausgangsgrößenwerte zu den Lern-Eingangsgrößenwerten im Wesentlichen in allen Lern-Datensätzen zutreffend ist.
Ebenso kann in Antwort darauf, dass die Genauigkeit als Funktion der Epochenzahl e des Vortrainings überwiegend steigt, festgestellt werden, dass die Zuordnung der Lern-Ausgangsgrößenwerte zu den Lern-Eingangsgrößenwerten im Wesentlichen in allen Lern-Datensätzen zutreffend ist.
Hierbei ist unter „überwiegend“ jeweils insbesondere beispielsweise ein im Wesentlichen monotoner Verlauf zu verstehen, der gegen einen konstanten Wert konvergiert. Kleine statistische Ausschläge in die jeweils andere Richtung tun dem keinen Abbruch.
Unter „im Wesentlichen in allen Lern-Datensätzen zutreffend“ ist insbesondere zu verstehen, dass unzutreffende Labels allenfalls noch in einem so geringen Umfang vorhanden sind, dass sich die hieraus beim Training des trainierbaren Moduls entstehenden Widersprüche mit fortschreitender Epochenzahl e des Trainings nicht gegenüber dem auf der Basis zutreffender Labels erzielten Lernerfolg durchsetzen.
Wie zuvor erläutert, sind häufig nur vergleichsweise wenig unzutreffend gelabelte Lern-Datensätze dafür verantwortlich, dass die Leistung eines damit trainierten trainierbaren Moduls verschlechtert wird. Meistens handelt es sich bei den auftretenden Fehlern um Einzelfehler und nicht um systematische Fehler. Daher ist auch das in den Unsicherheiten steckende Messsignal bezüglich unzutreffend gelabelter Lern-Datensätze im Wesentlichen in den höchsten Unsicherheiten konzentriert.
Daher wird in einer weiteren besonders vorteilhaften Ausgestaltung der Verlauf der Unsicherheit als Funktion der Epochenzahl e des Vortrainings nur für diejenigen Unsicherheiten ausgewertet, die größer oder kleiner sind als ein vorgegebenes Quantil der aus Lern-Eingangsgrößenwerten einer Vielzahl von Lern-Datensätzen ermittelten Unsicherheiten oder als ein vorgegebener Schwellwert.
Der Verlauf der Unsicherheit kann beispielsweise mit einer zusammenfassenden Statistik ausgewertet werden. So kann beispielsweise für jede Epochenzahl e des Vortrainings ein Mittelwert, ein Median, eine Varianz, und/oder eine Standardabweichung, über die Unsicherheiten der Ausgangsgrößenwerte ermittelt werden. Die zusammenfassende Statistik kann beispielsweise über solche Ausgangsgrößenwerte, die im Licht der jeweiligen Lern-Ausgangsgrößenwerte nach Maßgabe eines vorgegebenen Kriteriums zutreffend bzw. nicht zutreffend sind, separat geführt werden. Ist das trainierbare Modul beispielsweise als Klassifikator ausgebildet, so kann beispielsweise ein erster Mittelwert oder Median über die Unsicherheiten derjenigen Ausgangsgrößenwerte gebildet werden, die die jeweiligen Lern-Eingangsgrößenwerte der korrekten Klasse zuordnen. Ein zweiter Mittelwert oder Median kann über die Unsicherheiten derjenigen Ausgangsgrößenwerte gebildet werden, die die jeweiligen Lern-Eingangsgrößenwerte der falschen Klasse zuordnen.
Die vom trainierbaren Modul gelieferten Ausgangsgrößen können insbesondere eine Klassifikation, Regression und/oder semantische Segmentierung der eingegebenen Messdaten beinhalten. Gerade bei der Ermittlung dieser Informationen aus den eingegebenen Messdaten kommt es auf die Verallgemeinerungsfähigkeit trainierbarer Module, wie etwa KNN, an.
Die Erfindung bezieht sich auch auf einen Parametersatz mit Parametern, die das Verhalten eines trainierbaren Moduls charakterisieren und mit dem zuvor beschriebenen Verfahren erhalten wurden. Diese Parameter können beispielsweise Gewichte sein, mit denen Eingaben von Neuronen oder sonstigen Recheneinheiten in einem KNN zu Aktivierungen dieser Neuronen bzw. Recheneinheiten verrechnet werden. Dieser Parametersatz verkörpert den Aufwand, der in das Training investiert wurde, und ist insofern ein eigenständiges Produkt.
Die Erfindung bezieht sich auch auf ein weiteres Verfahren, welches die Fortsetzung der mit dem Training begonnenen Wirkkette bis hin zur Ansteuerung physischer Systeme beinhaltet.
Bei diesem Verfahren wird zunächst ein trainierbares Modul mit dem zuvor beschriebenen Verfahren trainiert. Dieses trainierbare Modul wird anschließend betrieben, indem ihm Eingangsgrößenwerte zugeführt werden. Diese Eingangsgrößenwerte umfassen Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden. Abhängig von dem vom trainierbaren Modul gelieferten Ausgangsgrößenwerten wird ein Fahrzeug, und/oder ein Klassifikationssystem, und/oder ein System zur Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System zur medizinischen Bildgebung, mit einem Ansteuersignal angesteuert.
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zum Trainieren;
2 Ausführungsbeispiel des Verfahrens 200 mit Fortsetzung der Wirkkette bis zur Ansteuerung physischer Systeme 50, 60, 70, 80;
3 Erkennung, ob noch unzutreffend gelabelte Lern-Datensätze vorhanden sind, über den Verlauf der Unsicherheit 13b als Funktion der Epochenzahl e;
4 Erkennung, ob noch unzutreffend gelabelte Lern-Datensätze vorhanden sind, über den Verlauf der Genauigkeit 15 als Funktion der Epochenzahl e.

1 zeigt ein Ausführungsbeispiel des Verfahrens 100 zum Trainieren eines trainierbaren Moduls 1. In Schritt 110 wird eine Mehrzahl von Abwandlungen 1a-1c des trainierbaren Moduls 1 mindestens mit einer Teilmenge der vorhandenen Lern-Datensätze 2 vortrainiert. Jeder Lern-Datensatz 2 enthält Lern-Eingangsgrößenwerte 11a und zugehörige Lern-Ausgangsgrößenwerte 13a.
In Schritt 120 werden Lern-Eingangsgrößenwerte 11a aus Lern-Datensätzen 2 allen Abwandlungen 1a-1c als Eingangsgrößen 11 zugeführt. Jede Abwandlung 1a-1c erzeugt hieraus einen eigenen Ausgangsgrößenwert 13. Dabei können gemäß Block 121 die Abwandlungen 1a-1c auf einem Trainingsstand betrieben werden, der einer Epochenzahl e=e₁ entspricht, bei der die Unsicherheit 13b der Ausgangsgrößen 13 minimal ist. Alternativ oder auch in Kombination hierzu können gemäß Block 122 die Abwandlungen 1a-1c auf einem Trainingsstand betrieben werden, der einer Epochenzahl e=e₂ entspricht, bei der die Genauigkeit 15, mit der die Lern-Eingangsgrößenwerte 11a auf die Lern-Ausgangsgrößenwerte 13a abgebildet werden, maximal ist.
In Schritt 125 werden eine oder mehrere Abwandlungen 1a-1c, anhand von Validierungs-Datensätzen 3 getestet. Dazu werden der Abwandlung 1a-1c die Validierungs-Eingangsgrößenwerte 11a* eines jeden Validierungs-Datensatzes 3 als Eingangsgrößen 11 zugeführt. Es wird die Genauigkeit 15 ermittelt, mit der die Abwandlung 1a-1c hieraus die jeweiligen Validierungs-Ausgangsgrößenwerte 13a* reproduziert. Diese Genauigkeit 15 hat in Abhängigkeit von der Epochenzahl e des Vortrainings 110 einen Zeitverlauf 15(e).
Ein Maß für die Unsicherheit 13b der Ausgangsgrößenwerte 13 wird in Schritt 130 aus den Abweichungen dieser Ausgangsgrößenwerte 13 voneinander ermittelt. Die Genauigkeit 15 kann aus dem direkten Vergleich der Ausgangsgrößenwerte 13 mit den Lern-Ausgangsgrößenwerten 13a mit einem beliebigen Fehlermaß ermittelt werden. Die Unsicherheit 13b, ihr Verlauf 13b(e) in Abhängigkeit der Epochenzahl e des Vortrainings 110 sowie die Genauigkeit 15 können in den folgenden Schritten einzeln oder in Kombination ausgewertet werden wie im Folgenden beschrieben.
In Schritt 140 wird geprüft, ob für mindestens einen Lern-Datensatz 2 die Unsicherheit 13b der Ausgangsgrößenwerte 13, die unter Heranziehung der Lern-Eingangsgrößenwerte 11a dieses Lern-Datensatzes 2 ermittelt wurden, ein vorgegebenes Kriterium erfüllt. Ist dies der Fall (Wahrheitswert 1), so wird in Schritt 180 die Gewichtung des Lern-Datensatzes 2 im Training des trainierbaren Moduls 1 angepasst, und/oder es werden in Schritt 190 ein oder mehrere Lern-Ausgangsgrößenwerte 13a des Lern-Datensatzes 2 angepasst.
In Schritt 150 wird geprüft, bei welcher Epochenzahl e=e₁ des Vortrainings 110 der Verlauf 13b(e) der Unsicherheit 13b ein Minimum annimmt. In Schritt 155 wird diese Epochenzahl e=e₁ als derjenige Trainingsstand eingestellt, bei dem die Abwandlungen 1a-1c gemäß Block 121 betrieben werden sollen.
In Schritt 160 wird geprüft, bei welcher Epochenzahl e=e₂ des Vortrainings der Verlauf 15(e) der auf der Basis der Validierungs-Datensätze 3 bestimmten Genauigkeit 15 ein Maximum annimmt. In Schritt 165 wird diese Epochenzahl e=e₂ als derjenige Trainingsstand eingestellt, bei dem die Abwandlungen 1a-1c gemäß Block 122 betrieben werden sollen.
In Schritt 170 wird aus dem Verlauf 13b(e) der Unsicherheit 13b, bzw. aus dem Verlauf 15(e) der Genauigkeit 15, ausgewertet, inwieweit die Zuordnung der Lern-Ausgangsgrößenwerte 13a zu den Lern-Eingangsgrößenwerten 11a in den Lern-Datensätzen 2 insgesamt zutreffend ist. Das heißt, es wird geprüft, ob die vorhandenen Lern-Datensätze 2 im Wesentlichen alle zutreffend gelabelt sind oder ob sich zu den zutreffend gelabelten Lern-Datensätzen 2 auch in signifikantem Umfang unzutreffend gelabelte Lern-Datensätze 2 gesellen.
Gemäß Block 171 wird in Antwort darauf, dass die Unsicherheit 13b als Funktion der Epochenzahl e monoton abnimmt, festgestellt, dass im Wesentlichen alle Lern-Datensätze 2 zutreffend gelabelt sind. Wie zuvor erläutert, führt das Vorhandensein unzutreffend gelabelter Lern-Datensätze 2 dazu, dass durch die hierdurch erzeugten Widersprüche anfängliche Trainingserfolge zumindest teilweise zunichte gemacht werden und die Unsicherheit 13b wieder ansteigt.
Gemäß Block 172 wird in Antwort darauf, dass die Genauigkeit 15 als Funktion der Epochenzahl monoton steigt, festgestellt, dass im Wesentlichen alle Lern-Datensätze 2 zutreffend gelabelt sind. Sind in signifikantem Umfang unzutreffend gelabelte Lern-Datensätze 2 vorhanden, fällt diese Genauigkeit 15 nach einem anfänglichen Anstieg wieder ab, wenn sich der Einfluss der besagten Widersprüche bemerkbar macht.
Gemäß Block 173 wird bei der Prüfung des Verlaufs 13b(e) speziell auf diejenigen Unsicherheiten 13b abgestellt, die größer oder kleiner sind als ein vorgegebenes Quantil der aus Lern-Eingangsgrößenwerten 11a einer Vielzahl von Lern-Datensätzen 2 ermittelten Unsicherheiten 13b oder als ein vorgegebener Schwellwert. Beispielsweise können nur die größten 25 % der Unsicherheiten 13b berücksichtigt werden.
Wenn in Schritt 180 die Gewichtung des Lern-Datensatzes 2 im Training des trainierbaren Moduls 1 angepasst wird, dann kann dies beispielsweise in das Training mit einer Kostenfunktion 14 integriert werden. Gemäß Block 181 werden anpassbare Parameter 12, die das Verhalten des trainierbaren Moduls 1 charakterisieren, mit dem Ziel optimiert, den Wert der Kostenfunktion 14 zu verbessern. Die Kostenfunktion 14 misst, inwieweit das trainierbare Modul 1 die in Lern-Datensätzen 2 enthaltenen Lern-Eingangsgrößenwerte 11a auf die zugehörigen Lern-Ausgangsgrößenwerte 13a abbildet. Gemäß Block 182 wird in Antwort darauf, dass das vorgegebene Kriterium 140 erfüllt ist, die Gewichtung mindestens eines Lern-Datensatzes 2 in der Kostenfunktion 14 reduziert. Dies kann beispielsweise gemäß Block 182a bis zu dem Punkt gehen, an dem der Lern-Datensatz 2 gar nicht mehr in der Kostenfunktion 2 berücksichtigt wird.
Wenn in Schritt 190 ein oder mehrere Lern-Ausgangsgrößenwerte 13a des Lern-Datensatzes 2 angepasst werden, so kann beispielsweise gemäß Block 191 mindestens ein neuer Lern-Ausgangsgrößenwert 13a über eine Eingabeeinrichtung angefordert werden. Der neue Lern-Ausgangsgrößenwert 13a kann beispielsweise von einem Experten anhand der Lern-Eingangsgrößenwerte 11a ermittelt und eingegeben werden. Alternativ oder auch in Kombination hierzu kann mindestens ein Ausgangsgrößenwert 13, den das trainierbare Modul 1 und/oder eine seiner Abwandlungen 1a-1c zu den Lern-Eingangsgrößenwerten 11a ermittelt, als neuer Lern-Ausgangsgrößenwert 13a ermittelt werden. Das trainierbare Modul 1 kann also in gewisser Weise eine „Selbstheilungskraft“ nutzen. Wie zuvor erläutert, funktioniert dies besonders gut, wenn das trainierbare Modul 1 noch nicht zu viel aus unzutreffend gelabelten Lern-Datensätzen 2 gelernt hat, also der Trainingsstand einer geeigneten Epoche (beispielsweise e₁ oder e₂) hierfür ausgewählt wird.
2 zeigt ein Ausführungsbeispiel des Verfahrens 200. In Schritt 210 dieses Verfahrens 200 wird ein trainierbares Modul 1 mit dem zuvor beschriebenen Verfahren 100 trainiert. Das solchermaßen trainierte Modul wird in Schritt 220 betrieben, indem ihm Eingangsgrößenwerte 11 mit physikalisch aufgenommenen und/oder simulierten Messdaten, die sich auf ein technisches System beziehen, zugeführt werden. Aus dem vom trainierbaren Modul 1 daraufhin gelieferten Ausgangsgrößenwerten 13 wird in Schritt 230 ein Ansteuersignal 5 gebildet. Ein Fahrzeug 50, und/oder ein Klassifikationssystem 60, und/oder ein System 70 zur Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System 80 zur medizinischen Bildgebung, wird mit diesem Ansteuersignal 5 angesteuert.
3 illustriert beispielhaft, wie anhand des Verlaufs 13b(e) der Unsicherheit 13b als Funktion der Epochenzahl e festgestellt werden kann, ob die vorhandenen Lern-Datensätze 2 im Wesentlichen alle zutreffend gelabelt sind.
Kurve a repräsentiert den Fall, in dem sowohl zutreffend gelabelte als auch unzutreffend gelabelte Lern-Datensätze 2 vorhanden sind. Wie zuvor erläutert, nimmt im Verlauf des Trainings die Unsicherheit 13b zunächst ab, da ausgehend von einer in der Regel zufälligen Initialisierung des Trainings der positive Lerneffekt auf der Basis der zutreffend gelabelten Lern-Datensätze 2. Jenseits des Minimums der Unsicherheit 13b bei der Epochenzahl e=e₁ machen sich die durch die unzutreffend gelabelten Lern-Datensätze 2 bewirkten Widersprüche dahingehend bemerkbar, dass die Unsicherheit 13b wieder steigt.
Kurve b repräsentiert den Fall, in dem im Wesentlichen nur zutreffend gelabelte Lern-Datensätze 2 vorhanden sind. Hier gibt es keine Widersprüche beim Training, so dass sich der positive Lerneffekt, der sich in einer stetig abnehmenden Unsicherheit 13b manifestiert, bis zum Konvergieren gegen eine Sättigung fortsetzt.
4 illustriert beispielhaft, wie anhand des mit den Validierungs-Datensätzen 3 ermittelten Verlaufs 15(e) der Genauigkeit 15 als Funktion der Epochenzahl e festgestellt werden kann, ob die vorhandenen Lern-Datensätze 2 im Wesentlichen alle zutreffend gelabelt sind.
Analog zu 3 repräsentiert Kurve a den Fall, in dem sowohl zutreffend gelabelte als auch unzutreffend gelabelte Lern-Datensätze 2 vorhanden sind. Ausgehend von der zufälligen Initialisierung des trainierbaren Moduls 1 nimmt die Genauigkeit 15 zunächst zu, weil der positive Effekt durch die zutreffend gelabelten Lern-Datensätze 2 den negativen Effekt durch die Widersprüche mit den unzutreffend gelabelten Lern-Datensätzen 2 überwiegen. Bei der Epochenzahl e=e₂ wird ein Maximum erreicht. Jenseits dieses Maximums machen sich die Widersprüche zunehmend bemerkbar, und die Genauigkeit 15 nimmt wieder ab.
Kurve b repräsentiert den Fall, in dem im Wesentlichen nur zutreffend gelabelte Lern-Datensätze 2 vorhanden sind. Hier setzt sich der positive Lerneffekt fort, bis die Genauigkeit 15 schließlich gegen eine Sättigung konvergiert.

Claims

Verfahren (100) zum Trainieren eines trainierbaren Moduls (1), welches eine oder mehrere Eingangsgrößen (11) in eine oder mehrere Ausgangsgrößen (13) übersetzt, mittels Lern-Datensätzen (2), die Lern-Eingangsgrößenwerte (11a) und zugehörige Lern-Ausgangsgrößenwerte (13a) enthalten, wobei mindestens die Lern-Eingangsgrößenwerte (11a) Messdaten umfassen, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden, mit den Schritten: • eine Mehrzahl von Abwandlungen (1a-1c) des trainierbaren Moduls (1), die sich so weit voneinander unterscheiden, dass sie bei fortschreitendem Lernen nicht deckungsgleich ineinander überführt werden, wird jeweils mindestens mit einer Teilmenge der Lern-Datensätze (2) vortrainiert (110); • Lern-Eingangsgrößenwerte (11a) mindestens eines Lern-Datensatzes (2) werden allen Abwandlungen (1a-1c) als Eingangsgrößen (11) zugeführt (120); • aus der Abweichung der Ausgangsgrößenwerte (13), in die die Abwandlungen (1a-1c) die Lern-Eingangsgrößenwerte (11a) jeweils übersetzen, voneinander wird ein Maß für die Unsicherheit (13b) dieser Ausgangsgrößenwerte (13) ermittelt (130); • in Antwort darauf, dass die Unsicherheit (13b) ein vorgegebenes Kriterium (140) erfüllt, wird die Gewichtung des Lern-Datensatzes (2) im Training des trainierbaren Moduls (1) angepasst (180), und/oder es werden ein oder mehrere Lern-Ausgangsgrößenwerte (13a) des Lern-Datensatzes (2) angepasst (190).
Verfahren (100) nach Anspruch 1, wobei anpassbare Parameter (12), die das Verhalten des trainierbaren Moduls (1) charakterisieren, optimiert werden (181), mit dem Ziel, den Wert einer Kostenfunktion (14) zu verbessern, wobei diese Kostenfunktion (14) misst, inwieweit das trainierbare Modul (1) die in Lern-Datensätzen (2) enthaltenen Lern-Eingangsgrößenwerte (11a) auf die zugehörigen Lern-Ausgangsgrößenwerte (13a) abbildet, wobei die Gewichtung mindestens eines Lern-Datensatzes (2) in der Kostenfunktion (14) reduziert wird (182), wenn das vorgegebene Kriterium (140) erfüllt ist.
Verfahren (100) nach Anspruch 2, wobei in Antwort darauf, dass das vorgegebene Kriterium (140) erfüllt ist, der Lern-Datensatz (2) nicht mehr in der Kostenfunktion (14) berücksichtigt wird (182a).
Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei das Kriterium (140) beinhaltet, dass die Unsicherheit (13b) größer oder kleiner ist als ein vorgegebenes Quantil der aus Lern-Eingangsgrößenwerten (11a) einer Vielzahl anderer Lern-Datensätze (2) ermittelten Unsicherheiten (13b) oder als ein vorgegebener Schwellwert.
Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei das Anpassen (190) eines oder mehrerer Lern-Ausgangsgrößenwerte (13a) beinhaltet, die Eingabe mindestens eines neuen Lern-Ausgangsgrößenwerts (13a) über eine Eingabeeinrichtung anzufordern (191).
Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei das Anpassen (190) eines oder mehrerer Lern-Ausgangsgrößenwerte (13a) beinhaltet, mindestens einen Ausgangsgrößenwert (13), den das trainierbare Modul (1), und/oder eine Abwandlung (1a-1c) dieses trainierbaren Moduls (1), bei seinem aktuellen Trainingsstand den Lern-Eingangsgrößenwerten (11a) des Lern-Datensatzes (2) zuordnet, und/oder eine Verrechnung mehrerer derartiger Ausgangsgrößenwerte, als neuen Lern-Ausgangsgrößenwert (13a) dieses Lern-Datensatzes (2) zu setzen (192).
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei in Antwort darauf, dass der Verlauf mindestens einer Unsicherheit (13b) als Funktion der Epochenzahl e des Vortrainings (110) bei einer Epochenzahl e₁ ein Minimum annimmt (150), die Abwandlungen (1a-1c) zur Ermittlung (120) der Ausgangsgrößenwerte (13) auf einem Trainingsstand betrieben werden (121, 155), der der Epochenzahl e=e₁ entspricht.
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei in Antwort darauf, dass die von dem trainierbaren Modul (1), und/oder von mindestens einer Abwandlung (1a-1c), als Funktion der Epochenzahl e des jeweiligen Trainings erzielte Genauigkeit (15), mit der Validierungs-Eingangsgrößenwerte (11a*) aus Validierungs-Datensätzen (3) auf die zugehörigen Validierungs-Ausgangsgrößenwerte (13a*) abgebildet werden, bei einer Epochenzahl e₂ ein Maximum annimmt (160), die Abwandlungen (1a-1c) zur Ermittlung (120) der Ausgangsgrößenwerte (13) auf einem Trainingsstand betrieben werden (122, 165), der der Epochenzahl e=e₂ entspricht.
Verfahren (100) nach einem der Ansprüche 1 bis 8, wobei aus dem Verlauf der Unsicherheit (13b), und/oder der Genauigkeit (15), als Funktion der Epochenzahl e des Vortrainings (110) darauf geschlossen wird (170), inwieweit die Zuordnung der Lern-Ausgangsgrößenwerte (13a) zu den Lern-Eingangsgrößenwerten (11a) in den Lern-Datensätzen (2) zutreffend ist.
Verfahren (100) nach Anspruch 9, wobei in Antwort darauf, dass die Unsicherheit (13b) als Funktion der Epochenzahl e des Vortrainings (110) überwiegend abnimmt, festgestellt wird (171), dass die Zuordnung der Lern-Ausgangsgrößenwerte (13a) zu den Lern-Eingangsgrößenwerten (11a) im Wesentlichen in allen Lern-Datensätzen (2) zutreffend ist.
Verfahren (100) nach einem der Ansprüche 9 bis 10, wobei in Antwort darauf, dass die Genauigkeit (15) als Funktion der Epochenzahl e des Vortrainings (110) überwiegend steigt, festgestellt wird (172), dass die Zuordnung der Lern-Ausgangsgrößenwerte (13a) zu den Lern-Eingangsgrößenwerten (11a) im Wesentlichen in allen Lern-Datensätzen (2) zutreffend ist.
Verfahren (100) nach einem der Ansprüche 7 bis 11, wobei der Verlauf der Unsicherheit (13b) als Funktion der Epochenzahl e des Vortrainings (110) nur für diejenigen Unsicherheiten (13b) ausgewertet wird (173), die größer oder kleiner sind als ein vorgegebenes Quantil der aus Lern-Eingangsgrößenwerten (11a) einer Vielzahl von Lern-Datensätzen (2) ermittelten Unsicherheiten (13b) oder als ein vorgegebener Schwellwert.
Verfahren (100) nach einem der Ansprüche 1 bis 12, wobei die vom trainierbaren Modul (1) gelieferten Ausgangsgrößen (13) eine Klassifikation, Regression und/oder semantische Segmentierung der eingegebenen Messdaten beinhalten.
Verfahren (200) mit den Schritten: • ein trainierbares Modul (1) wird mit dem Verfahren (100) nach einem der Ansprüche 1 bis 13 trainiert (210); • das trainierbare Modul (1) wird betrieben (220), indem ihm Eingangsgrößenwerte (11) zugeführt werden, wobei diese Eingangsgrößenwerte (11) Messdaten umfassen, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden; • abhängig von dem vom trainierbaren Modul (1) gelieferten Ausgangsgrößenwerten (13) wird ein Fahrzeug (50), und/oder ein Klassifikationssystem (60), und/oder ein System (70) für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System (80) für die medizinische Bildgebung, mit einem Ansteuersignal (5) angesteuert (230).
Parametersatz mit Parametern (12), die das Verhalten eines trainierbaren Moduls (1) charakterisieren, erhalten mit dem Verfahren nach einem der Ansprüche 1 bis 13.
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.
Maschinenlesbarer Datenträger und/oder Downloadprodukt mit dem Computerprogramm nach Anspruch 16.
Computer, ausgerüstet mit dem Computerprogramm nach Anspruch 16, und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt nach Anspruch 17.