DE102019209227A1

DE102019209227A1 - Betrieb trainierbarer Module mit Überwachung, ob der Anwendungsbereich des Trainings verlassen wird

Info

Publication number: DE102019209227A1
Application number: DE102019209227.6A
Authority: DE
Inventors: William Harris Beluch; Maximilian Autenrieth; Jan Mathias Koehler
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-06-26
Filing date: 2019-06-26
Publication date: 2020-12-31
Also published as: CN114026574A; WO2020260015A1; US20220230054A1

Abstract

Verfahren (100) zum Betreiben eines trainierbaren Moduls (1) mit den Schritten:• mindestens ein Eingangsgrößenwert (11) wird Abwandlungen (1a-1c) des trainierbaren Moduls (1) zugeführt (110), wobei sich die Abwandlungen (1a-1c) so weit voneinander unterscheiden, dass sie nicht durch fortschreitendes Lernen deckungsgleich ineinander überführbar sind;• aus der Abweichung der Ausgangsgrößenwerte (13), in die die Abwandlungen (1a-1c) den Eingangsgrößenwert (11) jeweils übersetzen, voneinander wird ein Maß für die Unsicherheit (13b) der Ausgangsgrößenwerte (13) ermittelt (120);• die Unsicherheit (13b) wird mit einer Verteilung (13*) von Unsicherheiten (13b) verglichen (130), die für beim Training des trainierbaren Moduls (1) verwendete Lern-Eingangsgrößenwerte (11a), und/oder für weitere Test-Eingangsgrößenwerte (11c), auf die die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge anwendbar sind, ermittelt wurde;• aus dem Ergebnis (130a) des Vergleichs (130) wird ausgewertet (140), inwieweit die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge auf den Eingangsgrößenwert (11) anwendbar sind (140a, 140b).Verfahren (200) zum Trainieren des trainierbaren Moduls (1).

Description

Die vorliegende Erfindung betrifft den Betrieb trainierbarer Module, wie sie beispielsweise für Klassifikationsaufgaben und/oder Objekterkennung beim zumindest teilweise automatisierten Fahren eingesetzt werden.
Stand der Technik
Das Führen eines Fahrzeugs im Straßenverkehr durch einen menschlichen Fahrer wird in der Regel trainiert, indem ein Fahrschüler im Rahmen seiner Ausbildung immer wieder mit einem bestimmten Kanon an Situationen konfrontiert wird. Der Fahrschüler muss auf diese Situationen jeweils reagieren und bekommt durch Kommentare oder gar ein Eingreifen des Fahrlehrers eine Rückmeldung, ob seine Reaktion richtig oder falsch war. Dieses Training mit einer endlichen Anzahl von Situationen soll den Fahrschüler dazu befähigen, beim eigenständigen Führen des Fahrzeugs auch unbekannte Situationen zu meistern.
Um Fahrzeuge ganz oder teilweise automatisiert am Straßenverkehr teilnehmen zu lassen, wird angestrebt, diese mit in ganz ähnlicher Weise trainierbaren Modulen zu steuern. Diese Module erhalten beispielsweise Sensordaten aus dem Fahrzeugumfeld als Eingangsgrößen und liefern als Ausgangsgrößen Ansteuersignale, mit denen in den Betrieb des Fahrzeugs eingegriffen wird, und/oder Vorprodukte, aus denen derartige Ansteuersignale gebildet werden. Beispielsweise kann eine Klassifikation von Objekten im Umfeld des Fahrzeugs ein derartiges Vorprodukt sein.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zum Betreiben eines trainierbaren Moduls entwickelt. Das trainierbare Modul übersetzt einen oder mehrere Eingangsgrößenwerte in einen oder mehrere Ausgangsgrößenwerte.
Unter einem trainierbaren Modul wird insbesondere ein Modul angesehen, das eine mit anpassbaren Parametern parametrierte Funktion mit großer Kraft zur Verallgemeinerung verkörpert. Die Parameter können beim Training eines trainierbaren Moduls insbesondere dergestalt angepasst werden, dass bei Eingabe von Lern-Eingangsgrößenwerten in das Modul die zugehörigen Lern-Ausgangsgrößenwerte möglichst gut reproduziert werden. Das trainierbare Modul kann insbesondere ein künstliches neuronales Netzwerk, KNN, beinhalten, und/oder es kann ein KNN sein.
Die Eingangsgrößenwerte umfassen Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden. Beispielsweise können die Messdaten Bilder oder Scans umfassen, die durch Beobachtung des Umfelds eines Fahrzeugs aufgenommen wurden.
Wenn ein trainierbares Modul für eine derartige Anwendung trainiert wird, erfolgt dieses Training grundsätzlich anhand einer begrenzten Menge von Lern-Situationen, d.h., mit einer begrenzten Menge von Lern-Daten. Beim Training lernt das trainierbare Modul Zusammenhänge, die auf Grund der besagten Kraft der Verallgemeinerung Gültigkeit auch für viele andere Situationen haben, die nicht Gegenstand des Trainings waren.
Wenn das trainierbare Modul beispielsweise für die Klassifikation von Verkehrszeichen, anderen Verkehrsteilnehmern, Fahrbahnbegrenzungen und anderen Objekten genutzt wird, umfasst das Training typischerweise Situationen mit einer gewissen Variabilität, die etwa die im Betrieb des Fahrzeugs voraussichtlich vorkommenden Wetterbedingungen, Straßenverhältnisse, Jahreszeiten und Beleuchtungsverhältnisse umfasst. Dabei werden dann insbesondere solche Zusammenhänge gelernt, die allgemein die Erkennung von Verkehrszeichen in Bildern ermöglichen. So wird beispielsweise das nur selten im öffentlichen Verkehrsraum vorkommende, aber im Einzelfall extrem wichtige Verkehrszeichen 129, das vor einem ungesicherten Ufer warnt, auch unter Beleuchtungsverhältnissen oder Wetterbedingungen erkannt, unter denen es im Training nicht gesichtet wurde.
Es wurde nun erkannt, dass diese Kraft der Verallgemeinerung jedoch auch Grenzen hat, die etwa beim Betrieb eines zumindest teilweise automatisierten Fahrzeugs zu kritischen Situationen führen können.
Wurde das Training beispielsweise nur mit Bildern aus dem europäischen Verkehrsraum durchgeführt und wird das trainierbare Modul dann in den USA verwendet, werden US-Verkehrszeichen, die in Europa nicht vorkommen, möglicherweise falsch klassifiziert. So gibt es in den USA etwa viele Verkehrszeichen, die aus einem auf der Spitze stehenden gelben Quadrat mit schwarzem Text (etwa „Dead end“ für „Sackgasse“) bestehen. Ein derartiges Verkehrszeichen könnte etwa als das einzige in Europa vorkommende Verkehrszeichen, das ein auf der Spitze stehendes gelbes Quadrat enthält, fehlklassifiziert werden. Dies ist das Verkehrszeichen 306 „Vorfahrtstraße“. In diesem konkreten Beispiel könnte der Fehler zur Folge haben, dass ein zumindest teilweise automatisiertes Fahrzeug bei der Einfahrt in die Sackgasse in dem Glauben, freie Durchfahrt zu haben, beschleunigt.
Aber auch wenn das trainierbare Modul genau in dem Verkehrsraum verwendet wird, für den es trainiert wurde, können vergleichbare Situationen auftreten. So ähnelt das Verkehrszeichen 270 „Umweltzone“, das seit 2008 in immer mehr Städten zu sehen ist, optisch stark dem Verkehrszeichen 274.1 „Tempo-30-Zone“. Es umfasst genauso einen roten Kreis mit dem Wort „ZONE“ darunter, nur, dass eben „Umwelt“ statt „30“ im Kreis steht. Wurde das trainierbare Modul noch nicht auf das neue Verkehrszeichen „Umweltzone“ trainiert, könnte es dieses also möglicherweise als „Tempo 30-Zone“ fehlklassifizieren. Da das Verkehrszeichen „Umweltzone“ in Großstädten durchaus auch an Schnellstraßen vorkommen kann, auf denen Geschwindigkeiten von 80 km/h oder mehr erlaubt sind, könnte der Fehler ein plötzliches starkes Abbremsen des Fahrzeugs zur Folge haben. Dieses käme für den nachfolgenden Verkehr völlig überraschend und könnte zu einem Auffahrunfall führen.
Um derartige kritische Situationen zu vermeiden, sieht das Verfahren vor, dass mindestens ein Eingangsgrößenwert Abwandlungen des trainierbaren Moduls zugeführt wird. Diese Abwandlungen unterscheiden sich zumindest so weit voneinander, dass sie nicht durch fortschreitendes Lernen deckungsgleich ineinander überführbar sind.
Die Abwandlungen können beispielsweise gebildet werden, indem jeweils verschiedene Neuronen in einem künstlichen neuronalen Netzwerk (KNN), das in dem trainierbaren Modul enthalten ist, deaktiviert werden („Drop-Out“). Es sind dann in allen Abwandlungen unterschiedliche Teilmengen der insgesamt vorhandenen Neuronen aktiv.
Alternativ oder auch in Kombination hierzu können beispielsweise Parameter, die das Verhalten des trainierbaren Moduls charakterisieren, variiert werden.
Beispielsweise können durch ein Training eines KNN mit unterschiedlichen Teilmengen der Lern-Daten unterschiedliche Sätze von Parametern erhalten werden. Jeder solche Satz von Parametern charakterisiert dann das Verhalten einer Abwandlung. Abwandlungen können aber auch beispielsweise erhalten werden, indem die Lern-Daten in unterschiedlicher Reihenfolge in das KNN eingegeben werden, und/oder indem die Parameter des KNN mit unterschiedlichen zufälligen Startwerten initialisiert werden.
Es können auch beispielsweise trainierte Gewichte auf den Verbindungen zwischen Neuronen des KNN als Parameter variiert werden, indem sie mit einer aus einer vorgegebenen statistischen Verteilung zufällig gezogenen Zahl multipliziert werden.
Aus der Abweichung der Ausgangsgrößenwerte, in die die Abwandlungen ein und denselben Eingangsgrößenwert jeweils übersetzen, voneinander wird ein Maß für die Unsicherheit der Ausgangsgrößenwerte ermittelt.
Dabei können die Ausgangsgrößenwerte beispielsweise Softmax-Scores sein, die angeben, mit welchen Wahrscheinlichkeiten der Lern-Datensatz in welche der möglichen Klassen klassifiziert wird.
Für die Ermittlung der Unsicherheit aus einer Vielzahl von Ausgangsgrößenwerten kann eine beliebige Statistikfunktion oder eine Kombination aus Statistikfunktionen verwendet werden. Beispiele für solche Statistikfunktionen sind die Varianz, die Standardabweichung, der Mittelwert, der Median, ein geeignet gewähltes Quantil, die Entropie und das Variation Ratio.
Die Unsicherheit wird mit einer Verteilung von Unsicherheiten verglichen. Diese Verteilung wurde für beim Training des trainierbaren Moduls verwendete Lern-Eingangsgrößenwerte, und/oder für weitere Test-Eingangsgrößenwerte, auf die die beim Training des trainierbaren Moduls gelernten Zusammenhänge anwendbar sind, ermittelt. Aus dem Ergebnis dieses Vergleichs wird ausgewertet, inwieweit die beim Training des trainierbaren Moduls gelernten Zusammenhänge auf den aktuell zu verarbeitenden Eingangsgrößenwert, also beispielsweise auf das aktuell zu klassifizierende Bild aus dem Fahrzeugumfeld, anwendbar sind.
Die Zuordnung eines Ausgangsgrößenwerts zu einem Eingangsgrößenwert wird also durch die Verwendung der Abwandlungen des trainierbaren Moduls gleichsam auf den „Rüttelstand“ gestellt. Dabei ist zu erwarten, dass die Verteilung von Unsicherheiten für solche Eingangsgrößenwerte, auf die die beim Training gelernten Zusammenhänge anwendbar sind, eine Konzentration großer Häufigkeiten für geringere Werte der Unsicherheit aufweist. Eine größere Unsicherheit, die im Lichte dieser Verteilung „aus der Reihe tanzt“, kann dann als Zeichen dafür gewertet werden, dass die beim Training gelernten Zusammenhänge gerade nicht auf den aktuell zu verarbeitenden Eingangsgrößenwert anwendbar sind. In den genannten Beispielen ist dies etwa zu erwarten, wenn das US-Verkehrszeichen „Sackgasse“ von einem auf europäische Verkehrszeichen trainierten Klassifikator klassifiziert wird, oder wenn das Verkehrszeichen „Umweltzone“ von einem vor Einführung dieses Verkehrszeichens trainierten Klassifikator klassifiziert wird. Damit kann der Tendenz derartiger Klassifikatoren entgegengewirkt werden, einfach dasjenige Verkehrszeichen auszugeben, das dem aktuell zu verarbeitenden Verkehrszeichen optisch am nächsten kommt ohne Rücksicht auf die völlig andere semantische Bedeutung im Verkehrsgeschehen.
Weiterhin kann eine Unsicherheit, die nicht zu der Verteilung passt, auch darauf hindeuten, dass es sich bei dem Eingangsgrößenwert um ein „adversarial example“ handelt. Hierunter sind Eingangsgrößenwerte zu verstehen, die bewusst manipuliert worden sind mit dem Ziel, eine Fehlklassifikation durch das trainierbare Modul zu provozieren. So können beispielsweise Verkehrszeichen, die im öffentlichen Raum für jedermann zugänglich sind, durch das Aufbringen von Aufklebern und ähnlichen Mitteln so manipuliert werden, dass statt „Stop“ eine Geschwindigkeitsbeschränkung auf 70 km/h erkannt wird.
Der Begriff der „Abweichungen“ und der „Unsicherheit“ ist in diesem Zusammenhang nicht auf den eindimensionalen, univariaten Fall beschränkt, sondern umfasst Größen beliebiger Dimension. Es können also auch beispielsweise mehrere Unsicherheits-Merkmale kombiniert werden, um eine multivariate Unsicherheit zu erhalten. So kann beispielsweise bei der Klassifikation von Verkehrszeichen eine Abweichung bezüglich des Typs des Verkehrszeichens (etwa Gebot, Verbot oder Gefahrzeichen) eine erste Dimension der Unsicherheit bilden, während ein Unterschied in der semantischen Bedeutung im Hinblick auf das Verkehrsgeschehen eine zweite Dimension bildet. Insbesondere kann beispielsweise eine Abweichung oder Unsicherheit quantitativ danach bemessen sein, wie unterschiedlich die sich aus den unterschiedlichen Ausgangsgrößenwerten ergebenden Folgen für die jeweilige konkrete Anwendung sind. In dieser Hinsicht kann der Unterschied zwischen einem „Tempo 30“-Schild und einem „Tempo 80“-Schild geringer sein als zwischen „Tempo 30“ und „Stop“.
Der Vergleich der Unsicherheit mit einer Verteilung von Unsicherheiten, statt beispielsweise mit einem fest in das Steuergerät „eingelöteten“ Schwellwert, hat den besonderen Vorteil, dass diese Verteilung während des Betriebs des trainierbaren Moduls fortwährend aktualisiert werden kann. Damit kann die Prüfung, ob die beim Training des trainierbaren Moduls gelernten Zusammenhänge auf einen konkreten Eingangsgrößenwert anwendbar sind, nicht nur aus den während des Trainings gelernten Erfahrungen schöpfen, sondern auch aus den Erfahrungen im späteren Betrieb. Dies ist in gewisser Weise analog zu einem menschlichen Fahrer, der sein Lernen nicht mit dem Erwerb der Fahrerlaubnis einstellt, sondern auch beim eigenständigen Fahren immer noch besser wird.
In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort darauf, dass die Unsicherheit innerhalb eines vorgegebenen Quantils der Verteilung liegt, festgestellt, dass die beim Training des trainierbaren Moduls gelernten Zusammenhänge auf den Eingangsgrößenwert anwendbar sind. Dieses Quantil kann beispielsweise das 95-%-Quantil sein. Hierhinter steckt die Erkenntnis, dass für die Eingangsgrößenwerte, auf die die gelernten Zusammenhänge anwendbar sind, die Verteilung der Unsicherheiten typischerweise eine große Häufung bei kleinen Werten der Unsicherheit aufweist.
In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort darauf, dass die Unsicherheit außerhalb eines vorgegebenen Quantils der Verteilung liegt, festgestellt, dass die beim Training des trainierbaren Moduls gelernten Zusammenhänge nicht auf den Eingangsgrößenwert anwendbar sind. Dieses Quantil kann insbesondere beispielsweise ein anderes Quantil sein als dasjenige, auf Grund dessen entschieden wird, dass die gelernten Zusammenhänge auf den Eingangsgrößenwert anwendbar sind. Es kann beispielsweise das 99-%-Quantil sein. Es kann also auch beispielsweise Eingangsgrößenwerte geben, bezüglich derer keine statistisch signifikante Aussage möglich ist, ob die gelernten Zusammenhänge anwendbar sind oder nicht.
Wenn die Entscheidung, inwieweit die beim Training gelernten Zusammenhänge auf den Eingangsgrößenwert anwendbar sind, in einer der beschriebenen Weisen an ein Quantil der Verteilung geknüpft ist, hat dies weiterhin den Vorteil, dass dieses Kriterium bei einer Aktualisierung der Verteilung im laufenden Betrieb automatisch mit aktualisiert wird.
In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort darauf, dass die Unsicherheit kleiner als ein vorgegebener Anteil der kleinsten Unsicherheiten in der Verteilung oder größer als ein vorgegebener Anteil der größten Unsicherheiten in der Verteilung ist, festgestellt, dass die beim Training des trainierbaren Moduls gelernten Zusammenhänge nicht auf den Eingangsgrößenwert anwendbar sind. Beispielsweise können Unsicherheiten, die kleiner als die kleinsten 2,5 % der Unsicherheiten in der Verteilung oder größer als die größten 2,5 % der Unsicherheiten in der Verteilung sind, dahingehend gedeutet werden, dass die gelernten Zusammenhänge nicht anwendbar sind. Dabei kann der jeweilige Anteil der kleinsten bzw. größten Unsicherheiten in der Verteilung noch beispielsweise mit einer zusammenfassenden Statistik zu einem Schwellwert für die Unsicherheit verdichtet werden. Beispielsweise kann der Schwellwert auf den Mittelwert oder Median der kleinsten bzw. größten 2,5 % der Unsicherheiten in der Verteilung festgelegt werden.
Wie zuvor erläutert, kann das trainierbare Modul insbesondere als Klassifikator und/oder als Regressor ausgebildet sein. Dies sind die wichtigsten Aufgaben für trainierbare Module im Kontext des zumindest teilweise automatisierten Fahrens. So wird beispielsweise bei der semantischen Segmentierung eines Bildes, mit dem zumindest ein Teil des Fahrzeugumfelds erfasst wird, jedes Bildpixel nach dem Typ von Objekt klassifiziert, zu dem es gehört.
Wie zuvor erläutert, wird in einer weiteren besonders vorteilhaften Ausgestaltung in Antwort auf die Feststellung, dass die beim Training des trainierbaren Moduls gelernten Zusammenhänge auf den Eingangsgrößenwert anwendbar sind, die Verteilung unter Heranziehung des Eingangsgrößenwerts aktualisiert. Auf diese Weise wird die Entscheidung, inwieweit die gelernten Zusammenhänge auf einen konkret zu verarbeitenden Eingangsgrößenwert anwendbar sind, mit der Zeit immer treffsicherer.
Zu diesem Zweck kann insbesondere beispielsweise ein Satz von Größen, die jeweils von einer über alle zu der Verteilung beitragenden Eingangsgrößenwerte und/oder Unsicherheiten gebildeten Summe abhängen, durch Hinzufügen eines weiteren Summanden aktualisiert. Die aktualisierte Verteilung, und/oder ein Satz von Parametern, der diese aktualisierte Verteilung charakterisiert, wird aus diesen Größen ermittelt. Auf diese Weise ist es besonders einfach, die Verteilung inkrementell zu aktualisieren. Es muss dann insbesondere nicht die komplette Menge der bisher berücksichtigten Unsicherheiten bzw. Eingangsgrößenwerte gespeichert werden, sondern es genügt, die Summe fortzuschreiben.
Seien beispielsweise x_i, i=1, ..., n, die n bislang ermittelten Unsicherheiten der Ausgangsgrößenwerte zu n bislang berücksichtigen Eingangsgrößenwerten. Beispiele für Summen, von denen die aktualisierte Verteilung und/oder ihre Parameter abhängen können, sind $• Σ_{i = 1}^{n} ln x_{i},$
$• Σ_{i = 1}^{n} {(ln x_{i})}^{2},$
$• Σ_{i = 1}^{n} x_{i},$
$• Σ_{i = 1}^{n} x_{i}^{2},$
$• Σ_{i = 1}^{n} \frac{1}{x_{i}},$
$• Σ_{i = 1}^{n} x_{i}^{k} f \ddot{u} r bekanntes k sowie$
$• Σ_{i = 1}^{n} ln (1 = x_{i}) .$
Die Fortschreibung von Summen ist besonders vorteilhaft in einer weiteren Ausgestaltung, in der Parameter der Verteilung mit der Momentenmethode, und/oder mit der Maximum-Likelihood-Methode, und/oder mit der Bayes-Schätzung, geschätzt werden. Bei der Momentenmethode wird von statistischen Momenten einer Stichprobe der Verteilung auf statistische Momente der Gesamtverteilung geschlossen. Bei der Maximum-Likelihood-Methode werden diejenigen Werte der Parameter als Schätzung ausgewählt, gemäß denen die tatsächlich beobachteten Unsicherheiten am plausibelsten erscheinen.
Besonders vorteilhaft wird die Verteilung mit einem parametrisierten Ansatz als statistische Verteilung modelliert, wobei die Parameter des Ansatzes sich exakt und/oder näherungsweise durch die Momente der statistischen Verteilung ausdrücken lassen. Die Momente können dann wiederum durch die besagten Summen ausgedrückt sein.
Beispielsweise ist die Beta-Verteilung einer Zufallsvariablen X im Wesentlichen durch zwei Parameter α und β charakterisiert. Der Erwartungswert E[X] und die Varianz σ²[X] als die ersten Momente dieser Verteilung lassen sich in den Parametern α und β ausdrücken: $E [X] = \frac{α}{α + β}$
und $σ^{2} [X] = \frac{α β}{{(α + β)}^{2} (α + β + 1)} .$
Zugleich können empirische Schätzer x̅ für den Erwartungswert E[X] und ν̅ für die Varianz σ²[X] auf der Basis der jeweiligen Stichprobe mit N Samples X_i angegeben werden: $\bar{x} = \frac{1}{N} Σ_{i = 1}^{N} x_{i}$
und $\bar{ν} = \frac{1}{N - 1} {\sum_{i = 1}^{N} (x_{i} - \bar{x})}^{2} .$
Die Varianz lässt sich auf Grund des Varianz-Verschiebungssatzes auch als $σ^{2} (X) = E {(X)}^{2} - {[E (X)]}^{2}$
abschätzen, was in empirischen Samples x_i ausgedrückt bedeutet: ${\hat{σ}}^{2} = \frac{1}{N - 1} Σ_{i = 1}^{N} {(x_{i} - \bar{x})}^{2} \equiv \frac{1}{N - 1} ((Σ_{i = 1}^{N} x_{i}^{2}) - N {(\bar{x})}^{2}) .$
In Verbindung mit den obigen Ausdrücken für den Erwartungswert E[X] und die Varianz σ²[X] in α und β ergeben sich Abschätzungen für α und β, ausgedrückt in den Schätzern x̅ und ν̅ für E[X] bzw. σ²[X]: $\hat{α} = \bar{x} (\frac{\bar{x} (1 - \bar{x})}{\bar{ν}} - 1)$
und $\hat{β} = (1 - \bar{x}) (\frac{\bar{x} (1 - \bar{x})}{\bar{ν}} - 1),$
wobei jeweils vorausgesetzt ist, dass ν̅ < x(1 - x̅).
Um diese Parameter beim Hinzukommen neuer Samples fortzuschreiben, werden somit nur Updates von $Σ_{i = 1}^{n} x_{i} und Σ_{i = 1}^{n} x_{i}^{2}$
benötigt, die durch Hinzufügen neuer Summanden inkrementell durchgeführt werden können.
Bei der Gamma-Verteilung, die durch zwei Parameter k und θ charakterisiert ist, kann analog vorgegangen werden. Hier sind die ersten Momente E[X] und σ²[X] ausgedrückt in den Parametern k und θ gegeben durch $E [X] = k θ$
und $σ^{2} [X] = k θ^{2} .$
In Verbindung mit den genannten empirischen Schätzer x̅ für den Erwartungswert E[X] und ν̅ für die Varianz σ²[X] ergeben sich in analoger Weise zur Beta-Verteilung Gleichungen für Schätzer der Parameter k und θ: $\hat{k} = \frac{{\bar{x}}^{2}}{{\bar{ν}}^{2}}$
und $\hat{θ} = \frac{{\bar{ν}}^{2}}{x} .$
Für das inkrementelle Update werden also wiederum nur Updates von $Σ_{i = 1}^{n} x_{i}$
und $Σ_{i = 1}^{n} x_{i}^{2}$
benötigt.
Wenn für die Gamma-Verteilung die Parameter k und θ stattdessen mit der Maximum-Likelihood-Methode geschätzt werden, lässt sich die Standardabweichung σ abschätzen durch $\bar{ν} = ln (\frac{1}{N} Σ_{i = 1}^{N} x_{i}) - \frac{1}{N} Σ_{i = 1}^{N} ln (x_{i}) .$
Hieraus lässt sich k näherungsweise bestimmen als $k \approx \frac{3 - \bar{ν} + \sqrt{{(\bar{ν} - 3)}^{2} + 24 \bar{ν}}}{12 \bar{ν}} .$
Daraus folgt wiederum ein Schätzwert für θ: $\hat{θ} = \frac{1}{k N} Σ_{i = 1}^{N} x_{i} .$
Für das inkrementelle Update werden also hier Updates von $Σ_{i = 1}^{n} x_{i} und Σ_{i = 1}^{n} ln x_{i}$
benötigt.
Somit bauen die Momentenmethode sowie die Maximum-Likelihood-Methode bei vielen Verteilungen auf den suffizienten Statistiken, die vor allem bei Verteilungen aus der Exponentialfamilie leicht zu bestimmen sind, auf. Daher wird besonders vorteilhaft die Verteilung von Unsicherheiten als Verteilung aus der Exponentialfamilie, wie etwa als Normalverteilung, als Exponentialverteilung, als Gamma-Verteilung, als Chi-Quadrat-Verteilung, als Beta-Verteilung, als Exponential-Weibull-Verteilung, und/oder als Dirichlet-Verteilung, modelliert.
Die Parameter des parametrisierten Ansatzes der Verteilung können aber auch beispielsweise nach einer anderen Likelihood-Methode und/oder nach einer Bayesschen Methode, wie etwa mit dem Expectation-Maximization-Algorithmus, mit dem Expectation/Conditional-Maximization-Algorithmus, mit dem Expectation-Conjugate-Gradient-Algorithmus, mit einem Newton-basierten Verfahren, mit einem Markov Chain Monte Carlo-basierten Verfahren, und/oder mit einem stochastischen Gradienten-Algorithmus, ermittelt werden.
In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort auf die Feststellung, dass die beim Training des trainierbaren Moduls gelernten Zusammenhänge auf den Eingangsgrößenwert anwendbar sind, aus einem vom trainierbaren Modul, und/oder seinen Abwandlungen, zu diesem Eingangsgrößenwert gelieferten Ausgangsgrößenwert ein Ansteuersignal ermittelt. Ein Fahrzeug, und/oder ein Klassifikationssystem, und/oder ein System für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System zur medizinischen Bildgebung, wird mit diesem Ansteuersignal angesteuert. Auf diese Weise können derartige technische Systeme vor negativen Auswirkungen geschützt werden, die sich daraus ergeben können, dass für einen außerhalb der durch Training des trainierbaren Moduls erworbenen „Qualifikation“ liegenden Eingangsgrößenwert ein für die jeweilige Anwendung völlig unzutreffender Ausgangsgrößenwert erzeugt wird.
In einer weiteren vorteilhaften Ausgestaltung werden in Antwort darauf, dass die beim Training des trainierbaren Moduls gelernten Zusammenhänge nicht auf den Eingangsgrößenwert anwendbar sind, Gegenmaßnahmen ergriffen, um einen nachteiligen Einfluss eines vom trainierbaren Modul, und/oder seinen Abwandlungen, zu diesem Eingangsgrößenwert gelieferten Ausgangsgrößenwerts auf ein technisches System zu unterbinden. Wie zuvor erläutert, kann das Kriterium hierfür strenger sein (etwa „jenseits des 99-%-Quantils der Verteilung“) als das Kriterium dafür, dass die gelernten Zusammenhänge anwendbar sind (etwa „innerhalb des 95-%-Quantils“). Es kann also Eingangsgrößenwerte geben, für die keine der beiden Bedingungen zutrifft, und diese Eingangsgrößenwerte können dann wahlweise beispielsweise verworfen oder ebenfalls zur Generierung eines Ansteuersignals verwendet werden, eventuell verbunden mit einer Warnung, dass das technische System auf einen Grenzbereich zusteuert.
Die möglichen Gegenmaßnahmen für den Fall, dass die gelernten Zusammenhänge nicht anwendbar sind, sind vielfältig und können einzeln oder in Kombination ergriffen werden, beispielsweise in einer Hierarchie von Eskalationsstufen. Beispielsweise kann

• der Ausgangsgrößenwert unterdrückt werden; und/oder
• eine Korrektur und/oder ein Ersatz für den Ausgangsgrößenwert ermittelt werden; und/oder
• ein zu dem Eingangsgrößenwert gehörender Lern-Ausgangsgrößenwert für das weitere Training des trainierbaren Moduls angefordert werden („Nachlabeln“); und/oder
• eine Aktualisierung für das trainierbare Modul angefordert werden; und/oder
• ein unter Nutzung des trainierbaren Moduls angesteuertes technisches System in seiner Funktionalität eingeschränkt oder außer Betrieb gesetzt werden, und/oder
• ein weiteres Sensorsignal von einem weiteren Sensor angefordert werden.

Beispielsweise kann in einem zumindest teilweise automatisierten Fahrzeug der Fahrkomfort progressiv immer weiter eingeschränkt werden, etwa durch Veränderung der Fahrdynamik oder durch Abschalten von Komfortfunktionen wie Heizung oder Klimaanlage, um ein nach einer Änderung des Verkehrszeichen-Katalogs fälliges Update des trainierbaren Moduls zu erzwingen. In letzter Konsequenz kann, etwa nach einer in Zeit oder Kilometern definierten Karenzperiode, die automatisierte Fahrfunktion komplett deaktiviert werden.
Im Bereich der medizinischen Bildgebung ist als Gegenmaßnahme insbesondere die Aufforderung zum Nachlabeln sinnvoll. Beispielsweise kann das trainierbare Modul dafür trainiert worden sein, anhand von Bildern eines menschlichen Auges den Ausprägungsgrad einer diabetischen Retinopathie durch Klassifikation oder Regression zu ermitteln. Wenn ein aufgenommenes Bild nun alternativ oder zusätzlich zur diabetischen Retinopathie auf grauen Star hindeutet, dann kann dies durch einen menschlichen Experten, der für das Nachlabeln zuständig ist, erkannt werden.
Analog kann beispielsweise in einem System zur Qualitätskontrolle neben den Fehlern, auf deren Erkennung das trainierbare Modul trainiert worden ist, plötzlich ein neues Fehlerbild auftreten. Durch die Erkennung, dass auf die (etwa mit sichtbarem Licht, Infrarot oder Ultraschall) aufgenommenen Messungen die beim Training des trainierbaren Moduls gelernten Zusammenhänge plötzlich nicht mehr anwendbar sind, kann überhaupt erst die Aufmerksamkeit auf das neue Fehlerbild gelenkt werden.
Ein von einem weiteren Sensor angefordertes Sensorsignal kann beispielsweise genutzt werden, um den Ausgangsgrößenwert direkt zu korrigieren und/oder zu ersetzen. Es kann aber auch beispielsweise genutzt werden, um den Eingangsgrößenwert zu korrigieren und/oder zu ersetzen und auf diesem Wege zu einem für die Anwendung zutreffenderen Ausgangsgrößenwert zu gelangen. Beispielsweise kann ein aus einem optischen Bild oder Video ermittelter Eingangsgrößenwert durch zusätzliche Information aus einer Radar- und/oder Lidar-Aufnahme der gleichen Szenerie modifiziert werden.
Eine Korrektur und/oder ein Ersatz für den Ausgangsgrößenwert kann beispielsweise von einem separaten KNN angefordert werden, welches insbesondere beispielsweise spezifisch dazu ausgebildet sein kann, robuster gegenüber Ausreißern und anderen Spezialfällen zu sein. Dieses separate KNN kann beispielsweise in einer Cloud leben, so dass für seine Inferenz mehr Rechenkapazität zur Verfügung steht als an Bord eines Fahrzeugs.
Das trainierbare Modul kann für die Nutzung des zuvor beschriebenen Verfahrens insbesondere hergerichtet werden, indem auf der Basis von beim Training verwendeten Lern-Eingangsgrößenwerten eine Verteilung der sich jeweils ergebenden Unsicherheiten der Ausgangsgrößenwerte ermittelt wird.
Daher bezieht sich die Erfindung auch auf ein Verfahren zum Trainieren eines trainierbaren Moduls. Das Training erfolgt mit Lern-Datensätzen, die Lern-Eingangsgrößenwerte und zugehörige Lern-Ausgangsgrößenwerte enthalten. Lern-Eingangsgrößenwerte (einige, viele oder auch alle aus der insgesamt verfügbaren Menge) werden in der beschriebenen Weise den Abwandlungen des trainierbaren Moduls zugeführt, und für jeden einzelnen Lern-Eingangsgrößenwert wird in der beschriebenen Weise die Unsicherheit der hieraus erzeugten Lern-Ausgangsgrößenwerte ermittelt. Über die in dieser Weise genutzten Lern-Eingangsgrößenwerte wird dann eine Verteilung der Unsicherheiten ermittelt.
Die Abwandlungen können insbesondere in der gleichen Weise hergeleitet werden wie für das Verfahren zum Betreiben zuvor beschrieben.
Die Verfahren können insbesondere ganz oder teilweise in Software implementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zum Betreiben eines trainierbaren Moduls 1;
2 Ausführungsbeispiel des Verfahrens 200 zum Trainieren eines trainierbaren Moduls 1;
3 Beispiele von Verteilungen 13* der Dichte der Unsicherheiten 13b, anhand derer erkennbar ist, dass die vom trainierbaren Modul gelernten Zusammenhänge auf bestimmte Eingangsgrößenwerte nicht mehr anwendbar sind;
4 Erläuterung des inkrementellen Updates der Verteilung 13* während des Betriebes des trainierbaren Moduls 1.

1 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. In Schritt 110 wird mindestens ein Eingangsgrößenwert 11, der durch das trainierbare Modul 1 aktuell zu verarbeiten ist, mehreren Abwandlungen 1a-1c des trainierbaren Moduls 1 zugeführt.
Dabei können die Abwandlungen gemäß Block 111 erhalten werden, indem unterschiedliche Neuronen eines KNN per „Drop-out“ deaktiviert werden. Alternativ oder in Kombination hierzu können gemäß Block 112 Parameter, die das Verhalten des trainierbaren Moduls 1 charakterisieren, variiert werden. Weiterhin können alternativ oder in Kombination hierzu gemäß Block 113 Verbindungen zwischen Neuronen in dem KNN deaktiviert werden.
Die unterschiedlichen Abwandlungen 1a-1c des trainierbaren Moduls 1 erzeugen aus ein und demselben Eingangsgrößenwert 11 unterschiedliche Ausgangsgrößenwerte 13. In Schritt 120 wird aus diesen Ausgangsgrößenwerten 13 eine Unsicherheit 13b bestimmt. In Schritt 130 wird diese Unsicherheit 13b mit einer Verteilung 13* von Unsicherheiten 13b, die auf beim Training des trainierbaren Moduls 1 verwendeten Lern-Eingangsgrößenwerten 11a und/oder auf weiteren Test-Eingangsgrößenwerten 11c, auf die die beim Training gelernten Zusammenhänge anwendbar sind, verglichen. Aus dem Ergebnis 130a wird in Schritt 140 ermittelt, inwieweit die beim Training des trainierbaren Moduls 1 gelernten Zusammenhänge auf den eingangs zugeführten, konkret durch das trainierbare Modul 1 zu verarbeitenden Eingangsgrößenwert 11 anwendbar sind.
Gemäß Block 141 kann beispielsweise in Antwort darauf, dass die Unsicherheit 13b innerhalb eines vorgegebenen Quantils der Verteilung 13* liegt, die Feststellung 140a getroffen werden, dass die beim Training des trainierbaren Moduls 1 gelernten Zusammenhänge auf den Eingangsgrößenwert 11 anwendbar sind.
Gemäß Block 142 kann beispielsweise in Antwort darauf, dass die Unsicherheit 13b außerhalb eines vorgegebenen Quantils der Verteilung 13* liegt, die Feststellung 140b getroffen werden, dass die beim Training des trainierbaren Moduls 1 gelernten Zusammenhänge nicht auf den Eingangsgrößenwert 11 anwendbar sind.
Gemäß Block 143 kann beispielsweise in Antwort darauf, dass die Unsicherheit 13b kleiner als ein vorgegebener Anteil der kleinsten Unsicherheiten 13b in der Verteilung 13* oder größer als ein vorgegebener Anteil der größten Unsicherheiten 13b in der Verteilung 13* ist, die Feststellung 140b getroffen werden, dass die beim Training des trainierbaren Moduls 1 gelernten Zusammenhänge nicht auf den Eingangsgrößenwert 11 anwendbar sind.
Auf der Basis der in Schritt 140 gegebenenfalls getroffenen Feststellungen 140a, 140b können nun verschiedene Maßnahmen getroffen werden, die in 1 beispielhaft dargestellt sind.
In Antwort auf die Feststellung 140a, dass die beim Training des trainierbaren Moduls 1 gelernten Zusammenhänge auf den Eingangsgrößenwert 11 anwendbar sind, kann in Schritt 150 die Verteilung 13* unter Heranziehung dieses Eingangsgrößenwerts 11 aktualisiert werden.
Hierzu kann beispielsweise gemäß Block 151 ein Satz von Größen 15, die jeweils von einer über alle zu der Verteilung 13* beitragenden Eingangsgrößenwerte 11 und/oder Unsicherheiten 13b gebildeten Summe abhängen, durch Hinzufügen eines weiteren Summanden aktualisiert werden. Aus diesen Größen 15 kann dann gemäß Block 152 die aktualisierte Verteilung 13**, und/oder ein Satz von Parametern 16, der diese aktualisierte Verteilung 13** charakterisiert, ermittelt werden. Die aktualisierte Verteilung 13** kann anschließend als neue Verteilung 13* verwendet werden.
Weiterhin kann in Antwort auf die Feststellung 140a der Eingangsgrößenwert 11 in Schritt 160 durch das trainierbare Modul 1, und/oder durch eine oder mehrere der Abwandlungen 1a-1c, zu einem Ansteuersignal 5 verarbeitet werden. Mit diesem Ansteuersignal 5 kann dann in Schritt 170 ein Fahrzeug 50, und/oder ein Klassifikationssystem 60, und/oder ein System 70 für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System 80 zur medizinischen Bildgebung, angesteuert werden.
Ist hingegen die Feststellung 140b getroffen worden, dass die beim Training des trainierbaren Moduls 1 gelernten Zusammenhänge nicht auf den Eingangsgrößenwert 11 anwendbar sind, so können Gegenmaßnahmen 180 ergriffen werden, um einen nachteiligen Einfluss eines auf der Basis eines solchen Eingangsgrößenwerts 11 möglicherweise ermittelten unzutreffenden Ausgangsgrößenwerts auf ein technisches System 50, 60, 70, 80 zu unterbinden. Beispielsweise kann

• gemäß Option 180a der Ausgangsgrößenwert unterdrückt werden; und/oder
• gemäß Option 180b eine Korrektur und/oder ein Ersatz für den Ausgangsgrößenwert ermittelt werden; und/oder
• gemäß Option 180c ein zu dem Eingangsgrößenwert gehörender Lern-Ausgangsgrößenwert für das weitere Training des trainierbaren Moduls angefordert werden („Nachlabeln“,); und/oder
• gemäß Option 180d eine Aktualisierung für das trainierbare Modul angefordert werden; und/oder
• gemäß Option 180e ein unter Nutzung des trainierbaren Moduls angesteuertes technisches System in seiner Funktionalität eingeschränkt oder außer Betrieb gesetzt werden; und/oder
• gemäß Option 180f ein weiteres Sensorsignal von einem weiteren Sensor angefordert werden.

2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Trainieren eines trainierbaren Moduls 1. In Schritt 210 werden Lern-Eingangsgrößenwerte 11a, die für das Training verwendet werden, Abwandlungen 1a-1c des trainierbaren Moduls 1 zugeführt, welche beispielsweise in gleicher Weise gebildet werden können wie im Zusammenhang mit 1 beschrieben (Blöcke 111 bis 113). Wie im Zusammenhang mit 1 beschrieben, entstehen hierbei für ein und denselben Lern-Eingangsgrößenwert 11a mehrere Ausgangsgrößenwerte 13, so dass aus den wechselseitigen Abweichungen in Schritt 220 die Unsicherheit 13b ermittelt werden kann. In Schritt 230 wird über die verwendeten Lern-Eingangsgrößenwerte 11a eine Verteilung 13* der Unsicherheiten 13b ermittelt.
3 verdeutlicht das Grundprinzip der beschriebenen Verfahren an Hand beispielhafter realer Verteilungen von Unsicherheiten. Ein trainierbares Modul 1 wurde beispielhaft darauf trainiert, die im MNIST-Datensatz enthaltenen Bilder handgeschriebener Ziffern als Eingangsgrößenwerte 11 zu verarbeiten und hierzu jeweils als Ausgangsgrößenwert 13 diejenige Ziffer von 0 bis 9, die das Bild repräsentiert, zu liefern. Nach Abschluss des Trainings wurde für von den Lern-Eingangsgrößenwerten 11a separate Test-Eingangsgrößenwerte 11c, die ebenfalls Bilder mit handgeschriebenen Ziffern sind, eine Verteilung 13* der Unsicherheiten 13b ermittelt, die sich bezüglich der von den verschiedenen Abwandlungen 1a-1c ermittelten Ausgangsgrößen 13 ergeben.
Kurve a in 3 zeigt eine an die Unsicherheiten 13b angefittete Beta-Verteilung 13*. Kurve b zeigt einen an die gleichen Unsicherheiten 13b angefitteten Kerndichteschätzer als Verteilung 13*. Diesen beiden Verteilungen 13* ist gemein, dass geringe Unsicherheiten sehr stark gehäuft auftreten und somit beispielsweise das 95-%-Quantil auf der Skala der Unsicherheit 13b vergleichsweise niedrig liegt.
Kurve c zeigt eine Beta-Verteilung 13* und Kurve d einen Kerndichteschätzer als Verteilung 13* für einen Extremfall, in dem die für die Bestimmung der Unsicherheiten 13b verwendeten Test-Eingangsgrößenwerte überhaupt nichts mit der Anwendung zu tun haben, auf die das trainierbare Modul 1 trainiert wurde. Konkret wurden Bilder aus dem Fashion-MNIST-Datensatz verwendet, die Kleidung, Schuhe und Accessoires aus der Produktpalette des Versenders Zalando zeigen. Die Verteilungen 13* sind über einen großen Bereich verschmiert und sehr flach. Nennenswerte Häufigkeiten von Unsicherheiten 13b treten überhaupt erst bei höheren Werten der Unsicherheiten 13b auf, bei denen die auf der Basis der Lern-Eingangsdaten 11a ermittelten Verteilungen 13* schon keine nennenswerten Häufigkeiten von Unsicherheiten 13b mehr aufweisen.
Somit ergibt sich mit dem beschriebenen Verfahren für den Fall, dass das trainierbare Modul 1 auf Bildern handgeschriebener Ziffern trainiert wurde und nun plötzlich mit einem Bild eines Kleidungsstücks konfrontiert wird, ein sehr deutliches Signal, dass die vom trainierbaren Modul im Laufe seines Trainings gelernten Zusammenhänge in Bezug auf handgeschriebene Ziffern nicht auf Bilder von Kleidungsstücken anwendbar sind.
4 verdeutlicht die fortwährende Aktualisierung der Verteilung 13* während des Betriebes des trainierbaren Moduls 1. Kurve a zeigt eine Verteilung 13* der Unsicherheiten 13b, die auf der Basis der Lern-Eingangsgrößenwerte 11a des trainierbaren Moduls 1 ermittelt wurde. Dies entspricht einem beispielhaften Zustand, in dem das trainierbare Modul 1 an einen Endkunden ausgeliefert werden kann. Kurve b zeigt eine beispielhafte Verteilung 13* von Unsicherheiten 13b, die sich bezüglich weiterer im Betrieb des trainierbaren Moduls 1 vorkommender Test-Eingangsgrößenwerte 11c ergeben kann. Diese Verteilung 13* ist stark zu kleineren Unsicherheiten 13b hin konzentriert, was bedeutet, dass diese Test-Eingangsgrößenwerte 11c gut zu der Anwendung passen, auf die das trainierbare Modul 1 trainiert worden ist. Wenn diese Test-Eingangsgrößenwerte 11c jeweils in dem Moment, in dem sie als zu den vom trainierbaren Modul gelernten Zusammenhängen passend identifiziert wurden (Feststellung 140a), für die inkrementelle Aktualisierung der für den Test künftig vorgelegter Eingangsgrößenwerte 11 verwendeten Verteilung 13* genutzt werden, kann sich diese Verteilung 13* beispielsweise von der Kurve a zu der Kurve c wandeln.

Claims

Verfahren (100) zum Betreiben eines trainierbaren Moduls (1), welches einen oder mehrere Eingangsgrößenwerte (11) in eine oder mehrere Ausgangsgrößenwerte (13) übersetzt, wobei die Eingangsgrößenwerte (11) Messdaten umfassen, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden, mit den Schritten: • mindestens ein Eingangsgrößenwert (11) wird Abwandlungen (1a-1c) des trainierbaren Moduls (1) zugeführt (110), wobei sich die Abwandlungen (1a-1c) so weit voneinander unterscheiden, dass sie nicht durch fortschreitendes Lernen deckungsgleich ineinander überführbar sind; • aus der Abweichung der Ausgangsgrößenwerte (13), in die die Abwandlungen (1a-1c) den Eingangsgrößenwert (11) jeweils übersetzen, voneinander wird ein Maß für die Unsicherheit (13b) der Ausgangsgrößenwerte (13) ermittelt (120); • die Unsicherheit (13b) wird mit einer Verteilung (13*) von Unsicherheiten (13b) verglichen (130), die für beim Training des trainierbaren Moduls (1) verwendete Lern-Eingangsgrößenwerte (11a), und/oder für weitere Test-Eingangsgrößenwerte (11c), auf die die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge anwendbar sind, ermittelt wurde; • aus dem Ergebnis (130a) des Vergleichs (130) wird ausgewertet (140), inwieweit die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge auf den Eingangsgrößenwert (11) anwendbar sind (140a, 140b).
Verfahren (100) nach Anspruch 1, wobei die Abwandlungen (1a-1c) gebildet werden, indem • verschiedene Neuronen in einem künstlichen neuronalen Netzwerk, KNN, das in dem trainierbaren Modul (1) enthalten ist, deaktiviert werden (111), und/oder • Parameter, die das Verhalten des trainierbaren Moduls (1) charakterisieren, variiert werden (112), und/oder • Verbindungen zwischen Neuronen in dem KNN deaktiviert werden (113).
Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei in Antwort darauf, dass die Unsicherheit (13b) innerhalb eines vorgegebenen Quantils der Verteilung (13*) liegt, festgestellt wird (141), dass die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge auf den Eingangsgrößenwert (11) anwendbar sind (140a).
Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei in Antwort darauf, dass die Unsicherheit (13b) außerhalb eines vorgegebenen Quantils der Verteilung (13*) liegt, festgestellt wird (142), dass die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge nicht auf den Eingangsgrößenwert (11) anwendbar sind (140b).
Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei in Antwort darauf, dass die Unsicherheit (13b) kleiner als ein vorgegebener Anteil der kleinsten Unsicherheiten (13b) in der Verteilung (13*) oder größer als ein vorgegebener Anteil der größten Unsicherheiten (13b) in der Verteilung (13*) ist, festgestellt wird (143), dass die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge nicht auf den Eingangsgrößenwert (11) anwendbar sind (140b).
Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei ein trainierbares Modul (1) gewählt wird, das als Klassifikator und/oder als Regressor ausgebildet ist.
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei in Antwort auf die Feststellung (140a), dass die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge auf den Eingangsgrößenwert (11) anwendbar sind, die Verteilung (13*) unter Heranziehung des Eingangsgrößenwerts (11) aktualisiert wird (150).
Verfahren (100) nach Anspruch 7, wobei • ein Satz von Größen (15), die jeweils von einer über alle zu der Verteilung (13*) beitragenden Eingangsgrößenwerte (11) und/oder Unsicherheiten (13b) gebildeten Summe abhängen, durch Hinzufügen eines weiteren Summanden aktualisiert wird (151) und • die aktualisierte Verteilung (13**), und/oder ein Satz von Parametern (16), der diese aktualisierte Verteilung (13**) charakterisiert, aus diesen Größen (15) ermittelt wird (152).
Verfahren (100) nach Anspruch 8, wobei die Parameter (16) mit der Momentenmethode, und/oder mit der Maximum-Likelihood-Methode, und/oder mit der Bayes-Schätzung, geschätzt werden (152a).
Verfahren (100) nach einem der Ansprüche 1 bis 9, wobei in Antwort auf die Feststellung (140a), dass die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge auf den Eingangsgrößenwert (11) anwendbar sind, • aus einem vom trainierbaren Modul (1), und/oder seinen Abwandlungen (1a-1c), zu diesem Eingangsgrößenwert (11) gelieferten Ausgangsgrößenwert (13) ein Ansteuersignal (5) ermittelt wird (160) und • ein Fahrzeug (50), und/oder ein Klassifikationssystem (60), und/oder ein System (70) für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System (80) zur medizinischen Bildgebung, mit diesem Ansteuersignal (5) angesteuert wird (170).
Verfahren (100) nach einem der Ansprüche 1 bis 10, wobei in Antwort auf die Feststellung (140b), dass die beim Training des trainierbaren Moduls (1) gelernten Zusammenhänge nicht auf den Eingangsgrößenwert (11) anwendbar sind, Gegenmaßnahmen (180) ergriffen werden, um einen nachteiligen Einfluss eines vom trainierbaren Modul (1), und/oder seinen Abwandlungen (1a-1c), zu diesem Eingangsgrößenwert (11) gelieferten Ausgangsgrößenwerts (13) auf ein technisches System (50, 60, 70, 80) zu unterbinden.
Verfahren (100) nach Anspruch 11, wobei die Gegenmaßnahmen (180) beinhalten, dass • der Ausgangsgrößenwert (13) unterdrückt wird (180a); und/oder • eine Korrektur und/oder ein Ersatz für den Ausgangsgrößenwert (13) ermittelt wird (180b); und/oder • ein zu dem Eingangsgrößenwert (11) gehörender Lern-Ausgangsgrößenwert (13a) für das weitere Training des trainierbaren Moduls (1) angefordert wird (180c); und/oder • eine Aktualisierung für das trainierbare Modul (1) angefordert wird (180d); und/oder • ein unter Nutzung des trainierbaren Moduls (1) angesteuertes technisches System (50, 60, 70, 80) in seiner Funktionalität eingeschränkt oder außer Betrieb gesetzt wird (180e), und/oder • ein weiteres Sensorsignal von einem weiteren Sensor angefordert wird (180f).
Verfahren (200) zum Trainieren eines trainierbaren Moduls (1), welches eine oder mehrere Eingangsgrößenwerte (11) in eine oder mehrere Ausgangsgrößenwerte (13) übersetzt, mittels Lern-Datensätzen (2), die Lern-Eingangsgrößenwerte (11a) und zugehörige Lern-Ausgangsgrößenwerte (13a) enthalten, wobei mindestens die Lern-Eingangsgrößenwerte (11a) Messdaten umfassen, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden, mit den Schritten: • Lern-Eingangsgrößenwerte (11a) werden Abwandlungen (1a-1c) des trainierbaren Moduls (1) zugeführt (210), wobei sich die Abwandlungen (1a-1c) so weit voneinander unterscheiden, dass sie nicht durch fortschreitendes Lernen deckungsgleich ineinander überführbar sind; • aus der Abweichung der Ausgangsgrößenwerte (13), in die die Abwandlungen (1a-1c) ein und denselben Lern-Eingangsgrößenwert (11a) jeweils übersetzen, voneinander wird ein Maß für die Unsicherheit (13b) der Ausgangsgrößenwerte (13) ermittelt (220); • es wird eine Verteilung (13*) der Unsicherheiten (13b) ermittelt (230).
Verfahren (100, 200) nach einem der Ansprüche 1 bis 13, wobei die Verteilung mit einem parametrisierten Ansatz als statistische Verteilung modelliert wird, wobei die Parameter des Ansatzes sich exakt und/oder näherungsweise durch die Momente der statistischen Verteilung ausdrücken lassen.
Verfahren (100, 200) nach Anspruch 14, wobei die Parameter des Ansatzes nach einer Likelihood-Methode und/oder nach einer Bayesschen Methode, wie etwa mit dem Expectation-Maximization-Algorithmus, mit dem Expectation/Conditional-Maximization-Algorithmus, mit dem Expectation-Conjugate-Gradient-Algorithmus, mit einem Newton-basierten Verfahren, mit einem Markov Chain Monte Carlo-basierten Verfahren, und/oder mit einem stochastischen Gradienten-Algorithmus, ermittelt werden.
Verfahren (100, 200) nach einem der Ansprüche 1 bis 15, wobei die Verteilung als Verteilung aus der Exponentialfamilie, wie etwa als Normalverteilung, als Exponentialverteilung, als Gamma-Verteilung, als Chi-Quadrat-Verteilung, als Beta-Verteilung, als Exponential-Weibull-Verteilung, und/oder als Dirichlet-Verteilung, modelliert wird.
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 1 bis 16 auszuführen.
Maschinenlesbarer Datenträger und/oder Downloadprodukt mit dem Computerprogramm.
Computer, ausgerüstet mit dem Computerprogramm nach Anspruch 17, und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt nach Anspruch 18.