-
Technisches Gebiet
-
Die Erfindung betrifft Sensormodelle zur Auswertung von Zeitreihendaten und zur Bestimmung eines Change-Point-Zeitpunkts. Insbesondere betrifft die vorliegende Erfindung Verfahren zum Bewerten einer Robustheit eines trainierten datenbasierten Sensormodells.
-
Technischer Hintergrund
-
Datenbasierte Modelle werden vielfältig zur Auswertung von Daten im Bereich des Steuerns, Regelns und Überwachens von technischen Systemen eingesetzt. Eine Anwendung besteht darin, Zeitreihendaten nach einem sogenannte Change-Point-Zeitpunkt zu untersuchen, d. h. einem Zeitpunkt, zu dem eine signifikante Änderung des Systemverhaltens auftritt. Hierzu werden häufig datenbasierte Klassifikationsmodelle verwendet, die eingangsseitig Zeitreihendaten einer Eingangsgröße erhalten und diese auf einen Ausgangsvektor abbilden, bei dem der Indexwert des Elements mit dem höchsten bzw. niedrigsten Wert auf den Change-Point-Zeitpunkt hinweist.
-
Datenbasierte Modelle haben jedoch den Nachteil, dass diese kein nachvollziehbares Verhalten aufweisen und somit nicht ohne Weiteres eine Aussage über die Qualität und Robustheit des datenbasierten Modells gemacht werden kann. Insbesondere bei einem Einsatz in sicherheitskritischen technischen Systemen ist eine quantifizierte Angabe über die Robustheit bezüglich Störeinflüssen hilfreich, um eine Modell-Performance für eine bestimmte Anwendung zu zertifizieren.
-
Offenbarung der Erfindung
-
Erfindungsgemäß sind ein Verfahren zum Bewerten einer Robustheit eines datenbasierten Sensormodells gemäß Anspruch 1 sowie eine Vorrichtung gemäß dem nebengeordneten Anspruch vorgesehen.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Computer-implementiertes Verfahren zur Bestimmung eines Robustheitsmaßes über eine Robustheit eines bereitgestellten, trainierten datenbasierten Sensormodells zur Auswertung eines Eingangsdatensatzes mit mindestens einer Signalzeitreihe vorgesehen, um eine Modellausgabe, die einen Change-Point-Zeitpunkt repräsentiert, zu bestimmen, mit folgenden Schritten:
- - Bereitstellen von insbesondere ungelabelten Validierungs-Eingangsdatensätzen für das Sensormodell;
- - Bestimmen von robust Validierungs-Eingangsdatensätzen, die ein erstes und/oder zweites Robustheitskriterium erfüllen;
- - Bestimmen eines Anteils von robusten Validierungs-Eingangsdatensätzen an der gesamten Anzahl von Validierungs-Eingangsdatensätzen, um das Robustheitsmaß zu erhalten.
-
Wie eingangs beschrieben, betrifft das obige Verfahren ein datenbasiertes Sensormodell zur Auswertung einer Signalzeitreihe z. B. eines herkömmlichen Sensors, der kontinuierlich in Abtastschritten abgetastet wird. Ein solcher Sensor kann beispielsweise ein Drucksensor, ein Massenstromsensor, ein Beschleunigungssensor, ein Vibrationssensor, ein Strahlungssensor oder dergleichen sein. Derartige Sensoren werden zum Überwachen einer zeitlichen Änderung in der Regel zeitlich kontinuierlich mit einer vorbestimmten Abtastfrequenz abgetastet und so eine Sensorsignalzeitreihe in analoger oder digitalisierter Weise bereitgestellt. Ein solche Signalzeitreihe kann in vielfältiger Weise ausgewertet werden.
-
Zum Überwachen von Systemzuständen ist es häufig notwendig, einen Zeitpunkt zu detektieren, zu dem in dem zu vermessenden technischen System eine signifikante Zustandsänderung auftritt. Ein solcher Zeitpunkt wird Change-Point-Zeitpunkt genannt.
-
Eine Gruppe von datenbasierten Sensormodellen hat sich zur Auswertung einer Sensorsignalzeitreihe zur Ermittlung eines Change-Point-Zeitpunkts besonders bewährt. Dazu wird die Sensorsignalzeitreihe gesampelt und ein Zeitabschnitt des Sensorsignals durch ein Auswertungszeitfenster ausgewählt. Der innerhalb des Auswertungszeitfensters erfasste Abschnitt der Sensorsignalzeitreihe wird als Auswertungssignalzeitreihe in Form eines Eingangsvektors dem Sensormodell zugeführt. Dieses kann als datenbasiertes Klassifikationsmodell konfiguriert sein, sodass abhängig von dem Eingangsvektor ein Ausgabevektor ausgegeben wird, der als Klassifikationsvektor ausgebildet ist. Dieser Klassifikationsvektor weist in der Regel eine Dimensionalität mit einer Anzahl von Elementen auf, denen jeweils eine Klasse zugeordnet ist und die jeweils einem bestimmten Zeitpunkt innerhalb des Auswertungszeitfensters der Sensorsignalzeitreihe zugeordnet sind. Der argmax des Klassifikationsvektors entspricht der zu bestimmenden Klassifizierung, d. h. der Indexwert des betreffenden Elements im Ausgabevektor entspricht einem bestimmten zuvor festgelegten Zeitpunkt innerhalb des Auswertungszeitfensters. Somit kann das Sensormodell ausgebildet sein, um den Change-Point-Zeitpunkt als einen Klassifikationsvektor anzugeben, wobei der Change-Point-Zeitpunkt als argmax des Klassifikationsvektors angegeben wird.
-
Durch die Nutzung des Sensormodells als Klassifikationsmodell wird eine Auswertungssignalzeitreihe klassifiziert und dadurch entsprechend einem trainierten Sensormodell ein Change-Point-Zeitpunkt in der Sensorsignalzeitreihe innerhalb des gewählten Auswertungssignalfensters bestimmt. Der Wert des Elements des Klassifikationsvektors, d. h. in der Regel das Element mit dem höchsten Wert, weist dann einen Indexwert auf, der den Zeitpunkt in der Sensorsignalzeitreihe bestimmt, der dem Change-Point-Zeitpunkt entspricht.
-
Das Trainieren eines solchen datenbasierten Sensormodells erfolgt üblicherweise vorzugsweise mit vorgegebenen Trainingsdatensätzen in an sich bekannter Weise. Die Trainingsdatensätze weisen einem Eingangsdatensatz, in dem mindestens eine Signalzeitreihe repräsentiert ist, die man z. B. durch Sampeln eines Sensorsignals innerhalb eines vorgegebenen Auswertungssignalzeitfensters erhalten kann, einen Klassifikationsvektor als Label zu. Eine Modellauswertung erfolgt durch Vorgeben eines entsprechenden Eingangsdatensatzes, um durch Vorwärtsberechnung des Sensormodells einen Klassifikationsvektor zu erhalten.
-
Ein Problem bei rein auf neuronalen Netzen basierenden datenbasierten Sensormodellen besteht darin, dass das Verhalten des Sensormodells schwer vorhersehbar ist und eine Ausgabe des Sensormodells innerhalb eines bestimmten Wertebereichs nicht garantiert werden kann. Dadurch ist ein Einsatz in sicherheitskritischen Systemen, wie z. B. in Systemen mit Fahrrelevanz bei Kraftfahrzeugen und dergleichen, in der Regel nicht zulässig.
-
Zudem besteht eine Schwierigkeit darin, das Sensormodell hinsichtlich seiner Robustheit gegenüber Störeinflüssen zu bewerten. Insbesondere bei der Auswertung von Sensorsignalen können in den entsprechenden Signalzeitreihen Störgrößen enthalten sein. Diese dürfen jedoch nur einen begrenzten Einfluss auf die Modellauswertung des datenbasierten Klassifikationsmodells haben.
-
Gängige Verfahren sehen daher vor, die Robustheit eines trainierten datenbasierten Sensormodells zur Auswertung von mindestens einer Signalzeitreihe zur Ermittlung eines Change-Point-Zeitpunkts zur Verfügung zu stellen, wobei für eine vorgegebene Menge von Validierungs-Eingangsdatensätze überprüft wird, ob diese innerhalb einer vorgegebenen Maximalabweichung bleiben. Die Validierungs-Eingangsdatensätze entsprechen einer Teilmenge der zur Verfügung stehenden Trainingsdaten, die nicht für das Training des datenbasierten Sensormodells verwendet wird. Eine Robustheit kann beispielsweise als ein Anteil der Validierungs-Eingangsdatensätze, deren Label um mehr als eine vorgegebene Fehlerabweichungsschwelle (bei vorgegebener Distanzmetrik) von der Modellvorhersage abweicht, angegeben werden. Hier werden natürlicherweise nur die einzelnen Validierungs-Eingangsdatensätze punktweise bewertet nicht jedoch deren lokalen Umgebungen.
-
In der realen Anwendung liegen jedoch häufig ungelabelte Datensätze vor, d. h. z. B. Datensätze mit mindestens einer Signalzeitreihe, denen kein Change-Point-Zeitpunkt zugeordnet werden kann. Dennoch entspricht die Signalzeitreihe dem Ergebnis einer bestimmten Betriebsart des technischen Systems und enthält somit eine Information über die Beschaffenheit und Eigenschaften der mindestens einen Signalzeitreihe.
-
Das obige Verfahren sieht daher vor, die Robustheit mit einer vorgegebenen Menge von insbesondere ungelabelten Validierungs-Eingangsdatensätze zu überprüfen. Die Validierungs-Eingangsdatensätze müssen nicht mit Labeln versehen sein, da diese für das hierin beschriebene Verfahren nicht benötigt werden. Ein die Robustheit angebendes Robustheitsmaß kann beispielsweise als ein Anteil von als unrobust gekennzeichneten Validierungs-Eingangsdatensätze an der gesamten Anzahl von Validierungs-Eingangsdatensätzen bestimmt werden.
-
Dies ermöglicht beispielsweise eine kontinuierliche Kontrolle eines im Realbetrieb verwendeten Sensormodells hinsichtlich dessen Robustheit für die von dem technischen System bereitgestellte mindestens eine Signalzeitreihe. Die Auswertung erfolgt durch Ermittlung einer Shift-Consistency. Insbesondere werden die Validierungs-Eingangsdatensätze hinsichtlich deren Robustheiten basierend auf einem ersten Robustheitskriterium bzw. zweitem Robustheitskriterium überprüft.
-
So kann vorgesehen sein, dass das erste Robustheitskriterium angibt, dass ein Validierungs-Eingangsdatensatz robust ist, wenn eine Distanz zwischen einer Modellausgabe des Sensormodells für den betreffenden Validierungs-Eingangsdatensatz und einer Modellausgabe des Sensormodells für einen modifizierten Validierungs-Eingangsdatensatz einen durch eine erste Schwelle vorgegebenen ersten Schwellenwert unterschreitet, wobei der modifizierte Validierungs-Eingangsdatensatz einer zeitlichen Verschiebung der Signalzeitreihe in dem Eingangsdatensatz durch eine elementweise Verschiebung entspricht.
-
Somit sieht obiges Verfahren vor, das trainierte datenbasierte Sensormodell mit den Validierungs-Eingangsdatensätzen auszuwerten, indem für jeden Validierungs-Eingangsdatensatz überprüft wird, ob eine Distanz (entsprechend einer vorgegebenen Distanzmetrik) zwischen den Modellausgaben aus der Modellauswertung für zwei zueinander um eine vorbestimmte Anzahl von Stellen versetzte Signalzeitreihen (Links-Shift oder Rechts-Shift der Elemente des entsprechenden auszuwertenden Vektors) in dem betreffenden Validierungs-Eingangsdatensatz geringer ist als ein vorgegebener Schwellenwert, der die zeitliche Verschiebung, die die zeitliche Verschiebung der Signalzeitreihe in dem betreffenden Validierungs-Eingangsdatensatz berücksichtigt. Ist dies nicht der Fall, ist der Validierungs-Eingangsdatensatz unrobust.
-
Das zweite Robustheitskriterium kann angeben, dass ein Validierungs-Eingangsdatensatz robust ist, wenn eine maximale Distanz zwischen einem minimalen Grenzwert bzw. maximalen Grenzwert einer Modellausgabe des Sensormodells für den betreffenden Validierungs-Eingangsdatensatz und einem minimalen Grenzwert bzw. maximalen Grenzwert einer Modellausgabe des Sensormodells für einen modifizierten Validierungs-Eingangsdatensatz einen durch eine zweite Schwelle vorgegebenen zweiten Schwellenwert unterschreitet, wobei der modifizierte Validierungs-Eingangsdatensatz einer zeitlichen Verschiebung der Signalzeitreihe in dem Eingangsdatensatz durch eine elementweise Verschiebung entspricht, wobei sich der minimale bzw. maximale Grenzwert aus einer Verteilung von Modellausgaben von einer vorgegebenen Epsilon-Umgebung des Validierungs-Eingangsdatensatzes bzw. des modifizierten Validierungs-Eingangsdatensatzes, insbesondere durch Betrachten der Epsilon-Umgebung des Validierungs-Eingangsdatensatzes bzw. des modifizierten Validierungs-Eingangsdatensatzes ergibt. Dies kann mithilfe eines mathematischen Modells durchgeführt werden, das einen Bereich um einen Datenpunkt überabschätzt. Dabei ist der Bereich um den Datenpunkt durch eine vorgegebene Distanzmetrik und ein vorgegebenes Epsilon bestimmt. Dann wird mithilfe des mathematischen Modells ermittelt, ob eine Änderung der Klassifikation erfolgen kann bzw. wie groß diese in diesem Bereich ist.
-
Weiterhin wird somit als zweites Robustheitskriterium überprüft, ob die maximale Distanz zwischen den Robust Bounds der Modellauswertungen eines Validierungs-Eingangsdatensatz und eines entsprechenden modifizierten Validierungs-Eingangsdatensatz den vorgegebenen zweiten Schwellenwert übersteigt, Ist dies der Fall, ist der Validierungs-Eingangsdatensatz unrobust.
-
Der erste Schwellenwert bzw. der zweite Schwellenwert kann die zeitliche Verschiebung der Signalzeitreihe des Validierungs-Eingangsdatensatzes zum Bilden des modifizierten Validierungs-Eingangsdatensatzes berücksichtigen oder davon abhängen.
-
Das trainierte Sensormodell kann in Form eines tiefen neuronalen Netzes ausgebildet sein, das mehrere Neuronenschichten mit Neuronen umfasst, die mithilfe von Modellparametern parametriert sind. Das erste Robustheitskriterium kann angeben, dass ein Validierungs-Eingangsdatensatz robust ist, wenn eine Distanz zwischen der Modellausgabe eines ersten modifizierten Sensormodells für den betreffenden Validierungs-Eingangsdatensatz, dessen mindestens eine Signalzeitreihe um eine vorbestimmte Anzahl von Elementen vergrößert ist, und der Modellausgabe eines zweiten modifizierten Sensormodells für den betreffenden Validierungs-Eingangsdatensatz, dessen mindestens eine Signalzeitreihe um die vorbestimmte Anzahl von Elementen vergrößert ist, einen durch eine erste Schwelle vorgegebenen ersten Schwellenwert unterschreitet, wobei das erste und das zweite modifizierte Sensormodell durch Hinzufügen einer Anzahl von zusätzlichen Neuronen in der Eingang-Neuronenschicht gebildet sind, wobei die Modellparameter der Neuronen in der Eingangs-Neuronenschicht für das erste und das zweite modifizierte Sensormodell in unterschiedlichen Weisen in der vergrößerten Anzahl der Neuronen der betreffenden Eingangs-Neuronenschicht verschoben sind.
-
Das zweite Robustheitskriterium kann alternativ angeben, dass ein Validierungs-Eingangsdatensatz robust ist, wenn eine maximale Distanz zwischen einem minimalen Grenzwert bzw. maximalen Grenzwert einer Modellausgabe eines ersten modifizierten Sensormodells für den betreffenden Validierungs-Eingangsdatensatz, dessen mindestens eine Signalzeitreihe um eine vorbestimmte Anzahl von Elementen vergrößert ist, und einem minimalen Grenzwert bzw. maximalen Grenzwert einer Modellausgabe eines zweiten Sensormodells für den betreffenden Validierungs-Eingangsdatensatz, dessen mindestens eine Signalzeitreihe um eine vorbestimmte Anzahl von Elementen vergrößert ist, einen durch eine zweite Schwelle vorgegebenen zweiten Schwellenwert unterschreitet, wobei das erste und das zweite modifizierte Sensormodell durch Hinzufügen einer Anzahl von zusätzlichen Neuronen in einer Eingangs-Neuronenschicht gebildet sind, wobei die Modellparameter der Neuronen in der Eingangs-Neuronenschicht für das erste und das zweite modifizierte Sensormodell in unterschiedlichen Weisen an die vergrößerte Anzahl der Werte der Validierungs-Eingangsdatensätze angepasst sind.
-
Das trainierte Sensormodell kann in Form eines tiefen neuronalen Netzes ausgebildet sein, das mehrere Neuronenschichten mit Neuronen umfasst, die mithilfe von Modellparametern parametriert sind, wobei das zweite Robustheitskriterium angibt, dass ein Validierungs-Eingangsdatensatz robust ist, wenn eine maximale Distanz zwischen einem minimalen Grenzwert bzw. maximalen Grenzwert einer Modellausgabe einer ersten Modellauswertung für den betreffenden Validierungs-Eingangsdatensatz und einem minimalen Grenzwert bzw. maximalen Grenzwert einer zweiten Modellauswertung für den betreffenden Validierungs-Eingangsdatensatz einen durch eine zweite Schwelle vorgegebenen zweiten Schwellenwert unterschreitet, wobei die mindestens eine Signalzeitreihe des Validierungs-Eingangsdatensatzes um eine vorbestimmte Anzahl von Elementen vergrößert ist, wobei das Sensormodell eine Eingangsneuronenschicht mit einer Anzahl von zusätzlichen Neuronen ausgebildet ist, so dass die Eingangsneuronenschicht eine Anzahl von Elementen aufweist, die der Anzahl der Elemente des Validierungs-Eingangsdatensatzes entspricht, wobei die zweite Modellauswertung durch Verschieben der Modellparameter der Neuronen in der Eingangs-Neuronenschicht erfolgt.
-
Es kann vorgesehen sein, dass die Distanz mithilfe einer L2-Norm, L-infinity-Norm oder als Differenz zwischen den durch die Modellausgaben repräsentierten Change-Point-Zeitpunkten bestimmt wird.
-
Gemäß einem weiteren Aspekt ist eine Vorrichtung zur Durchführung des obigen Verfahrens vorgesehen.
-
Kurzbeschreibung der Zeichnungen
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 ein beispielhaftes Sensorsystem zum Ermitteln eines Change-Point-Zeitpunkts in einem Auswertungszeitfenster;
- 2 eine schematische Darstellung eines neuronalen Netzes mit Neuronen;
- 3 eine schematische Darstellung des Aufbaus zur Bestimmung einer Robustheit eines trainierten datenbasierten Klassifikationsmodells;
- 4 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Bestimmen der Robustheit des Klassifikationsmodells; und
- 5 eine veranschaulichende Darstellung der Verschiebung des Auswertungszeitfensters der Signalzeitreihe; und
- 6 eine schematische Darstellung eines als neuronales Netz ausgebildeten Sensormodells mit zusätzlichen Neuronen in der Eingangsneuronenschicht zur Realisierung einer Modellauswertung mit einer Verschiebung des Eingangsdatensatzes.
-
Beschreibung von Ausführungsformen
-
1 zeigt schematisch ein technisches System 1 in Form eines Sensorsystems mit einem Sensor 2, der zum Aufzeichnen und Erfassen von kontinuierlichen Messsignalen des technischen Systems 1 ausgelegt ist. Der Sensor 2 kann beispielsweise einem Drucksensor, einem Massenstromsensor, einem Temperatursensor, einem Beschleunigungssensor, einem Vibrationssensor, einem Strahlungssensor, einem Kamerasystem, einem Radar- oder Lidarsystem oder dergleichen entsprechen und in geeigneter Weise Sensordaten S bereitstellen. Die Sensordaten S werden in einem Abtastblock 3 abgetastet, so dass abgetastete Sensordaten E bereitgestellt werden.
-
Weiterhin können zusätzlich ein oder mehrere Zustandsgrößen Z des technischen Systems 1, die einen Zustand des technischen Systems 1 charakterisieren, erfasst und bereitgestellt werden. Die abgetasteten Sensordaten S und die eine oder die mehreren Zustandsgrößen Z bilden die Elemente eines Eingangsdatensatzes E für ein datenbasiertes Sensormodell 4. Der Eingangsdatensatz E liegt dazu unmittelbar oder normiert zur Weiterverarbeitung an dem datenbasierten Sensormodell 4 an.
-
Das Sensormodell 4 kann in Form eines datenbasierten Modells ausgebildet sein, das als Regressions- oder Klassifikationsmodell ausgebildet ist. Das datenbasierte Sensormodell 4 kann in an sich bekannter Weise einem tiefen neuronalen Netz mit mehreren Schichten von miteinander funktional gekoppelten Neuronen entsprechen. Alternativ kann das Sensormodell 4 auch mit einem rekurrenten neuronalen Netz, einem konvolutionellen neuronalen Netz oder einem sonstigen datenbasierten Modell ausgebildet sein. Das Sensormodell 4 kann eine Funktion aufweisen, die eine Weiterverarbeitung der Sensordaten, eine Regelung abhängig von den Sensordaten, eine Bestimmung einer technischen Größe abhängig von den Sensordaten oder dergleichen vorsieht.
-
Am Ausgang des Sensormodells 4 wird abhängig von dem Eingangsdatensatz E aus den Sensordaten S und der einen oder den mehreren Zustandsgrößen Z ein Ausgangsvektor A=m(E) als Auswertungsergebnis bereitgestellt, der eine gewünschte aus dem Eingangsdatensatz E extrahierte Information als Regression ein oder mehrere Regressionswerte oder als eine Klassifikation ein oder mehrere Klassenzuteilungen beinhaltet.
-
2 zeigt schematisch den Aufbau eines tiefen neuronalen Netzes 40 als Beispiel für ein Auswertungsmodell 4 mit mehreren Schichten L, die im gezeigten Ausführungsbeispiel einer Eingangsschicht L1, einer Innenschicht L2 und einer Ausgabeschicht L3, jeweils mit mehreren Neuronen 41, entsprechen.
-
Jedes Neuron 41 führt eine Neuronenfunktion auf zugeführte Eingangsgrößen von jedem Neuron der vorangegangenen Schicht bzw. des Eingangsvektors E aus. Die Neuronenfunktion beinhaltet eine Summenbildung von gemäß Gewichtungen W1, W2, ..., Wn eines Gewichtungsvektors W gewichteten Eingangsgrößen und einem Bias-Wert b, die Modellparameter des Sensormodells 4 darstellen. Die Gewichtungen werden von einer Gewichtungsmatrix W für die betreffende Schicht L2, L3 vorgegeben, der Bias-Wert ergibt sich aus einem für die betreffende Schicht vorgegebenen Bias-Vektor b. Der Summenwert wird ferner einer nichtlinearen Aktivierungsfunktion zugeführt, die beispielsweise einer ReLU-Funktion entsprechen kann.
-
Im Training des neuronalen Netzes werden für jede der Schichten L1, L2, L3 des neuronalen Netzes somit die Modellparameter in Form einer Gewichtungsmatrix W und eines Bias-Vektors b bestimmt.
-
Zum Training des Sensormodells können zunächst Trainingsdatensätze aus Eingangsdatensätzen und entsprechende zugeordnete Labels bereitgestellt werden. Alternativ kann das Sensormodell auch mit ungelabelten Trainingsdaten trainiert werden. Der Eingangsdatensatz kann eine oder mehrere Signalzeitreihen mit Elementen umfassen, die jeweils entsprechend einer Abtastrate zeitlich aufeinanderfolgende Werte von z. B. einem Sensorsignal beinhalten kann. Zusätzlich kann der Eingangsdatensatz eine oder mehrere Zustandsgrößen umfassen. Die Trainingsdatensätze weisen einem solchen Eingangsdatensatz ein Label zu, der bei einem Klassifikationsmodell als Sensormodell in Form eines Klassifikationsvektors ausgebildet ist. Der Klassifikationsvektor gibt den Change-Point-Zeitpunkt an.
-
Der Klassifikationsvektor weist in der Regel eine Dimensionalität mit einer Anzahl von Elementen auf, denen jeweils eine Klasse zugeordnet ist, wobei die Klasse jeweils einem bestimmten Zeitpunkt oder Zeitabschnitt innerhalb des Auswertungszeitfensters, der durch die Signalzeitreihe abgedeckt ist, zugeordnet ist. Der argmax des Klassifikationsvektors entspricht der zu bestimmenden Klassifizierung, d. h. der Indexwert des betreffenden Elements im Klassifikationsvektor entspricht einem der bestimmten, zuvor festgelegten Zeitpunkte innerhalb des von der Signalzeitreihe abgedeckten Auswertungszeitfensters. Somit kann das Klassifikationsmodell ausgebildet sein, um einen Change-Point-Zeitpunkt in Form des Klassifikationsvektors anzugeben, wobei der Change-Point-Zeitpunkt als argmax des Klassifikationsvektors angegeben wird. Dieser Klassifikationsvektor kann in einem Auswertungsblock 5 entsprechend der argmax-Funktion und einer Zuordnungsfunktion zum Zuordnen des zu bestimmenden Zeitpunkts in o. a. Weise verarbeitet werden, um einen Change-Point-Zeitpunkt T als Modellausgabe zu erhalten.
-
Das Label des Klassifikationsvektors besteht aus einem Vektor, der einem Change-Point-Zeitpunkt in Form eines ersten Werts von z. B. eins dem Element, der dem Zeitpunkt bzw. Zeitabschnitt des Change-Point-Zeitpunkts entspricht, zugewiesen wird, während den übrigen Elementen ein zweiter Wert von z. B. 0 zugewiesen wird.
-
Die Robustheit eines so trainierten datenbasierten Sensormodells 4 kann nun mithilfe von ungelabelten Eingangsdatensätzen bestimmt werden.
-
In Verbindung mit dem Blockdiagramm der 3 und dem Flussdiagramm der 4 wird nun ein Verfahren zum Bestimmen der Robustheit des zuvor trainierten und ggfs. in dem technischen System 1 implementierten datenbasierten Sensormodells 4 beschrieben.
-
In Schritt S1 werden dazu ungelabelte Validierungs-Eingangsdatensätze E bereitgestellt, deren Format dem Format der Eingangsdatensätze der Trainingsdaten entspricht. Die Validierungs-Eingangsdatensätze E umfassen mindestens eine Signalzeitreihe eines abgetasteten Sensorsignals in einem Auswertungszeitfenster.
-
Nun erfolgt eine Auswertung eines Robustheitsmaßes R. Hierzu werden in Schritt S2 Modellausgaben m(E) =A der Validierungs-Eingangsdatensätze E ermittelt.
-
In Schritt S3 werden Modellausgaben m(E')=A' für modifizierte Validierungs-Eingangsdatensätze E` ermittelt. In den modifizierten Validierungs-Eingangsdatensätzen sind für jeden Validierungs-Eingangsdatensatz die Elemente der mindestens einen Signalzeitreihe um eine vorbestimmte Anzahl von Stellen mithilfe eines Verschiebungsblocks 7 verschoben, vorzugsweise um eine Stelle, insbesondere durch einen Links- oder Rechts-Shift und eine entsprechende Auswertung mithilfe des Sensormodells 4 vorgenommen. In 5 ist beispielhaft die Erstellung der modifizierten Validierungs-Eingangsdatensätze durch Verschieben des Auswertungszeitfensters F über dem abgetasteten Sensorsignal dargestellt.
-
Durch die Verschiebung der Signalzeitreihe um eine vorgegebene Anzahl von Stellen wird für ein ideales Sensormodell angenommen, dass sich der Change-Point-Zeitpunkt, der sich aus dem Ausgabevektor ergibt, in entsprechender Weise um eine der vorbestimmten Anzahl von Stellen entsprechende Offset-Zeitdauer verschiebt. Für diese Zeitdauer wird erwartet, dass der modellbasiert ermittelte Change-Point-Zeitpunkt von dem zuvor ermittelten Change-Point-Zeitpunkt der unveränderten Signalzeitreihe beabstandet ist.
-
In Schritt S4 werden in einem ersten Gültigkeitsblock 6 alle Validierungs-Eingangsdatensätze E, für die sich für eine vorgegebene Distanzmetrik (L2-Norm, L-infinity-Norm usw.) eine betragsmäßige Distanz zwischen den jeweiligen Modellausgaben m(E) für die Validierungs-Eingangsdatensätze E und den Modellausgaben m(E`) der modifizierten Validierungs-Eingangsdatensätze E' unter Berücksichtigung der aufgrund der Modifikation zu erwartenden zeitlichen Verschiebung der Offset-Zeitdauer über einem vorgegebenen ersten Schwellenwert S1 ergibt, als unrobust definiert, was durch einen ersten Robustheitswert G1 angegeben werden kann. Bei einer Offset-Zeitdauer von T1 kann entsprechend geprüft werden, dass für eine robuste Funktion
gelten muss.
-
Nun wird nachfolgend in Schritt S5 für alle nicht zuvor als unrobust erkannten Validierungs-Eingangsdatensätze ein zweiter Robustheitswert G2 ermittelt. Es werden für jeden als nicht unrobust bestimmten Validierungs-Eingangsdatensatz ein maximaler und minimaler erster Robustheitswert R1min, R1max in einem ersten Robustheitsblock 8 bestimmt, die die Grenzen der Modellausgabe für den zu untersuchenden Validierungs-Eingangsdatensatz angeben, wenn der betreffende Validierungs-Eingangsdatensatz innerhalb einer vorgegebenen Epsilon-Umgebung variiert wird. Für die Robust Bounds eines einzelnen Netzes kann eine bekannte Methode genutzt werden, wie von Jang, Kolter, Schmidt, „Scaling provable adversarial defenses“, https://arxiv.org/abs/1805.12514 beschrieben. Die Epsilon-Umgebung gibt ein Distanzmaß (entsprechend einer vorgegebenen Distanzmetrik) an, innerhalb dem die Validierungs-Eingangsdatensätze für die Bestimmung des zweiten Robustheitswerts G2 variiert werden.
-
In Schritt S6 wird für jeden als nicht unrobust bestimmten Validierungs-Eingangsdatensatz E ein in oben beschriebener Weise modifizierter Validierungs-Eingangsdatensatz E' bestimmt. Weiterhin wird für den modifizierten Validierungs-Eingangsdatensatz E' ein zweiter maximaler und minimaler Robustheitswert R2min, R2max in einem zweiten Robustheitsblock 9 bestimmt, die die Grenzen der Modellausgaben für jeden der modifizierten Validierungs-Eingangsdatensätze E` angeben, wenn der betreffende Validierungs-Eingangsdatensatz E zufällig innerhalb einer vorgegebenen Epsilon-Umgebung variiert wird.
-
In Schritt S7 wird in einem Überprüfungsblock 10 für jeden der Validierungs-Eingangsdatensätze E überprüft, ob eine Distanz/Unterschied zwischen dem minimalen Robustheitswert R1min des betreffenden Validierungs-Eingangsdatensatzes und dem maximalen Robustheitswert R2max des betreffenden modifizierten Validierungs-Eingangsdatensatzes E' (maximale Distanz/Abweichung zwischen zwei Robustheitswerten) abzüglich der Offset-Zeitdauer T2 einen vorgegebenen zweiten Schwellenwert S2 übersteigt. Ist dies der Fall, wird der betreffende Validierungs-Eingangsdatensatz E als unrobust gekennzeichnet, was durch einen zweiten Robustheitswert G2 angegeben werden kann. Analog gilt für einen robusten Eingangsdatensatz:
-
In Schritt S8 wird in dem Überprüfungsblock 10 für jeden der Validierungs-Eingangsdatensätze überprüft, ob eine Distanz/Unterschied zwischen dem maximalen Robustheitswert R1max des betreffenden Validierungs-Eingangsdatensatzes E und dem minimalen Robustheitswert R1min des betreffenden modifizierten Validierungs-Eingangsdatensatzes E` abzüglich der Offset-Zeitdauer T2 den vorgegebenen zweiten Schwellenwert übersteigt. Ist dies der Fall, wird der betreffende Validierungs-Eingangsdatensatz E als unrobust gekennzeichnet, was durch den zweiten Robustheitswert G2 angegeben werden kann. Analog gilt für einen robusten Eingangsdatensatz:
-
In Schritt S9 wird in einem Robustheitsmaßblock 12 ein Robustheitsmaß R des trainierten datenbasierten Sensormodells bereitgestellt, dass sich aus dem Anteil der als robust verbliebenen Validierungs-Eingangsdatensätze E, d.h. der Validierungs-Eingangsdatensätze E, für die der erste Robustheitswert G1 und der zweite Robustheitswert G2 angibt, dass der betreffende Validierungs-Eingangsdatensatz E robust ist, bezüglich der gesamten Anzahl von Validierungs-Eingangsdatensätzen E ergeben kann. Die UND-Verknüpfung der Robustheitswerte G1, G2 wird in einem UND-Block 11 durchgeführt.
-
Abhängig von dem Robustheitsmaß R kann ein Nachtraining des datenbasierten Sensormodells vorgenommen werden.
-
Für das Nachtraining werden die unrobusten Validierungs-Eingangsdatensätze bewertet, indem für jeden unrobusten Validierungs-Eingangsdatensatz ein kleinstes Epsilon (mineps, aus 0...∞) der Epsilon-Umgebung, für das der entsprechende Validierungs-Eingangsdatensatz nicht robust ist, bestimmt wird, z.B. null wenn der entsprechende Validierungs-Eingangsdatensatz auch ohne Robustheit nicht richtig klassifiziert wird.
-
Dieses kleinste Epsilon mineps für jeden unrobusten Validierungs-Eingangsdatensatz kann man normalisieren, dass es in dem Intervall [0, 1] liegt, vorzugsweise durch Gewicht g = e^-mineps. Dann liegt g in [0,1]. Ein höheres Gewicht heißt damit weniger robust. Im Nachtraining kann man dieses Gewicht nutzen, um weniger robuste Validierungs-Eingangsdatensätze stärker zu gewichten, sei es in einer Kostenfunktion oder dadurch, dass ich die das Gewicht die Häufigkeit angibt, für die der Validierungs-Eingangsdatensatz E im Nachtraining des Systemmodells verwendet wird. Das Gewicht g kann auch eine Unsicherheit an dem Datenpunkt des Validierungs-Eingangsdatensatzes E angeben.
-
Das Verschieben der Signalzeitreihe kann wie oben beschrieben entsprechend dem obigen Verfahren durch Links- oder Rechtsverschieben der Signalzeitreihe um ein oder mehrere Stellen erfolgen. Alternativ kann wie in 6 schematisch dargestellt die Bestimmung des zweiten Robustheitswertes mithilfe eines modifizierten Sensormodells 4 vorgenommen werden. Hierzu kann eine um ein oder mehrere Elemente verlängerte Signalzeitreihe in den Validierungs-Eingangsdatensätzen vorgesehen werden. Das zuvor trainierte Sensormodell 4 ist als neuronales Netz ausgebildet.
-
Zur Ermittlung der ersten und zweiten minimalen und maximalen Robustheitswerte R1min, R1max, R2min, R2max zur weiteren Auswertung wie oben beschrieben, wird das Sensormodell 4 modifiziert, so dass die Eingangsneuronenschicht bezüglich des ursprünglich trainierten Sensormodells 4 eine oder mehrere zusätzliche Neuronen aufweist. Die Anzahl der zusätzlichen Neuronen entspricht der Anzahl der zur Modifizierung der Validierungs-Eingangsdatensätze vorgesehenen Verschiebung der Signalzeitreihe in den betreffenden Validierungs-Eingangsdatensätzen bzw. der Anzahl der Elemente, um die Signalzeitreihe verlängert ist.
-
Die zugeführten Validierungs-Eingangsdatensätze werden nun mit dem 4 zweifach ausgewertet. Dabei wird eingangsseitig der Eingangsdatensatz E wie oben beschrieben ausgewertet. Die zusätzlichen Neuronen der Eingangsneuronenschicht L1 weisen Gewichtungen von 0 auf, so dass diese passiv sind und nicht die Modellausgabe beinträchtigen.
-
Die zweite Auswertung erfolgt nun durch Verschiebung der Gewichtungen und Biaswerte der Neuronen der Eingangsschicht auf die zuvor passiven Neuronen, so dass sich ohne Änderung des bereitgestellten Eingangsdatensatzes eine neue Zuordnung von jedem Element des Eingangsdatensatzes zu dem zugehörigen Neuron 41 der Eingangsneuronenschicht L1 ergibt. Dabei werden die Gewichtungen der durch die Verschiebung der Gewichtungen und Biaswerte „frei werdenen“ Neuronen auf Null gesetzt.
-
Durch Verschieben der Gewichtungsvektoren und Biaswerte entlang der Neuronen in der Eingangs-Neuronenschicht und Auffüllen der freiwerdenden Neuronen mit 0 als Modellparameter kann die Auswertung von verschobenen Signalzeitreihen in einfacher Weise realisiert werden.
