DE112019000739T5 - Zeitreihengewinnung zum analysieren und korrigieren eines systemstatus - Google Patents

Abstract

Verfahren und Systeme zum Detektieren und Korrigieren von anomalem Verhalten umfassen ein Erzeugen einer gemeinsamen Binäreinbettung von jeder aus einer Menge von historischen Zeitreihensequenzen. Eine gemeinsame Binäreinbettung einer jüngsten Zeitreihensequenz wird erzeugt. Eine Rangliste der mehreren historischen Zeitreihensequenzen wird gemäß jeweiligen Ähnlichkeiten jeder historischen Zeitreihensequenz mit der jüngsten Zeitreihensequenz basierend auf ihren jeweiligen gemeinsamen Binäreinbettungen erzeugt. Das anomale Verhalten eines Systems, das der jüngsten Zeitreihensequenz zugeordnet ist, wird gemäß einer Kennzeichnung einer historischen Zeitreihensequenz mit dem höchsten Rang in der Rangliste bestimmt. Eine Korrekturmaßnahme wird durchgeführt, um das anomale Verhalten zu korrigieren.

Description

• INFORMATION ZU VERWANDTEN ANMELDUNGEN
• Diese Anmeldung beansprucht die Priorität der am 8. Februar 2018 eingereichten US-Anmeldung Nr. 62/627922 und der am 11. Januar 2019 eingereichten US-Anmeldung Nr. 16/245740 , die hier Bezugnahme vollständig mit aufgenommen ist.
• HINTERGRUND
• Technisches Gebiet
• Die vorliegende Erfindung bezieht sich auf die Gewinnung mehrdimensionaler Zeitreihen in komplexen Systemen und insbesondere auf eine rangüberwachte gemeinsame Binäreinbettung für eine solche Gewinnung, um den Systemstatus zu bestimmen und zu korrigieren.
• Beschreibung des Standes der Technik
• Mehrdimensionale Zeitreihendaten sind in vielen praktischen Anwendungen einschließlich beispielsweise Kraftwerksüberwachung, Gesundheitswesen, am Körper tragbare Vorrichtungen, Kraftfahrzeugüberwachung, Internet-der-Dinge-Anwendungen usw. üblich. Die Gewinnung mehrdimensionaler Zeitreihen beschreibt, wie man unter Verwendung eines aktuellen mehrdimensionalen Zeitreihensegments relevante Zeitreihensegmente aus Verlaufsdaten erhält. Mit anderen Worten, das Finden einer passenden Zeitreihe in den Verlaufsdaten unter Verwendung einer bestimmten bekannten Zeitreihe kann aufgrund der Notwendigkeit, zeitliche Dynamik sowie Interaktionen zwischen verschiedenen Mengen von Zeitreihen zu codieren, besonders herausfordernd sein.
• ZUSAMMENFASSUNG
• Ein Verfahren zum Detektieren und Korrigieren von anomalem Verhalten umfasst ein Erzeugen einer gemeinsamen Binäreinbettung von jeder aus einer Menge von historischen Zeitreihensequenzen. Eine gemeinsame Binäreinbettung einer aktuellen Zeitreihensequenz wird erzeugt. Eine Rangliste der mehreren historischen Zeitreihensequenzen wird gemäß den jeweiligen Ähnlichkeiten jeder historischen Zeitreihensequenz mit der jüngsten Zeitreihensequenz basierend auf ihren jeweiligen gemeinsamen Binäreinbettungen erzeugt. Das anomale Verhalten eines Systems, das der jüngsten Zeitreihensequenz zugeordnet ist, wird gemäß einer Kennzeichnung einer historischen Zeitreihensequenz mit dem höchsten Rang in der Rangliste bestimmt. Eine Korrekturmaßnahme wird durchgeführt, um das anomale Verhalten zu korrigieren.
• Ein System zum Detektieren und Korrigieren eines anomalen Verhaltens umfasst ein Modul für gemeinsame Einbettung, das einen Prozessor aufweist, der dazu ausgelegt ist, eine gemeinsame Binäreinbettung von jeder von mehreren historischen Zeitreihensequenzen zu erzeugen und eine gemeinsame Binäreinbettung einer aktuellen Zeitreihensequenz zu erzeugen. Ein Rangmodul ist dazu ausgelegt, eine Rangliste der mehreren historischen Zeitreihensequenzen gemäß den jeweiligen Ähnlichkeiten jeder historischen Zeitreihensequenz mit der jüngsten Zeitreihensequenz basierend auf ihren jeweiligen gemeinsamen Binäreinbettungen zu erzeugen. Ein Korrekturmodul ist dazu ausgelegt, ein anomales Verhalten eines Systems, das der letzten Zeitreihensequenz zugeordnet ist, gemäß einer Kennzeichnung einer historischen Zeitreihensequenz mit dem höchsten Rang in der Rangliste zu bestimmen und eine Korrekturmaßnahme durchzuführen, um das anomale Verhalten zu korrigieren.
• Diese und andere Merkmale und Vorteile werden aus der folgenden genauen Beschreibung veranschaulichender Ausführungsformen davon ersichtlich, die in Verbindung mit den beigefügten Zeichnungen zu lesen ist.
• Figurenliste
• Die Offenbarung wird Einzelheiten in der folgenden Beschreibung bevorzugter Ausführungsformen unter Bezugnahme auf die folgenden Figuren bereitstellen; es zeigen:
• 1 ein Blockdiagramm eines überwachten Systems mit Anomaliendetektion und -korrektur gemäß einer Ausführungsform der vorliegenden Erfindung;
• 2 ein Block-/Ablaufdiagramm des Detektierens und Korrigierens eines anomalen Verhaltens in einem überwachten System gemäß einer Ausführungsform der vorliegenden Erfindung;
• 3 ein Diagramm eines beispielhaften neuronalen Netzes gemäß einer Ausführungsform der vorliegenden Erfindung;
• 4 ein Diagramm einer beispielhaften Architektur neuronaler Netze gemäß einer Ausführungsform der vorliegenden Erfindung;
• 5 ein Blockdiagramm eines Anomaliendetektionssystems gemäß einer Ausführungsform der vorliegenden Erfindung, das dazu ausgelegt ist, anomales Verhalten in einem überwachten System zu detektieren und zu korrigieren; und
• 6 ein Blockdiagramm eines Verarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung.
• GENAUE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
• Ausführungsformen der vorliegenden Erfindung verwenden eine mit der r-ten Wurzel rangüberwachte gemeinsame Binäreinbettung, um eine Gewinnung von mehrdimensionalen Zeitreihen durchzuführen. Unter Vorgabe eines rohen mehrdimensionalen Zeitreihensegments verwenden die vorliegenden Ausführungsformen Einheiten mit langem Kurzzeitgedächtnis (LSTM-Einheiten), um die zeitliche Dynamik zu codieren, und faltende neuronale Netze (CNNs), um die Korrelationen zwischen verschiedenen Paaren von Zeitreihen zu codieren. Die zeitliche Dynamik und die Korrelationen in rohen Zeitreihensegmenten werden mit zwei separaten Merkmalsvektoren dargestellt. Eine gemeinsame Binäreinbettung wird so erzeugt, dass sowohl die zeitliche Dynamik als auch die Korrelationen berücksichtigt werden. Ein Rangverlust unter Verwendung der r-ten Wurzel wird verwendet, um die Genauigkeit im oberen Teil einer Hamming-Abstand-Rangliste zu optimieren und eine Ausgabe zu erzeugen.
• Der Rangverlust kann auch erzwingen, dass sich falsch ausgerichtete Segmente ähnliche Binäreinbettungen teilen, wenn sie zu derselben Klasse gehören. Um eine Einbettungsfunktion zu erhalten, lockern einige Ausführungsformen der vorliegenden Erfindung das ursprüngliche diskrete Ziel mit einem kontinuierlichen Ersatz auf und verwenden einen stochastischen Gradientenabstieg, um das Ersatzziel zu optimieren.
• Unter Bezugnahme auf 1 ist ein Anomaliendetektionssystem 106 im Kontext eines überwachten Systems 102 gezeigt. Das überwachte System 102 kann ein beliebiges geeignetes System einschließlich physischer Systeme wie Fertigungslinien und Operationen physischer Anlagen, elektronischer Systeme wie Computer oder anderer computergestützter Vorrichtung; am Körper tragbarer Vorrichtungen, Fahrzeuge, Internet-der-Dinge-Vorrichtungen und Softwaresystemen wie Betriebssystemen und Anwendungen sein.
• Ein oder mehrere Sensoren 104 zeichnen Informationen über den Zustand des überwachten Systems 102 auf. Die Sensoren 104 können von jedem geeigneten Sensortyp sein, einschließlich beispielsweise physikalischer Sensoren wie Sensoren für Temperatur, Feuchtigkeit, Schwingung, Druck, Spannung, Stromstärke, Magnetfeld , elektrisches Feld und Licht sowie Softwaresensoren wie z. B. auf einem Computersystem installierten Protokollierungsdienstprogrammen zum Aufzeichnen von Informationen über den Zustand und das Verhalten des Betriebssystems und der auf dem Computersystem ausgeführten Anwendungen. Die von den Sensoren 104 erzeugten Informationen können in einem beliebigen geeigneten Format vorliegen und Sensorprotokollinformationen umfassen, die mit heterogenen Formaten erzeugt sind. Es wird speziell in Betracht gezogen, dass die Sensoren 104 Zeitreihendaten erzeugen können, die als geordnete Liste von Datensätzen dargestellt sind, denen möglicherweise Zeitstempel, die einen Zeitpunkt angeben, zu dem jeder jeweilige Datensatz erzeugt wurde, zugeordnet sind oder nicht.
• Die Sensoren 104 können die protokollierten Sensorinformationen über ein geeignetes Kommunikationsmedium und -protokoll einschließlich drahtloser und drahtgebundener Kommunikation an ein Anomaliendetektionssystem 106 übertragen. Das Anomaliendetektionssystem 106 vergleicht eine Folge kürzlich gemessener Zeitreihendaten mit einem Körper zuvor aufgezeichneter Datensätze und gewinnt eine oder mehrere passende historische Instanzen. Diesen gewonnenen Instanzen können Kennzeichnungen zugeordnet sein, die Bedingungen oder Aktivitäten des überwachten Systems 102 während Zeiträumen beschreiben, die den abgerufenen Instanzen zugeordnet sind. In einigen Fällen kann die Kennzeichnung einer abgerufenen Instanz angeben, dass sich das überwachte System 102 anomal oder auf andere Weise nachteilig verhält.
• Sobald ein anomales Verhalten detektiert worden ist, kommuniziert das Anomaliendetektionssystem 106 mit einer Systemsteuereinheit 108, um einen oder mehrere Parameter des überwachten Systems 102 zu ändern, um das anomale Verhalten zu korrigieren. Beispielhafte Korrekturmaßnahmen umfassen ein Ändern einer Sicherheitseinstellung für eine Anwendung oder Hardwarekomponente, ein Ändern eines Betriebsparameters einer Anwendung oder Hardwarekomponente (z. B. eine Betriebsgeschwindigkeit), ein Anhalten und/oder Neustarten einer Anwendung, ein Anhalten und/oder Neustarten einer Hardwarekomponente, ein Ändern eines Umgebungszustands, ein Ändern von Status oder Einstellungen einer Netzschnittstelle usw. Das Anomaliendetektionssystem 106 korrigiert oder mildert dadurch automatisch das anomale Verhalten.
• Bei einem mehrdimensionalen Zeitreihensegment, zum Beispiel n Zeitreihen mit (x¹, ...,xⁿ)^T = (x¹, ...,x_T) ∈ ℝ^n×T, wobei T die Länge einer Fenstergröße ist, repräsentiert der Term $x^k={\left(x_1^k,\dots ,x_T^k\right)}^{\text{T}}\in {ℝ}^T$

  

  eine Zeitreihe der Länge t. Der Term $x_t=\left(x_t^1,\dots ,x_t^k\right)\in {ℝ}^n$

  

  repräsentiert einen Vektor von n Eingabereihen zu einem bestimmten Zeitpunkt t. Zudem wird die Frobenius-Norm als ||·||_F und die Hamming-Norm eines Vektors x als ||x||_H dargestellt. Die Hamming-Norm ist die Anzahl der Einträge ungleich null in einem Vektor. Die ℓ₁-Norm eines Vektors x wird als llxll₁ dargestellt und liefert die Summe der Beträge der Einträge in x.
• Bei einem mehrdimensionalen Zeitreihensegment X_q ∈ ℝ^n×T, das einen Ausschnitt von n Zeitreihen darstellt, die T Zeitschritte dauert, finden die vorliegenden Ausführungsformen die ähnlichsten Zeitreihensegmente in einer Menge einer historischen Datenbank. Dies wird ausgedrückt als:

  

  wobei $D=\left\{X_p\right\}$

  

  eine Sammlung von Segmenten ist, p einen Index für das p-te Segment für alle 1 ≤ p ≤ N bezeichnet, N die Gesamtzahl der Segmente in der Sammlung bezeichnet und

  

  (·) eine Ähnlichkeitsmaßfunktion darstellt.
• Unter Bezugnahme auf 2 ist ein Verfahren zum Detektieren und Korrigieren von anomalem Verhalten gezeigt. Um eine Gewinnung mehrdimensionaler Zeitreihen durchzuführen, erzielen die vorliegenden Ausführungsformen eine Darstellung der mehrdimensionalen rohen Zeitreihensegmente, die die zeitliche Dynamik erfasst. Bei einem mehrdimensionalen Zeitreihensegment X = (x¹, ...,x_T) wird eine Abbildung von X auf h als $h=F\left(X\right)$

  

  gezeigt, wobei h ∈ ℝ^m der Merkmalsvektor ist, m die Dimension von h ist und $h\in {ℝ}^m$

  

  eine nichtlineare Abbildungsfunktion ist.
• Block 202 verwendet LSTM-Einheiten, um $F$

  

  zu implementieren, um die zeitliche Dynamik sowie langfristige Abhängigkeiten in X zu erfassen. In einer LSTM-Einheit summiert ein Zellzustand Aktivitäten über die Zeit, wodurch das Problem des Verschwindens von Gradienten überwunden wird und die langfristigen Abhängigkeiten einer Zeitreihe besser erfasst werden können. Jede LSTM-Einheit hat eine Speicherzelle mit dem Zustand s_t zum Zeitpunkt t. Der Zugriff auf die Speicherzelle wird durch drei Sigmoid-Gatter gesteuert: ein Vergessensgatter f_t, ein Eingabegatter i_t und ein Ausgabegatter ot. Die Aktualisierung einer LSTM-Einheit kann wie folgt zusammengefasst werden: $$f_t=\sigma \left(W_f\left[h_{t-1};x_t\right]+b_f\right)$$

  

  $$i_t=\sigma \left(W_i\left[h_{t-1};x_t\right]+b_i\right)$$

  

  $$o_t=\sigma \left(W_t\left[h_{t-1};x_t\right]+b_f\right)$$

  

  $$s_t=f_t\odot s_{t-t}+i_t\odot \text{ tanh }\left(W_s\left[h_{t-1};x_t\right]+b_s\right)$$

  

  $$h_t=o_t\text{ tanh }\left(s_t\right)$$

  

  wobei [h_t-1; x_t]ℝ^m+n eine Verkettung des vorherigen Zustands h_t-1 und der aktuellen Eingabe x_t ist. Die Ausdrücke W_f, W_i, W_o, W_s ∈ ℝ^m×(m+n) und b_f, b_i, b_o, b_s ∈ ℝ^m sind Parameter, die während des Trainings gelernt werden. Die Funktionen σ und ⊙ sind eine logistische Sigmoidfunktion bzw. ein elementweiser Multiplikationsoperator (z. B. das Hadamard-Produkt).
• Block 204 verwendet CNNs, um die Korrelationen zwischen verschiedenen Paaren von Zeitreihen in einem mehrdimensionalen Zeitreihensegment darzustellen. Es versteht sich, dass die Blöcke 202 und 204 in beliebiger Reihenfolge oder gleichzeitig ausgeführt werden können. Block 204 erstellt eine n × n-Korrelationskarte beispielsweise unter Verwendung des Pearson-Korrelationskoeffizienten. Unter Vorgabe von zwei Zeitreihen $x^i={\left(x_1^i,\dots ,x_T^i\right)}^T\in {ℝ}^T$

  

  und $x^j={\left(x_1^j,\dots ,x_T^j\right)}^T\in {ℝ}^T,$

  

  kann der Pearson-Korrelationskoeffizient wie folgt berechnet werden: $$c_i^j=\frac{{\displaystyle {\sum }_{k=1}^T\left(x_k^i-{\overline{x}}^i\right)\left(x_k^j-{\overline{x}}^j\right)}}{\sqrt{{{\displaystyle {\sum }_{k=1}^T\left(x_k^i-{\overline{x}}^i\right)}}^2{{\displaystyle {\sum }_{k=1}^T\left(x_k^j-{\overline{x}}^j\right)}}^2}}$$

  

  wobei x̅ⁱ und x̅^j Stichprobenmittel der zwei Zeitreihen bezeichnen.
• CNNs werden in Block 204 verwendet, um eine kompakte Darstellung der Korrelationskarte C ∈ ℝ^n×n zu erzeugen. Eine beispielhafte CNN-Architektur umfasst vier Faltungsschichten und zwei vollständig verbundene Schichten. Jede Faltungsschicht ist ein dreidimensionales Array der Größe h × w × d, wobei h und w räumliche Dimensionen sind und d eine Merkmals- oder Kanaldimension ist, gefolgt von einer Chargennormierung und einer linearen Gleichrichtereinheit. Die vollständig verbundenen Schichten transformieren Faltungsmerkmalskarten in einen Vektor und projizieren ihn auf eine feste Dimension m. Es versteht sich, dass diese CNN-Architektur nur beispielhaft ist und in keiner Weise als einschränkend ausgelegt werden sollte. Die Ausgabe des CNN ist l ∈ ℝ^m und wird verwendet, um die Korrelationen zwischen verschiedenen Paaren von Zeitreihen in einem mehrdimensionalen Zeitreihensegment zu codieren.
• Unter Vorgabe der Darstellung für ein rohes mehrdimensionales Zeitreihensegment h_T sowie der Darstellung für die Korrelationen zwischen verschiedenen Zeitreihenpaaren in demselben Segment / verkettet Block 206 die Darstellungen als y = [h_T; l] ∈ ℝ^2m miteinander und lernt eine gemeinsame Binäreinbettung, die eine Gruppe von Abbildungen ${\left\{H_c\left(y\right)\right\}}_{c=1}^v$

  

  umfasst, so dass eine 2m-dimensionale Gleitkommaeingabe y ∈ ℝ^2m in einen v-Bit-Binärcode ${\left[H_1\left(y\right),\dots ,H_v\left(y\right)\right]}^T\in {ℍ}^v\equiv {\left\{\mathrm{1,}-1\right\}}^v$

  

  komprimiert wird. Dies stellt eine Binäreinbettung oder Hash-Funktion dar und kann wie folgt formuliert werden: $$H_c\left(y\right)=\text{sgn}\left(F_x\left(y\right)\right),c=\mathrm{1,}\dots ,v$$

  
• Dabei ist sgn(-) die Vorzeichenfunktion, die 1 zurückgibt, wenn die Eingabevariable größer als 0 ist, und andernfalls -1 zurückgibt, und $F_x:{ℝ}^{2m}\to ℝ$

  

  eine geeignete Vorhersagefunktion. Eine Vielzahl von mathematischen Formen für $F_c$

  

  (z. B. linear und nichtlinear) kann verwendet werden, um bestimmten Datendomänen und praktischen Anwendungen zu dienen. Die vorliegenden Ausführungsformen konzentrieren sich auf eine lineare Vorhersagefunktion, es versteht sich jedoch, dass stattdessen eine beliebige geeignete Vorhersagefunktion verwendet werden kann. Somit ist $F_c\left(y\right)=w_c^{T}y+b_c,$

  

  wobei w_c ∈ ℝ^2m und b_c ∈ ℝ. Der Bias-Term $b_c=-w_c^T$

  

  unter Verwendung eines mittleren Vektors $u={\displaystyle {\sum }_{i=1}^n{y}_i\text{/}n,}$

  

  wodurch jedes erzeugte Binärbit ${\left\{H_c\left(y\right)\right\}}_{c=1}^v$

  

  für c ∈ [1:v] ausgeglichen wird und somit maximale Entropie aufweist. Die gesamte Binäreinbettungsfunktion $H$

  

  ist ferner so definiert, dass sie die Funktionalität von v einzelnen Binäreinbettungsfunktionen ${\left\{H_c\right\}}_{c=1}^v$

  

  umfasst: $$H\left(y,\text{W}\right)=\text{sgn}\left({\text{W}}^{\text{T}}\left(\text{y}-\text{u}\right)\right)$$

  

  was durch eine Matrix W = [w₁, ..., w_v] ∈ ℝ^2m×v parametrisiert werden kann. Die Vorzeichenfunktion wird elementweise angewendet.
• Block 208 bestimmt einen Rangverlust, um relative Segmentähnlichkeiten in Form von Tripletts $D_{triplet}=\left\{X_q,X_i,X_j\right\}$

  

  zu nutzen, wobei jedes Segmentpaar {X_q, X_i} in dem Triplett ähnlicher ist als das Segmentpaar {X_q, X_j}, so dass X_q und X_i in derselben Klasse sind und X_q und X_j in verschiedenen Klassen sind. Diese relativen ähnlichen Beziehungen bleiben im Hamming-Raum dank einer guten Binäreinbettungsfunktion $H(\cdot )$

  

  erhalten, durch die der Hamming-Abstand zwischen den Einbettungen $H\left(y_q\right)$

  

  und $H\left(y_i\right)$

  

  kleiner als der Hamming-Abstand zwischen den Einbettungen $H\left(y_q\right)$

  

  und $H\left(y_i\right)$

  

  wird.
• Wenn y_q ein Abfragesegment bezeichnet, y_i ein ähnliches Segment bezeichnet und y_j ein unähnliches Segment bezeichnet, kann der „Rang“ von y_i in Bezug auf die Abfrage y_q als die Anzahl unähnlicher Segmente y_j definiert werden, die innerhalb des projizierten Hamming-Raums näher an der Abfrage y_q liegen als y_i. Daher kann der Rang wie folgt definiert werden: $$\left(y_q,y_i\right)={\displaystyle {\sum }_j\mathcal{J}\left({\Vert H\left(y_q\right)-H\left(y_j\right)\Vert }_H\le {\Vert H\left(y_q\right)-H\left(y_i\right)\Vert }_H\right)}$$

  
• Dabei ist $\mathcal{J}(\cdot )$

  

  eine Indikatorfunktion, die 1 zurückgibt, wenn die Bedingung in Klammern erfüllt ist, und andernfalls 0 zurückgibt. Die Funktion R(y_q, y_i) misst explizit die Anzahl der falsch im Rang eingestuften unähnlichen Segmente y_j, die in Bezug auf den Hamming-Abstand näher an der Abfrage y_q liegen als das ähnliche Segment y_i. R(y_q, y_i) gibt daher die Position von y_i in einer Hamming-Abstandsrangliste in Bezug auf die Abfrage y_q an.
• Der Rangverlust unter Verwendung der r-ten Wurzel optimiert explizit die Suchgenauigkeit an den oberen Positionen der Rangliste und ist definiert als: $$\mathcal{L}\left(R\left(y_q,y_i\right)\right)=\sqrt[r]{R\left(y_q,y_i\right)}=R^{\frac{1}{r}}\left(y_q,y_i\right)$$

  

  wobei r > 1. Dieser Verlust bestraft die Segmente, die fälschlicherweise im oberen Teil einer Hamming-Abstandsrangliste stehen, mehr als die im unteren Teil. Dies liegt daran, dass das Inkrement von $\mathcal{L}\left(R\right)$

  

  allmählich abnimmt, wenn R linear zunimmt. $\mathcal{L}\left(R\right)$

  

  ist eine monotone, zunehmende Eins-zu-Eins-Funktion mit einer ersten Ableitung $\mathcal{L}\text{'}\left(R\right)$

  

  die größer als null ist, und einer zweiten Ableitung L"(R), die kleiner als null ist. Da $\mathcal{L}\left(R\right)$

  

  als Integral ihres Gradienten angesehen werden kann, konserviert $\mathcal{L}\text{'}\left(R\right)>0$

  

  den Rang, indem R am oberen Ende stärker bestraft wird als am unteren Ende der Liste.
• Das Lernziel lautet wie folgt: $$\mathcal{O}\left(D_{triplet},\text{W}\right)={\displaystyle {\sum }_q{\displaystyle {\sum }_i{R}^{\frac{1}{r}}}}\left(y_q,y_i\right)+\frac{\lambda }{2}{\Vert \text{W}\Vert }_F^2$$

  

  wobei der erste Term der Rangverlust ist, der zweite Term die Regularisierung erzwingt, und λ > 0 ein positiver Parameter ist, der einen Kompromiss zwischen dem Rangverlust und dem Regularisierungsterm steuert. Der Parameter r > 1 bestimmt, welchen Grad die Bestrafung des oberen Teils der Rangliste hat, so dass ein größeres r Terme stärker bestraft. Durch Optimieren dieser Zielfunktion in Bezug auf W wird die Genauigkeit an den oberen Positionen der Hamming-Abstandsrangliste optimiert.
• Obwohl der Rangverlust kontinuierlich und in Bezug auf R differenzierbar ist, ist die obige Zielfunktion immer noch schwer zu optimieren. Dies liegt daran, dass die Binäreinbettungsfunktion eine diskrete Abbildung ist und dass die Hamming-Norm in einem diskreten Raum liegt. Daher lockert Block 210 das ursprüngliche diskrete Ziel zu einem kontinuierlichen und differenzierbaren Ersatz auf, bevor eine Optimierung durchgeführt wird. Die Zielbinäreinbettungsfunktion $H\left(y\right)$

  

  kann wie folgt gelockert werden: $$\overline{H}\left(y\right)=\text{tanh}\left({\text{W}}^{\text{T}}\left(y-u\right)\right)$$

  

  was kontinuierlich und differenzierbar ist. Die tanh(·)-Funktion ist eine gute Annäherung an die sgn(·)-Funktion, da sie den Wert in Klammern so transformiert, dass er zwischen -1 und +1 liegt. Die Hamming-Norm wird zu der ℓ₁-Norm gelockert, die konvex ist. Die Indikatorfunktion wird mit der Sigmoidfunktion gelockert. Die Indikatorfunktion kann dann angenähert werden mit: $$\begin{array}{l}\mathcal{J}\left({\Vert H\left(y_q\right)-H\left(y_i\right)\Vert }_H\le {\Vert H\left(y_q\right)-H\left(y_i\right)\Vert }_H\right)\\ \approx \sigma \left({\Vert H\left(y_q\right)-H\left(y_i\right)\Vert }_H\le {\Vert H\left(y_q\right)-H\left(y_i\right)\Vert }_H\right)\end{array}$$

  

  wobei $\sigma \left(z\right)=\frac{1}{1+e^{-z}}$

  

  die Sigmoidfunktion ist und u der oben beschriebene mittlere Vektor ist.
• Basierend auf diesen Lockerungen kann die Zielfunktion wie folgt angenähert werden: $$\overline{\mathcal{O}\left(D_{triplet},\text{W}\right)}={\displaystyle {\sum }_q{{\displaystyle {\sum }_i\overline{\text{R}}}}^{\left(\frac{1}{r}\right)}}\left(y_q,y_i\right)+\frac{\lambda }{2}{\Vert \text{W}\Vert }_F^2$$

  

  wobei R̅(y_q, y_i) ein weich angenäherter Rang von y_i in Bezug auf die Abfrage y_q ist und gegeben ist durch: $$\overline{\text{R}}\left(y_q,y_i\right)={\displaystyle {\sum }_j\sigma \left({\text{V}}_{qi}-V_{qj}\right)}$$

  

  wobei V_qi ausgedrückt wird als: $${\text{V}}_{qi}={\Vert \overline{H}\left(y_q\right)-\overline{H}\left(y_i\right)\Vert }_1$$

  

  und V_qj wird ausgedrückt als: $${\text{V}}_{qj}={\Vert \overline{H}\left(y_q\right)-\overline{H}\left(y_j\right)\Vert }_1$$

  
• Ein stochastischer Gradientenabstieg wird hergeleitet, um die Zielfunktion zu optimieren. Eine Abfrage X_q wird zufällig mit einem ähnlichen Segment X_i ausgewählt. Dann werden X_q und X_i fixiert und s unterschiedliche X_j werden gezogen, um eine Menge von Tripletts ${\left\{{\text{X}}_q,{\text{X}}_i,{\text{X}}_j\right\}}_{j=1}^s$

  

  zu bilden, wobei die die gesamten Möglichkeiten für j M sind. Unter der Annahme, dass die verletzten Beispiele gleichmäßig verteilt sind, kann R̅(y_q, y_i) mit $\lfloor \frac{M}{s}\rfloor \cdot {\displaystyle {\sum }_{j=1}^s\sigma \left(V_{qi}-V_{qj}\right)}$

  

  angenähert werden. Dabei ist $\lfloor \cdot \rfloor$

  

  die Floor-Funktion.
• Die Zielfunktion wird dadurch weiter angenähert mit: $$\overline{\mathcal{O}\left({\mathcal{D}}_{triplet},\text{W}\right)}={\left(\lfloor \frac{M}{s}\rfloor \cdot {\displaystyle {\sum }_{j=1}^s\sigma \left({\text{V}}_{qi}-{\text{V}}_{qj}\right)}\right)}^{\frac{1}{r}}+\frac{\lambda }{2}{\Vert \text{W}\Vert }_F^2$$

  
• Der zugehörige Gradient ist gegeben durch: $$\begin{array}{l}\overline{\frac{\partial \mathcal{O}\left({\mathcal{D}}_{triplet,}\text{W}\right)}{\partial \text{W}}}\hfill \\ =\lambda \text{W}+\frac{1}{\text{r}}\lfloor \frac{M}{s}\rfloor {\left[{\displaystyle {\sum }_{j=1}^s\sigma \left(V_{qi}-V_{qj}\right)}\right]}^{\frac{1}{r}-1}{\displaystyle {\sum }_{j=1}^s\sigma \left({\text{V}}_{qi}-{\text{V}}_{qj}\right)\sigma \left(-{\text{V}}_{qi}+{\text{V}}_{qj}\right)}\hfill \\ \cdot \{\left(y_q-u\right){\left[\text{sgn}\left(\overline{H}\left(y_q\right)-\overline{H}\left(y_i\right)\right)\odot \left(1-{\overline{H}}^2\left(y_q\right)\right)\right]}^{\text{T}}\hfill \\ -\left(y_i-u\right){\left[\text{sgn}\left(\overline{H}\left(y_q\right)-\overline{H}\left(y_i\right)\right)\odot \left(1-{\overline{H}}^2\left(y_i\right)\right)\right]}^{\text{T}}\hfill \\ -\left(y_q-u\right){\left[\text{sgn}\left(\overline{H}\left(y_q\right)-\overline{H}\left(y_j\right)\right)\odot \left(1-{\overline{H}}^2\left(y_q\right)\right)\right]}^{\text{T}}\hfill \\ +\left(y_j-u\right)\left[\text{sgn}\left(\overline{H}\left(y_q\right)-\overline{H}\left(y_j\right)\right)\odot \left(1-{\overline{H}}^2\left(y_j\right)\right)\right]{}^{\text{T}}\}\hfill \end{array}$$

  
• Basierend auf diesem Gradienten kann eine Rückausbreitung über das gesamte Netz unter Verwendung eines stochastischen Minichargen-Gradientenabfalls mit einem Adam-Optimierer durchgeführt werden, um die Netzparameter zu optimieren. Auf diese Weise optimiert Block 210 eine Näherung der Zielfunktion.
• Das Ergebnis ist eine Rangliste von Segmenten, wobei die ähnlichsten Segmente ganz oben auf der Liste stehen. Block 212 bestimmt dann passende Segmente aus der Liste. In einigen Ausführungsformen wählt Block 212 das ähnlichste Segment (z. B. das Segment mit dem höchsten Rang) aus der Liste als passendes Segment aus. In anderen Ausführungsformen kann Block 212 mehrere passende Segmente auswählen, beispielsweise die oberen n passenden Segmente auswählen oder eine Anzahl von Segmenten gemäß einer Ähnlichkeitsschwelle auswählen.
• Block 214 bestimmt eine Kennzeichnung der passenden Segmente und bestimmt, ob die Segmente anomales Verhalten identifizieren. In anderen Ausführungsformen kann Block 214 nach jeder Art von Systemverhalten auswählen. Beispielsweise kann Block 214 auf einer tragbaren Vorrichtung bestimmen, welche Art von physischer Anwenderaktivität die aktuellen Sensorinformationen angeben. Andere Arten von detektiertem Verhalten können einen Eingriff in die Computersicherheit, gefährliche Umgebungsbedingungen, medizinische Leiden usw. umfassen. Block 216 ergreift dann eine Korrekturmaßnahme basierend auf der Bestimmung von Block 214. Beispielsweise können Korrekturmaßnahmen, die auf anomales Verhalten reagieren, ein Ändern einer Sicherheitseinstellung für eine Anwendung oder Hardwarekomponente, ein Ändern eines Betriebsparameters einer Anwendung oder Hardwarekomponente (z. B. einer Betriebsgeschwindigkeit), ein Anhalten und/oder Neustarten einer Anwendung, ein Anhalten und/oder Neustarten einer Hardwarekomponente, ein Ändern einer Umgebungsbedingung, ein Ändern des Status oder der Einstellungen einer Netzwerkschnittstelle usw. umfassen. Block 216 korrigiert oder mildert dadurch automatisch das anomale Verhalten.
• Hierin beschriebene Ausführungsformen können vollständig Hardware sein, vollständig Software sein oder sowohl Hardware- als auch Softwareelemente umfassen. In einer bevorzugten Ausführungsform ist die vorliegende Erfindung in Software implementiert, die Firmware, residente Software, Mikrocode usw. umfasst, aber nicht darauf beschränkt ist.
• Ausführungsformen können ein Computerprogrammprodukt umfassen, auf das von einem computerverwendbaren oder computerlesbaren Medium aus zugegriffen werden kann und das Programmcode zur Verwendung durch oder in Verbindung mit einem Computer oder einem beliebigen Befehlsausführungssystem bereitstellt. Ein computerverwendbares oder computerlesbares Medium kann eine beliebige Einrichtung umfassen, die das Programm zur Verwendung durch oder in Verbindung mit dem Befehlsausführungssystem, der Einrichtung oder Vorrichtung speichert, kommuniziert, verbreitet oder transportiert. Das Medium kann ein magnetisches, optisches, elektronisches, elektromagnetisches, infrarotes oder halbleitergestütztes System (oder eine derartige Vorrichtung oder Einrichtung) oder ein Ausbreitungsmedium sein. Das Medium kann ein computerlesbares Speichermedium wie einen Halbleiter- oder Festkörperspeicher, ein Magnetband, eine entfernbare Computerdiskette, einen Direktzugriffsspeicher (RAM), einen Nur-Lese-Speicher (ROM), eine starre Magnetplatte und eine optische Platte usw. umfassen.
• Jedes Computerprogramm kann konkret in einem maschinenlesbaren Speichermedium oder einer maschinenlesbaren Speichervorrichtung (z. B. einem Programmspeicher oder einer Magnetplatte) gespeichert sein, das/die von einem programmierbaren Allzweck- oder Spezial-Computer gelesen werden kann, um den Betrieb eines Computers zu konfigurieren und zu steuern, wenn das Speichermedium oder die Speichervorrichtung von dem Computer gelesen wird, um die hier beschriebenen Prozeduren durchzuführen. Das erfindungsgemäße System kann auch als in einem computerlesbaren Speichermedium verkörpert sein, das mit einem Computerprogramm konfiguriert ist, wobei das so konfigurierte Speichermedium veranlasst, dass ein Computer auf eine spezifische und vordefinierte Weise arbeitet, um die hierin beschriebenen Funktionen auszuführen.
• Ein Datenverarbeitungssystem, das zum Speichern und/oder Ausführen von Programmcode geeignet ist, kann mindestens einen Prozessor aufweisen, der direkt oder indirekt über einen Systembus mit Speicherelementen gekoppelt ist. Die Speicherelemente können lokalen Speicher, der während der tatsächlichen Ausführung des Programmcodes verwendet wird, Massenspeicher und Cache-Speicher, der eine temporäre Speicherung mindestens eines Teils des Programmcode bereitstellt, um die Häufigkeit zu verringern, mit der Code während der Ausführung aus dem Massenspeicher abgerufen wird, umfassen. Eingabe-/Ausgabe- oder E/A-Vorrichtungen (einschließlich, aber nicht beschränkt auf Tastaturen, Anzeigen, Zeigevorrichtungen usw.) können entweder direkt oder über dazwischenliegende E/A-Controller mit dem System gekoppelt sein.
• Netzadapter können auch mit dem System gekoppelt sein, um zu ermöglichen, dass das Datenverarbeitungssystem durch dazwischenliegende private oder öffentliche Netze mit anderen Datenverarbeitungssystemen oder entfernten Druckern oder Speichervorrichtungen gekoppelt werden kann. Modems, Kabelmodems und Ethernet-Karten sind nur einige der derzeit verfügbaren Arten von Netzadaptern.
• Die vorliegenden Ausführungsformen verwenden künstliche neuronale Netze (ANNs), um bestimmte Operationen auszuführen. Ein ANN ist ein Informationsverarbeitungssystem, das von biologischen Nervensystemen wie dem Gehirn inspiriert ist. Das Schlüsselelement von ANNs ist die Struktur des Informationsverarbeitungssystems, das eine große Anzahl stark miteinander verbundener Verarbeitungselemente (sogenannte „Neuronen“) umfasst, die parallel arbeiten, um bestimmte Probleme zu lösen. ANNs werden außerdem im Gebrauch mit Lernen trainiert, was Anpassungen an Gewichte beinhaltet, die zwischen den Neuronen existieren. Ein ANN wird durch einen solchen Lernprozess für eine bestimmte Anwendung wie Mustererkennung oder Datenklassifizierung ausgelegt.
• Unter Bezugnahme auf 3 ist ein verallgemeinertes Diagramm eines neuronalen Netzes gezeigt. ANNs zeigen die Fähigkeit, aus komplizierten oder ungenauen Daten eine Bedeutung abzuleiten, und können verwendet werden, um Muster zu extrahieren und Trends zu detektieren, die zu komplex sind, um von Menschen oder anderen computergestützten Systemen detektiert zu werden. Es ist allgemein bekannt, dass die Struktur eines neuronalen Netzes Eingabeneuronen 302 aufweist, die Informationen an ein oder mehrere „verdeckte“ Neuronen 304 liefern. Verbindungen 308 zwischen den Eingabeneuronen 302 und verdeckten Neuronen 304 werden gewichtet und diese gewichteten Eingaben werden dann von den verdeckten Neuronen 304 gemäß irgendeiner Funktion in den verdeckten Neuronen 304 mit gewichteten Verbindungen 308 zwischen den Schichten verarbeitet. Es kann eine beliebige Anzahl von Schichten verdeckter Neuronen 304 sowie Neuronen, die unterschiedliche Funktionen ausführen, geben. Es gibt auch verschiedene Strukturen neuronaler Netze wie z. B. ein faltendes neuronales Netz, ein Maxout-Netz usw. Schließlich akzeptiert und verarbeitet eine Menge von Ausgabeneuronen 306 gewichtete Eingaben aus der letzten Menge von verdeckten Neuronen 304.
• Dies stellt eine „Vorwärtskopplungsberechnung“ dar, bei der sich Informationen von den Eingabeneuronen 302 zu den Ausgabeneuronen 306 ausbreiten. Nach Abschluss einer Vorwärtskopplungsberechnung wird die Ausgabe mit einer gewünschten Ausgabe verglichen, die aus Trainingsdaten verfügbar ist. Der Fehler relativ zu den Trainingsdaten wird dann in einer „Rückkopplungsberechnung“ verarbeitet, wobei die verdeckten Neuronen 304 und Eingabeneuronen 302 Informationen bezüglich des Fehlers empfangen, der sich von den Ausgabeneuronen 306 rückwärts ausbreitet. Sobald die Rückfehlerausbreitung abgeschlossen ist, werden Gewichtsaktualisierungen durchgeführt, wobei die gewichteten Verbindungen 308 aktualisiert werden, um den empfangenen Fehler zu berücksichtigen. Dies ist nur eine Art von ANN.
• Unter Bezugnahme auf die Zeichnungen, in denen gleiche Zahlen dieselben oder ähnliche Elemente darstellen, und zunächst auf 4, ist eine ANN-Architektur 400 gezeigt. Es versteht sich, dass die vorliegende Architektur rein beispielhaft ist und dass stattdessen andere Architekturen oder Arten von neuronalen Netzen verwendet werden können. Die hierin beschriebene ANN-Ausführungsform ist in der Absicht aufgenommen, allgemeine Prinzipien der Berechnung neuronaler Netze mit einem hohen Grad an Allgemeinheit zu veranschaulichen, und sollte in keiner Weise als einschränkend ausgelegt werden.
• Darüber hinaus sind die nachstehend beschriebenen Schichten von Neuronen und die sie verbindenden Gewichte allgemein beschrieben und können durch jede Art von Schichten neuronaler Netze mit einem beliebigem geeigneten Grad oder Typ von Zwischenverbindungsfähigkeit ersetzt werden. Beispielsweise können Schichten Faltungsschichten, Zusammenlegungsschichten, vollständig verbundene Schichten, Stopmax-Schichten oder irgendeine andere geeignete Art von Schicht neuronaler Netze umfassen. Darüber hinaus können nach Bedarf Schichten hinzugefügt oder entfernt werden und die Gewichte können für kompliziertere Formen von Zwischenverbindung weggelassen werden. Auf diese Weise kann die gezeigte allgemeine ANN-Struktur an die oben beschriebenen LSTM- und CNN-Netze angepasst werden.
• Während des Vorwärtskopplungsbetriebs liefert eine Menge von Eingabeneuronen 402 jeweils ein Eingabesignal parallel zu einer jeweiligen Reihe von Gewichten 404. In der hier beschriebenen Hardware-Ausführungsform haben die Gewichte 404 jeweils einen jeweiligen einstellbaren Wert, so dass eine Gewichtsausgabe von dem Gewicht 404 zu einem jeweiligen verdeckten Neuron 406 übergeht, um die gewichtete Eingabe in das verdeckte Neuron 406 darzustellen. In Software-Ausführungsformen können die Gewichte 404 einfach als Koeffizientenwerte dargestellt werden, die mit den relevanten Signalen multipliziert werden. Die Signale aus jedem Gewicht addieren spaltenweise und fließen zu einem verdeckten Neuron 406.
• Die verdeckten Neuronen 406 verwenden die Signale aus dem Array von Gewichten 404, um irgendeine Berechnung durchzuführen. Die verdeckten Neuronen 406 geben dann ein eigenes Signal an ein anderes Array von Gewichten 404 aus. Dieses Array arbeitet auf die gleiche Weise, wobei eine Spalte von Gewichten 404 ein Signal aus ihrem jeweiligen verdeckten Neuron 406 empfängt, um eine gewichtete Signalausgabe zu erzeugen, die zeilenweise addiert und an das Ausgabeneuron 408 geliefert wird.
• Es versteht sich, dass eine beliebige Anzahl dieser Stufen implementiert werden kann, indem zusätzliche Schichten von Arrays und verdeckten Neuronen 406 zwischengeschaltet werden. Es sollte auch beachtet werden, dass einige Neuronen konstante Neuronen 409 sein können, die eine konstante Ausgabe an das Array liefern. Die konstanten Neuronen 409 können unter den Eingabeneuronen 402 und/oder verdeckten Neuronen 406 vorhanden sein und werden nur während des Vorwärtskopplungsbetriebs verwendet.
• Während der Rückausbreitung liefern die Ausgabeneuronen 408 ein Signal zurück über das Array von Gewichten 404 hinweg. Die Ausgabeschicht vergleicht die erzeugte Netzantwort mit Trainingsdaten und berechnet einen Fehler. Das Fehlersignal kann proportional zu dem Fehlerwert gemacht werden. In diesem Beispiel empfängt eine Reihe von Gewichten 404 parallel ein Signal von einem jeweiligen Ausgabeneuron 408 und erzeugt eine Ausgabe, die spaltenweise addiert, um einen Eingabe für verdeckte Neuronen 406 zu liefern. Die verdeckten Neuronen 406 kombinieren das gewichtete mit einer Ableitung ihrer Vorwärtskopplungsberechnung und speichern einen Fehlerwert, bevor ein Rückkopplungssignal an ihre jeweilige Spalte von Gewichten 404 ausgegeben wird. Diese Rückwärtsausbreitung durchläuft das gesamte Netz 400, bis alle verdeckten Neuronen 406 und die Eingabeneuronen 402 einen Fehlerwert gespeichert haben.
• Während Gewichtsaktualisierungen werden die gespeicherten Fehlerwerte verwendet, um die einstellbaren Werte der Gewichte 404 zu aktualisieren. Auf diese Weise können die Gewichte 404 trainiert werden, um das neuronale Netz 400 an Fehler in seiner Verarbeitung anzupassen. Es ist zu beachten, dass sich die drei Betriebsarten Vorwärtskopplung, Rückausbreitung und Gewichtsaktualisierung nicht überschneiden.
• Unter Bezugnahme auf 5 ist ein Anomaliendetektions-und-korrektursystem 106 gezeigt. Das System 106 umfasst einen Hardwareprozessor 502 und einen Speicher 504. Eine Netzschnittstelle 506 empfängt Informationen von den Sensoren 104 und sendet Steuerinformationen über ein geeignetes drahtgebundenes oder drahtloses Kommunikationsmedium und über ein geeignetes Protokoll an die Systemsteuerung 108. Das System 106 umfasst ferner ein oder mehrere Funktionsmodule, die in einigen Ausführungsformen als Software implementiert sein können, die in dem Speicher 504 gespeichert ist und auf dem Hardwareprozessor 502 ausgeführt wird. In anderen Ausführungsformen können eines oder mehrere der Funktionsmodule als eine oder mehrere diskrete Hardwarekomponenten beispielsweise in Form von anwendungsspezifischen integrierten Chips oder feldprogrammierbaren Gatteranordnungen implementiert sein.
• Eine LSTM-Netzeinheit 508 erfasst die zeitliche Dynamik von Zeitreihensequenzen, während ein CNN 510 die Korrelationen zwischen verschiedenen Paaren von Zeitreihen erfasst, die aus verschiedenen Sensoren 104 stammen. Ein Modul für gemeinsame Einbettung 512 erzeugt eine gemeinsame Binäreinbettung unter Verwendung der Ausgaben der LSTM-Netzeinheit 508 und des CNN 510. Ein Rangmodul 514 erzeugt eine Liste von passenden Zeitreihensequenzen, die gemäß der Ähnlichkeit zu einer aktuellen Zeitreihe aus den Sensoren 104 einen Rang erhalten.
• Das Korrekturmodul 516 verwendet die Rangliste, um den gegenwärtigen Zustand des überwachten Systems 102 durch Bewerten von Kennzeichnungen, die den ähnlichen Sequenzen zugeordnet sind, zu bestimmen. Auf diese Weise identifiziert das Korrekturmodul 516 ein anomales Verhalten. Das Korrekturmodul 516 bestimmt dann eine geeignete Korrekturmaßnahme, die als Reaktion auf das anomale Verhalten ergriffen werden soll, und führt diese Maßnahme aus.
• Unter Bezugnahme auf 6 ist ein beispielhaftes Verarbeitungssystem 600 gezeigt, das das Anomaliendetektionssystem 106 darstellen kann. Das Verarbeitungssystem 600 umfasst mindestens einen Prozessor (CPU) 604, der über einen Systembus 602 betriebstechnisch mit anderen Komponenten gekoppelt ist. Ein Cache 606, ein Nur-Lese-Speicher (ROM) 608, ein Direktzugriffsspeicher (RAM) 610, ein Eingabe/Ausgabe-Adapter (E/A-Adapter) 620, ein Tonadapter 630, ein Netzadapter 640, ein Anwenderschnittstellenadapter 650 und ein Anzeigeadapter 660 sind betriebstechnisch mit dem Systembus 602 gekoppelt.
• Eine erste Speichervorrichtung 622 und eine zweite Speichervorrichtung 624 sind durch den E/A-Adapter 620 betriebstechnisch mit dem Systembus 602 gekoppelt. Die Speichervorrichtungen 622 und 624 können eine beliebige Plattenspeichervorrichtung (z. B. eine magnetische oder optische Plattenspeichervorrichtung), eine Festkörpermagnetvorrichtung usw. sein. Die Speichervorrichtungen 622 und 624 können der gleiche Typ von Speichervorrichtung oder verschiedene Typen von Speichervorrichtungen sein.
• Ein Lautsprecher 632 ist durch den Tonadapter 630 betriebstechnisch mit dem Systembus 602 gekoppelt. Ein Sendeempfänger 642 ist über den Netzadapter 640 betriebstechnisch mit dem Systembus 602 gekoppelt. Eine Anzeigevorrichtung 662 ist über den Anzeigeadapter 660 betriebstechnisch mit dem Systembus 602 gekoppelt.
• Eine erste Anwendereingabevorrichtung 652, eine zweite Anwendereingabevorrichtung 654 und eine dritte Anwendereingabevorrichtung 656 sind über den Anwenderschnittstellenadapter 650 betriebstechnisch mit dem Systembus 602 gekoppelt. Die Anwendereingabevorrichtungen 652, 654 und 656 können eine Tastatur, einer Maus, ein Tastenfeld, eine Bilderfassungsvorrichtung, eine Bewegungserfassungsvorrichtung, ein Mikrofon, eine Vorrichtung, die die Funktionalität von mindestens zwei der vorhergehenden Vorrichtungen aufweist, und so weiter sein. Natürlich können auch andere Arten von Eingabevorrichtungen verwendet werden und dabei der Gedanke der vorliegenden Prinzipien erhalten bleiben. Die Anwendereingabevorrichtungen 652, 654 und 656 können der gleiche Typ einer Anwendereingabevorrichtung oder verschiedene Typen von Anwendereingabevorrichtungen sein. Die Anwendereingabevorrichtungen 652, 654 und 656 werden zum Eingeben und Ausgeben von Informationen in das und aus dem System 600 verwendet.
• Natürlich kann das Verarbeitungssystem 600 auch andere Elemente (nicht gezeigt) aufweisen sowie bestimmte Elemente weglassen, wie dies von Fachleuten ohne Weiteres in Betracht gezogen wird. Beispielsweise können in das Verarbeitungssystem 600 abhängig von dessen speziellen Implementierung verschiedene andere Eingabevorrichtungen und/oder Ausgabevorrichtungen aufgenommen werden, wie es für Fachleute leicht verständlich ist. Beispielsweise können verschiedene Arten von drahtlosen und/oder drahtgebundenen Eingabe- und/oder Ausgabevorrichtungen verwendet werden. Darüber hinaus können zusätzliche Prozessoren, Controller, Speicher usw. in verschiedenen Konfigurationen verwendet werden, wie dies von Fachleuten leicht erkannt wird. Diese und andere Variationen des Verarbeitungssystems 600 werden von Fachleuten angesichts der Lehren der hier bereitgestellten vorliegenden Prinzipien ohne Weiteres in Betracht gezogen.
• Das Vorstehende soll als in jeder Hinsicht veranschaulichend und beispielhaft, aber nicht als einschränkend verstanden werden, und der Umfang der hierin offenbarten Erfindung soll nicht aus der genauen Beschreibung bestimmt werden, sondern vielmehr aus den Ansprüchen und deren Interpretation gemäß der vollen Breite, die nach den Patentgesetzen zulässig ist. Es versteht sich, dass die hier gezeigten und beschriebenen Ausführungsformen nur die vorliegende Erfindung veranschaulichen und dass Fachleute verschiedene Abwandlungen implementieren können, ohne vom Umfang und Gedanken der Erfindung abzuweichen. Fachleute könnten verschiedene andere Merkmalskombinationen implementieren, ohne vom Umfang und Gedanken der Erfindung abzuweichen. Nachdem auf diese Weise Aspekte der Erfindung mit den durch die Patentgesetze geforderten Einzelheiten und Besonderheiten beschrieben wurden, wird in den beigefügten Ansprüchen dargelegt, was durch das Patent beansprucht wird und geschützt werden soll.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 62627922 [0001]
• US 16/245740 [0001]

Claims (18)

1. Verfahren zum Detektieren und Korrigieren von anomalem Verhalten, das Folgendes umfasst: Erzeugen einer gemeinsamen Binäreinbettung von jeder von mehreren historischen Zeitreihensequenzen; Erzeugen einer gemeinsamen Binäreinbettung einer jüngsten Zeitreihensequenz; Erzeugen einer Rangliste der mehreren historischen Zeitreihensequenzen gemäß jeweiligen Ähnlichkeiten jeder historischen Zeitreihensequenz mit der jüngsten Zeitreihensequenz basierend auf den jeweiligen gemeinsamen Binäreinbettungen davon; Bestimmen von anomalem Verhalten eines Systems, das der jüngsten Zeitreihensequenz zugeordnet ist, gemäß einer Kennzeichnung einer historischen Zeitreihensequenz mit dem höchsten Rang in der Rangliste; und Durchführen einer Korrekturmaßnahme, um das anomale Verhalten zu korrigieren.
2. Verfahren nach Anspruch 1, wobei das Erzeugen einer gemeinsamen Binäreinbettung der mehreren historischen Zeitreihensequenzen und der jüngsten Zeitreihensequenz umfasst: Codieren einer Zeitreihensequenz mit einer Einheit mit langem Kurzzeitgedächtnis, um eine erste Darstellung der zeitlichen Dynamik zu erzeugen; und Codieren von Paaren von Zeitreihensequenzen mit faltenden neuronalen Netzen, um zweite Darstellungen für Korrelationen zwischen verschiedenen Paaren von Zeitreihen innerhalb desselben Zeitsegments zu erzeugen.
3. Verfahren nach Anspruch 2, wobei das Erzeugen einer gemeinsamen Binäreinbettung der mehreren historischen Zeitreihensequenzen und der jüngsten Zeitreihensequenz ferner umfasst: Verketten der Darstellungen; und Abbilden der Verkettung auf einen Wert zwischen 1 und -1.
4. Verfahren nach Anspruch 1, wobei das Erzeugen der Rangliste ein Bestimmen einer Ähnlichkeit jeder der mehreren historischen Zeitreihensequenzen mit der jüngsten Zeitreihensequenz gemäß einem Hamming-Abstand zwischen den jeweiligen gemeinsamen Binäreinbettungen umfasst.
5. Verfahren nach Anspruch 1, wobei das Erzeugen der Rangliste ein Optimieren einer Zielfunktion umfasst, die einen Rangverlustterm und einen Regularisierungsterm umfasst.
6. Verfahren nach Anspruch 5, wobei das Optimieren der Zielfunktion ein Optimieren einer genäherten Zielfunktion umfasst: $$\overline{\mathcal{O}\left({\mathcal{D}}_{triplet},\text{W}\right)}={\left(\lfloor \frac{M}{s}\rfloor \cdot {\displaystyle {\sum }_{j=1}^s\sigma \left({\text{V}}_{qi}-{\text{V}}_{qj}\right)}\right)}^{\frac{1}{r}}+\frac{\lambda }{2}{\Vert \text{W}\Vert }_F^2$$

   

   wobei ${\mathcal{D}}_{triplet}$

   

   ein Triplett von Segmenten ist, W eine Parametermatrix ist, M eine Gesamtzahl von Auswahlmöglichkeiten von Triplets ist, s eine Anzahl verschiedener Segmente in den Triplets ist, ${\displaystyle {\sum }_{j=1}^s\sigma \left({\text{V}}_{qi}-{\text{V}}_{qj}\right)}$

   

   ein weich angenäherter Rang von historischen Zeitreihen y_i in Bezug auf die Abfrage y_q ist und λ ein Parameter ist, der einen Kompromiss zwischen Rangverlust und Regularisierung steuert.
7. Verfahren nach Anspruch 5, wobei die Zielfunktion eine genäherte Zielfunktion ist, die auf einem stochastischen Gradientenabstieg basiert.
8. Verfahren nach Anspruch 1, wobei jede Zeitreihensequenz eine Menge von Sensorwerten darstellt, die nach der Zeit der Aufzeichnung geordnet sind.
9. Verfahren nach Anspruch 1, wobei die Korrekturmaßnahme aus der folgenden Gruppe ausgewählt ist: Ändern einer Sicherheitseinstellung für eine Anwendung oder Hardwarekomponente des überwachten Systems, Ändern eines Betriebsparameters einer Anwendung oder Hardwarekomponente des überwachten Systems, und Anhalten oder Neustarten einer Anwendung des überwachten Systems, Anhalten oder Neustarten einer Hardwarekomponente des überwachten Systems, Ändern eines Umgebungszustands des überwachten Systems und Ändern des Status einer Netzschnittstelle des überwachten Systems.
10. System zum Detektieren und Korrigieren von anomalem Verhalten, das Folgendes umfasst: ein Modul für gemeinsame Einbettung, das einen Prozessor aufweist, der dazu ausgelegt ist, eine gemeinsame Binäreinbettung von jeder von mehreren historischen Zeitreihensequenzen zu erzeugen und eine gemeinsame Binäreinbettung einer aktuellen Zeitreihensequenz zu erzeugen; ein Rangmodul, das dazu ausgelegt ist, eine Rangliste der mehreren historischen Zeitreihensequenzen gemäß jeweiligen Ähnlichkeiten jeder historischen Zeitreihensequenz mit der jüngsten Zeitreihensequenz basierend auf den jeweiligen gemeinsamen Binäreinbettungen davon zu erzeugen; und ein Korrekturmodul, das dazu ausgelegt ist, ein anomales Verhalten eines Systems, das der letzten Zeitreihensequenz zugeordnet ist, gemäß einer Kennzeichnung einer historischen Zeitreihensequenz mit dem höchsten Rang in der Rangliste zu bestimmen und eine Korrekturmaßnahme durchzuführen, um das anomale Verhalten zu korrigieren.
11. System nach Anspruch 10, wobei das Modul für gemeinsame Einbettung ferner dazu ausgelegt ist, eine Zeitreihensequenz mit einer Einheit mit langem Kurzzeitgedächtnis zu codieren, um eine erste Darstellung der zeitlichen Dynamik zu erzeugen, und Paare von Zeitreihensequenzen mit faltenden neuronalen Netzen zu codieren, um zweite Darstellungen für Korrelationen zwischen verschiedenen Zeitreihenpaaren innerhalb desselben Zeitsegments zu erzeugen.
12. System nach Anspruch 11, wobei das Modul für gemeinsame Einbettung ferner dazu ausgelegt ist, die Darstellungen zu verketten und die Verkettung auf einen Wert zwischen 1 und -1 abzubilden.
13. System nach Anspruch 10, wobei das Rangmodul ferner dazu ausgelegt ist, eine Ähnlichkeit jeder der mehreren historischen Zeitreihensequenzen mit der jüngsten Zeitreihensequenz gemäß einem Hamming-Abstand zwischen den jeweiligen gemeinsamen Binäreinbettungen zu bestimmen.
14. System nach Anspruch 10, wobei das Rangmodul ferner dazu ausgelegt ist, eine Zielfunktion zu optimieren, die einen Rangverlustterm und einen Regularisierungsterm umfasst.
15. System nach Anspruch 14, wobei das Rangfolgenmodul ferner dazu ausgelegt ist, die Zielfunktion als eine genäherte Zielfunktion zu optimieren: $$\overline{\mathcal{O}\left({\mathcal{D}}_{triplet},\text{W}\right)}={\left(\lfloor \frac{M}{s}\rfloor \cdot {\displaystyle {\sum }_{j=1}^s\sigma \left({\text{V}}_{qi}-{\text{V}}_{qj}\right)}\right)}^{\frac{1}{r}}+\frac{\lambda }{2}{\Vert \text{W}\Vert }_F^2$$

    

    wobei ${\mathcal{D}}_{triplet}$

    

    ein Triplett von Segmenten ist, W eine Parametermatrix ist, M eine Gesamtzahl von Auswahlmöglichkeiten von Triplets ist, s eine Anzahl verschiedener Segmente in den Triplets ist, ${\displaystyle {\sum }_{j=1}^s\sigma \left({\text{V}}_{qi}-{\text{V}}_{qj}\right)}$

    

    ein weich angenäherter Rang von historischen Zeitreihen y_i in Bezug auf die Abfrage y_q ist und λ ein Parameter ist, der einen Kompromiss zwischen Rangverlust und Regularisierung steuert.
16. System nach Anspruch 14, wobei die Zielfunktion eine genäherte Zielfunktion ist, die auf einem stochastischen Gradientenabstieg basiert.
17. System nach Anspruch 10, wobei jede Zeitreihensequenz eine Menge von Sensorwerten darstellt, die nach der Zeit der Aufzeichnung geordnet sind.
18. System nach Anspruch 10, wobei die Korrekturmaßnahme aus der folgenden Gruppe ausgewählt ist: Ändern einer Sicherheitseinstellung für eine Anwendung oder Hardwarekomponente des überwachten Systems, Ändern eines Betriebsparameters einer Anwendung oder Hardwarekomponente des überwachten Systems, und Anhalten oder Neustarten einer Anwendung des überwachten Systems, Anhalten oder Neustarten einer Hardwarekomponente des überwachten Systems, Ändern eines Umgebungszustands des überwachten Systems und Ändern des Status einer Netzschnittstelle des überwachten Systems.

Images