EP4399646A1 - Computer-implementiertes verfahren und system zur anomalie-erkennung in sensordaten - Google Patents

Computer-implementiertes verfahren und system zur anomalie-erkennung in sensordaten

Info

Publication number
EP4399646A1
EP4399646A1 EP22798132.1A EP22798132A EP4399646A1 EP 4399646 A1 EP4399646 A1 EP 4399646A1 EP 22798132 A EP22798132 A EP 22798132A EP 4399646 A1 EP4399646 A1 EP 4399646A1
Authority
EP
European Patent Office
Prior art keywords
model
local
client
global
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22798132.1A
Other languages
English (en)
French (fr)
Inventor
Thomas BLUMAUER-HIESSL
Safoura REZAPOUR LAKANI
Daniel SCHALL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG Oesterreich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG Oesterreich filed Critical Siemens AG Oesterreich
Publication of EP4399646A1 publication Critical patent/EP4399646A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the invention relates to a computer-implemented method and a system for detecting anomalies in sensor data.
  • the invention relates to a data structure and its use, a computer program, an electronically readable data carrier and a data carrier signal.
  • a neural network in the form of a "machine learning” (ML) model can be used to detect anomalies in industrial processes, such as misplacement of transistors on a circuit board using computer-aided image processing.
  • ML machine learning
  • the object according to the invention is achieved by a method of the type mentioned at the outset, the following steps being carried out: a) generating and training a first and at least one second local model, each based on an autoencoder, each comprising local model weights and a local model output variable, and determining a local threshold value for the respective local model output variable using the mean and/or the standard deviation of the local threshold values by a first or at least one second client, b ) transmitting the local model weights and the local threshold values from the first and the at least a second client to a server, c) generating and training a global model based on an autoencoder, comprising global model weights and a local model output variable, using the local model weights of the first and at least the at least one second client, and determining a global threshold value for the global model output using the mean and/or the standard deviation of the local thresholds by the server, d) transmitting the global model weights and the global threshold to the first client, and adopting the global model weights
  • An autoencoder is used as the ML model, which is trained with "OK" data, which, for example, uses a recorded, correct image of the production step to be checked in image processing.
  • An autoencoder is an artificial neural network that is used to learn efficient coding.
  • the goal of an autoencoder is to learn a compressed representation (encoding) for a set of data and thus also to extract essential features. This allows it to be used for dimension reduction.
  • the aim of the autoencoder is, for example, to encode and decode the transistor images as well as possible, in other words to reconstruct them.
  • the transistor images can be considered abnormal and an anomaly is detected.
  • the accuracy for the detection of an anomaly is formed not only by the model with its model weights but also by the threshold value for the reconstruction error.
  • a large number of training data is to be processed both for the model and for the threshold value.
  • a local threshold value analogous to the model of an auto-encoder, is also an anonymous model, which is formed, for example, from a mean value and/or a standard deviation of training data for a respective local threshold value, hence the distinction between local threshold values and a global one threshold .
  • the respective threshold values of the clients can differ from one another, that is to say between individual clients, for example in terms of quality, for example depending on a respective quantity of training data. It can therefore be advantageous to federate a threshold value in addition to a model and to aggregate threshold value data via a server and distribute it to clients. This can be achieved, for example, by simplifying the training of a single client and improving accuracy by federating both the model and the threshold.
  • Local threshold values for individual clients which are determined independently of one another, are also transmitted to the server and federated.
  • Metadata about the thresholds can also be specified to indicate which properties the thresholds are based on. values are based .
  • This metadata can be used on the server to, for example, take into account the weights of individual clients with regard to their threshold values and to give greater weight to those threshold values that were determined on the basis of large training data sets with a higher weighting in the global threshold value.
  • autoencoders will be used by multiple customers.
  • Data is shared between customers to increase the performance of trained autoencoders.
  • Federated learning is an ML technique that allows an ML model to be trained across multiple decentralized edge devices containing local data samples without exchanging them themselves.
  • a development of the invention provides that a respective model output variable is formed by at least one parameter value, and the respective threshold value is defined by at least one corresponding assignable value or a range limit of a range.
  • each of the parameter values can be assigned a valid value or a valid value for an area limit of an area in which there is no anomaly and consequently an invalid parameter value is associated with an anomaly.
  • a development of the invention provides for the sensor data and training data to be in the form of image data.
  • the method according to the invention is suitable for all sensors and formats of sensor data, but in particular for video data, since a large number of individual data items in the form of image pixels is determined for such a measurement, for which a combination of autoencoders and federated learning has a particularly high recognition quality can be achieved.
  • the statistical methods for determining a respective Model output is done by applying the mean and/or the standard deviation.
  • the sensor data can be anonymized in a particularly simple manner.
  • a client and a server are understood to mean interconnected computing devices with memories, with a client being located locally in an application and being formed, for example, at an edge, and a server as a central element connecting one or more clients for communication purposes.
  • the global model weights and the global threshold value are transmitted from the server to the at least one second client, which has an autoencoder with a similar local model, the similarity having predefined areas and their limit values for the local model weights between the first and at least one second client are determined.
  • the similarity can be determined by grouping (“cluster”) the clients whose model weights and the relations between individual model weights are in similar value ranges.
  • Such value ranges can be defined in advance on the basis of the properties of the models or the connected technical devices together with their sensor means.
  • a model should depict a technical device in terms of properties of interest, whereby the properties can be recorded using sensor means and described in sensor data. If non-similar clients or their models are included in a global model, this can lead to the global model becoming inaccurate.
  • model data and training data can be formed synergistically, which can be taken into account with correspondingly greater weighting in the global models for auto-encoder and threshold value.
  • the joint, combined application of a federated model with a federated threshold forms synergies according to the invention, and the combination of which the metadata provides indications.
  • the metadata can indicate particularly favorable value ranges for the auto-encoder model and threshold value model relevant to the respective client and their advantageous combinations for a client.
  • the meta-data can be captured and provided during the creation and training of the models for the auto-encoder model and the threshold value model.
  • the object of the invention is also achieved by a computer-implemented data structure comprising a global model dell based on an autoencoder , including global model weights and a global threshold .
  • the object according to the invention is also achieved by using the data structure according to the invention in a memory on a server or a client in the method according to the invention.
  • the object of the invention is also achieved by a system for anomaly detection in sensor data, comprising a first and at least one second client, each with a client processor and a client memory, a sensor means and a connected server with a server processor and a server -Memory, the system being set up to carry out the method according to the invention.
  • the sensor means is an imaging sensor, such as an inspection camera for a production machine.
  • the object according to the invention is also achieved by a computer program comprising commands which, when they are executed by a computer, cause the computer to carry out the method according to the invention.
  • the object according to the invention is also achieved by an electronically readable data carrier with readable control information stored thereon, which comprises at least the computer program according to the invention and is designed such that they carry out the method according to the invention when using the data carrier in a computing device.
  • the object according to the invention is also achieved by a data carrier signal which transmits the computer program according to the invention.
  • FIG. 2 shows an exemplary embodiment with a partial flow chart of the method according to the invention.
  • FIG. 3 shows a flowchart with an exemplary embodiment of the method according to the invention.
  • FIG 1 schematically shows the method according to the invention with an autoencoder.
  • An encoder ENC processes input data ID into encoded data ED, which represent a latent space LS, ie a representation of compressed data.
  • a decoder DEC processes the encoded data ED in turn into reconstructed data RD (reconstructed data).
  • the reconstructed data RD are compared with previously generated model data and a reconstruction error RE is determined.
  • the figure shows the input data ID in the form of an image captured by an inspection camera with transistors on a semiconductor carrier.
  • the reconstructed data RD shows the essential features of the transistors, but small local differences in the semiconductor structures or details have been eliminated by using the autoencoder.
  • the reconstructed data RD therefore form a generalized form of the input data ID and are used in the method according to the invention to form a corresponding model and to detect anomalies ANO if a deviation in the sensor image from the model is sufficiently large.
  • the invention also records a threshold value, for example a discrete value or also an edge or limit value for a value range, which applies to a valid output variable of the reconstructed data RD.
  • a threshold value for example a discrete value or also an edge or limit value for a value range
  • Both the model, which can be represented by its model weights, and the threshold value are transmitted to a server in the form of anonymized data values, originating from several clients, and a federated model and a federated threshold value are formed, which in turn are used by the clients can .
  • Fig. 2 shows an exemplary embodiment of a partial flow chart of the method according to the invention, in which only one client is shown for better clarity.
  • a client is, for example, an Edge device, which uses sensors to record a connected technical device (not shown, for example an electric pump or a production machine) whose operating parameters are used and as a mathematical model of an artificial intelligence in the form of an autoencoder according to the previous figure .
  • federated learning requires multiple clients, whose data is used to create an accurate global model, which in turn is passed to the clients. This allows, for example, a new client to be added to the system without having to train a model locally.
  • the new client can get the global model from a server.
  • step CREG a customer or client first registers with a corresponding FL server S .
  • One or more clients C are each a device with a processor and a memory, which are connected to a central server device S, also with a processor and a memory.
  • the customer/client C trains his autoencoder himself in the TRAIN step.
  • the client C then uploads the determined weights for its autoencoder to the server S in the WEIGHTS step.
  • the global model is passed on to all clients C involved in a step UDT and the distributed global model is consequently updated (“update”).
  • the steps TRAIN, WEIGHTS, AGGR and UDT can be repeated if necessary in order to update the global model accordingly.
  • An update can, for example, be initiated manually by a client or by adding another new client.
  • the server S now forms a threshold value AVG_TH, for example by calculating an average threshold, which is used to determine the reconstruction error RE in a step ANO_DET in the course of an anomaly detection .
  • An anomaly ANO is recognized if a result of the autoencoder supplies a value which is above the threshold value AVG_TH.
  • Fig. 3 shows an exemplary embodiment of a system according to the invention.
  • the system includes a first client Gl with a client processor CPU1 and a client memory MEM1, and a first sensor means SM1.
  • the first client Gl creates and stores a local first model LM1 with first model weights W1 and a local first threshold value TH1 in the memory MEM1.
  • the system comprises a second client C2 with a second client processor CPU2 and a second client memory MEM2, as well as a second sensor means SM2.
  • the second client C2 creates and stores a local second model LM2 with second model weights W2 and a local second threshold TH2 in the memory MEM2.
  • the system has a server S with a server processor CPU and a server memory MEM, which is connected to the first and second clients C1, C2.
  • the system is set up to carry out the method according to the invention in order to calculate global model weights W_GM and a global threshold value TH_GM from the local model weights To determine Wl, W2 and local threshold values TH1, TH2 and to distribute them to the first and second clients C1, C2.
  • the sensor means SMI, SM2 are each imaging sensors.
  • Fig. 4 shows a flowchart with an exemplary embodiment of the method according to the invention.
  • the method has the following steps: a) Generation and training of a first and a second local model, each based on an autoencoder, each comprising local model weights W1, W2 and a local model output variable RD, and determining a local threshold value TH1, TH2 for the respective local model output variable RD with the aid of an averaging by a first or a second client CI, C2, b) transmission of the local model weights Wl, W2 and the local threshold values TH1, TH2 from the first and second client Cl, C2 to a server S, c) generating and training a global model GM based on an autoencoder, comprising global model weights W_GM and a local model output variable RD, using the local model weights Wl, W2 and determining a global threshold value TH_GM for the global model -Output variable RD, W_GM using an averaging fe by the server S, d) transmission of the global model weights W_GM and the global threshold TH_
  • Steps a) to d) implement an autoencoder with anonymous federated learning FL of models and threshold values across a number of clients C1, C2.
  • Steps e) to g) implement an anomaly detection AD using an autoencoder, equivalent to that previously shown in FIG. 2 more generally described anomaly detection ANO_DET.
  • the respective local model LM1, LM2 is trained with training data that can be assigned to an anomaly-free state in the sensor data SD1.
  • the respective model output variables RD are formed by a plurality of parameter values, and the respective threshold value TH1, TH2 is defined by correspondingly assignable values or limit values of ranges.
  • the sensor data and training data are in the form of image data.
  • the global model weights W_GM and the global threshold value TH_GM are transmitted from the server S to the second client C2, which has an autoencoder with a similar local model.
  • the similarity is determined via predefined ranges for the local model weights W1, W2 between the first and second clients C1, C2.
  • a respective local threshold value TH1, TH2 metadata regarding the local threshold value TH1, TH2 and the first and at least one second local model can be recorded by a first or at least one second client Cl, C2 and transmitted to the server S, and the metadata are applied when generating and training AGGR of the global model GM, for example with a correspondingly adapted weighting of the individual model weights W1, W2.
  • accurate model and threshold data of a "reference" client may be weighted more heavily than clients with less accurate training data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

Computer-implementiertes Verfahren zur Anomalie-Erkennung in Sensordaten (SD1, SD2), umfassend folgende Schritte: a) Erzeugen und Trainieren eines ersten und zumindest eines zweiten lokalen Modells jeweils auf Basis eines Autoen- coders und Bestimmen eines lokalen Schwellwerts (TH1, TH2) für die jeweilige lokale Modell-Ausgangsgröße (RD), b) Übermitteln der lokalen Modellgewichte (W1, W2) und der lokalen Schwellwerte (TH1, TH2 ) an einen Server (S), c) Erzeugen und Trainieren eines globalen Modells (GM) auf Basis eines Autoencoders und Bestimmen eines globalen Schwellwerts (TH GM) für die globale Modell- Ausgangsgröße (RD, W_GM), ti) Übermitteln der globalen Modellgewichte (W_GM) und des globalen Schwellwerts (TH_GM) an den ersten Klien- ten (C1), und Übernehmen der globalen Modellgewich- te (W_GM) für das erste lokale Modell (LM1), e) Erfassen von ersten Sensordaten (SD1) durch ein erstes Sensormittel (SM1), f) Anwenden der ersten Sensordaten (SD1) auf das erste loka- le Modell (LM1) und Bestimmen der lokalen Modell- Ausgangsgröße (RD, LM1_OUT) des ersten Klienten (C1), g) Erkennen einer Anomalie (ANO) für die Sensordaten, falls die lokale Modell-Ausgangsgröße (RD, LM1_OUT) außerhalb eines Bereichs liegt, welcher durch den globalen Schwellwert (TH_GM) festgelegt ist.

Description

Computer- Implementiertes Verfahren und System zur Anomalie- Erkennung in Sensordaten
Die Erfindung betri f ft ein computer-implementiertes Verfahren und ein System zur Anomalie-Erkennung in Sensordaten .
Ferner betri f ft die Erfindung eine Datenstruktur und deren Verwendung, ein Computerprogramm, einen elektronisch lesbaren Datenträger und ein Datenträgersignal .
Um Anomalien in industriellen Prozessen, wie beispielsweise Fehlplatzierungen von Transistoren auf einer Platine mithil fe computergestützter Bildverarbeitung zu erkennen, kann ein neuronales Netz in Form eines „machine learning" (ML ) Modells angewandt werden .
Dabei ist es j edoch häufig aufwändig, das ML-Modell entsprechend mit Bildern zu trainieren . Wird derselbe Prozess an mehreren Produktions-Standorten angewandt , so ist es beispielsweise häufig unerwünscht , Bild-Daten aus dem lokalen Netzwerk in einem System zu teilen, auf welches auch Betriebs fremde zugrei fen könnten, da dies einen unerwünschten Einblick in die Produktion oder die Produktions-Parameter möglicherweise zulassen würde . Dementsprechend kann dies zur Folge haben, dass daher ein ML-Modell neuerlich an einem anderen Produktionsstandort trainiert werden muss , was aufwändig und teuer ist , um aus Gründen der Betriebssicherheit keine Daten zu teilen .
Demzufolge werden häufig ML-Modell nicht mit ausreichenden Daten trainiert , was zu einer geringen Genauigkeit bei der Anomalie-Erkennung führen kann .
In der Veröf fentlichung SCHNEIBLE , JOSEPH ET AL : "Anomaly detection on the edge" , MILCOM 2017 - 2017 IEEE MILITARY COMMUNICATIONS CONFERENCE (MILCOM) , IEEE ; 23 . Oktober 2017 ( 2017- 10-23 ) , pp . : 678- 682 , XP033265066 ist ein klassisches System basierend auf föderiertem Lernen beschrieben, bei welchem Modell-Daten mehrerer Klienten durch einen Server aggregiert werden und an Klienten verteilt werden . Für einen Betrieb muss die Anwendung des föderierten Modells , beispielsweise durch einen Schwellwert , j edoch wiederum individuell und lokal angepasst werden, was aufwändig und teuer ist .
Es ist Aufgabe der Erfindung ein Verfahren bereitzustellen, durch welches ein genaues , betriebssicheres , Datenschutzkonformes , also anonymes Teilen von ML-Daten über mehrere Produktions-Standorte ermöglicht wird und eine verbesserte Genauigkeit beim Betrieb eines Klienten-Systems , sowie einen vereinfachten Betrieb bietet .
Die erfindungsgemäße Aufgabe wird durch ein Verfahren eingangs genannter Art gelöst , wobei folgende Schritte ausgeführt werden : a ) Erzeugen und Trainieren eines ersten und zumindest eines zweiten lokalen Modells j eweils auf Basis eines Autoencoders , j eweils umfassend lokale Modellgewichte und eine lokale Modell-Ausgangsgröße , und Bestimmen eines lokalen Schwellwerts für die j eweilige lokale Modell- Ausgangsgröße mithil fe des Mittelwerts und/oder der Standardabweichung der lokalen Schwellwerte durch einen ersten beziehungsweise zumindest einen zweiten Klienten, b ) Übermitteln der lokalen Modellgewichte und der lokalen Schwellwerte von dem ersten und dem zumindest einen zweiten Klienten an einen Server, c ) Erzeugen und Trainieren eines globalen Modells auf Basis eines Autoencoders , umfassend globale Modellgewichte und eine lokale Modell-Ausgangsgröße , unter Verwendung der lokalen Modellgewichte des ersten und zumindest des zumindest einen zweiten Klienten, und Bestimmen eines globalen Schwellwerts für die globale Modell-Ausgangsgröße mithil fe des Mittelwerts und/oder der Standardabweichung der lokalen Schwellwerte durch den Server, d) Übermitteln der globalen Modellgewichte und des globalen Schwellwerts an den ersten Klienten, und Übernehmen der globalen Modellgewichte für das erste lokale Modell des ersten Klienten, e ) Erfassen von ersten Sensordaten durch ein erstes Sensormittel , welches der erste Klient aufweist , f ) Anwenden der ersten Sensordaten auf das erste lokale Modell und Bestimmen der lokalen Modell-Ausgangsgröße des ersten Klienten, g) Erkennen einer Anomalie für die Sensordaten durch den ersten Klienten, falls die lokale Modell-Ausgangsgröße außerhalb eines Bereichs liegt , welcher durch den globalen Schwellwert festgelegt ist .
Als ML-Modell wird ein Autoencoder eingesetzt , der mit „OK"- Daten trainiert wird, welcher beispielsweise ein erfasstes korrektes Bild des zu prüfenden Produktionsschrittes in der Bildverarbeitung verwendet .
Ein Autoencoder ist ein künstliches neuronales Netz , welches dazu genutzt wird, ef fi ziente Codierungen zu lernen . Das Ziel eines Autoencoders ist es , eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren . Dadurch kann er zur Dimensionsreduktion genutzt werden .
Dabei zielt der Autoencoder darauf ab, beispielweise die Transistorbilder so gut wie möglich zu kodieren und zu dekodieren, mit anderen Worten zu rekonstruieren .
Wenn der trainierte Autoencoder dann auf „Nicht OK"-Daten angewendet wird, wird es daher höchstwahrscheinlich eine signi- fikante Fehlanpassung der decodierten Bilder geben, die als „Rekonstruktions fehler" beschrieben wird .
Wenn dieser Rekonstruktions fehler über einem bestimmten Schwellwert liegt , können die Transistorbilder als anormal betrachtet werden und eine Anomalie wird erkannt .
Die Genauigkeit für die Erkennung einer Anomalie wird neben dem Modell mit seinen Modell-Gewichten auch durch den Schwellwert für den Rekonstruktions fehler gebildet .
Sowohl für das Modell als auch für den Schwellwert sollen beispielsweise eine j eweils hohe Anzahl an Trainingsdaten verarbeitet werden .
Mit anderen Worten ist ein lokaler Schwellwert , analog zum Modell eines Auto-Encoders , ebenfalls ein anonymisiertes Modell , welches beispielsweise aus einem Mittelwert und/oder einer Standardabweichung von Trainingsdaten für einen j eweiligen lokalen Schwellwert gebildet ist , daher die Unterscheidung lokaler Schwellwerte und eines globalen Schwellwerts .
Die j eweiligen Schwellwerte der Klienten können untereinander, also zwischen einzelnen Klienten beispielsweise in der Qualität unterschiedlich sein, etwa abhängig von einer j eweiligen Menge an Trainingsdaten . Somit kann es vorteilhaft sein, neben einem Modell auch einen Schwellwert zu föderieren und über einen Server Schwellwert-Daten zu aggregieren und an Klienten zu verteilen . Dadurch kann beispielsweise erreicht werden, dass das Training eines einzelnen Klienten vereinfacht wird und die Genauigkeit verbessert wird, indem sowohl das Modell als auch der Schwellwert föderiert werden .
Dabei werden lokale Schwellwerte einzelner Klienten, welche unabhängig voneinander ermittelt werden, ebenfalls an den Server übertragen und föderiert .
Es können ferner Metadaten zu den Schwellwerten angegeben werden, um anzugeben, auf welchen Eigenschaften die Schwell- werte beruhen . Diese Metadaten können am Server dazu verwendet werden, um beispielsweise die Gewichte einzelner Klienten hinsichtlich deren Schwellwerte zu berücksichtigen und j ene Schwellwerte , die aufgrund großen Trainingsdatensätze ermittelt wurden, mit einer höheren Gewichtung im globalen Schwellwert stärker zu berücksichtigen .
Es ist klar, dass für die Schwellwerte lokaler Klienten bevorzugt nur anonymisierte lokale Schwellwerte verwendet werden, wie der Mittelwert und/oder die Standardabweichung der lokalen Schwellwerte , um Datenschutz-Aspekte zu berücksichtigen .
Wenn ein solches Verfahren beispielsweise an mehreren Produktionsstandorten angewendet wird, bei welchen Anomalien in ihren Prozessen auftreten, werden Autoencoder von mehreren Kunden verwendet .
Allerdings wird häufig nicht j eder Autoencoder mit ausreichenden Daten trainiert , was zu einer geringen Genauigkeit bei der Anomalie-Erkennung führen kann .
Dabei werden Daten zwischen Kunden geteilt , um die Leistung von trainierten Autoencodern zu steigern .
Jedoch ist dies j edoch aus Datenschutzaspekten möglicherweise nicht immer und überall möglich .
Andererseits kann „Federated Learning" ( FL ) verwendet werden, um das Wissen der Autoencoder zu synchronisieren .
Federated Learning ist eine ML-Technik, welche es erlaubt ein ML-Modell über mehrere dezentrale Edge-Geräte hinweg zu trainieren, die lokale Datensamples enthalten, ohne diese selbst aus zu tauschen .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass das Trainieren des j eweiligen lokalen Modells mit Trainings- daten erfolgt , die einem Anomalie- freien Zustand in den Sensordaten zugeordnet werden können .
Dadurch kann erreicht werden, dass eine Anomalie besonders gut erkannt wird, auch dann, wenn die Anomalie nicht vorher auf getreten ist und als solche nicht trainiert wurde .
Insgesamt kann die Erkennungsrate und deren Zuverlässigkeit dadurch verbessert werden .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass eine j eweilige Modell-Ausgangsgröße durch zumindest einen Parameter-Wert gebildet ist , und der j eweilige Schwellwert durch zumindest einen entsprechenden zuordenbaren Wert oder eine Bereichsgrenze eines Bereichs definiert ist .
Dadurch kann erreicht werden, dass ein oder mehrere Ausgangswerte oder Parameter-Werte in der Ausgangsgröße des Modells einen Rekonstruktions fehler abbilden .
Dementsprechend kann j edem der Parameter-Werte ein gültiger Wert oder ein gültiger Wert für eine Bereichsgrenze eines Bereich zugeordnet werden, in welchem keine Anomalie vorliegt und folglich ein ungültiger Parameter-Wert mit einer Anomalie in Verbindung gebracht wird .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die Sensordaten und Trainingsdaten in Form von Bilddaten gebildet sind .
Das erfindungsgemäße Verfahren eignet sich für alle Sensoren und Formate von Sensordaten, j edoch insbesondere für Videodaten, da für eine solche Messung eine große Anzahl an Einzeldaten in Form von Bild-Pixeln ermittelt wird, für welche eine Kombination von Autoencoders und föderiertem Lernen eine besonders hohe Erkennungsqualität erreicht werden kann .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die statistischen Methoden zur Bestimmung einer j eweiligen Modell-Ausgangsgröße durch Anwendung des Mittelwerts und/oder der Standardabweichung erfolgt .
Dadurch kann auf besonders einfache Weise eine Anonymisierung der Sensordaten erfolgen .
Unter einem Klienten und einem Server werden miteinander verbundene Rechenvorrichtungen mit Speichern verstanden, wobei ein Klient lokal bei einer Anwendung gelegen ist und beispielsweise an einer Edge gebildet ist , und ein Server als zentrales Element einen oder mehrere Klienten zu Kommunikations zwecken verbindet .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die globalen Modellgewichte und der globale Schwellwert von dem Server an den zumindest einen zweiten Klienten übermittelt wird, welcher über einen Autoencoder mit einem ähnlichen lokalen Modell verfügt , wobei die Ähnlichkeit über vordefinierte Bereiche und deren Grenzwerte für die lokalen Modellgewichte zwischen dem ersten und zumindest einen zweiten Klienten ermittelt wird .
Dadurch kann erreicht werden, dass beispielsweise nur ähnliche Klienten ein globales Modell für die Datenverarbeitung anwenden .
Die Ähnlichkeit kann durch eine Gruppierung ( engl . „cluster" ) der Klienten ermittelt werden, deren Modell-Gewichte sowie die Relationen zwischen einzelnen Modell-Gewichten in ähnlichen Wertebereichen liegen .
Derartige Wertebereiche können vorab aufgrund der Eigenschaften der Modelle beziehungsweise der verbundenen technischen Geräte samt deren Sensormitteln definiert werden .
Ein Modell soll ein technisches Gerät in Eigenschaften von Interesse abbilden, wobei die Eigenschaften mithil fe von Sensormitteln erfasst und in Sensordaten beschrieben werden kön- nen . Werden Nicht-ähnliche Klienten beziehungsweise deren Modelle in einem globalen Modell aufgenommen, so kann das dazu führen, dass das globale Modell ungenau wird .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass zu einem j eweiligen lokalen Schwellwert ferner Metadaten hinsichtlich des lokalen Schwellwert und des ersten und zumindest eines zweiten lokalen Modells durch einen ersten beziehungsweise zumindest einen zweiten Klienten erfasst werden und an den Server übermittelt werden, und beim Erzeugen und Trainieren des globalen Modells die Metadaten angewandt werden, beispielsweise bei einer Gewichtung der einzelnen Modell-Gewichte .
Dadurch kann synergistisch eine besonders gute Kombination von Modell-Daten und Trainings-Daten gebildet werden, welche in den globalen Modellen für Auto-Encoder und Schwellwert entsprechend stärker gewichtet berücksichtigt werden kann .
Es kann daraus eine besonders gute Erkennung von Anomalien resultieren .
Die gemeinsame , kombinierte Anwendung eines föderierten Modells mit einem föderierten Schwellwert bildet erfindungsgemäße Synergien, und auf welche Kombination die Metadaten Hinweise liefern .
Die Metadaten können auf besonders günstige Wertebereiche für das für den j eweiligen Klienten relevante Auto-Encoder-Modell und Schwellwert-Modell und deren vorteilhafte Kombinationen für einen Klienten hindeuten .
Die Meta-Daten können währen dem Erzeugen und Trainieren der Modelle für Auto-Encoder-Modell und Schwellwert-Modell erfasst und bereitgestellt werden .
Die erfindungsgemäße Aufgabe wird auch durch eine computerimplementierte Datenstruktur gelöst , umfassend ein globales Mo- dell auf Basis eines Autoencoders , umfassend globale Modellgewichte und einen globalen Schwellwert .
Die erfindungsgemäße Aufgabe wird auch durch eine Verwendung der erfindungsgemäßen Datenstruktur in einem Speicher auf einem Server oder einem Klienten in dem erfindungsgemäßen Verfahren gelöst .
Die erfindungsgemäße Aufgabe wird auch durch ein System zur Anomalie-Erkennung in Sensordaten gelöst , umfassend einen ersten und zumindest einen zweiten Klienten mit j eweils einem Klienten Prozessor und einem Klienten-Speicher , ein Sensormittel und einen verbundenen Server mit einem Server- Prozessor und einem Server-Speicher, wobei das System dazu eingerichtet ist , das erfindungsgemäße Verfahren aus zuführen .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass das Sensormittel ein bildgebender Sensor ist , wie eine Inspektionskamera für eine Produktionsmaschine .
Die erfindungsgemäße Aufgabe wird auch durch ein Computerprogramm gelöst , umfassend Befehle , welche bei deren Aus führung durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren aus zuführen .
Die erfindungsgemäße Aufgabe wird auch durch einen elektronisch lesbaren Datenträger mit darauf gespeicherten lesbaren Steuerinformationen gelöst , welche zumindest das erfindungsgemäße Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Recheneinrichtung das erfindungsgemäße Verfahren durchführen .
Die erfindungsgemäße Aufgabe wird auch durch ein Datenträgersignal gelöst , welches das erfindungsgemäße Computerprogramm überträgt .
Die Erfindung wird nachfolgend anhand eines in den beigeschlossenen Zeichnungen dargestellten Aus führungsbeispiels näher erläutert . In den Zeichnungen zeigt : Fig. 1 eine schematische Darstellung des erfindungsgemäßen Verfahrens mit einem Autoencoder,
Fig. 2 ein Ausführungsbeispiel mit einem Teil- Flussdiagramm des erfindungsgemäßen Verfahrens.
Fig. 3 ein Ausführungsbeispiel für ein erfindungsgemäßes System,
Fig. 3 ein Flussdiagramm mit einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
Fig. 1 zeigt schematisch das erfindungsgemäße Verfahren mit einem Autoencoder.
Ein Encoder ENC verarbeitet Eingabe-Daten ID (engl. „input data") zu kodierten Daten ED (engl. „encoded data") , welche einen latenten Raum LS darstellen, also eine Darstellung von komprimierten Daten.
Ein Decoder DEC verarbeitet die kodierten Daten ED wiederum zu rekonstruierte Daten RD (engl. „reconstructed data") .
Die rekonstruierte Daten RD werden mit vorher erzeugten Modell-Daten verglichen und ein Rekonstruktionsfehler RE (engl. „reconstruction error") wird ermittelt.
Überschreitet der Rekonstruktionsfehler RE einen vorbestimmten Schwellwert TH (engl. „threshold") , so wird eine Anomalie ANO erkannt.
In der Figur sind die Eingabe-Daten ID in Form eines von einer Inspektionskamera erfassten Bildes mit Transistoren auf einem Halbleiter-Träger dargestellt.
Die rekonstruierten Daten RD zeigen die wesentlichen Merkmale der Transistoren, jedoch wurden durch Anwendung des Autoencoder geringe lokale Unterschiede in den Halbleiterstrukturen oder Details eliminiert. Die rekonstruierten Daten RD bilden daher eine verallgemeinerte Form der Eingabe-Daten ID und werden im erfindungsgemäßen Verfahren dazu verwendet , ein entsprechendes Modell zu bilden und Anomalien ANO zu erkennen, falls eine Abweichung im Sensorbild gegenüber dem Modell hinreichend groß ist .
Die Erfindung erfasst neben dem Modell zusätzlich einen Schwellwert , beispielsweise ein diskreter Wert oder auch ein Rand- oder Grenzwert für einen Wertebereich, welcher für eine gültige Ausgabegröße der rekonstruierte Daten RD gilt .
Sowohl das Modell , welches über seine Modell-Gewichte repräsentiert werden kann, als auch der Schwellwert werden in Form anonymisierter Datenwerte , von mehreren Klienten ausgehend, an einen Server übermittelt und ein föderiertes Modell und ein föderierter Schwellwert gebildet , welches wiederum von den Klienten angewendet werden kann .
Fig . 2 zeigt ein Aus führungsbeispiel für ein Teil- Flussdiagramm des erfindungsgemäßen Verfahrens , bei welchem zur besseren Übersichtlichkeit nur ein Klient dargestellt ist .
Ein Klient ist beispielsweise ein Edge-Gerät , welches ein verbundenes technisches Gerät (nicht dargestellt , beispielsweise eine elektrische Pumpe oder eine Produktionsmaschine ) mithil fe von Sensoren dessen Betriebsparameter erfasst und als mathematisches Modell einer künstlichen Intelligenz in Form eines Autoencoders nach der vorhergehenden Figur entsprechend abbildet .
Es ist klar, dass für föderiertes Lernen mehrere Klienten erforderlich sind, mithil fe deren Daten ein genaues globales Modell erzeugt wird, was wiederum an die Klienten weitergegeben wird . Dadurch kann beispielsweise dem System ein neuer Klient hinzugefügt werden, ohne dass dieser lokal ein Modell trainieren muss .
Der neue Klient kann das globale Modell von einem Server beziehen .
Jene Verfahrensschritte , welche in einem Klienten C durchgeführt werden, sind in der Figur strichliert dargestellt .
Jene Verfahrensschritte , welche in einem Server S durchgeführt werden, sind in der Figur durchgezogen dargestellt .
Ein Kunde beziehungsweise Klient registriert sich im Schritt CREG zunächst bei einem entsprechenden FL-Server S .
Ein oder mehrere Klienten C sind j eweils eine Vorrichtung mit einem Prozessor und einem Speicher, welche mit einer zentralen Server-Vorrichtung S , ebenfalls mit einem Prozessor und einem Speicher, verbunden sind .
Der Kunde/Klient C trainiert im Schritt TRAIN selbst seinen Autoencoder .
Anschließend lädt der Klient C die ermittelten Gewichte für seinen Autoencoders im Schritt WEIGHTS zum Server S hoch .
Dann folgt ein Schritt AGGR, durch den die Gewichte von Kunden/ Klienten C für ein globales Modell aggregiert werden .
Das globale Modell wird an alle beteiligten Klienten C in einem Schritt UDT weitergegeben und das verteilt vorliegende globale Modell wird demzufolge aktualisiert ( engl . „update" ) .
Die Schritte TRAIN, WEIGHTS , AGGR und UDT können bei Bedarf wiederholt werden, um eine Aktualisierung des globalen Modells dementsprechend durchzuführen . Eine Aktualisierung kann beispielsweise manuell durch einen Klienten oder auch durch ein Hinzufügen eines weiteren, neuen Klienten initiiert werden .
Der Server S bildet nun einen Schwellwert AVG_TH, beispielsweise durch Berechnung eines Mittelwerts ( engl . „average threshold" ) , welcher für eine Ermittlung des Rekonstruktionsfehlers RE in einem Schritt ANO_DET im Zuge einer Anomalie- Erkennung ( engl . „anomaly detection" ) herangezogen wird .
Eine Anomalie ANO wird erkannt , falls ein Ergebnis des Autoencoders einen Wert liefert , welcher über dem Schwellwert AVG_TH liegt .
Fig . 3 zeigt ein Aus führungsbeispiel für ein erfindungsgemäßes System .
Das System umfasst einen ersten Klienten Gl mit einem Klien- ten-Prozessor CPU1 und einem Klienten-Speicher MEM1 , sowie ein erstes Sensormittel SM1 .
Der erste Klient Gl erzeugt und speichert ein lokales erstes Modell LM1 mit ersten Modell-Gewichten W1 und einem lokalen ersten Schwellwert TH1 im Speicher MEM1 .
Ferner umfasst das System einen zweiten Klienten C2 mit einem zweiten Klienten-Prozessor CPU2 und einem zweiten Klienten- Speicher MEM2 , sowie ein zweites Sensormittel SM2 .
Der zweite Klient C2 erzeugt und speichert ein lokales zweites Modell LM2 mit zweiten Modell-Gewichten W2 und einem lokalen zweiten Schwellwert TH2 im Speicher MEM2 .
Außerdem weist das System einen Server S mit einem Server- Prozessor CPU und einem Server-Speicher MEM auf , welcher mit dem ersten und zweiten Klienten Cl , C2 verbunden ist .
Das System ist dazu eingerichtet , das erfindungsgemäße Verfahren aus zuführen, um globale Modell-Gewichte W_GM und einen globalen Schwellwert TH_GM aus den lokalen Modell-Gewichten Wl , W2 und lokalen Schwellwerten TH1 , TH2 zu ermitteln und an den ersten und zweiten Klienten Cl , C2 zu verteilen .
Die Sensormittel SMI , SM2 sind j eweils bildgebende Sensoren .
Fig . 4 zeigt ein Flussdiagramm mit einem Aus führungsbeispiel des erfindungsgemäßen Verfahrens .
Das Verfahren weist folgende Schritte auf : a) Erzeugen und Trainieren eines ersten und eines zweiten lokalen Modells j eweils auf Basis eines Autoencoders , j eweils umfassend lokale Modellgewichte Wl , W2 und eine lokale Modell-Ausgangsgröße RD, und Bestimmen eines lokalen Schwellwerts TH1 , TH2 für die j eweilige lokale Modell- Ausgangsgröße RD mithil fe einer Mittelwert-Bildung durch einen ersten beziehungsweise eines zweiten Klienten CI , C2 , b) Übermitteln der lokalen Modellgewichte Wl , W2 und der lokalen Schwellwerte TH1 , TH2 von dem ersten und zweiten Klienten Cl , C2 an einen Server S , c) Erzeugen und Trainieren eines globalen Modells GM auf Basis eines Autoencoders , umfassend globale Modellgewichte W_GM und eine lokale Modell-Ausgangsgröße RD, unter Verwendung der lokalen Modellgewichte Wl , W2 und Bestimmen eines globalen Schwellwerts TH_GM für die globale Modell-Ausgangsgröße RD, W_GM mithil fe einer Mittelwert- Bildung durch den Server S , d) Übermitteln der globalen Modellgewichte W_GM und des globalen Schwellwerts TH_GM an den ersten Klienten CI , und Übernehmen der globalen Modellgewichte W_GM für das erste lokale Modell LM1 des ersten Klienten CI , e ) Erfassen von ersten Sensordaten SD1 als Eingangsdaten ID durch ein erstes Sensormittel SM1 , welches der erste Klient CI aufweist , f ) Anwenden der ersten Sensordaten SD1 auf das erste lokale Modell LM1 und Bestimmen der lokalen Modell- Ausgangsgröße LM1_OUT in Form von rekonstruierten Daten RD des ersten Klienten CI , g) Erkennen einer Anomalie ANO für die Sensordaten durch den ersten Klienten CI , falls die lokale Modell-Ausgangsgröße RD beziehungsweise LM1_OUT außerhalb eines Bereichs liegt , welcher durch den globalen Schwellwert TH_GM festgelegt ist .
Die Schritte a ) bis d) setzen einen Autoencoder mit anonymem föderiertem Lernen FL von Modellen sowie Schwellwerten über mehrere Klienten Cl , C2 um .
Die Schritte e ) bis g) setzen eine Anomalie-Erkennung AD mithil fe eines Autoencoders um, äquivalent der zuvor in Fig . 2 allgemeiner beschriebenen Anomalie-Erkennung ANO_DET .
Das Trainieren des j eweiligen lokalen Modells LM1 , LM2 erfolgt mit Trainingsdaten, die einem Anomalie- freien Zustand in den Sensordaten SD1 zugeordnet werden können .
Die j eweiligen Modell-Ausgangsgrößen RD sind durch mehrere Parameter-Wert gebildet , und der j eweilige Schwellwert TH1 , TH2 ist durch entsprechend zuordenbarer Werte oder Grenzwerte von Bereichen definiert .
Die Sensordaten und Trainingsdaten sind in Form von Bilddaten gebildet .
Die globalen Modellgewichte W_GM und der globale Schwellwert TH_GM wird von dem Server S an den zweiten Klienten C2 übermittelt , welcher über einen Autoencoder mit einem ähnlichen lokalen Modell verfügt .
Die Ähnlichkeit wird über vordefinierte Bereiche für die lokalen Modellgewichte Wl , W2 zwischen dem ersten und zweiten Klienten Cl , C2 ermittelt . Zu einem j eweiligen lokalen Schwellwert TH1 , TH2 können ferner Metadaten hinsichtlich des lokalen Schwellwert TH1 , TH2 und des ersten und zumindest einen zweiten lokalen Modells durch einen ersten beziehungsweise zumindest einen zweiten Klienten Cl , C2 erfasst werden und an den Server S übermittelt werden, und beim Erzeugen und Trainieren AGGR des globalen Modells GM die Metadaten angewandt werden, beispielsweise bei einer entsprechend angepassten Gewichtung der einzelnen Modell-Gewichte Wl , W2 . So können genaue Daten eines Modells und eines Schwellwerts eines „Ref erenz"-Klienten stärker gewichtet werden als Klienten mit weniger genauen Trainingsdaten .
Bezugszeichenliste :
AGGR Aggregieren der Gewichte von Kunden/ Klienten für globales Modell
ANO erkannte Anomalie
AD, ANO_DET Anomalie-Erkennung (engl. „anomaly detec- tion" )
AVG_TH Schwellwertbildung durch Mittelwertbildung
(engl. „average threshold")
C, Cl, C2 Klient bzw. Durchführung durch Kunde/ Klient
GREG Registrierung eines Kunden/ Klienten
DEC Decoder
ED kodierte Daten (engl. „encoded data")
ENG Encoder
FL Föderiertes Lernen globales Modell
LM1, LM2 lokales Modell
LS latenter Raum
RD, LM1_OUT Rekonstruierte Daten (engl. „reconstructed data") , Modell-Ausgangsgröße nach Autoencoder
RE Rekonstruktionsfehler (engl. „reconstruction error" )
S Server bzw. Durchführung durch Server
ID, SD1, SD2 Eingabe-Daten (engl. „input data") , Sensordaten
SMI, SM2 Sensor-Mittel, Kamera-Sensor mit Prozessor
TH, TH_GM, TH1, TH2 Schwellwert (engl. „threshold")
TRAIN Trainieren eines Kunden/ Klienten
UDT Aktualisieren von globalem Modell (engl. „up- date" )
W GM, Wl, W2 Gewichte eines Autoencoder-Modells
WEIGHTS Hochladen der Gewichte eines Kunden/ Klienten

Claims

Patentansprüche
1. Computer-implementiertes Verfahren zur Anomalie- Erkennung in Sensordaten (SD1, SD2) , umfassend folgende Schritte : a) Erzeugen und Trainieren (TRAIN) eines ersten und zumindest eines zweiten lokalen Modells jeweils auf Basis eines Autoencoders, jeweils umfassend lokale Modellgewichte (Wl, W2) und eine lokale Modell- Ausgangsgröße (RD) , und Bestimmen eines lokalen Schwellwerts (TH1, TH2 ) für die jeweilige lokale Modell-Ausgangsgröße (RD) mithilfe des Mittelwerts und/oder der Standardabweichung der lokalen Schwellwerte (TH1, TH2 ) durch einen ersten beziehungsweise zumindest einen zweiten Klienten (Cl, C2) , b) Übermitteln (WEIGHTS) der lokalen Modellgewichte (Wl, W2) und der lokalen Schwellwerte (TH1, TH2 ) von dem ersten und dem zumindest einen zweiten Klienten (CI, C2) an einen Server (S) , c) Erzeugen und Trainieren (AGGR) eines globalen Modells (GM) auf Basis eines Autoencoders unter Verwendung der lokalen Modellgewichte (Wl, W2) , umfassend globale Modellgewichte (W_GM) und eine lokale Modell- Ausgangsgröße (RD) , und Bestimmen (AVG_TH) eines globalen Schwellwerts (TH_GM) für die globale Modell- Ausgangsgröße (RD, W_GM) mithilfe des Mittelwerts und/oder der Standardabweichung der lokalen Schwellwerte (TH1, TH2 ) durch den Server (S) , d) Übermitteln der globalen Modellgewichte (W_GM) und des globalen Schwellwerts (TH_GM) an den ersten Klienten (CI) , und Übernehmen der globalen Modellgewichte (W_GM) für das erste lokale Modell (LM1) des ersten Klienten (CI ) , e) Erfassen von ersten Sensordaten (SD1) durch ein erstes Sensormittel (SM1) , welches der erste Klient (Gl) aufweist, f) Anwenden der ersten Sensordaten (SD1) auf das erste lokale Modell (LM1) und Bestimmen der lokalen Modell- Ausgangsgröße (RD, LM1_OUT) des ersten Klienten (Gl) , g) Erkennen (ANO_DET) einer Anomalie (ANO) für die Sensordaten durch den ersten Klienten (Gl) , falls die lokale Modell-Ausgangsgröße (RD, LM1_OUT) außerhalb eines Bereichs liegt, welcher durch den globalen Schwellwert (TH_GM) festgelegt ist.
2. Verfahren nach dem vorhergehenden Anspruch, wobei das Trainieren des jeweiligen lokalen Modells (LM1, LM2 ) mit Trainingsdaten erfolgt, die einem Anomalie-freien Zustand in den Sensordaten (SD1) zugeordnet werden können.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine jeweilige Modell-Ausgangsgröße (RD) durch zumindest einen Parameter-Wert gebildet ist, und der jeweilige Schwellwert (TH1, TH2 ) durch zumindest einen entsprechenden zuordenbaren Wert oder eine Bereichsgrenze eines Bereichs definiert ist .
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensordaten und Trainingsdaten in Form von Bilddaten gebildet sind.
5. Verfahren nach dem vorhergehenden Anspruch, wobei die globalen Modellgewichte (W_GM) und der globale Schwellwert (TH_GM) von dem Server (S) an den zumindest einen zweiten Klienten (C2) übermittelt wird, welcher über einen Autoencoder mit einem ähnlichen lokalen Modell verfügt, wobei die Ähnlichkeit über vordefinierte Bereiche für die lokalen Modellgewichte (Wl, W2) zwischen dem ersten und zumindest einen zweiten Klienten (Cl, C2) ermittelt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei zu einem jeweiligen lokalen Schwellwert (TH1, TH2 ) ferner Metadaten hinsichtlich des lokalen Schwellwert (TH1, TH2 ) und des ersten und zumindest einen zweiten lokalen Modells durch einen ersten beziehungsweise zumindest einen zweiten Klienten (Cl, C2) erfasst werden und an den Server (S) übermittelt werden, und beim Erzeugen und Trainieren (AGGR) des globalen Modells (GM) die Metadaten angewandt werden, beispielsweise bei einer Gewichtung der einzelnen Modell-Gewichte (Wl, W2) .
7. System zur Anomalie-Erkennung in Sensordaten (SD1, SD2) , umfassend einen ersten und zumindest einen zweiten Klienten (Cl, C2) mit jeweils einem Klienten Prozessor (CPU1, CPU2) und einem Klienten-Speicher (MEM1, MEM2 ) , ein Sensormittel (SMI, SM2 ) und einen verbundenen Server (S) mit einem Server-Prozessor (CPU) und einem Server-Speicher (MEM) , wobei das System dazu eingerichtet ist, das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 6 auszuführen.
8. System nach dem vorhergehenden Anspruch, wobei das Sensormittel (SMI, SM2 ) ein bildgebender Sensor ist.
9. Computerprogramm, umfassend Befehle, welche bei deren Ausführung durch ein System mit Prozessoren und Speichern dieses veranlassen, das Verfahren nach einem der Ansprüche 1 bis 6 auszuführen.
10. Elektronisch lesbarer Datenträger mit darauf gespeicherten lesbaren Steuerinformationen, welche zumindest das Computerprogramm nach dem vorhergehenden Anspruch umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Recheneinrichtung das Verfahren nach einem der Ansprüche 1 bis 6 durchführen.
11. Datenträgersignal, welches das Computerprogramm nach Anspruch 9 überträgt.
EP22798132.1A 2021-10-06 2022-10-05 Computer-implementiertes verfahren und system zur anomalie-erkennung in sensordaten Pending EP4399646A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/EP2021/077543 WO2023057059A1 (de) 2021-10-06 2021-10-06 Computer-implementiertes verfahren und system zur anomalie-erkennung in sensordaten
PCT/EP2022/077660 WO2023057494A1 (de) 2021-10-06 2022-10-05 Computer-implementiertes verfahren und system zur anomalie-erkennung in sensordaten

Publications (1)

Publication Number Publication Date
EP4399646A1 true EP4399646A1 (de) 2024-07-17

Family

ID=78302727

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22798132.1A Pending EP4399646A1 (de) 2021-10-06 2022-10-05 Computer-implementiertes verfahren und system zur anomalie-erkennung in sensordaten

Country Status (4)

Country Link
US (1) US20250245520A1 (de)
EP (1) EP4399646A1 (de)
CN (1) CN118235137A (de)
WO (2) WO2023057059A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4498288A1 (de) * 2023-07-27 2025-01-29 Siemens Aktiengesellschaft Detektion von technischen zuständen oder technischen beschaffenheiten
EP4517594A1 (de) * 2023-08-29 2025-03-05 Siemens Aktiengesellschaft Verfahren zum trainieren eines künstliche-intelligenz-systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190279082A1 (en) * 2018-03-07 2019-09-12 Movidius Ltd. Methods and apparatus to determine weights for use with convolutional neural networks
DE102019110721B4 (de) * 2019-04-25 2025-08-07 Carl Zeiss Industrielle Messtechnik Gmbh Workflow zum trainieren eines klassifikators für die qualitätsprüfung in der messtechnik
KR20210066623A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 서버 및 이의 제어 방법
DE102020000863A1 (de) * 2019-12-19 2021-06-24 RoBoTec PTC GmbH Verfahren zum rechnergestützten Lernen eines künstlichen neuronalen Netzwerkes zur Erkennung von strukturellen Merkmalen von Objekten
DE102020202865B3 (de) * 2020-03-06 2021-08-26 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Recheneinheit zur Überwachung des Zustandes einer Maschine

Also Published As

Publication number Publication date
CN118235137A (zh) 2024-06-21
WO2023057059A1 (de) 2023-04-13
US20250245520A1 (en) 2025-07-31
WO2023057494A1 (de) 2023-04-13

Similar Documents

Publication Publication Date Title
DE102009003110A1 (de) Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern
DE102017222616A1 (de) Verfahren zum automatisierten Erstellen von Regeln für eine regelbasierte Anomalieerkennung in einem Datenstrom
EP3719811A1 (de) Konsistenz von datenkennzeichnungen bei der medizinischen bildverarbeitung zur zellklassifizierung
DE112021002866T5 (de) Modelltreueüberwachung und -neuerstellung zur entscheidungsunterstützung eines fertigungsverfahrens
EP4399646A1 (de) Computer-implementiertes verfahren und system zur anomalie-erkennung in sensordaten
DE102018206108A1 (de) Generieren von Validierungsdaten mit generativen kontradiktorischen Netzwerken
DE112019007626T5 (de) Arbeitselement-analyseeinrichtung und arbeitselement-analyseverfahren
EP4297222A1 (de) Computer-implementiertes verfahren und system zur anomalie-erkennung und anomalie-lokalisierung in einem energieverteilungs-netz
DE102017116016A1 (de) Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und einem neuronalen Netz zum Erzeugen einer integrierten Repräsentation einer Umgebung
EP4430537A1 (de) Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens
DE102024102798B3 (de) Verfahren zur Prognose der Alterung von Kanalobjekten
EP3779797A1 (de) Verfahren zur rechnergestützten vorausschauenden instandhaltung eines technischen systems
WO2018091160A1 (de) Funktionsüberwachung einer sensoreinrichtung eines kraftfahrzeugs
EP3980850B1 (de) Aktive datengenerierung unter berücksichtigung von unsicherheiten
DE102020132263A1 (de) Verfahren zum automatischen Bestimmen einer Fehlerursache
WO2023203096A1 (de) Computer-implementiertes verfahren und system zur anomalie-erkennung beim betrieb eines technischen geräts
DE102006004417B4 (de) Verfahren zum unbeaufsichtigten Training eines nicnt-linearen und nicht-lokalen Filters
DE102023204277A1 (de) Verfahren zum Codieren und Decodieren von Datenzeitreihen
DE102017213764A1 (de) Vorrichtung zur Zuverlässigkeitsanalyse eines mechatronischen Systems
EP4700660A1 (de) Verfahren und system zum betrieb eines technischen geräts
EP4513391A1 (de) Computer-implementiertes verfahren und system zum betrieb eines technischen geräts
DE102023204152A1 (de) Verfahren zur Erkennung von Anomalien in mindestens einem Fahrzeugsignal
DE102023205830A1 (de) Verfahren und Vorrichtung zum komprimierten Übertragen von Sensordaten mittels Autoencodern
EP4668167A1 (de) Verfahren und system zum betrieb eines technischen geräts
WO2024256157A1 (de) Computer-implementiertes verfahren und system zum betrieb eines technischen geräts in einem klienten-server-system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240408

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)