-
Die Erfindung betrifft ein computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten unter Verwendung zumindest einer Randbedingung.
-
Die Erfindung betrifft des Weiteren ein computerimplementiertes Verfahren zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten durch einen Algorithmus maschinellen Lernens unter Verwendung zumindest einer Randbedingung.
-
Die Erfindung betrifft ferner ein System zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten durch einen Algorithmus maschinellen Lernens unter Verwendung zumindest einer Randbedingung und/oder zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten unter Verwendung zumindest einer Randbedingung.
-
Es gibt Klassifikationsaufgaben, bei denen ein Fehlertyp kritischer als die anderen ist. Beispielweise bei der Qualitätskontrolle in der Fertigung gilt es zu vermeiden, Erzeugnisse fälschlicherweise als ordnungsgemäß bzw. fehlerfrei zu klassifizieren.
-
DE 102006056106 A9 offenbart eine Vorrichtung zur Herstellung und Anwendung von Signal-Klassifikatoren, die sich zur maschinellen Klassifikation- bzw. Annotation von Zeitreihen-Signalen eignen, mit einer Einrichtung zur Herstellung von visualisierbaren Repräsentationen transformierter Zeitreihendaten und visualisierbaren Repräsentationen von Klassifikationsentscheidungen bzw. Annotationsfakten von Signal-Klassifikatoren.
-
Der Erfindung liegt somit die Aufgabe zugrunde, ein verbessertes Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten vorzusehen.
-
Die Aufgabe wird mit einem computerimplementierten Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten unter Verwendung zumindest einer Randbedingung mit den Merkmalen des Patentanspruchs 1 gelöst.
-
Darüber hinaus wird die Aufgabe mit einem computerimplementierten Verfahren zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten durch einen Algorithmus maschinellen Lernens unter Verwendung zumindest einer Randbedingung mit den Merkmalen des Patentanspruchs 10 gelöst.
-
Des Weiteren wird die Aufgabe mit einem System zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten durch einen Algorithmus maschinellen Lernens unter Verwendung zumindest einer Randbedingung und/oder zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten unter Verwendung zumindest einer Randbedingung mit den Merkmalen des Patentanspruchs 12 gelöst.
-
Ferner wird die Aufgabe mit einem Computerprogramm mit den Merkmalen des Patentanspruchs 13 und einem Computerlesbarer Datenträger mit den Merkmalen des Patentanspruchs 14 gelöst.
-
Offenbarung der Erfindung
-
Die vorliegende Erfindung schafft ein computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten unter Verwendung zumindest einer Randbedingung. Der Begriff der Randbedingung ist hierbei synonym für ein Constraint.
-
Das Verfahren umfasst ein Empfangen von durch die Prozessdaten und/oder Prozess-Metadaten gebildeten Eingabetrainingsdaten, und Empfangen zumindest einer Randbedingung, ein Initialisieren eines Klassifikations- und/oder Regressionsergebnisses der Prozessdaten und/oder Prozess-Metadaten und von Multiplikatoren.
-
Das Verfahren umfasst ferner ein erstes Bestimmen, ob die zumindest eine Randbedingung erfüllt oder verletzt wird, wobei bei Erfüllung der zumindest einen Randbedingung Restwerte und bei Verletzung der zumindest einen Randbedingung Restwerte und eine erste Strafe berechnet werden.
-
Des Weiteren umfasst das Verfahren ein Erstellen eines Entscheidungsbaums unter Verwendung der Restwerte und ein zweites Bestimmen, ob die zumindest eine Randbedingung erfüllt oder verletzt wird, wobei bei Erfüllung der zumindest einen Randbedingung das Klassifikations- und/oder Regressionsergebnis der Prozessdaten und/oder Prozess-Metadaten verstärkt und die Multiplikatoren aktualisiert werden, und wobei bei Verletzung der zumindest einen Randbedingung den Blättern des Entscheidungsbaums eine zweite Strafe auferlegt wird. Das Verstärken ist hierbei synonym für ein Boosting.
-
Bei dem Boosting wird ein Klassifikations- und/oder Regressionsergebnis eines Entscheidungsbaums an einen nachfolgenden Entscheidungsbaum einer nächsten Iteration des Algorithmus weitergegeben.
-
Darüber hinaus umfasst das Verfahren ein Erzeugen des Klassifikations- und/oder Regressionsergebnisses der Prozessdaten und/oder Prozess-Metadaten nach einer festgelegten Anzahl von Trainingsepochen durch ein Ensemble von Entscheidungsbäumen.
-
Die vorliegende Erfindung schafft ferner ein computerimplementiertes Verfahren zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten, umfassend ein Empfangen von durch Prozessdaten und/oder Prozess-Metadaten gebildeten Eingabedaten, ein Anwenden des erfindungsgemäßen Algorithmus maschinellen Lernens auf die Prozessdaten und/oder Prozess-Metadaten und ein Ausgeben eines Klassifikations- und/oder Regressionsergebnisses der Prozessdaten und/oder Prozess-Metadaten.
-
Die vorliegende Erfindung schafft des Weiteren ein System zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten und/oder zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten, umfassend eine Recheneinrichtung, welche dazu eingerichtet ist, zumindest eines der erfindungsgemäßen Verfahren auszuführen.
-
Die vorliegende Erfindung schafft ferner ein Computerprogramm mit Programmcode, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird sowie einen computerlesbaren Datenträger mit Programmcode eines Computerprogramms, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.
-
Eine Idee der vorliegenden Erfindung ist es, durch Vorsehen eines Gradientboosted-tree-Algorithmus eine konvexe Verlustfunktion unter Berücksichtigung der zumindest einen Randbedingung zu minimieren bzw. eine nicht-konvexe Auswertung zu maximieren.
-
Der Focus liegt hierbei auf Randbedingungen, die eine falsch negative Rate (FNR) von Klassifikations- und/oder Regressionsergebnissen mit einbeziehen. Auf diese Weise kann ein sicheres Modell bereitgestellt werden, da die Minimierung der FNR zunimmt. Das Modell liefert somit zuverlässige Ergebnisse bei z.B. der Kontrolle einer Fertigungsqualität.
-
Vorteilhafte Ausführungsformen und Weiterbildungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren.
-
Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass die Schritte des ersten und zweiten Bestimmens, ob die zumindest eine Randbedingung erfüllt oder verletzt sind und des Erstellens des Entscheidungsbaums durchgeführt werden, bis die Anzahl durchgeführter Trainingsepochen der Anzahl festgelegter Trainingsepochen entspricht. Somit kann in vorteilhafter Weise eine genaue Klassifikation der Prozessdaten und/oder Prozess-Metadaten ermöglicht werden.
-
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass eine Optimierung des Algorithmus maschinellen Lernens unter Verwendung der zumindest einen Randbedingung zur Minimierung einer Verlustfunktion durchgeführt wird, und wobei unter Verwendung einer weiteren Randbedingung die Multiplikatoren, insbesondere Lagrange-Multiplikatoren, maximiert werden. Somit werden in vorteilhafter Weise sowohl die Verlustfunktion minimiert als auch die Multiplikatoren maximiert.
-
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass falls die zumindest eine Randbedingung verletzt wird, die erste Strafe unter Verwendung der zumindest einen Randbedingung berechnet wird, und wobei die erste Strafe zu den Restwerten der Verlustfunktion addiert wird. Somit kann ein effektives Training des Klassifikationsalgorithmus zur Minimierung der Verlustfunktion und zur Maximierung der Multiplikatoren erreicht werden.
-
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass falls die zumindest eine Randbedingung erfüllt wird, die erste Strafe Null beträgt und die Restwerte der Multiplikatoren, insbesondere der Lagrange-Multiplikatoren, den Restwerten der Verlustfunktion gleichen. Das Training erfolgt in diesem Fall mit maximaler Effizienz.
-
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass bei jeder Trainingsepoche die Restwerte berechnet werden, welche durch einen Gradienten der Multiplikatoren, insbesondere der Lagrange-Multiplikatoren, der vorherigen Trainingsepoche gebildet sind. Somit kann ein effektives Training des Klassifikationsalgorithmus unter Berücksichtigung der Multiplikatoren bereitgestellt werden.
-
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass für die Berechnung der ersten Strafe die Klassifikations- und/oder Regressionsergebnisse der vorhergehenden Trainingsepoche verwendet werden, und wobei zur Berechnung der zweiten Strafe die Klassifikations- und/oder Regressionsergebnisse einer aktuellen Trainingsepoche verwendet werden. Somit kann die Berechnung des Entscheidungsbaums auf Erfüllung oder Verletzung der zumindest einen Randbedingung überprüft werden.
-
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die zumindest eine Randbedingung eine vorgegebene Obergrenze für eine Ratenmetrik, insbesondere eine Escape-Rate von Erzeugnissen eines Herstellungsverfahrens, und/oder eine Untergrenze für eine Evaluationsmetrik, insbesondere ein F1-Maß bzw. F1-Measure, ist.
-
F1-Maß ist hierbei als ein harmonisches Mittel aus einer Vorhersage einer Präzision und einem Recall bzw. Rückruf von Erzeugnissen im Kontext einer Qualitätskontrolle.
-
Dies ermöglicht eine gute Performance des Klassifikationsalgorithmus im Rahmen der Qualitätskontrolle in der Herstellung.
-
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die Prozessdaten und/oder Prozess-Metadaten und/oder Sensordaten und/oder Anwendungstelemetriedaten, insbesondere von loT-Geräten (also technischen Geräten oder Komponenten, die drahtgebunden oder drahtlos an ein Netzwerk angeschlossen Daten erfassen, speichern, verarbeiten und übertragen können) sind. Der Algorithmus ist somit im Rahmen eines breiten Spektrums technischer Anwendungen verwendbar.
-
Bei den Sensordaten handelt es sich beispielsweise um diskrete Daten und/oder kontinuierliche Daten bzw. Zeitreihendaten wie z.B. die Messung einer Beschleunigung, einer Geschwindigkeit oder eines Drucks.
-
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass unter Verwendung des Klassifikations- und/oder Regressionsergebnisses der Prozessdaten und/oder Prozess-Metadaten eine Maschine und/oder ein loT-Gerät angesteuert, insbesondere rekalibriert, wird.
-
Die Ergebnisse des Klassifikationsalgorithmus fließen somit in vorteilhafter Weise als Feedback an das die Maschine und/oder das loT-Gerät zurück, welche die Prozessdaten und/oder Prozess-Metadaten erzeugt hat bzw. haben.
-
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
-
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.
-
Figurenliste
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.
-
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
Es zeigen:
- 1 ein Ablaufdiagramm eines computerimplementierten Verfahrens zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten gemäß einer bevorzugten Ausführungsform der Erfindung;
- 2 ein Ablaufdiagramm eines computerimplementierten Verfahrens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten gemäß der bevorzugten Ausführungsform der Erfindung; und
- 3 eine schematische Darstellung eines Systems zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten und/oder zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten gemäß der bevorzugten Ausführungsform der Erfindung.
-
In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.
-
1 zeigt ein Ablaufdiagramm eines computerimplementierten Verfahrens zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten gemäß einer bevorzugten Ausführungsform der Erfindung.
-
Das Verfahren umfasst ein Empfangen S1a von durch die Prozessdaten D1 und/oder Prozess-Metadaten D2 gebildeten Eingabetrainingsdaten, und Empfangen S1b zumindest einer Randbedingung TB und ein Initialisieren S2 eines Klassifikations- und/oder Regressionsergebnisses E der Prozessdaten D1 und/oder Prozess-Metadaten D2 und von Multiplikatoren M.
-
In Schritt S2 werden somit die Initialkonfiguration bzw. die Parameter festgelegt, mit welchen eine erste Trainingsepoche des Algorithmus A durchgeführt wird.
-
Ferner umfasst das Verfahren ein Erstes Bestimmen S3, ob die zumindest eine Randbedingung TB erfüllt oder verletzt wird, wobei bei Erfüllung der zumindest einen Randbedingung TB Restwerte R und bei Verletzung der zumindest einen Randbedingung TB Restwerte R und eine erste Strafe P1 berechnet werden und ein Erstellen S4 eines Entscheidungsbaums B unter Verwendung der Restwerte R.
-
Das Verfahren umfasst des Weiteren ein Zweites Bestimmen S5, ob die zumindest eine Randbedingung TB erfüllt oder verletzt wird, wobei bei Erfüllung der zumindest einen Randbedingung TB das Klassifikations- und/oder Regressionsergebnis E der Prozessdaten D1 und/oder Prozess-Metadaten D2 verstärkt S5a und die Multiplikatoren M aktualisiert werden, und wobei bei Verletzung der zumindest einen Randbedingung TB den Blättern des Entscheidungsbaums B eine zweite Strafe P2 auferlegt wird S5b.
-
Überdies umfasst das Verfahren ein Erzeugen S6 des Klassifikations- und/oder Regressionsergebnisses E der Prozessdaten D1 und/oder Prozess-Metadaten D2 nach einer festgelegten Anzahl von Trainingsepochen TE1 durch ein Ensemble von Entscheidungsbäumen.
-
Die Schritte des ersten und zweiten Bestimmens, ob die zumindest eine Randbedingung TB erfüllt oder verletzt wird und des Erstellens des Entscheidungsbaums B werden durchgeführt, bis die Anzahl durchgeführter Trainingsepochen TE2 der Anzahl festgelegter Trainingsepochen TE1 entspricht.
-
Eine Optimierung des Algorithmus A maschinellen Lernens wird unter Verwendung der zumindest einen Randbedingung TB zur Minimierung einer Verlustfunktion durchgeführt. Die Multiplikatoren M werden unter Verwendung von weiteren Randbedingungen, insbesondere Lagrange-Multiplikatoren, maximiert.
-
Falls die zumindest eine Randbedingung TB verletzt wird, wird die erste Strafe P1 unter Verwendung der zumindest einen Randbedingung TB berechnet. Die erste Strafe P1 wird sodann zu den Restwerten R der Verlustfunktion addiert.
-
Falls die zumindest eine Randbedingung TB erfüllt wird, beträgt die erste Strafe P1 Null und die Restwerte R der Multiplikatoren M, insbesondere der Lagrange-Multiplikatoren, gleichen den Restwerten R der Verlustfunktion.
-
Bei jeder Trainingsepoche TE2 werden die Restwerte R berechnet, welche durch einen Gradienten der Multiplikatoren M, insbesondere der Lagrange-Multiplikatoren, der vorherigen Trainingsepoche TE2 gebildet sind.
-
Für die Berechnung der ersten Strafe P1 werden die Klassifikations- und/oder Regressionsergebnisse E der vorhergehenden Trainingsepoche TE2 verwendet und zur Berechnung der zweiten Strafe P2 werden die Klassifikations- und/oder Regressionsergebnisse E einer aktuellen Trainingsepoche TE2 verwendet.
-
Die zumindest eine Randbedingung TB ist eine vorgegebene Obergrenze für eine Ratenmetrik, insbesondere eine Escape-Rate von Erzeugnissen eines Herstellungsverfahrens, und/oder eine Untergrenze für eine Evaluationsmetrik, insbesondere ein F1-Maß.
-
Die Prozessdaten D1 und/oder Prozess-Metadaten D2 sind Sensordaten und/oder Anwendungstelemetriedaten, insbesondere von loT-Geräten. Der Algorithmus A maschinellen Lernens ist im vorliegenden Fall ein Binärklassifikator, der beispielsweise einen ersten Zustand „ok“ von einem zweiten Zustand „nicht ok“ unterscheidet.
-
Alternativ kann mit dem erfindungsgemäßen Trainingsverfahren beispielsweise ein Regressionsalgorithmus trainiert werden, welcher für Predictive Maintenance Aufgaben eingesetzt wird.
-
2 zeigt ein Ablaufdiagramm eines computerimplementierten Verfahrens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten gemäß der bevorzugten Ausführungsform der Erfindung.
-
Das Verfahren umfasst ein Empfangen S1' von durch Prozessdaten D1 und/oder Prozess-Metadaten D2 gebildeten Eingabedaten, ein Anwenden S2' des erfindungsgemäßen Algorithmus A maschinellen Lernens auf die Prozessdaten D1 und/oder Prozess-Metadaten D2, und ein Ausgeben S3' eines Klassifikations- und/oder Regressionsergebnisses E der Prozessdaten D1 und/oder Prozess-Metadaten D2.
-
Unter Verwendung des Klassifikations- und/oder Regressionsergebnisses E der Prozessdaten D1 und/oder Prozess-Metadaten D2 wird eine Maschine und/oder ein loT-Gerät angesteuert, insbesondere rekalibriert.
-
3 zeigt eine schematische Darstellung eines Systems zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten und/oder zum Bereitstellen eines Algorithmus maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten und/oder Prozess-Metadaten gemäß der bevorzugten Ausführungsform der Erfindung.
-
Das System 1 umfasst eine Recheneinrichtung RE, welche dazu eingerichtet ist, zumindest eines der erfindungsgemäßen Verfahren, d.h. das computerimplementierte Verfahren zum Bereitstellen eines Algorithmus A maschinellen Lernens zur Klassifikation und/oder Regression von Prozessdaten D1 und/oder Prozess-Metadaten D2 und/oder das computerimplementierte Verfahren zur Klassifikation und/oder Regression von Prozessdaten D1 und/oder Prozess-Metadaten D2 auszuführen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102006056106 A9 [0005]
