DE102022211446A1 - Computerimplementiertes Verfahren und Computerprogrammprodukt zum Generieren von Trainingsdaten für die Inferenz einer Produktionssequenz mittels eines Graphen neuronalen Netzwerks, computerimplementiertes Verfahren und Computerprogrammprodukt zum Trainieren eines Graphen neuronalen Netzwerks auf Inferenz einer Produktionssequenz, computerimplementiertes Verfahren und Computerprogrammprodukt für eine Produktionssequenzerstellung zum Steuern und/oder Regeln eines Produktionssystems gemäß der erstellten Produktionssequenz - Google Patents

Abstract

Computerimplementiertes Verfahren für eine Produktionssequenzerstellung (PE) zum Steuern und/oder Regeln eines Produktionssystems (1) gemäß der erstellten Produktionssequenz (3, PE), das Verfahren umfassend die Schritte: Generieren eines Graphen (G), der den Zustand des Produktionsprozesses in diesem Simulationszeitpunkt zusammen mit den Produktionsfolgelosen (PL_i) darstellt, wobei Entitäten des Produktionsprozesses umfassend Produktionsabschnitte des Produktionssystems, Produktionslinien und/oder Materialien als Knoten (V) und Relationen zwischen den Entitäten umfassend Vorgängermaterial, Nachfolgerpuffer und/oder Linienfähigkeit als Kanten (E) dargestellt werden; Einsetzen eines auf Minimierung einer Kostenfunktion des Produktionsprozesses trainierten Graphen neuronalen Netzwerks (GNN) umfassend wenigstens eine oder mehrere erste Klassifikationsschichten (KS1), wobei das Graphen neuronale Netzwerk den Graphen (G) als Eingabe und einen transformierten Graphen (G) als Ausgabe erhält und die ersten Klassifikationsschichten (KS1) den transformierten Graphen (G) als Eingabe erhalten und eine Wahrscheinlichkeitsverteilung (p) über die Produktionsfolgelose (PL_i) als Ausgabe erhalten wird; Steuern und/oder Regeln des Produktionssystems gemäß der am Ende der Simulation erhaltenen Produktionssequenz (3).

Description

• Die Erfindung betrifft ein computerimplementiertes Verfahren und Computerprogrammprodukt zum Generieren von Trainingsdaten für die Inferenz einer Produktionssequenz mittels eines Graphen neuronalen Netzwerks. Ferner betrifft die Erfindung ein computerimplementiertes Verfahren und Computerprogrammprodukt zum Trainieren eines Graphen neuronalen Netzwerks auf Inferenz einer Produktionssequenz. Außerdem betrifft die Erfindung ein computerimplementiertes Verfahren und Computerprogrammprodukt für eine Produktionssequenzerstellung zum Steuern und/oder Regeln eines Produktionssystems gemäß der erstellten Produktionssequenz.
• Folgende Definitionen gelten für den gesamten Offenbarungsinhalt.
• Bei der Produktion werden Produkte umfassend Sachgüter und Dienstleistungen basierend auf Produktionsfaktoren umfassend Werkstoffe und Betriebsmittel erstellt. Ein mehrstufiger Produktionsprozess oder ein mehrstufiges Produktionssystem kann einen oder mehrere Produktionsabschnitte umfassen. Die Produktionsabschnitte können zeitlich nacheinander oder parallel ausgeführt werden. Die Produktionsabschnitte können jeweils eine oder mehrere Maschinen oder Produktionslinien umfassen. Zwischen den Produktionsabschnitten können sich Puffer, beispielsweise Materialpuffer, oder Transportsysteme befinden. Im Stand der Technik sind Methoden für die Produktionsplanung und/oder -steuerung bekannt.
• Beispielsweise offenbart die DE 10 2020 203 716 A1 ein computerimplementiertes Verfahren für eine Produktionsplanung und/oder -steuerung eines Produktionssystems. Es werden Daten umfassend Materialbedarfe der Produktionsabschnitte erhalten. Die Materialbedarfe werden in den Produktionsabschnitten nach einer Einwirkung auf eine Optimierung einer Kostenfunktion des Produktionssystems geordnet. Anschließend werden die Materialbedarfe ordnungsgemäß ausgewählt und auf Materialien in vorausgehenden Produktionsabschnitten, die für die Produktion in dem Produktionsabschnitt des ausgewählten Materialbedarfs benötigt werden, projiziert. Zumindest eine Bedarfsmenge und/oder eines Bedarfszeitpunktes der jeweiligen Materialien wird entsprechend angepasst. Die Produktionslinien werden in Abhängigkeit zumindest der angepassten Bedarfsmenge und/oder des Bedarfszeitpunktes geregelt und/oder gesteuert, wobei ein erstes Überprüfen erfolgt, ob die angepasste Bedarfsmenge der jeweiligen Materialien für den ausgewählten Materialbedarf ausreichend ist. Bei positiver erster Überprüfung werden die jeweiligen Materialien für das Produktionssystem reserviert und/oder der ausgewählte Materialbedarf wird ausgeführt. Danach wird ein weiterer Materialbedarf ordnungsgemäß ausgewählt.
• Die DE 10 2020 203 718 A1 offenbart ebenfalls ein computerimplementiertes Verfahren für eine Produktionsplanung und/oder -steuerung eines Produktionssystems. Dabei wird das Produktionssystem, die Produktionsplanung und/oder -steuerung simuliert. In der Simulation werden ein erstes Subverfahren und ein zweites Subverfahren durchgeführt. In dem ersten Subverfahren werden Materialbedarfen in den Produktionsabschnitten in Abhängigkeit einer Einwirkung auf eine Optimierung einer Kostenfunktion des Produktionssystems ausgewählt. Anschließend wird einer der Materialbedarfe in Reihenfolge der Priorisierung ausgewählt. Zumindest eine Bedarfsmenge und/oder ein Bedarfszeitpunkt von Materialien in vorausgehenden Produktionsabschnitten zur Ausführung des Materialbedarfs wird angepasst. Die Materialien und die jeweils angepasste Bedarfsmenge und/oder der Bedarfszeitpunkt wird reserviert. Danach wird einer der weiteren Materialbedarfe ausgewählt und der Schritt des Anpassens und Reservierens wird wiederholt, bis für alle der priorisierten Materialbedarfe die Materialien und die jeweils angepassten Bedarfsmengen und/oder Bedarfszeitpunkte reserviert sind. Damit wird eine Produktionssequenz erhalten.
• Die in DE 10 2020 203 716 A1 und DE 10 2020 203 718 A1 offenbarten Gegenstände, insbesondere die dort offenbarten Verfahren und Systeme, werden adaptive Produktionsoptimierung genannt, abgekürzt APO, und sind durch diesen expliziten Verweis Teil der vorliegenden Offenbarung.
• Die Produktionssequenz ist eine Sequenz von Produktionslosen pro Maschine oder Produktionslinie. Ein Produktionslos, auch Los (Produktion), Charge oder Lot genannt, umfasst die zu produzierende Materialart und/oder die Anzahl der zu produzierenden Teile oder die Bedarfsmenge. Anhand der Produktionssequenz wird der Produktionsprozess geregelt und/oder gesteuert.
• In dem zweiten Subverfahren wird ein erster Produktionszeitraum in der Produktionssequenz fixiert. Die Produktionssequenz außerhalb des fixierten ersten Produktionszeitraums wird optimiert zur weiteren Optimierung der Kostenfunktion, wobei das Produktionssystem gemäß der in dem zweiten Subverfahren erhaltenen optimierten Produktionssequenz geregelt und/oder gesteuert wird.
• Aufgabe der Erfindung war es, das Erstellen von Produktionssequenzen zu verbessern, insbesondere, wie eine optimale Feinplanung für ein mehrstufiges Produktionssystem erstellt werden kann.
• Die Gegenstände des unabhängigen Anspruchs und der nebengeordneten Ansprüche lösen jeweils diese Aufgabe. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
• Die Erfindung wird zunächst übersichtshalber zusammenfassend dargestellt. Die in dieser Zusammenfassung genannten Merkmale und Definitionen gelten in Kombination und im Zusammenhang mit den beanspruchten Gegenständen.
• Es wird ein Gesamtsystem, genannt Graph Neural Network and Reinforcement Learning based Production Optimizer GRPO zur Feinplanung eines komplexen, insbesondere eines komplexen mehrstufigen, Produktionsprozesses bereitgestellt. Der GRPO wird mittels eines maschinellen Lernverfahrens basierend auf verstärkendem Lernen stetig verbessert.
• Zur effektiven Simulation der Produktion wird ein digitales Abbild des Produktionsprozesses verwendet. Beispielsweise wird die Simulation gemäß des DE 10 2020 203 718 A1 offenbarten Verfahrens simuliert. Beispielsweise werden Produktionsparameter, Optimalitätskriterien und/oder Randbedingungen simuliert, um eine möglichst detailgetreue Simulation der Produktion zu erhalten. Die Produktionsparameter können Arbeitersituation, Maschinenfähigkeiten, Materialverfügbarkeiten, Materialpuffer und/oder Lieferantenkapazitäten umfassen. Die Optimalitätskriterien können maximale Auslastung der Maschinen und/oder Arbeiter, Minimierung von Verspätungen, geringste Lagerbestände und/oder Minimierung von Materialflüssen umfassen. Die Randbedingungen können Prioritäten von Materialbedarfen, maximale Lager- und/oder Materialpuffergrößen, Transportbedingungen, Planungshorizont und/oder Lieferantenkapazitäten umfassen.
• Nach einem Aspekt werden die Daten bezüglich Produktionsparameter, Optimalitätskriterien und/oder Randbedingungen in einem Unternehmens-Informationssystem, einem sogenannten enterprise-resource-planning System, aufbereitet.
• Nach einem Aspekt werden die Produktionsparameter, beispielsweise Maschinenfähigkeiten, die Optimalitätskriterien und/oder Randbedingungen zu einem ersten Zeitpunkt sensoriell erfasst und basierend auf dieser sensoriellen Erfassung für einen zukünftigen Zeitpunkt simuliert. Damit wird eine digitale Kopie des Produktionssystems erhalten. Die Maschinenfähigkeit kann beispielsweise mittels an Maschinen angeordneten Zustandssensoren erfasst werden, die beispielsweise eine Betriebstemperatur der Maschinen messen. Aus den voran genannten Daten und der Simulation erstellt der beanspruchte Gegenstand eine optimale, abgesicherte Produktionssequenz, beispielsweise eine Montagesequenz für eine Getriebefertigung. Dieses flexible System kann durch entsprechende Parameter auf die täglich wechselnden Herausforderungen - wie z.B. Störungen in der Supply Chain und die volatile Marktlage (Halbleiter) - schnell reagieren, um eine bestmögliche Kundenversorgung zu gewährleisten, bei gleichzeitig hoher Fabrik-Ratio und intelligenten Beständen.
• Kern des GRPO ist ein Graphen neuronales Netzwerk, auch Graph Neural Network genannt, abgekürzt GNN, welches basierend auf dem Zustand der Produktionssimulation, das heißt einem aktuellen Produktionszustand, die Produktionssequenz als Ausgabe bestimmt. Dabei minimiert der GRPO eine Kostenfunktion, die variabel von einem Nutzer, beispielsweise einem menschlichen Steuerer der Produktionsabläufe, angepasst werden kann.
• Ein Graph ist in der Graphentheorie eine abstrakte Struktur, die eine Menge von Objekten zusammen mit den zwischen diesen Objekten bestehenden Verbindungen repräsentiert. Die mathematischen Abstraktionen der Objekte werden dabei Knoten des Graphen genannt. Die paarweisen Verbindungen zwischen Knoten heißen Kanten. Die Kanten können gerichtet oder ungerichtet sein. Die vorangehenden drei Sätze sind Teil eines Wikipedia Textes unter CC-BY-SA-Lizenz. Im GRPO werden alle Entitäten des Produktionszustandes umfassend Produktionsabschnitte, Materialien, Produktionslinien als Knoten und alle Relationen, beispielsweise Vorgängermaterial, Nachfolgerpuffer, Linienfähigkeit, als Kanten kodiert.
• Ein GNN ist ein künstliches neuronales Netzwerk, das auf Graphendaten arbeitet, wobei die von dem Netzwerk ausgeführten Transformationen die Symmetrie des Graphen erhalten, das heißt die Transformationen sind invariant unter Permutationen. Das Netzwerk kann Transformationen auf Knoten, Kanten und/oder dem globalen Kontext des Graphen ausführen. Das Netzwerk umfasst eine oder mehrere Schichten. Jede Schicht erhält als Eingabe einen Graphen und gibt als Ausgabe einen neuen Graphen aus. Dabei werden Knoten, Kanten und/oder globale Eigenschafen des eingegebenen Graphens in jeder Schicht durch Graphenattribut-separate Funktionen aktualisiert und es wird der neue Graph erhalten, der dieselbe Konnektivität wie der eingegebene Graph aufweist.
• Der aktuelle Produktionszustand kann einen oder mehrere der voran genannten Produktionsparameter umfassen. Ferner kann der Produktionszustand Bedarfe, beispielsweise Kundenbedarfe umfassen, zum Beispiel welches Material zu welchem Zeitpunkt nachgefragt wird oder eine Gewichtung der Bedarfe. Ferner kann der Produktionszustand Produktionslayout, Materialflüsse und/oder Prozesszeiten umfassen.
• Die Kostenfunktion kann zum Beispiel aus einer Kombination von Gesamtverspätungszeit der Bedarfe, Gesamtrüstzeit, Auslastung/Output und Mindestbeständen bestimmter End- oder Zwischenprodukte bestehen.
• Ein mit der Erfindung erreichter Vorteil ist, dass eine Produktionssequenz innerhalb kurzer Zeit erzeugt werden kann, je nach Komplexität der Produktion und Größe des Graphen neuronalen Netzwerks im Sekunden-/Minutenbereich. Wenn eine längere Laufzeit toleriert wird, kann zur Produktionssequenzerstellung alternativ eine Monte Carlo Tree Search ausgeführt werden.
• Ein weiterer Vorteil ist, dass eine hohe Adaptivität auf den jeweiligen Produktionsbereich erreicht wird. GRPO verbessert sich durch den verstärkenden Lernansatz ständig und fortwährend.
• Ein weiterer Vorteil ist die hohe Variabilität. Durch die Verwendung der Graphen-Struktur und des GNN ist das gelernte Netzwerk in der Lage, Relationen und Abhängigkeiten zu verwenden, statt hart-kodierter Merkmale. Das führt dazu, dass das Netzwerk auch bei Veränderungen der Produktion, wie beispielsweise dem Hinzufügen/Ändern von Materialien und/oder Produktionslinien, ohne neues Training zu guten Ergebnissen kommt.
• Die erfindungsgemäße Lösung der voran genannten Aufgabe wird durch die folgenden Aspekte bereitgestellt:
• Nach einem Aspekt stellt die Erfindung ein computerimplementiertes Verfahren bereit zum Generieren von Trainingsdaten für die Inferenz einer Produktionssequenz mittels eines Graphen neuronalen Netzwerks. Zweck ist es, ein Produktionssystem gemäß der inferierten Produktionssequenz zu steuern und/oder zu regeln. Ein jeweiliger Zustand eines Produktionsprozesses des Produktionssystems wird zusammen mit Produktionsfolgelosen als Graph dargestellt. Entitäten des Produktionsprozesses umfassend Produktionsabschnitte des Produktionssystems, Produktionslinien und/oder Materialien sind als Knoten und Relationen zwischen den Entitäten umfassend Vorgängermaterial, Nachfolgerpuffer und/oder Linienfähigkeit sind als Kanten dargestellt. Das Verfahren umfasst die Schritte:
  • • computerimplementiertes Simulieren des Produktionsprozesses, wobei ein Ausgangszustand der Simulation ein Zustand des Produktionsprozesses basierend auf einer initialen Produktionssequenz ist;
  • • Bestimmen der Produktionsfolgelosen, die zu einem Simulationszeitpunkt, in dem eine Produktionslinie des Produktionssystems die ihr zugewiesenen Produktionsfolgelose abgearbeitet hat, verfügbar sind, wobei in diesem Simulationszeitpunkt eine Monte-Carlo-Baumsuche ausgeführt und dabei eine Wahrscheinlichkeitsverteilung über diese Produktionsfolgelose erhalten wird;
  • • zufälliges Auswählen eines Produktionsfolgeloses in diesem Simulationszeitpunkt gemäß der Wahrscheinlichkeitsverteilung;
  • • Wiederholen der vorangehenden Schritte in einem jeweils folgenden Simulationszeitpunkt ausgehend von dem aus der um dieses Produktionsfolgelos jeweils erweiterten Produktionssequenz erhaltenen Zustand der Simulation, bis ein vorgegebenes Abbruchkriterium für die Simulation erreicht wird;
  • • beim Erreichen des Simulationsabbruches Bestimmen eines Relativwertes, der einen die Güte des simulierten Produktionsprozesses charakterisierenden ersten Ergebniswert erhalten aus den Simulationsdaten und einen die Güte des Produktionsprozesses charakterisierenden zweiten Ergebniswert in Relation setzt, wobei in einer adaptiven Produktionsoptimierung
    • ◯ im realen Produktionsprozess Materialbedarfe in den Produktionsabschnitten in Abhängigkeit einer Einwirkung auf eine Optimierung einer Kostenfunktion des Produktionssystems priorisiert werden;
    • ◯ einer der Materialbedarfe in Reihenfolge der Priorisierung ausgewählt wird;
    • ◯ zumindest eine Bedarfsmenge und/oder ein Bedarfszeitpunkt von Materialien in vorausgehenden Produktionsabschnitten zur Ausführung des Materialbedarfs angepasst werden und die Materialien und die jeweils angepassten Bedarfsmenge und/oder Bedarfszeitpunkt reserviert werden;
    • ◯ ein weiterer der Materialbedarfe ausgewählt wird und die vorangehenden Schritte wiederholt werden, bis für alle der priorisierten Materialbedarfe die Materialien und die jeweils angepassten Bedarfsmengen und/oder Bedarfszeitpunkte reserviert sind; wobei eine Produktionssequenz erhalten wird;
    • ◯ ein erster Produktionszeitraum in der Produktionssequenz fixiert wird und die Produktionssequenz außerhalb des fixierten ersten Produktionszeitraums optimiert wird zur weiteren Optimierung der Kostenfunktion;
    • ◯ der zweite Ergebniswert für die erhaltene Produktionssequenz bestimmt wird;
  • • Kennzeichnen des Graphen, der den Zustand des Produktionsprozesses beim Erreichen des Simulationsabbruches darstellt, mit dem Relativwert und der zu diesem Simulationszeitpunkt mittels Monte-Carlo-Baumsuche erhaltenen Wahrscheinlichkeitsverteilung;
  • • Generieren von entsprechend gekennzeichneten Graphen durch Wiederholen der vorangehenden Schritte.
• Die Monte-Carlo-Baumsuche, auch Monte-Carlo-Tree-Search genannt, ist ein heuristischer Suchalgorithmus für Entscheidungsprozesse, der auf der Monte-Carlo-Methode basiert. Die Monte-Carlo-Methode verwendet Zufallsstichproben für deterministische Probleme, die mit anderen Ansätzen nur schwer oder gar nicht zu lösen sind.
• Die adaptive Produktionsoptimierung ist vorteilhafterweise die in DE 10 2020 203 716 A1 und/oder DE 10 2020 203 718 A1 offenbarte APO.
• Der Relativwert und die jeweilige mittels Monte-Carlo-Baumsuche erhaltene Wahrscheinlichkeitsverteilung sind sogenannte Labels, mit denen der jeweilige Graph gekennzeichnet wird. Mit diesen Labels wird eine Referenz, die sogenannte ground truth, für das überwachte Trainieren des Graphen neuronalen Netzwerks auf Inferenz einer Produktionssequenz bereitgestellt. Damit generiert das Verfahren gelabelte Trainingsdaten. Die Qualität der Trainingsdaten ist maßgeblich für das Training. Durch das Training wird das Graphen neuronale Netzwerk qualitativ verbessert und damit auch die Graphen, die entstehen.
• Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit zum Generieren von Trainingsdaten für die Inferenz einer Produktionssequenz mittels eines Graphen neuronalen Netzwerks. Das Computerprogrammprodukt umfasst Befehle, die einen Computer veranlassen, die Schritte des entsprechenden Verfahrens, wenn der Computer das Computerprogrammprodukt ausführt.
• Die erfindungsgemäßen Computerprogrammprodukte können remote oder in einer Cloud ausgeführt werden. Das Computerprogrammprodukt kann einen Datenträger oder ein Medium umfassen, auf dem das Computerprogramm gespeichert ist. Der Datenträger oder das Medium können nichtflüchtige Speicher sein.
• Nach einem weiteren Aspekt stellt die Erfindung ein computerimplementiertes Verfahren bereit zum Trainieren eines Graphen neuronalen Netzwerks auf Inferenz einer Produktionssequenz. Zweck ist es, ein Produktionssystem gemäß der inferierten Produktionssequenz zu steuern und/oder zu regeln. Ein jeweiliger Zustand eines Produktionsprozesses des Produktionssystems wird zusammen mit Produktionsfolgelosen als Graph dargestellt. Entitäten des Produktionsprozesses umfassend Produktionsabschnitte des Produktionssystems, Produktionslinien und/oder Materialien sind als Knoten und Relationen zwischen den Entitäten umfassend Vorgängermaterial, Nachfolgerpuffer und/oder Linienfähigkeit sind als Kanten dargestellt und werden als Trainingsdaten gemäß des Verfahrens nach Anspruch 1 gekennzeichnete Graphen bereitgestellt. Das Verfahren umfasst die Schritte:
• • computerimplementiertes Simulieren eines Produktionsprozesses, wobei ein Ausgangszustand der Simulation ein Zustand des Produktionsprozesses basierend auf einer initialen Produktionssequenz ist;
• • Bestimmen von Produktionsfolgelosen, die zu einem Simulationszeitpunkt, in dem eine Produktionslinie des Produktionssystems die ihr zugewiesenen Produktionsfolgelose abgearbeitet hat, verfügbar sind;
• • Generieren des Graphen, der den Zustand des Produktionsprozesses in diesem Simulationszeitpunkt zusammen mit den Produktionsfolgelosen darstellt;
• • Eingeben des Graphen in das Graphen neuronale Netzwerk und in einem Vorwärtspfad des Graphen neuronalen Netzwerks Erhalten eines transformierten Graphens, wobei eine oder mehrere erste Klassifikationsschichten des Graphen neuronalen Netzwerks aus dem transformierten Graphen eine Wahrscheinlichkeitsverteilung über die Produktionsfolgelosen und eine oder mehrere zweite Klassifikationsschichten des Graphen neuronalen Netzwerks einen die Güte des Produktionsprozesses zu dem jeweiligen Simulationszeitpunkt charakterisierenden Gütewert erhalten;
• • Auswählen des Produktionsfolgeloses mit dem höchsten Wahrscheinlichkeitswert aus der Wahrscheinlichkeitsverteilung und Wiederholen der vorangehenden Schritte in einem jeweils folgenden Simulationszeitpunkt ausgehend von dem aus der um dieses Produktionsfolgelos jeweils erweiterten Produktionssequenz erhaltenen Zustand der Simulation, bis ein vorgegebenes Abbruchkriterium für die Simulation erreicht wird;
• • beim Erreichen des Simulationsabbruches Bestimmen einer ersten Differenz zwischen dem Gütewert und einem Relativwert eines der gekennzeichneten Graphen und Bestimmen einer zweiten Differenz zwischen der mittels des Graphen neuronalen Netzwerks erhaltenen Wahrscheinlichkeitsverteilung und einer mittels Monte-Carlo-Baumsuche erhaltenen Wahrscheinlichkeitsverteilung des gekennzeichneten Graphen;
• • in einem Rückwärtspfad des Graphen neuronalen Netzwerks Fehlerrückführung der ersten und der zweiten Differenz durch das Graphen neuronale Netzwerk.
• Das Trainingsverfahren ist ein überwachtes Lernen. Die Fehlerrückführung ist die sogenannte backpropagation in einem künstlichen neuronalen Netzwerk. Die Fehlerrückführung kann beispielsweise Gradient basiert sein. Der Vorwärtspfad ist der sogenannte forward pass eines künstlichen neuronalen Netzwerks. Der Rückwärtspfad ist der sogenannte backward pass eines künstlichen neuronalen Netzwerks. Das Training dient dazu, die Parameter des Graphen neuronalen Netzwerks zu bestimmen. Das so trainierte Graphen neuronale Netzwerk liefert in der Produktionssequenzerstellung eine bezüglich der Gesamtkostenfunktion optimierte Produktionssequenz.
• Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zum Trainieren eines Graphen neuronalen Netzwerks auf Inferenz einer Produktionssequenz. Das Computerprogramm umfasst Befehle, die einen Computer veranlassen, die Schritte des entsprechenden Verfahrens auszuführen, wenn der Computer das Computerprogramm ausführt.
• Nach einem weiteren Aspekt stellt die Erfindung ein computerimplementiertes Verfahren bereit für eine Produktionssequenzerstellung zum Steuern und/oder Regeln eines Produktionssystems gemäß der erstellten Produktionssequenz. Das Verfahren umfasst die Schritte:
• • computerimplementiertes Simulieren eines Produktionsprozesses, wobei ein Ausgangszustand der Simulation ein Zustand des Produktionsprozesses basierend auf einer initialen Produktionssequenz ist;
• • Bestimmen von Produktionsfolgelosen, die zu einem Simulationszeitpunkt, in dem eine Produktionslinie des Produktionssystems die ihr zugewiesenen Produktionsfolgelose abgearbeitet hat, verfügbar sind;
• • Generieren eines Graphen, der den Zustand des Produktionsprozesses in diesem Simulationszeitpunkt zusammen mit den Produktionsfolgelosen darstellt, wobei Entitäten des Produktionsprozesses umfassend Produktionsabschnitte des Produktionssystems, Produktionslinien und/oder Materialien als Knoten und Relationen zwischen den Entitäten umfassend Vorgängermaterial, Nachfolgerpuffer und/oder Linienfähigkeit als Kanten dargestellt werden;
• • Einsetzen eines auf Minimierung einer Kostenfunktion des Produktionsprozesses trainierten Graphen neuronalen Netzwerks umfassend wenigstens eine oder mehrere erste Klassifikationsschichten, wobei das Graphen neuronale Netzwerk den Graphen als Eingabe und einen transformierten Graphen als Ausgabe erhält und die ersten Klassifikationsschichten den transformierten Graphen als Eingabe erhalten und eine Wahrscheinlichkeitsverteilung über die Produktionsfolgelose als Ausgabe erhalten wird,
• • Auswählen des Produktionsfolgeloses mit dem höchsten Wahrscheinlichkeitswert aus der Wahrscheinlichkeitsverteilung und Wiederholen der weiteren der vorangehenden Schritte ausgehend von dem aus der um dieses Produktionsfolgelos jeweils erweiterten Produktionssequenz erhaltenen Zustand der Simulation in einem folgenden Simulationszeitpunkt, bis ein vorgegebenes Abbruchkriterium für die Simulation erreicht wird, wobei die jeweils erweiterte Produktionssequenz bezüglich der Kostenfunktion optimiert ist;
• • Steuern und/oder Regeln des Produktionssystems gemäß der am Ende der Simulation erhaltenen Produktionssequenz.
• Die steuerungsrelevanten Ausgaben werden zur Umsetzung in dem Produktionsplanungssystem und/ oder Produktionssteuerungssystem einer Fabrik benötigt.
• Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit für eine Produktionssequenzerstellung zum Steuern und/oder Regeln eines Produktionssystems gemäß der erstellten Produktionssequenz. Das Computerprogramm umfasst Befehle, die einen Computer veranlassen, die Schritte des entsprechenden Verfahrens, wenn der Computer das Computerprogramm ausführt.
• Nach einem Aspekt wird bei dem computerimplementierten Verfahren zum Generieren von Trainingsdaten ein initialer Datensatz gekennzeichneter Graphen dadurch erhalten, dass die adaptive Produktionsoptimierung in jedem Simulationszeitpunkt ausgeführt wird, wobei für jede erhaltene Produktionssequenz der Wert des ersten Ergebniswertes auf null festgelegt wird. Die Graphen neuronales Netzwerk bestimmte Wahrscheinlichkeitsverteilung ist über die in dem jeweiligen Simulationszeitpunkt verfügbaren Produktionsfolgelose derart festgelegt, dass ein Wahrscheinlichkeitswert für eines dieser Produktionsfolgelose auf den Wert 1, falls dieses Produktionsfolgelos gemäß der Priorisierung der adaptiven Produktionsoptimierung gereiht ist, ansonsten auf den Wert null festgelegt ist. Damit wird die Qualität der Daten initial verbessert und die Trainingszeit verkürzt.
• Nach einem weiteren Aspekt werden bei der Monte-Carlo-Baumsuche
• • an Simulationszeitpunkten zu den aus der adaptiven Produktionsoptimierung erhaltenen Produktionssequenzen alternative Produktionssequenzen bestimmt und damit ein Entscheidungsbaum erhalten;
• • wobei Knoten des Entscheidungsbaumes die den jeweiligen Zustand des Produktionsprozesses darstellende Graphen sind;
• • wobei ein Graphen neuronales Netzwerk für jeden Knoten des Entscheidungsbaumes die jeweilige Wahrscheinlichkeitsverteilung über die jeweiligen Produktionsfolgelose der alternativen Produktionssequenzen und einen die Güte des Produktionsprozesses zu dem jeweiligen Simulationszeitpunkt charakterisierenden Gütewert bestimmt.
• Damit werden an einem Entscheidungspunkt in der Generierung der Graphen anhand bestimmter Kriterien alternative Entscheidungen simuliert, um daraus eine Wahrscheinlichkeitsverteilung über diese Alternativen zu bekommen. So entsteht ein Entscheidungsbaum, wobei jeder Knoten einen Entscheidungspunkt darstellt.
• Nach einem weiteren Aspekt umfasst eine Bewertung eines Knotens des Entscheidungsbaumes als ein erstes Kriterium den Gütewert und den aus der adaptiven Produktionsoptimierung erhaltenen zweiten Ergebniswert und als ein zweites Kriterium eine obere Schranke für die Konfidenz der Bewertung. Von einem Wurzelknoten aus wird als weiterer Knoten des Entscheidungsbaumes stets der Knoten ausgewählt, dessen Bewertung maximal ist. Sobald ein Blattknoten erreicht wird, wird dieser Blattknoten dem Entscheidungsbaum hinzugefügt, wobei das Graphen neuronale Netzwerk die jeweilige Wahrscheinlichkeitsverteilung über die jeweiligen Produktionsfolgelose und den Gütewert bestimmt und der Blattknoten basierend auf dem Gütewert und dem aus der adaptiven Produktionsoptimierung erhaltenen zweiten Ergebniswert bewertet wird. Die Bewertung von dem Blattknoten wird zu dem Wurzelknoten zurückgeführt, wobei in jedem Knoten entlang dieses Rückführpfades dessen Bewertung derart aktualisiert wird, dass dessen Bewertung dem Mittelwert der Bewertungen in Teilbäumen entspricht.
• Der Entscheidungsbaum wird damit anhand zweier Kriterien aufgebaut. Erstens wird die Bewertung eines Knotens verwendet. Diese Bewertung setzt sich zusammen aus einer Kombination aus der Bewertung durch das Graphen neuronale Netzwerk, also dem charakterisierenden Gütewert, und der Bewertung, die man bekommt, wenn man den die adaptive Produktionsoptimierung zum Simulationsende verwendet, also dem zweiten Ergebniswert, hier Q genannt. Ein Parameter λ, der Werte zwischen 0 und 1 annehmen kann, steuert das Verhältnis in der Gesamtbewertung R eines Knotens in der folgenden Formel: R = λ * Q + (1 - λ) * ν). Das zweite Kriterium ist die obere Schranke U(s, a), auch upper confidence bound genannt, die eine obere Schranke für die Konfidenz der ermittelten Bewertung darstellt. Dieser Wert sinkt, je häufiger eine Kante im Entscheidungsbaum gewählt wurde und steuert den Grad der Exploration des Entscheidungsbaumes. Es wird die folgende mathematische Definition verwendet: $U\left(s,a\right)=c_{\text{puct}}p\left(s,a\right)\frac{\sqrt{{\displaystyle \sum {}_{b}N\left(s,b\right)}}}{1+N\left(s,a\right)},$

  

  wobei N(s, a) die Anzahl ist, wie oft die Kante $s\stackrel{a}{\to }s\text{'}$

  

  ausgewählt wurde, c_puct eine Konstante ist und p(s, a) die Wahrscheinlichkeit für die Entscheidung a im Knoten s laut Graphen neuronalem Netzwerk ist.
• Die voran beschriebene Bewertung entspricht einem Monte-Carlo-Tree-Search Algorithmus mit Upper Confidence Bound. Der Algorithmus umfasst die folgenden Schritte wie oben genannt:
• Selection:
  • Beginnend von dem Startknoten wird immer die Kante ausgewählt, die die Werte R(s, a) + U(s, a) maximiert. So entsteht ein Pfad durch den Entscheidungsbaum bis zu einem Blattknoten.
• Expansion:
  • Sobald eine Kante ausgewählt wird, die noch nicht Teil des Entscheidungsbaums ist, wird der Zielknoten zum Entscheidungsbaum hinzugefügt. Dabei werden die Werte für (p, ν), also für die jeweilige Wahrscheinlichkeitsverteilung p und charakterisierenden Gütewert ν, für diesen Knoten durch das Graphen neuronale Netzwerk bestimmt.
• Rollout:
  • Zur Bestimmung des Knotenwerts wird mit Hilfe der adaptiven Produktionsoptimierung bis zum Simulationsende simuliert und der Ergebniswert Q bestimmt. Daraus berechnet sich zusammen mit dem Wert ν die Gesamtbewertung.
• Backpropagation:
  • Die Gesamtbewertung wird entlang des Pfads im Entscheidungsbaum zurückgegeben. Hier wird in jedem Knoten der Wert R(s, a) so aktualisiert, dass er dem Mittelwert der Gesamtbewertungen im Teilbaum entspricht.
• Nach Beendigung des Algorithmus wird eine Wahrscheinlichkeitsverteilung ermittelt die proportional zu der Anzahl der durch den Algorithmus genommenen Kanten ist.
• Nach einem weiteren Aspekt wird in der adaptiven Produktionsoptimierung ein erster Produktionszeitraum in der Produktionssequenz fixiert. Die Produktionssequenz wird außerhalb des fixierten ersten Produktionszeitraums optimiert zur weiteren Optimierung der Kostenfunktion. Der zweite Ergebniswert wird für die optimierte Produktionssequenz bestimmt. Die Fixierung stellt sicher, dass die Ausgabe der adaptiven Produktionsoptimierung umsetzbar ist. Durch die Fixierung kann ein durch die Fixierung bestimmter Teil der Produktionssequenz nicht mehr geändert werden. Nach einem Aspekt der Erfindung werden alle Eingabeparameter für einen bestimmten Zeitraum zeitlich fixiert. Die Fixierung wird beispielsweise durch einen Präfix in der erhaltenen Produktionssequenz, Arbeitersituation und/oder in den Lieferungen realisiert. Bedingt durch die Fixierung kann die adaptive Produktionsoptimierung maximal so viel Zeit benötigen, wie durch die Fixierung abgedeckt ist. Als Fixierungszeit wird beispielsweise die Zeit bis auf das Ende einer laufenden Schicht genommen.
• Nach einem weiteren Aspekt wird zum Trainieren des Graphen neuronalen Netzwerks eine vorgebbare Anzahl nach dem Verfahren zum Generieren von Trainingsdaten gekennzeichneter Graphen bereitgestellt. Diese Anzahl gekennzeichneter Graphen wird jeweils in einem Vorwärtspfad und einem Rückwärtspfad iterativ durch das Graphen neuronale Netzwerk gespeist. Nach jeder Iteration wird das aktuell trainierte Graphen neuronale Netzwerk mit dem bisher Inferenz-besten Graphen neuronalen Netzwerk auf gleichen Trainingsdaten verglichen, wobei in dem Fall, dass das aktuell trainierte Graphen neuronale Netzwerk Inferenz-besser ist als das bisher Inferenz-beste Graphen neuronale Netzwerk, das bisher Inferenz-beste Graphen neuronale Netzwerk durch das aktuell trainierte Graphen neuronale Netzwerk ersetzt wird zum Generieren neuer Graphen.
• Die vorgebbare Anzahl gekennzeichneter Graphen ist ein Trainingsparameter, der der sogenannten batch size entspricht, also der Anzahl von Trainingsbeispielen in einem Vorwärtspfad und Rückwärtspfad. Die Graphen werden damit als Batches verarbeitet. Wenn die batch size kleiner als Geamtanzahl von Trainings-Graphen ist, benötigt das Batch basierte Trainieren weniger Speicher.
• Verstärkendes Lernen oder reinforcement learning bezieht sich darauf, dass das bisher Inferenz-beste Graphen neuronale Netzwerk durch das aktuell trainierte Graphen neuronale Netzwerk ersetzt wird zum Generieren neuer Graphen.
• Nach einem weiteren Aspekt ist bei dem computerimplementierten Verfahren zum Steuern und/oder Regeln des Produktionssystems das Graphen neuronale Netzwerk erfindungsgemäß trainiert ist.
• Nach einem weiteren Aspekt werden in einer adaptiven Produktionsoptimierung
• • Daten für das reale Produktionssystem umfassend Materialbedarfe der Produktionsabschnitte erhalten;
• • die Materialbedarfe in den Produktionsabschnitten geordnet gemäß einer Einwirkung auf eine Optimierung einer Kostenfunktion des Produktionssystems;
• • einer der Materialbedarfe ordnungsgemäß ausgewählt und der ausgewählte Materialbedarf auf Materialien in vorausgehenden Produktionsabschnitten, die für die Produktion in dem Produktionsabschnitt des ausgewählten Materialbedarfs benötigt werden, projiziert;
• • zumindest eine Bedarfsmenge und/oder ein Bedarfszeitpunktes der jeweiligen Materialien angepasst;
• • überprüft, ob die angepasste Bedarfsmenge der jeweiligen Materialien für den ausgewählten Materialbedarf ausreichend ist, wobei bei positiver Überprüfung die jeweiligen Materialien für das Produktionssystem reserviert werden, und/oder der ausgewählte Materialbedarf ausgeführt wird, und ein weiterer Materialbedarf ordnungsgemäß ausgewählt wird, wobei die initiale Produktionssequenz erhalten wird.
• Die Erfindung wird anhand der nachfolgenden Figuren beispielhaft erläutert. Es zeigen:
• Fig. 1
• In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Gegenstände. In den Figuren werden zur Vermeidung von Wiederholungen jeweils nur die relevanten Gegenstände mit Bezugszeichen gekennzeichnet.
• 1 zeigt eine Übersicht der Erfindung. Die durchgezogenen Pfeile zeigen den Ablauf, welcher bei jeder Optimierung durchlaufen wird. Die gestrichelten Pfeile zeigen den Ablauf zum Trainieren des Graphen neuronalen Netzwerks GNN.
• Anlaufphase:
• Der GRPO ist direkt nach der Konfiguration einsatzbereit. In der Anlaufphase übernimmt die adaptive Produktionsoptimierung APO die Erstellung der Produktionssequenz 3. Hierfür wird in der adaptiven Produktionsoptimierung APO ein aktueller Produktionszustand 2 eines realen Produktionssystems 1 verarbeitet. Das reale Produktionssystem 1 ist beispielsweise eine Fabrik. In einer Datenbank 4 werden die Produktionszustände 2, auf denen der GRPO ausgeführt wird, und historische Produktionszustände 2s gespeichert. Die Datenbank 4 speichert eine Historie der Produktionszustände 2s. Im Training werden Parameter P des Graphen neuronalen Netzwerks, beispielsweise Gewichte, optimiert und fortlaufend neue Graphen neuronale Netzwerke GNN trainiert, die dann zur Produktionssequenzerstellung PE verwendet werden.
• 2 stellt den Prozess zur Bestimmung eines Produktionsfolgeloses PL_i schematisch dar. Durch den dargestellten Kreislauf wird iterativ die Produktionssequenz 3 für das reale Produktionssystem 1 erstellt. Der Kreislauf beginnt Ereignis-basiert, wenn in der Simulation eine Produktionslinie alle ihr zugewiesenen Produktionsfolgelose PL_i abgearbeitet hat. In dem realen Produktionssystem 1 werden Daten gesammelt und verarbeitet. Aus diesen und mit diesen Daten wird ein digitales Produktionssystem1a modelliert. Ein Produktionszustand s_i des digitalen Produktionssystems 1a wird als Graph G repräsentiert. Der Graph G wird in das Graphen neuronale Netzwerk GNN eingegeben. Das trainierte Graphen neuronale Netzwerk GNN bestimmt eine Wahrscheinlichkeitsverteilung p über mögliche Produktionsfolgelose PL_i und einen die Güte des Produktionsprozesses zu dem jeweiligen Simulationszeitpunkt charakterisierenden Gütewert v.
• Produktionssequenzerstellung PE mittels des Graphen neuronalen Netzwerks GNN: In der Produktionssequenzerstellung PE wird mit Hilfe eines digitalen Produktionsmodells 1a und des Graphen neuronalen Netzwerks GNN eine Produktionssequenz 3 erstellt. Für den Ausgangszustand der Produktionssimulation wird eine digitale Kopie s_i des realen Produktionszustands 2 verwendet. Danach wird die Veränderung des Produktionszustands s_i auf Basis des digitalen Produktionsmodells 1a und dem Ausgangszustand simuliert.
• Sobald eine Produktionslinie in der Produktionssimulation alle ihr zugewiesenen Produktionsfolgelose PL_i abgearbeitet hat, beginnt der Prozess zur Auswahl des folgenden Produktionsfolgeloses:
• • Übersetzung des Produktionszustands 2 in einen Graphen GNN: Zuerst werden alle Produktionsfolgelose bestimmt, die zum aktuellen Simulationszeitpunkt gestartet werden können. Zu dieser Überprüfung gehört neben vorhandener Linienfähigkeiten unter anderem auch ausreichender Bestand von Vorgängermaterialien. Danach wird der Produktionszustand 2 inklusive der möglichen Produktionsfolgelose in einen Graphen G kodiert. Dabei werden alle Entitäten, zum Beispiel Produktionsabschnitte, Materialien und/oder Produktionslinien, als Knoten und alle Relationen, zum Beispiel Vorgängermaterial, Nachfolgerpuffer und/oder Linienfähigkeit, als Kanten kodiert. Neben den Relationen kann der Graph G nach einem Aspekt auch Daten enthalten. Sowohl an den Knoten als auch an den Kanten können Daten in Form von Vektoren angehängt werden. Dies wird zum Beispiel verwendet, um die Prozesszeiten, beispielsweise Durchlauf-, Takt- und/oder Liegezeiten, pro Material und Linie zu kodieren. 3 zeigt eine Übersicht eines Graphen G, der einen Produktionszustand 2 kodiert. In dieser Übersicht werden alle Knoten der gleichen Art zusammengefasst, um die Darstellung zu vereinfachen. Dieser Graph G enthält sowohl statische und dynamische Daten. Statische Daten sind bei jeder Iteration gleich. Beispielsweise ist die Anzahl der Linien und die Stückliste bei jeder Iteration gleich. Es können sich allerdings sowohl die Anzahl der Knoten und Kanten, zum Beispiel beschreibt der Knoten „planbar“ ein Los, welches auf der in Relation stehenden Linie zu diesem Produktionszeitpunkt gestartet werden kann, als auch die Kanten/Knoten-Daten ändern, zum Beispiel der momentane Bestand eines Materials in einem Puffer.
• • Bestimmung des Produktionsfolgeloses mit Hilfe eines Graphen neuronalen Netzwerks GNN: Der Graph G, der den Produktionszustand 2 darstellt, wird als Eingabe für ein Graphen neuronales Netzwerk GNN verwendet. Die Architektur des Graphen neuronalen Netzwerks GNN besteht aus zwei Teilen. Einem Encoder, bestehend aus einer variablen Anzahl von Graph Convolutional Layers GCL, und einem Decoder, bestehend aus zwei unabhängigen Köpfen KS1 und KS2, auch Klassifikationsschichten genannt, die jeweils aus einer variablen Anzahl von linearen Schichten besteht. Der Kopf KS2 bestimmt den Wert v zwischen -1 und 1, der den aktuellen Produktionszustand 2 bewertet. Der andere Kopf KS1 liefert eine Wahrscheinlichkeitsverteilung p über die möglichen Produktionsfolgelose. 4 zeigt die Architektur des verwendeten Graphen neuronalen Netzwerks GNN. Die Erfindung nutzt dabei explizit die Eigenschaft von Graphen neuronalen Netzwerken GNN, dass das Ergebnis unabhängig von der Reihenfolge der Eingabe ist. Das bedeutet insbesondere, dass das Ergebnis unabhängig ist von der Reihenfolge der möglichen Produktionsfolgelose und dass das Graphen neuronale Netzwerk GNN die Wahrscheinlichkeitsverteilung p ausschließlich über die Relationen und Daten des Graphen G bestimmt. Zur Bestimmung des nächsten Produktionsfolgeloses wird das Los mit der höchsten Wahrscheinlichkeitswert verwendet.
• • Fortführen der Simulation: Nach der Bestimmung des nächsten Produktionsloses durch das Graphen neuronale Netzwerk GNN wird das Produktionsfolgelos zum digitalen Modell 1a hinzugefügt und die Simulation fortgesetzt. Hierbei wird auch die Produktionssequenz 3 um dieses Produktionsfolgelos erweitert. Wenn die Simulation abgeschlossen ist, zum Beispiel durch Erreichen eines vorher festgelegten Simulationshorizonts, wird das Ergebnis in Form der Produktionssequenz 3 bereitgestellt.
• 5 zeigt die Erstellung der Graphen G für das Training mittels Monte-Carlo-Baumsuche. Der Produktionsablauf wird simuliert, bis eine Linie alle zugewiesenen Produktionsfolgelose PL_i abgearbeitet hat. Von diesem Produktionszustand ausgehend wird eine Wahrscheinlichkeitsverteilung π_i über die möglichen Folgelose mittels einer Monte-Carlo-Baumsuche und dem Graphen neuronalen Netzwerk GNN bestimmt. Anhand dieser Wahrscheinlichkeitsverteilung wird ein Produktionsfolgelos zufällig ausgewählt durch eine Aktion oder Entscheidung a_i und die Simulation fortgesetzt.
• a_i∼π_i bedeutet, dass eine Aktion a_i zufällig anhand der Wahrscheinlichkeitsverteilung π_i gewählt wird. Wenn die Wahrscheinlichkeitsverteilung beispielsweise π_i = (75%, 25%) ist, würde man erwarten, dass 75 mal die Aktion 1 und 25 mal die Aktion 2 gewählt wird, wenn man 100 mal hintereinander einen Zug macht. Eine Aktion bezüglich der Produktionsfolgelose ist, das Produktionsfolgelos zu wählen und als nächstes auf die Linie zu legen. Zufällig wählen bedeutet, dass nicht zwingend das Produktionsfolgelos mit dem höchsten Wahrscheinlichkeitswert gewählt werden muss, es kann auch ein Produktionsfolgelos mit einem niedrigen Wahrscheinlichkeitswert gewählt werden; im Beispiel oben etwa die Aktion mit 25% iger Wahrscheinlichkeit.
• In 5 beschreiben die Indizes die zeitliche Abfolge einer einzelnen Simulation (von Anfang bis Ende).
• Nach Beendigung der Simulation wird ein Relativwert z bestimmt, insbesondere aus den Daten der Simulation. Dieser Relativwert z kann aus einer Kombination von mehreren Faktoren bestehen, beispielsweise Verspätungszeiten und/oder Rüstzeiten, und wird relativ zum Ergebnis der adaptiven Produktionsoptimierung APO gemessen. Ist das Ergebnis beispielsweise 50% besser (25% schlechter) als das der adaptiven Produktionsoptimierung APO, ist der Wert z=0,5 (z=-0,25). Dieser Schritt wird mehrmals wiederholt, um eine große Anzahl an Daten zu erzeugen. Im darauf folgenden Training wird die Differenz zwischen der Vorhersage des Netzwerks (ν_i, p_i) und den Werten (z, π_i) minimiert.
• Trainieren des Graphen neuronalen Netzwerks:
• Die durch die oben genannte Prozedur erzeugte Graphen inklusive der Labels (z, π) werden als Datensatz zum Trainieren des Graphen neuronalen Netzwerks verwendet. Zum Training werden die neusten X gelabelten Graphen verwendet, wobei X ein Parameter ist. Zum Trainieren des GNNs wird ein Standardverfahren auf Basis von Backpropagation verwendet, die Reihenfolge der Graphen wird nach einem Aspekt randomisiert und als Batches verarbeitet. Das so gelernte Netzwerk wird mit dem bisher besten Netzwerk auf den gleichen Daten evaluiert und verglichen. Ist das neue Netzwerk besser, ersetzt es das bisher beste Netzwerk zur Generierung neuer Graphen. 6 stellt Aspekte des Trainierens des Graphen neuronalen Netzwerks dar. In 6 werden alle Graphen, die durch die Simulation erzeugt werden, zusammengefasst als ein großer Datensatz. Hier bedeuten die Indizes lediglich eine beliebige/zufällige Reihenfolge der Graphen.
• Ein initialer Datensatz mit gelabelten Graphen wird mittels der adaptiven Produktionsoptimierung APO erzeugt. Dafür wird die Produktionssimulation zusammen mit der adaptiven Produktionsoptimierung APO ausgeführt und immer, wenn mittels der adaptiven Produktionsoptimierung APO eine Entscheidung getroffen wird, wird der Produktionszustand als Produktionsgraph G kodiert. Als Bewertung v wird der Wert 0 festgelegt. Die Wahrscheinlichkeitsverteilung p=(p_1,p_2,... ,p_N), wobei N die Anzahl der möglichen Produktionsfolgelose PL_i zu diesem Zeitpunkt ist, wird festgelegt als p_i=0, falls i ≠ s oder p_i=1, falls i = s für alle 1≤ i ≤ N, wobei s die Entscheidung ist.
• Bezugszeichen

1

reales Produktionssystem

1a

digitales Produktionssystem

2

aktueller Produktionszustand

2s

gespeicherter Produktionszustand

si

Produktionszustand zu einem Zeitpunkt i in einer einzelnen Simulation (5) oder Produktionszustand zu einem beliebigen Zeitpunkt i (6)

πi

Monte-Carlo-Baumsuche Wahrscheinlichkeitsverteilung zu einem Zeitpunkt i in einer einzelnen Simulation (5) oder Monte-Carlo-Baumsuche Wahrscheinlichkeitsverteilung zu einem beliebigen Zeitpunkt i (6)

z

Relativwert am Ende einer Simulation

zi

Relativwert am Ende der Simulation i

a

Entscheidung/Aktion

ai

Entscheidung/Aktion zu einem Zeitpunkt i in einer einzelnen Simulation

p

Graphen neuronales Netzwerk bestimmte Wahrscheinlichkeitsverteilung über Produktionsfolgelose

pi

Graphen neuronales Netzwerk bestimmte Wahrscheinlichkeitsverteilung über Produktionsfolgelose zu einem Zeitpunkt i in einer einzelnen Simulation (5)

πi

Monte-Carlo-Baumsuche bestimmte Wahrscheinlichkeitsverteilung über Produktionsfolgelose zu einem Zeitpunkt i in einer einzelnen Simulation (5)

v

charakterisierender Gütewert

νi

charakterisierender Gütewert zu einem Zeitpunkt i in einer einzelnen Simulation (5)

3

Produktionssequenz

APO

adaptive Produktionsoptimierung

4

Datenbank

T

Trainingsverfahren

T8, T9

Verfahrensschritte

PE

Produktionssequenzerstellung

PL_i

i-tes Produktionsfolgelose

GNN

Graphen neuronales Netzwerk

GNN_act

bisher Inferenz-bestes Graphen neuronales Netzwerk

GNN_lat

aktuell trainiertes Graphen neuronales Netzwerk

GRPO

Graph Neural Network and Reinforcement Learning based Production Optimizer

P

Parameter für GNN

G

Graph

V

Knoten

E

Kante

GCL

Graphen-Faltungsschicht

KS1

erste Klassifikationsschicht(en)

KS2

zweite Klassifikationsschicht(en)

X

vorgebbare Anzahl gekennzeichneter Graphen

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 102020203716 A1 [0004, 0006, 0026]
• DE 102020203718 A1 [0005, 0006, 0013, 0026]

Claims (13)

1. Computerimplementiertes Verfahren zum Generieren von Trainingsdaten für die Inferenz einer Produktionssequenz (3, PE) mittels eines Graphen neuronalen Netzwerks (GNN), um ein Produktionssystem (1, 1a) gemäß der inferierten Produktionssequenz (3) zu steuern und/oder zu regeln, wobei ein jeweiliger Zustand (2, s_i) eines Produktionsprozesses des Produktionssystems (1, 1a) zusammen mit Produktionsfolgelosen (PL_i) als Graph (G) dargestellt wird und Entitäten des Produktionsprozesses umfassend Produktionsabschnitte des Produktionssystems (1, 1a), Produktionslinien und/oder Materialien als Knoten (V) und Relationen zwischen den Entitäten umfassend Vorgängermaterial, Nachfolgerpuffer und/oder Linienfähigkeit als Kanten (E) dargestellt sind, das Verfahren umfassend die Schritte: • computerimplementiertes Simulieren des Produktionsprozesses, wobei ein Ausgangszustand der Simulation ein Zustand des Produktionsprozesses basierend auf einer initialen Produktionssequenz (3) ist; • Bestimmen der Produktionsfolgelosen (PL_i), die zu einem Simulationszeitpunkt, in dem eine Produktionslinie des Produktionssystems (1a) die ihr zugewiesenen Produktionsfolgelose (PL_i) abgearbeitet hat, verfügbar sind, wobei in diesem Simulationszeitpunkt eine Monte-Carlo-Baumsuche ausgeführt und dabei eine Wahrscheinlichkeitsverteilung (π_i) über diese Produktionsfolgelose (PL_i) erhalten wird; • zufälliges Auswählen eines Produktionsfolgeloses (PL_i) in diesem Simulationszeitpunkt gemäß der Wahrscheinlichkeitsverteilung (π_i); • Wiederholen der vorangehenden Schritte in einem jeweils folgenden Simulationszeitpunkt ausgehend von dem aus der um dieses Produktionsfolgelos (PL_i) jeweils erweiterten Produktionssequenz (3) erhaltenen Zustand der Simulation, bis ein vorgegebenes Abbruchkriterium für die Simulation erreicht wird; • beim Erreichen des Simulationsabbruches Bestimmen eines Relativwertes (z, z_i), der einen die Güte des simulierten Produktionsprozesses charakterisierenden ersten Ergebniswert (v, ν_i) erhalten aus den Simulationsdaten und einen die Güte des Produktionsprozesses charakterisierenden zweiten Ergebniswert in Relation setzt (D5), wobei in einer adaptiven Produktionsoptimierung (APO) ◯ im realen Produktionsprozess Materialbedarfe in den Produktionsabschnitten in Abhängigkeit einer Einwirkung auf eine Optimierung einer Kostenfunktion des Produktionssystems (1) priorisiert werden; ◯ einer der Materialbedarfe in Reihenfolge der Priorisierung ausgewählt wird; ◯ zumindest eine Bedarfsmenge und/oder ein Bedarfszeitpunkt von Materialien in vorausgehenden Produktionsabschnitten zur Ausführung des Materialbedarfs angepasst werden und die Materialien und die jeweils angepassten Bedarfsmenge und/oder Bedarfszeitpunkt reserviert werden; ◯ ein weiterer der Materialbedarfe ausgewählt wird und die vorangehenden Schritte wiederholt werden, bis für alle der priorisierten Materialbedarfe die Materialien und die jeweils angepassten Bedarfsmengen und/oder Bedarfszeitpunkte reserviert sind; wobei eine Produktionssequenz (3) erhalten wird; ◯ der zweite Ergebniswert für die erhaltene Produktionssequenz (3) bestimmt wird; • Kennzeichnen des Graphen (G), der den Zustand des Produktionsprozesses beim Erreichen des Simulationsabbruches darstellt, mit dem Relativwert (z, z_i) und der zu diesem Simulationszeitpunkt mittels Monte-Carlo-Baumsuche erhaltenen Wahrscheinlichkeitsverteilung (π_i); • Generieren von entsprechend gekennzeichneten Graphen (G) durch Wiederholen der vorangehenden Schritte.
2. Verfahren nach Anspruch 1, wobei ein initialer Datensatz gekennzeichneter Graphen (G) dadurch erhalten wird, dass die adaptive Produktionsoptimierung (APO) in jedem Simulationszeitpunkt ausgeführt wird, wobei für jede erhaltene Produktionssequenz (3) der Wert des ersten Ergebniswertes (v, ν_i) auf null festgelegt wird und die Graphen neuronales Netzwerk bestimmte Wahrscheinlichkeitsverteilung (p, p_i) über die in dem jeweiligen Simulationszeitpunkt verfügbaren Produktionsfolgelose (PL_i) derart festgelegt ist, dass ein Wahrscheinlichkeitswert für eines dieser Produktionsfolgelose (PL_i) auf den Wert 1, falls dieses Produktionsfolgelos (PL_i) gemäß der Priorisierung der adaptiven Produktionsoptimierung (APO) gereiht ist, ansonsten auf den Wert null festgelegt ist.
3. Verfahren nach einem der vorangehenden Ansprüche, wobei bei der Monte-Carlo-Baumsuche • an Simulationszeitpunkten zu den aus der adaptiven Produktionsoptimierung (APO) erhaltenen Produktionssequenzen (3) alternative Produktionssequenzen bestimmt werden und damit ein Entscheidungsbaum erhalten wird; • wobei Knoten des Entscheidungsbaumes die den jeweiligen Zustand des Produktionsprozesses darstellende Graphen (G) sind; • wobei ein Graphen neuronales Netzwerk (GNN) für jeden Knoten des Entscheidungsbaumes die jeweilige Wahrscheinlichkeitsverteilung (p, p_i) über die jeweiligen Produktionsfolgelose (PL_i) der alternativen Produktionssequenzen und einen die Güte des Produktionsprozesses zu dem jeweiligen Simulationszeitpunkt charakterisierenden Gütewert (v, ν_i) bestimmt.
4. Verfahren nach Anspruch 3, wobei • eine Bewertung eines Knotens des Entscheidungsbaumes als ein erstes Kriterium den Gütewert (v, ν_i) und den aus der adaptiven Produktionsoptimierung erhaltenen zweiten Ergebniswert und als ein zweites Kriterium eine obere Schranke für die Konfidenz der Bewertung umfasst; • von einem Wurzelknoten aus als weiterer Knoten des Entscheidungsbaumes stets der Knoten ausgewählt wird, dessen Bewertung maximal ist; • sobald ein Blattknoten erreicht wird, dieser Blattknoten dem Entscheidungsbaum hinzugefügt wird, wobei das Graphen neuronale Netzwerk (GNN) die jeweilige Wahrscheinlichkeitsverteilung (p, p_i) über die jeweiligen Produktionsfolgelose (PL_i) und den Gütewert (v, ν_i) bestimmt und der Blattknoten basierend auf dem Gütewert (v, ν_i) und dem aus der adaptiven Produktionsoptimierung (APO) erhaltenen zweiten Ergebniswert bewertet wird; • die Bewertung von dem Blattknoten zu dem Wurzelknoten zurückgeführt wird, wobei in jedem Knoten entlang dieses Rückführpfades dessen Bewertung derart aktualisiert wird, dass dessen Bewertung dem Mittelwert der Bewertungen in Teilbäumen entspricht.
5. Verfahren nach einem der vorangehenden Ansprüche, wobei in der adaptiven Produktionsoptimierung (APO) ein erster Produktionszeitraum in der Produktionssequenz (3) fixiert wird und die Produktionssequenz (3) außerhalb des fixierten ersten Produktionszeitraums optimiert wird zur weiteren Optimierung der Kostenfunktion und der zweite Ergebniswert für die optimierte Produktionssequenz (3) bestimmt wird.
6. Computerprogrammprodukt zum Generieren von Trainingsdaten für die Inferenz einer Produktionssequenz (3) mittels eines Graphen neuronalen Netzwerks (GNN), das Computerprogrammprodukt umfassend Befehle, die einen Computer veranlassen, die Schritte des Verfahrens nach einem der vorangehenden Ansprüche auszuführen, wenn der Computer das Computerprogrammprodukt ausführt.
7. Computerimplementiertes Verfahren zum Trainieren (T) eines Graphen neuronalen Netzwerks (GNN) auf Inferenz einer Produktionssequenz (3), um ein Produktionssystem (1, 1a) gemäß der inferierten Produktionssequenz (3) zu steuern und/oder zu regeln, wobei ein jeweiliger Zustand eines Produktionsprozesses des Produktionssystems (1, 1a) zusammen mit Produktionsfolgelosen (PL_i) als Graph (G) dargestellt wird und Entitäten des Produktionsprozesses umfassend Produktionsabschnitte des Produktionssystems, Produktionslinien und/oder Materialien als Knoten (V) und Relationen zwischen den Entitäten umfassend Vorgängermaterial, Nachfolgerpuffer und/oder Linienfähigkeit als Kanten (E) dargestellt sind und als Trainingsdaten gemäß des Verfahrens nach Anspruch 1 gekennzeichnete Graphen (G) bereitgestellt werden, das Verfahren umfassend die Schritte: • computerimplementiertes Simulieren eines Produktionsprozesses, wobei ein Ausgangszustand der Simulation ein Zustand des Produktionsprozesses basierend auf einer initialen Produktionssequenz (3) ist; • Bestimmen von Produktionsfolgelosen (PL_i) die zu einem Simulationszeitpunkt, in dem eine Produktionslinie des Produktionssystems die ihr zugewiesenen Produktionsfolgelose (PL_i) abgearbeitet hat, verfügbar sind; • Generieren des Graphen (G), der den Zustand des Produktionsprozesses in diesem Simulationszeitpunkt zusammen mit den Produktionsfolgelosen (PL_i) darstellt; • Eingeben des Graphen (G) in das Graphen neuronale Netzwerk (GNN) und in einem Vorwärtspfad des Graphen neuronalen Netzwerks (GNN) Erhalten eines transformierten Graphens (G), wobei eine oder mehrere erste Klassifikationsschichten (KS1) des Graphen neuronalen Netzwerks (GNN) aus dem transformierten Graphen (G) eine Wahrscheinlichkeitsverteilung (p, p_i) über die Produktionsfolgelosen (PL_i) und eine oder mehrere zweite Klassifikationsschichten (KS2) des Graphen neuronalen Netzwerks (GNN) einen die Güte des Produktionsprozesses zu dem jeweiligen Simulationszeitpunkt charakterisierenden Gütewert (v, ν_i) erhalten; • Auswählen des Produktionsfolgeloses (PL_i) mit dem höchsten Wahrscheinlichkeitswert aus der Wahrscheinlichkeitsverteilung (p, p_i) und Wiederholen der vorangehenden Schritte in einem jeweils folgenden Simulationszeitpunkt ausgehend von dem aus der um dieses Produktionsfolgelos (PL_i) jeweils erweiterten Produktionssequenz (3) erhaltenen Zustand der Simulation, bis ein vorgegebenes Abbruchkriterium für die Simulation erreicht wird; • beim Erreichen des Simulationsabbruches Bestimmen einer ersten Differenz zwischen dem Gütewert (v, ν_i) und einem Relativwert (z, z_i) eines der gekennzeichneten Graphen (G) und Bestimmen einer zweiten Differenz zwischen der mittels des Graphen neuronalen Netzwerks (GNN) erhaltenen Wahrscheinlichkeitsverteilung (p, p_i) und einer mittels Monte-Carlo-Baumsuche erhaltenen Wahrscheinlichkeitsverteilung (π_i) des gekennzeichneten Graphen (G); • in einem Rückwärtspfad des Graphen neuronalen Netzwerks (GNN) Fehlerrückführung der ersten und der zweiten Differenz durch das Graphen neuronale Netzwerk (GNN).
8. Verfahren nach Anspruch 7, wobei zum Trainieren des Graphen neuronalen Netzwerks (GNN) eine vorgebbare Anzahl nach dem Verfahren nach einem der Ansprüche 1 bis 5 gekennzeichneter Graphen (G) bereitgestellt wird, diese Anzahl gekennzeichneter Graphen (G) jeweils in einem Vorwärtspfad und einem Rückwärtspfad iterativ durch das Graphen neuronale Netzwerk (GNN) gespeist wird und nach jeder Iteration das aktuell trainierte Graphen neuronale Netzwerk (GNN_lat) mit dem bisher Inferenz-besten Graphen neuronalen Netzwerk (GNN_act) auf gleichen Trainingsdaten verglichen wird (T8), wobei in dem Fall, dass das aktuell trainierte Graphen neuronale Netzwerk (GNN_lat) Inferenz-besser ist als das bisher Inferenz-beste Graphen neuronale Netzwerk (GNN_act), das bisher Inferenz-beste Graphen neuronale Netzwerk (GNN_act) durch das aktuell trainierte Graphen neuronale Netzwerk (GNN_act) ersetzt wird (T9) zum Generieren neuer Graphen (G).
9. Computerprogrammprodukt zum Trainieren eines Graphen neuronalen Netzwerks (GNN) auf Inferenz einer Produktionssequenz (3), das Computerprogrammprodukt umfassend Befehle, die einen Computer veranlassen, die Schritte des Verfahrens nach einem der Ansprüche 7 bis 8 auszuführen, wenn der Computer das Computerprogrammprodukt ausführt.
10. Computerimplementiertes Verfahren für eine Produktionssequenzerstellung (PE) zum Steuern und/oder Regeln eines Produktionssystems (1) gemäß der erstellten Produktionssequenz (3, PE), das Verfahren umfassend die Schritte: • computerimplementiertes Simulieren eines Produktionsprozesses, wobei ein Ausgangszustand der Simulation ein Zustand des Produktionsprozesses basierend auf einer initialen Produktionssequenz (3) ist; • Bestimmen von Produktionsfolgelosen (PL_i), die zu einem Simulationszeitpunkt, in dem eine Produktionslinie des Produktionssystems die ihr zugewiesenen Produktionsfolgelose (PL_i) abgearbeitet hat, verfügbar sind; • Generieren eines Graphen (G), der den Zustand des Produktionsprozesses in diesem Simulationszeitpunkt zusammen mit den Produktionsfolgelosen (PL_i) darstellt, wobei Entitäten des Produktionsprozesses umfassend Produktionsabschnitte des Produktionssystems, Produktionslinien und/oder Materialien als Knoten (V) und Relationen zwischen den Entitäten umfassend Vorgängermaterial, Nachfolgerpuffer und/oder Linienfähigkeit als Kanten (E) dargestellt werden; • Einsetzen eines auf Minimierung einer Kostenfunktion des Produktionsprozesses trainierten Graphen neuronalen Netzwerks (GNN) umfassend wenigstens eine oder mehrere erste Klassifikationsschichten (KS1), wobei das Graphen neuronale Netzwerk den Graphen (G) als Eingabe und einen transformierten Graphen (G) als Ausgabe erhält und die ersten Klassifikationsschichten (KS1) den transformierten Graphen (G) als Eingabe erhalten und eine Wahrscheinlichkeitsverteilung (p) über die Produktionsfolgelose (PL_i) als Ausgabe erhalten wird, • Auswählen des Produktionsfolgeloses (PL_i) mit dem höchsten Wahrscheinlichkeitswert aus der Wahrscheinlichkeitsverteilung (p) und Wiederholen der weiteren der vorangehenden Schritte ausgehend von dem aus der um dieses Produktionsfolgelos (PL_i) jeweils erweiterten Produktionssequenz (3) erhaltenen Zustand der Simulation in einem folgenden Simulationszeitpunkt, bis ein vorgegebenes Abbruchkriterium für die Simulation erreicht wird, wobei die jeweils erweiterte Produktionssequenz (3) bezüglich der Kostenfunktion optimiert ist; • Steuern und/oder Regeln des Produktionssystems gemäß der am Ende der Simulation erhaltenen Produktionssequenz (3).
11. Verfahren nach Anspruch 10, wobei das Graphen neuronale Netzwerk (GNN) gemäß des Verfahrens nach einem der Ansprüche 7 bis 8 trainiert ist.
12. Verfahren nach Anspruch 10 oder 11, wobei in einer adaptiven Produktionsoptimierung (APO) • Daten für das reale Produktionssystem (1) umfassend Materialbedarfe der Produktionsabschnitte erhalten werden; • die Materialbedarfe in den Produktionsabschnitten geordnet werden gemäß einer Einwirkung auf eine Optimierung einer Kostenfunktion des Produktionssystems (1); • einer der Materialbedarfe ordnungsgemäß ausgewählt wird und der ausgewählte Materialbedarf auf Materialien in vorausgehenden Produktionsabschnitten, die für die Produktion in dem Produktionsabschnitt des ausgewählten Materialbedarfs benötigt werden, projiziert wird; • zumindest eine Bedarfsmenge und/oder ein Bedarfszeitpunktes der jeweiligen Materialien angepasst wird; • überprüft wird, ob die angepasste Bedarfsmenge der jeweiligen Materialien für den ausgewählten Materialbedarf ausreichend ist, wobei bei positiver Überprüfung die jeweiligen Materialien für das Produktionssystem (1) reserviert werden, und/oder der ausgewählte Materialbedarf ausgeführt wird, und ein weiterer Materialbedarf ordnungsgemäß ausgewählt wird, wobei die initiale Produktionssequenz (3) erhalten wird.
13. Computerprogrammprodukt für eine Produktionssequenzerstellung (PE) zum Steuern und/oder Regeln eines Produktionssystems (1) gemäß der erstellten Produktionssequenz (3), das Computerprogrammprodukt umfassend Befehle, die einen Computer veranlassen, die Schritte des Verfahrens nach einem der Ansprüche 10 bis 12 auszuführen, wenn der Computer das Computerprogrammprodukt ausführt.

Images