-
Stand der Technik
-
Die vorliegende Offenbarung bezieht sich auf Verfahren zum Steuern eines Systems.
-
Für die Herstellung von komplexen Erzeugnissen wie Halbleiterchips werden Verarbeitungsanordnungen, d.h. Produktionssysteme, mit vielen verschiedenen Verarbeitungsanlagen benötigt, wie z.B. bei der Chipherstellung Oxidations-, Abscheide-, Planarisierungs-, Implantations- und Ätzanlagen. Ein Erzeugnis wie beispielsweise ein Halbleiterchiplos durchläuft eine solche Verarbeitungsanordnung, wobei sich viele Lose gleichzeitig in der Verarbeitungsanordnung befinden und je nach Art der herzustellenden Chips von unterschiedlichen der Verarbeitungsanlagen, bzw. unterschiedlich oft und/oder in unterschiedlicher Reihenfolge von den Verarbeitungsanlagen verarbeitet werden müssen. Entsprechend komplex ist die Planung, in welcher Reihenfolge Erzeugnisse zu verarbeiten sind, was aber hohe Auswirkungen auf die Effizienz des Betriebs des Produktionssystems haben kann, da es beispielsweise vermieden werden sollte, Erzeugnisse an einer Verarbeitungsanalage zu priorisieren, wenn sie an der nächsten Verarbeitungsanalage ohnehin warten müssen, bzw. Erzeugnisse nicht zu priorisieren, obwohl sie von einer aktuell untätigen Verarbeitungsanalage als nächstes weiterzuverarbeiten wären.
-
Deshalb sind Ansätze wünschenswert, die eine effiziente Steuerung von komplexen Produktionssystemen, wie beispielsweise Halbleiterchipproduktionssystemen, insbesondere in Hinblick auf die Verarbeitungsreihenfolge von Erzeugnissen (z.B. Chiplosen) ermöglichen.
-
Die Veröffentlichung „graph2vec: Learning Distributed Representations of Graphs" von Narayanan et al., Juli 2017 (https://arxiv.org/abs/1707.05005), im Folgenden als Referenz 1 bezeichnet, beschreibt einen auf neuronalen Netzen basierenden Ansatz („graph2vec“) zum Erlernen von Darstellungen von Graphen in einem Merkmalseinbettungsraum mit fester Dimensionalität, der generisch, unbeaufsichtigt und datengesteuert ist. Er ist inspiriert von Modellen zur Charakterisierung von Dokumenten auf der Grundlage der Wörter und Wortfolgen, aus denen sie bestehen. graph2vec überträgt die Einstellung von Dokumenten und Wörtern auf die Einstellung von Graphen und Untergraphen, indem es Graphen auf der Grundlage der Untergraphen charakterisiert, aus denen sie bestehen. Daher besteht graph2vec aus zwei Komponenten: Einem Verfahren zur Extraktion von Teilgraphen aus einem Graphen und einem Verfahren zum Lernen von Einbettungen verschiedener Graphen auf der Grundlage ihrer Teilgraphen. Um die Teilgraphen eines Graphen zu extrahieren, wird die Nachbarschaft eines jeden Knotens im Graphen untersucht. Diese Nachbarschaft ist eine Menge von Knoten, die mit dem Basisknoten verbunden sind. Diese Art der Unterscheidung von Graphen auf der Grundlage ihrer Teilgraphen ermöglicht eine aggregierte Sichtweise, anstatt sich auf alle einzelnen Knoten eines Graphen zu konzentrieren, und damit auch die Behandlung umfangreicher Graphen. Insbesondere wird unter Verwendung dieser Graphen als Eingabe eine Abbildung auf einen Merkmalseinbettungsraum mit fester Dimensionalität gelernt.
-
Offenbarung der Erfindung
-
Gemäß verschiedenen Ausführungsformen wird ein Verfahren zum Steuern eines Systems bereitgestellt, aufweisend Erzeugen, für jeden mehrerer Zeitpunkte, einer Repräsentation des Zustands des Systems zu dem Zeitpunkt in Form eines jeweiligen Graphen, wobei der Graph für den Zeitpunkt eine jeweilige Größe abhängig von dem jeweiligen Zustand des Systems zu dem Zeitpunkt hat, wobei die Größe des Graphen zwischen zumindest manchen der Zeitpunkte variiert, Umwandeln, für jeden Zeitpunkt, des Graphen in eine Vektordarstellung vorgegebener Dimension, die für alle Zeitpunkte gleich ist, mittels eines Maschinelles-Lernen-Modells, das trainiert ist, Graphen unterschiedlicher Größe auf Vektordarstellungen der vorgegebenen Dimension abzubilden, Zuführen, für jeden Zeitpunkt, der Vektordarstellung als Zustandsrepräsentation zu einem Agenten, der eingerichtet ist, ausgehend von der Vektordarstellung das System zu steuern.
-
Das oben beschriebene Verfahren ermöglicht die Steuerung von Systemen für einen effizienten Betrieb auf der Grundlage der Modellierung von System-Zuständen in Form von Graphen, wobei ein Agent verwendet werden kann, der Eingangsdaten fester Größe erwartet, während die Größe (d.h. die Anzahl von Knoten und/oder Kanten) der Graphen für unterschiedliche Zeitpunkte sich ändern kann.
-
Sowohl das ML-Modell für die Umwandlung als auch der Agent können mittels KI (künstlicher Intelligenz) implementiert werden, die entsprechend trainiert wird. Das Teilen des KI-Trainings in das Repräsentations- und das Entscheidungslernen macht das Trainieren effizienter. Das Verfahren ermöglicht somit ein effizientes Trainieren bei der Verwendung von KI.
-
Im Folgenden werden verschiedene Ausführungsbeispiele angegeben.
-
Ausführungsbeispiel 1 ist ein Verfahren zum Steuern eines Systems, wie oben beschrieben.
-
Ausführungsbeispiel 2 ist ein Verfahren nach Ausführungsbeispiel 1, wobei das Maschinelles-Lernen-Modell der Kodierer eines Autoencoders ist.
-
Autoencoder ermöglichen das Lernen von effizienten Repräsentationen für Eingabedaten in einem latenten Raum.
-
Ausführungsbeispiel 3 ist ein Verfahren nach Ausführungsbeispiel 1, wobei das Maschinelles-Lernen-Modell graph2vec ist.
-
Bei graph2vec sind die Repräsentationen sehr sensibel gegenüber den Eingabedaten. Dadurch wird erreicht, dass die Planungskomponente auch kleine Unterschiede von Eingangsgraphen (wie z.B. die Änderung nur einer Kante im Graphen) berücksichtigt. Ausführungsbeispiel 4 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 3, wobei das System eine Verarbeitungsanordnung mit mehreren Verarbeitungsanlagen ist und wobei der Agent eine Planungskomponente ist, die eingerichtet ist, ausgehend von der Vektordarstellung für jede Verarbeitungsanlage für Erzeugnisse, die durch die Verarbeitungsanlage zu verarbeiten sind, eine Verarbeitungsreihenfolge zu ermitteln und Steuern der Verarbeitungsanordnung zur Verarbeitung gemäß den ermittelten Verarbeitungsreihenfolgen.
-
Speziell für komplexe Verarbeitungsanordnungen (z.B. Halbleiterchip-Produktionssystem) ermöglicht das oben beschriebene Verfahren eine effiziente Steuerung.
-
Ausführungsbeispiel 5 ist ein Verfahren nach Ausführungsbeispiel 4, wobei der Graph jedes zu verarbeitende Erzeugnis und jede Verarbeitungsanlage durch einen Knoten repräsentiert und eine Kante enthält, wenn das Erzeugnis zu dem Zeitpunkt von der Verarbeitungsanlage verarbeitet wird.
-
Damit enthält der Graph die Information, welche Erzeugnisse aktuell verarbeitet werden.
-
Ausführungsbeispiel 6 ist ein Verfahren nach Ausführungsbeispiel 5, wobei der Graph für jede Verarbeitungsoperation, mit der ein zu verarbeitendes Erzeugnis zu verarbeiten ist, einen Knoten enthält und Kanten zwischen Knoten für Verarbeitungsoperationen enthält, die nacheinander für jedes von ein oder mehrere der Erzeugnisse auszuführen sind.
-
Damit enthält der Graph die Information über die Kette von Operationen, durch die Produkte zu verarbeiten sind und insbesondere so die Information, welche Operation als nächstes für ein Erzeugnis (beispielsweise ein Los von Artikeln) durchzuführen ist.
-
Ausführungsbeispiel 7 ist eine Steuereinrichtung, die eingerichtet ist, ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6 durchzuführen.
-
Ausführungsbeispiel 8 ist ein Computerprogramm mit Befehlen, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6 durchführt.
-
Ausführungsbeispiel 9 ist ein Computerlesbares Medium, das Befehle speichert, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6 durchführt.
-
In den Zeichnungen beziehen sich ähnliche Bezugszeichen im Allgemeinen auf dieselben Teile in den ganzen verschiedenen Ansichten. Die Zeichnungen sind nicht notwendigerweise maßstäblich, wobei die Betonung stattdessen im Allgemeinen auf die Darstellung der Prinzipien der Erfindung gelegt wird. In der folgenden Beschreibung werden verschiedene Aspekte mit Bezug auf die folgenden Zeichnungen beschrieben.
- 1 zeigt eine Verarbeitungsanordnung.
- 2 zeigt einen Graph, der einen Zustand einer Verarbeitungsanordnung mit vier Maschinen beschreibt.
- 3 zeigt einen Graph, der einen Materialtransfer zwischen Maschinen repräsentiert.
- 4 zeigt einen Graph, der ein Einrichten einer Maschine repräsentiert.
- 5 zeigt einen Graph, der eine Wartung einer Maschine repräsentiert.
- 6 veranschaulicht einen Datenfluss für die Steuerung einer Verarbeitungsanordnung.
- 7 zeigt, für eine zweidimensionale Kodierung, Kodierungen von Folgezuständen eines Zustands, die sich daraus ergeben, dass ein Los von einer Operation zur nächsten Operation übergeht.
- 8 zeigt ein Ablaufdiagramm, das ein Verfahren zum Steuern einer Verarbeitungsanordnung mit mehreren Verarbeitungsanlagen gemäß einer Ausführungsform darstellt.
-
Die folgende ausführliche Beschreibung bezieht sich auf die begleitenden Zeichnungen, die zur Erläuterung spezielle Details und Aspekte dieser Offenbarung zeigen, in denen die Erfindung ausgeführt werden kann. Andere Aspekte können verwendet werden und strukturelle, logische und elektrische Änderungen können durchgeführt werden, ohne vom Schutzbereich der Erfindung abzuweichen. Die verschiedenen Aspekte dieser Offenbarung schließen sich nicht notwendigerweise gegenseitig aus, da einige Aspekte dieser Offenbarung mit einem oder mehreren anderen Aspekten dieser Offenbarung kombiniert werden können, um neue Aspekte zu bilden.
-
Im Folgenden werden verschiedene Beispiele genauer beschrieben.
-
1 zeigt eine Verarbeitungsanordnung (d.h. insbesondere eine Herstellungs- oder Fertigungsanordnung oder auch ein Herstellungs- oder Fertigungssystem) 100, in diesem Beispiel zum Herstellen von Wafern 103 aus Wafer-Rohlingen 101 über mehrere Zwischenstufen des Wafers 102, im Folgenden einfach als „Wafer“ 102 bezeichnet. Da Wafer typischerweise nicht einzeln sondern in Losen oder Chargen verarbeitet werden, symbolisiert eine in 1 dargestellte „Scheibe“ mehrere Wafer (z.B. ein Los).
-
Die Verarbeitungsanordnung 100 weist mehrere Verarbeitungsanlagen 104 auf, beispielsweise eine Verarbeitungsanlage für Oxidierung oder Diffusion, eine Verarbeitungsanlage zum Ätzen, eine Verarbeitungsanlage für Photolithographie, eine Verarbeitungsanlage für Abscheidung von Schichten, eine Verarbeitungsanlage für die Planarisierung und eine Verarbeitungsanlage für die Ionenimplantation etc. Es kann auch mehrere Verarbeitungsanlagen geben, die den gleichen Prozess durchführen (z.B. mehrere Verarbeitungsanlagen für Ionenimplantation etc.). Beispielsweise kann es Equipment-Gruppen geben, wobei in jeder Equipment-Gruppe mehrere Anlagen sein können, welche teilweise die gleichen Prozessschritte durchführen können, aber teilweise unterschiedliche, weil die Anlagen z.B. unterschiedlich leistungsfähig sind, oder bestimmte Rezepte momentan gesperrt sind. Die von den Verarbeitungsanlagen 104 durchgeführten Aufgaben haben eine unterschiedliche Durchführungsdauer und müssen ggf. auch pro Wafer auch unterschiedlich oft ausgeführt werden (z.B. wird einmal eine Diffusion und einmal eine Ionenimplantation durchgeführt aber zweimal eine Photolithographie). Dementsprechend werden manche Verarbeitungsanlagen 104 mehr verwendet als andere und es kann dazu kommen, dass Wafer nicht sofort verarbeitet werden können, sondern vor einer Verarbeitungsanlage 104 eine Warteschlange entsteht, was in 1 durch die „Stapel“ von Wafern 102 dargestellt ist. Eine solche Warteschlange enthält mehrere Lose von Wafern und für einen effizienten Betrieb der Verarbeitungsanordnung kann es wünschenswert sein, ein Los gegenüber einem anderen zu priorisieren. Beispielsweise kann es wünschenswert sein, ein erstes Los vor einem zweiten Los durch eine erste Verarbeitungsanlage zu verarbeiten, wenn das erste Los anschließend gleich durch eine zweite Verarbeitungsanlage verarbeitet werden kann und das zweite Los (da es eine andere Weiterverarbeitung erfordert) sowieso an einer dritten Verarbeitungsanlage warten müsste, die gegenüber der zweiten Verarbeitungsanlage stärker ausgelastet ist.
-
Ein wichtiger Faktor für das Ungleichgewicht ist, dass die Verarbeitungsanlagen kaputt gehen. Dadurch entstehen Bottlenecks welche Materialfluß verlangsamen und deren Stelle sich dynamisch mit der Zeit verändert. Solche Bottlenecks heißen auch operative Bottlenecks, weil diese im laufenden Betrieb spontan entstehen. Es gibt aber auch so genannte planerischen Bottlenecks. Für eine Fabrik wird für mehrere Monate oder sogar Jahre im Voraus geplant welche Produkte produziert werden. Aus einem gegebenen Produktmix ergibt sich ein unterschiedlicher Bedarf an vorhandenen Anlagen. Manche Anlagen werden besonders stark beansprucht und limitieren den möglichen Durchsatz der gesamten Fabrik. Sie sind damit planerische Bottlenecks. Falls ein planerischer Bottleneck kein Material zum Prozessieren hat, dann verliert man wertvolle Prozessierungszeit, was einem Stillstand der ganzen Fabrik gleich kommt. Deswegen ist es so wichtig die planerischen Bottlenecks immer mit Material zu versorgen. Wenn ein operativer Bottleneck entsteht, kann dieser den Materialfluss zum planerischen Bottleneck unterbrechen. Das Ziel ist es also, den Materialfluss so zu steuern, dass die planerischen Bottlenecks immer mit Material versorgt werden. An einem operativen Bottleneck heißt es, dass das kritische Material, welches zu planerischen Bottlenecks fließt, priorisiert wird. Das Problem ist in der Realität deutlich komplexer und vom Zustand der gesamten Fabrik abhängig. Für einen menschlichen Planer ist diese Komplexität nicht greifbar und eine gute manuelle Steuerung somit unmöglich.
-
Gemäß verschiedenen Ausführungsformen werden Herangehensweisen für eine Optimierung von Verarbeitungsreihenfolgen, allgemein in Verarbeitungsanordnungen mit mehreren Verarbeitungsanlagen (wie z.B. einer Chipfabrik), bereitgestellt. In anderen Worten werden Herangehensweisen bereitgestellt, um Entscheidungen für die Produktionsplanung (insbesondere „welches Produkt oder welche Produkte werden als nächstes von einer bestimmten Verarbeitungsanlage verarbeitet“) zu treffen, um einen effizienten („optimierten“, auch wenn nicht notwendig das globale Optimum erreicht wird) Betrieb der Produktverarbeitungsanordnung zu erreichen.
-
Halbleiterfertigungsprozesse gehören zu den komplexesten industriellen Prozessen. Aufgrund dieser enormen Komplexität sind Leistungsanalysen und -prognosen sowie die Produktionsplanung und -steuerung nicht-triviale Aufgaben, die detaillierte Kenntnisse über den Zustand des jeweiligen Fertigungssystems (oder „Produktionssystems“) zu einem bestimmten Zeitpunkt erfordern. Der Zustand des Produktionssystems wird durch die Menge aller Entitäten (Erzeugnisse und Herstellungsanlagen) im System sowie durch die Abhängigkeiten zwischen diesen Entitäten beschrieben. Viele Ansätze zur Leistungsanalyse oder Produktionsplanung extrahieren umfangreiche Merkmalsmengen, um den Zustand des Produktionssystems zu beschreiben. Die Extraktion aussagekräftiger Merkmalssätze aus einer realen Datenbank ist jedoch rechenintensiv, und spärliche Merkmalssätze beschreiben den Zustand nur unzureichend, da sie nicht die gegenseitigen Abhängigkeiten zwischen den Entitäten adäquat darstellen. Daher werden gemäß verschiedenen Ausführungsformen strukturierte Daten, konkret in Form eines Graphen, verwendet, um Produktionssystemzustände darzustellen. Da Produktionsplanungsentscheidungen vom aktuellen Zustand eines Produktionssystems abhängen, muss dieser Zustand von den Eingabedaten für einen Produktionsplanungsalgorithmus beschrieben werden.
-
Im Folgenden wird die Repräsentation eines Zustands eines Produktionssystems, speziell einer Chip-Verarbeitungsanordnung wie in 1 dargestellt, anhand eines Beispiels mit vier Herstellungsanlagen (Maschinen) beschrieben. Die im Folgenden vorgestellten Graphen sind als grundlegende Bausteine zu verstehen, die für die hochskalierte Modellierung von Fertigungsprozessen größerer Teile einer Fabrik, eines Werks oder einer Lieferkette kombiniert werden können. In den folgenden Beispielen liegt der Fokus auf der Modellierung der wesentlichen Abläufe in der Halbleiterindustrie. Dabei werden zunächst Graphen beschrieben, die die Bearbeitung von Losen auf Maschinen modelliert, und es werden dann Graphen-Repräsentationen für den Materialtransfer zwischen Maschinen, Aufbau- und Wartungsaktivitäten beschrieben.
-
2 zeigt einen Graph 200, der einen Zustand einer Verarbeitungsanordnung mit vier Maschinen (repräsentiert durch Knoten Eqp 1 bis Eqp4) beschreibt.
-
In 2 sind die verschiedenen Arten von Knoten und Kanten des Graphen für eine Situation dargestellt, in der sich das Los 1 (Los1) im Prozessierungsschritt 1 (Op1) befindet und an der Maschine 2 (Eqp2) mit der Bearbeitungszeit d1 prozessiert wird (d.h. für eine Verarbeitung mit Op1 durch Eqp2 vorgesehen ist). Die Maschinen Eqp1 und Eqp2 führen ähnliche Prozesse durch und sind daher in einer Ausrüstungsgruppe EqpG1 zusammengefasst (dasselbe gilt für die Maschinen Eqp3 und Eqp4 in EqpG2). Jede Anlagengruppe ist einem Produktionsbereich und der verwendeten Technologie zugeordnet (d. h. Lithografie, Diffusion, Plasmaätzung usw.). Die Maschinen können eine Reihe von (Verarbeitungs-)Operationen (Arbeitsgänge) Op1, ..., Opn durchführen, die jeweils einem Produktionsschritt entsprechen. Die Abfolge der Operationen, die ein Los durchläuft, bildet eine Route; die Route beschreibt die Prozessierungsvorschrift für einen bestimmten Produkttyp. Ein wichtiger Aspekt der Graphenrepräsentation ist die Zeit.
-
Wie in 2 dargestellt werden gemäß verschiedenen Ausführungsformen Zeiträume (z. B. für Verarbeitung, Transport, Wartung usw.) durch eine diskrete Menge von Zeitdauer-Knoten, d1 , ..., dn modelliert. Intuitiv kann jeder Zeitdauer-Knoten als eine Einheit interpretiert werden, z. B. 1 Minute. Da dies jedoch ineffizient sein kann, da es möglicherweise viele Zeitdauer-Knoten ungenutzt lassen würde, wird gemäß verschiedenen Ausführungsformen stattdessen jedem Zeitdauer-Knoten ein bestimmter Wert zugewiesen und Zeiträume gleicher Länge werden mit demselben Zeitdauer-Knoten markiert und Zeiträume unterschiedlicher Länge werden mit unterschiedlichen Zeitdauer-Knoten markiert.
-
Die Entitäten Gerätegruppe, Maschine, Operation, Route und Los können als sogenannte Master-Entitäten formalisiert werden.
-
Die Kanten im Graphen 200 stellen Zugehörigkeiten in der Hierarchie der Entitäten sowie Transaktionen, Produkt- und Informationsflüsse dar. In 2 nicht dargestellt, aber für die Modellierung größerer Netze denkbar, ist die Modellierung höherer Hierarchieebenen des Produktionsnetzes (z. B. Fabrik, Werk, Lieferkette), wo Ausrüstungsgruppen zusammengefasst werden. Kanten auf dieser Ebene können als statisch angesehen werden, da sich Ausrüstungsgruppen nicht dynamisch auflösen und neu bilden, und die Routen während des Produktionszyklus beibehalten werden. Es können jedoch neue Maschinen und neue Produkte mit bisher ungenutzten Routen in die Fabrik eingeführt werden. In diesem Fall würden dem Graphen neue Knoten und Kanten hinzugefügt werden. Eine Anlage kann für bestimmte Prozesse qualifiziert werden. D.h. man hat überprüft und nachgemessen, dass die Anlage in der Lage ist, diesen Prozess fehlerfrei durchzuführen. Mit der Zeit ändert sich der Zustand der Anlage und, aufgrund von z.B. Dreck, dürfen bestimmte Prozesse nicht mehr durchgeführt werden. Zu einem späteren Zeitpunkt nach einer Wartung bzw. Requalifizierung können diese Prozesse wieder freigegeben werden. Eine Kante zwischen Anlage und Operation stellt das Vorhandensein der Qualifizierung dynamisch dar.
-
Im Gegensatz dazu wird eine Kante als dynamisch betrachtet, wenn sie im Laufe der Zeit nur kurzzeitig existiert oder wenn die Anfangs- und Endknoten häufig wechseln.
-
In 2 wird das Los 1 gerade mit Op1 auf Eqp2 bearbeitet, was d1 dauert. Es sollte beachtet werden, dass die dynamischen Kanten einen Zyklus bilden, um die Entitäten Maschine, Los und Dauer zu verbinden. Dies ist wichtig, um eine eindeutige Zuordnung dieser Entitäten im Falle der Stapelverarbeitung in einer Maschine zu gewährleisten, oder wenn dieselbe Operation gleichzeitig von mehreren Maschinen ausgeführt wird.
-
Es kann mehrere Produkte geben, wobei jedes Produkt eine klar definierte Prozessierungsvorschrift hat. Dies ist die Route. Eine Route besteht aus mehreren Prozessierungsschritten (zur Herstellung von Instanzen des Produkts, die hier als Erzeugnisse bezeichnet werden) welche in einer klar definierten Reihenfolge durchlaufen werden müssen. (Die Routen können sehr komplex sein mit optionalen und parallelen Abschnitten.) Jeder Prozessierungsschritt (Operation, Prozess, oder Rezept) lässt sich an bestimmten Anlagen durchführen. Diese Fähigkeit ist dynamisch (Qualifizierung). Jede Anlage braucht für ein bestimmtes Rezept eine bestimmte Zeit. Die Dauer eines Rezepts kann sich von Anlage zu Anlage unterscheiden. Dies wird in Form eines Dreiecks zwischen Knoten wie z.B. Eqp1, Op1 und d1 dargestellt. Ein neues Los eines Produkts startet mit der Op 1 auf der entsprechenden Route. Die aktuelle Operation eines Loses ist dargestellt durch eine Kante zwischen dem Los und der Operation. Falls das Los auf einer Anlage gerade prozessiert wird, dann werden die Kanten hinzugefügt zu der Anlage und zu der verbleibenden Prozessierungszeit. Damit lässt sich darstellen, dass mehrere Lose zusammen auf einer Anlage prozessiert werden, aber auch dass mehrere Lose in der selben Operation sind und an keiner Anlage prozessiert werden.
-
Es wird nun die grafische Repräsentation der nicht wertschöpfenden Tätigkeiten beschrieben.
-
3 zeigt einen Graph 300, der einen Materialtransfer zwischen Maschinen repräsentiert.
-
In Halbleiter-Waferfabriken wird der Materialtransfer in der Regel durch ein automatisches Materialhandhabungssystem (AMHS) durchgeführt, aber auch andere Transfermodi und manueller Transfer sind üblich. Daher wird ein generischer Materialtransferknoten MaTra1 zwischen den Maschinen eingeführt, der als Master-Entität formalisiert ist. Bei der Durchführung des Transports ist wiederum zu beachten, dass die Entitäten Materialtransfer, Los und Dauer in einem Kreislauf verbunden sind, um eine eindeutige Zuordnung dieser Entitäten bei gleichzeitigem Transport mehrerer Lose zu gewährleisten.
-
4 zeigt einen Graph 400, der ein Einrichten einer Maschine repräsentiert.
-
5 zeigt einen Graph, der eine Wartung einer Maschine repräsentiert.
-
Im Gegensatz zum Materialtransfer von 3 erfordern Einrichtungs- und Instandhaltungstätigkeiten eine spezielle Qualifikation, d.h. eine Arbeitskraft (repräsentiert durch den Knoten) mit spezifischer technischer und betrieblicher Erfahrung und Ausbildung.
-
Einrichtung (Knoten Stp1), Wartung (Knoten Mntnc1) und die qualifizierte Arbeitskraft (Knoten Qlfctn1) sind als Master-Entitäten formalisiert. Da typischerweise die Anzahl qualifizierter Arbeiter begrenzt ist, wird, dem Ansatz für die Modellierung der Zeit folgend, eine begrenzte Anzahl von Qualifikationsknoten Qlfctn1 , ...,Qlfctnn im Graphen (d.h. im Gesamtgraphen, der den Zustand der Verarbeitungsanordnung repräsentiert) angenommen.
-
Die Ausführung der Einrichtungs- und Wartungsaufgaben wird durch den Zyklus dynamischer, ungerichteter Kanten modelliert, die die Entitäten Maschine, Dauer, Qualifikation und Einrichtung bzw. Wartung verbinden. Nach Abschluss der Einrichtungs- bzw. Wartungsarbeiten kann die Verarbeitung an der jeweiligen Maschine wieder aufgenommen werden. Es ist zu beachten, dass das Einrichten per Definition die von der Maschine ausgeführte Operation ändert, und dass nach dem Einrichten eine andere Losart (d.h. ein Los in einem anderen Stadium) bearbeitet wird. Im Gegensatz dazu kann die Bearbeitung eines Loses durch Wartungsarbeiten unterbrochen werden, und die Bearbeitung desselben Loses wird nach Abschluss der Wartungsarbeiten wieder aufgenommen. Dies ist jedoch von Fall zu Fall unterschiedlich, und auch ein Wechsel der Losart nach der Wartung ist auch möglich.
-
Ist der Zustand der Verarbeitungsanordnung durch einen Graphen repräsentiert, kann diese Repräsentation als Grundlage für eine Steuerung der Verarbeitungsanordnung verwendet werden.
-
6 veranschaulicht einen Datenfluss für die Steuerung einer Verarbeitungsanordnung.
-
Zunächst werden, z.B. durch eine Steuereinrichtung 105 (die auch mehrere Datenverarbeitungseinrichtungen aufweisen kann) Daten 601 gesammelt, die den Zustand der Verarbeitungsanordnung 100 (zu einem bestimmten Zeitpunkt) beschreiben. Diese können durch Verfolgen von Losen (allgemein Erzeugnissen) und verschiedene Sensoren ermittelt werden.
-
Aus den Daten 601 ermittelt die Steuereinrichtung 105 dann wie oben beschrieben eine Repräsentation des Zustands der Verarbeitungsanordnung 100 als Graph 602.
-
Die Steuereinrichtung 105 kann auf dessen Grundlage eine Steuerung 606 der Verarbeitungsanordnung 100 gemäß einem von einer Planungskomponente (d.h. Planungsmodul oder Planungslogik, z.B. Planungsprogramm oder -routine) implementierten Planungsalgorithmus 605 (der eine Steuerungsstrategie umsetzt) durchführen. Dies beinhaltet insbesondere die Ermittlung einer Verarbeitungsreihenfolge für jede Verarbeitungsanlage 104 und die Steuerung der Verarbeitungsanordnung 100 derart, dass jede Verarbeitungsanlage 104 die von ihr zu verarbeitenden Erzeugnisse in der jeweiligen Verarbeitungsreihenfolge verarbeitet.
-
Allerdings kann es wünschenswert sein, dass der Planungsalgorithmus 605 eine Repräsentation einer festen, vorgegebenen Größe erhält. Wird der Planungsalgorithmus beispielsweise durch ein neuronales Netz implementiert, kann dieses eine Eingabedatenstruktur mit einer bestimmten Größe erwarten. Der Graph 602 hingegen kann für unterschiedliche Zeitpunkte unterschiedliche Größen haben, da beispielsweise die Anzahl der prozessierten Lose, die Anzahl der durchgeführten Wartungen und die Anzahl der durchgeführten Einrichtungen etc. variieren können und damit auch die Anzahl der Knoten und Kanten im Graph 602 für unterschiedliche Zeiten unterschiedlich sein kann.
-
Der Planungsalgorithmus 605 ist beispielsweise ein KI-Agent. Im Bereich des Deep Reinforcement Learning gibt es Ansätze, wie z.B. AlphaGo, AlphaZero und MuZero, welche es erlauben KI-Agenten zu trainieren. Diese Agenten sind in der Lage komplexe Probleme in einer nie da gewesenen Qualität zu lösen. Es wäre also wünschenswert das Problem der Steuerung von komplexen Produktionssystemen mit KI-Agenten zu lösen. Wie oben beschrieben gibt es dabei typischerweise die Anforderung, dass die Zustandsbeschreibung der Umgebung, in der der Agent Entscheidungen treffen muss, eine konstante Länge haben muss. Beim Schach zum Beispiel hat das Brett eine konstante Größe und man kann für jedes Feld angeben welche Figur darauf ist, oder ob das Feld leer ist. Somit kann man jeden möglichen Spielzustand als einen Vektor fester Länge darstellen. Dieses Vektor wird dann an die Eingangsschicht eines neuronalen Netzwerkes übergeben. Beim Trainieren des Neuronales Netzwerkes wird das Wissen über die Qualität der Entscheidungen in Gewichten kodiert. Diese Gewichte sind Kanten zugeordnet, welche die einzelnen Neuronen zwischen den Schichten verbinden. Würde man die Anzahl der Knoten in der Eingangsschicht verändern, müsste das gesamte Netzwerk neu trainiert werden. Diese Eigenschaft stellt eine Limitierung dar, für Probleme welche sehr dynamisch sind. Bei der Halbleiterfertigung z.B. ändern sich die Erzeugnisse, die aktuell gefertigt werden, es können alte Anlagen verschwinden und neue Anlagen dazu kommen, die Menge an Losen, welche zu einem Zeitpunkt verarbeitet werden, schwankt konstant. Eine Anwendung eines KI-Agenten in so einer Umgebung ist nicht trivial.
-
Deshalb wird gemäß verschiedenen Ausführungsformen der Graph 602 von der Steuereinrichtung 105 durch einen Kodierer 603 zu einer Kodierung 604 fester Größe kodiert, d.h. auf ein Element in einem Einbettungsraum vorgegebener (fester) Dimension abgebildet.
-
Neben der Möglichkeit, damit Planungsalgorithmen zu nutzen, die eine Eingabe fester vorgegebener Größe erwarten, ermöglicht dies auch, Graphen 602, die Zustände repräsentieren, mit Einbettungen geringerer Dimensionalität zu kodieren und so die rechnerische Komplexität von Graphen zu bewältigen.
-
Der Kodierer 603 kann durch ein Maschinelles-Lernen-Modell implementiert sein, d.h. insbesondere trainierbar sein. Er kann offline trainiert werden, d. h. bevor er von der Steuereinrichtung 105 für die Planung verwendet wird.
-
Als Kodierer 603 kann beispielsweise das Kodierungsnetzwerk eines Autoencoders (für dynamische Graphen) verwendet werden. Gemäß verschiedenen Ausführungsformen wird allerdings graph2vec, das in Referenz 1 beschrieben ist, als Kodierer 603 verwendet. Mit graph2vec können nämlich Kodierungen derart erzeugt werden, sodass sich eine Kodierung bei einer kleinen Änderungen des Zustands der Verarbeitungsanordnung verhältnismäßig stark ändern und damit gewährleistet werden kann, dass der Planungsalgorithmus auch kleine Änderungen (wie z.B. dass ein Los von einer Verarbeitungsanlage von einer anderen Verarbeitungsanlage verarbeitet wird) berücksichtigt.
-
7 zeigt, für eine zweidimensionale Kodierung, Kodierungen 702 von Folgezuständen eines Zustands mit Kodierung 701, die sich daraus ergeben, dass ein Los von einer Operation zur nächsten Operation übergeht. Wie man sieht, ändern sich die Kodierungen trotz der geringen Änderung in der Repräsentation des Zustands (z.B. ändert sich nur eine Kante von einem Operationsknoten zu einem anderen Operationsknoten) stark, sodass der Planungsalgorithmus 605 diese Änderung mit hoher Wahrscheinlichkeit wahrnimmt und entsprechend die Steuerung anpasst.
-
Zusammengefasst wird gemäß verschiedenen Ausführungsformen ein Verfahren bereitgestellt, wie in 8 dargestellt.
-
8 zeigt ein Ablaufdiagramm 800, das ein Verfahren zum Steuern eines Systems gemäß einer Ausführungsform darstellt.
-
In 801 wird, für jeden mehrerer Zeitpunkte, eine Repräsentation des Zustands des Systems zu dem Zeitpunkt in Form eines jeweiligen Graphen erzeugt, wobei der Graph für den Zeitpunkt eine jeweilige Größe abhängig von dem jeweiligen Zustand des Systems zu dem Zeitpunkt hat, wobei die Größe des Graphen zwischen zumindest manchen der Zeitpunkte variiert (d.h. für zumindest manche Paare von unterschiedlichen der Zeitpunkte unterschiedlich ist).
-
In 802 wird für jeden Zeitpunkt, der Graph in eine Vektordarstellung vorgegebener Dimension, die für alle Zeitpunkte gleich ist, mittels eines Maschinelles-Lernen-Modells umgewandelt, das trainiert ist, Graphen unterschiedlicher Größe auf Vektordarstellungen der vorgegebenen Dimension abzubilden.
-
In 803 wird für jeden Zeitpunkt, die Vektordarstellung als Zustandsrepräsentation einem Agenten zugeführt, der eingerichtet ist, ausgehend von der Vektordarstellung das System zu steuern.
-
Das Verfahren von 8 kann durch einen oder mehrere Computer mit einer oder mehreren Datenverarbeitungseinheiten durchgeführt werden (und entsprechend auch die Planungskomponente von ein oder mehreren Datenverarbeitungseinheiten implementiert werden). Der Begriff „Datenverarbeitungseinheit“ kann als irgendein Typ von Entität verstanden werden, die die Verarbeitung von Daten oder Signalen ermöglicht. Die Daten oder Signale können beispielsweise gemäß mindestens einer (d.h. einer oder mehr als einer) speziellen Funktion behandelt werden, die durch die Datenverarbeitungseinheit durchgeführt wird. Eine Datenverarbeitungseinheit kann eine analoge Schaltung, eine digitale Schaltung, eine Logikschaltung, einen Mikroprozessor, einen Mikrocontroller, eine Zentraleinheit (CPU), eine Graphikverarbeitungseinheit (GPU), einen Digitalsignalprozessor (DSP), eine integrierte Schaltung einer programmierbaren Gatteranordnung (FPGA) oder irgendeine Kombination davon umfassen oder aus dieser ausgebildet sein. Irgendeine andere Weise zum Implementieren der jeweiligen Funktionen, die hierin genauer beschrieben werden, kann auch als Datenverarbeitungseinheit oder Logikschaltungsanordnung verstanden werden. Es können ein oder mehrere der im Einzelnen hier beschriebenen Verfahrensschritte durch eine Datenverarbeitungseinheit durch eine oder mehrere spezielle Funktionen ausgeführt (z. B. implementiert) werden, die durch die Datenverarbeitungseinheit durchgeführt werden.
-
Das Verfahren ist also gemäß verschiedenen Ausführungen insbesondere computerimplementiert.
-
Die Herangehensweise von 8 dient zum Erzeugen eines Steuersignals für ein System wie beispielsweise eine Verarbeitungsanordnung, aber auch beliebige andere Robotervorrichtungen oder Anordnungen von Robotervorrichtungen. Der Begriff „Robotervorrichtung“ kann als sich auf irgendein technisches System (mit einem mechanischen Teil, dessen Bewegung oder Betrieb gesteuert wird) beziehend verstanden werden, wie z. B. eine computergesteuerte Maschine, ein Fahrzeug, ein Haushaltsgerät, ein Elektrowerkzeug, eine Fertigungsmaschine, einen persönlichen Assistenten oder ein Zugangssteuersystem. Es wird eine Steuerungsvorschrift für das technische System gelernt und das technische System dann entsprechend gesteuert. Der allgemeine Begriff „Agent“ wird hierin auch insbesondere für alle Arten von technischen Systemen verwendet, die mit den im Folgenden beschriebenen Ansätzen gesteuert werden können. Die im Folgenden hierin beschriebenen Ansätze können jedoch auf jede Art von Agenten angewendet werden (z.B. auch auf einen Agenten, der nur simuliert wird und nicht physisch existiert).
-
Verschiedene Ausführungsformen können Sensorsignale von verschiedenen Sensoren wie z. B. Video, Radar, LiDAR, Ultraschall, Bewegung, Wärmeabbildung usw. empfangen und verwenden, beispielsweise um Sensordaten hinsichtlich der Zustände des Systems zu erhalten.
-
Obwohl spezielle Ausführungsformen hier dargestellt und beschrieben wurden, wird vom Fachmann auf dem Gebiet erkannt, dass die speziellen Ausführungsformen, die gezeigt und beschrieben sind, gegen eine Vielfalt von alternativen und/oder äquivalenten Implementierungen ausgetauscht werden können, ohne vom Schutzbereich der vorliegenden Erfindung abzuweichen. Diese Anmeldung soll irgendwelche Anpassungen oder Variationen der speziellen Ausführungsformen abdecken, die hier erörtert sind. Daher ist beabsichtigt, dass diese Erfindung nur durch die Ansprüche und die Äquivalente davon begrenzt ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- graph2vec: Learning Distributed Representations of Graphs“ von Narayanan et al., Juli 2017 (https://arxiv.org/abs/1707.05005 [0004]
