-
Die Erfindung betrifft ein computer-implementiertes Verfahren zur Optimierung eines Prozesses zur Herstellung eines Produkts gemäß dem Oberbegriff von Anspruch 1, sowie ein Computerprogrammprodukt nach Anspruch 10 und eine Vorrichtung zur Herstellung eines Produkts nach Anspruch 11.
-
Die Herstellung unterschiedlichster Produkte, wie beispielsweise die industrielle Herstellung von Spritzgussteilen, Blechen, Werkzeugen, etc. erfolgt heutzutage durch automatisierte Anlagen, wobei die Herstellungsprozesse von einer Vielzahl von Prozessparametern beeinflusst werden. Am Beispiel der Herstellung eines Spritzgussteils wären hier beispielsweise die Prozesstemperatur, der Einspritzdruck, Abkühlzeiten oder ähnliches als Prozessparameter zu nennen. Zur Optimierung des Herstellungsergebnisses ist es möglich, den Herstellungsprozess für einen definierten Satz von Prozessparametern zu simulieren und anschließend durch eine Variation der Prozessparameter das Produkt bzw. dessen Qualität zu optimieren.
-
Da es sich bei einem Herstellungsprozess im Allgemeinen um ein sehr komplexes System mit vielen voneinander abhängigen Parametern handelt, ist zur Simulation eines solchen Prozesses eine enorme Rechenleistung notwendig. Durch die Entwicklung künstlicher neuronaler Netze wurde jedoch in jüngster Vergangenheit ein Werkzeug geschaffen, mit dem auch komplexe Systeme effizient simuliert werden können. Bei einem künstlichen neuronalen Netz handelt es sich jedoch um ein stark nichtlineares System, sodass für eine Simulation eines Prozesses im Nachhinein nicht mehr nachvollzogen werden kann, welche Prozessparameter bei der Simulation den größten Einfluss auf das Ergebnis der Simulation hatten. Diese Kenntnis wäre jedoch für einen effizienten Optimierungsprozess wünschenswert.
-
Der vorliegenden Anmeldung liegt demnach die Aufgabe zugrunde, ein verbessertes, computer-implementiertes Verfahren zur Optimierung eines Prozesses zur Herstellung eines Produkts zu schaffen, welches die vorgenannten Nachteile des Standes der Technik überwindet.
-
Hauptmerkmale der Erfindung sind im kennzeichnenden Teil von Anspruch 1, sowie in den Ansprüchen 10 und 11 angegeben. Ausgestaltungen sind Gegenstand der Ansprüche 2 bis 9.
-
In einem ersten Aspekt betrifft die Erfindung ein computer-implementiertes Verfahren zur Optimierung eines Prozesses zur Herstellung eines Produkts mit einer Vielzahl von Prozessparametern durch Simulation des Prozesses in einem gerichteten, künstlichen neuronalen Netz. Dabei weist das neuronale Netz eine Vielzahl von künstlichen Neuronen mit zugeordneten Transformationsvorschriften auf, wobei die künstlichen Neuronen in einer Vielzahl von Schichten angeordnet sind. Das Verfahren beinhaltet dabei zunächst ein schichtweises Approximieren der Transformationsvorschriften der künstlichen Neuronen durch lineare Abbildungen, wobei die linearen Abbildungen Funktionen der Prozessparameter mit Funktionsparametern sind, die den Prozessparametern zugeordnet sind.
-
Anschließend werden die so ermittelten linearen Abbildungen der künstlichen Neuronen der Schichten zu einer linearen Abbildung für das gesamte neuronale Netz aggregiert und eine Teilmenge von Prozessparametern aus der Vielzahl der Prozessparameter ermittelt. Dabei erfüllen die Funktionsparameter, die den Prozessparametern der Teilmenge in der linearen Abbildung des gesamten neuronalen Netzes zugeordnet sind, eine definierte Randbedingung. Abschließend wird der Prozess zur Herstellung des Produkts durch Variation der Werte der Prozessparameter aus der ermittelten Teilmenge optimiert.
-
Unter einem „Prozess zur Herstellung eines Produkts” ist hierbei beispielsweise ein Fertigungsprozess zu verstehen, wie beispielsweise ein Spritzgussverfahren zur Herstellung von Spritzgussteilen. In diesem Fall wären die „Prozessparameter” die bei dem Spritzgussverfahren zur Herstellung des Spritzgussteils verwendeten Einspritzdrücke, Prozesstemperaturen, Abkühlzeiten und ähnliches. Ein „Produkt” kann demnach materiell verstanden werden. Gleichwohl kann ein Produkt auch eine Information sein, welche aus einem Algorithmus, abgeleitet wird. In diesem Fall wäre der Algorithmus als Prozess zur Herstellung des Produkts zu verstehen. Beispielsweise kann die Information eine Wetterprognose sein, welche auf einer Vielzahl von Wetterdaten beruht. In diesem Fall wären die Wetterdaten als Prozessparameter zu verstehen. Gleichermaßen kann die Information auch eine Risikobewertung darstellen, wobei in diesem Fall die Prozessparameter die Informationen darstellen, welche durch einen entsprechenden Algorithmus für eine Risikobewertung herangezogen werden.
-
Durch die Approximation des Transformationsverhaltens des neuronalen Netzes durch lineare Abbildungen wird es möglich, das Transformationsverhalten des gesamten künstlichen neuronalen Netzes trotz seiner möglicherweise sehr komplexen Logik für bestimmte Eingabewerte bzw. Prozessparameter quantitativ zu interpretieren.
-
Es wird hierzu beispielhaft angenommen, dass es sich bei dem Prozess um ein Spritzgießverfahren handelt, mit den Prozessparametern Prozessdruck p, Prozesstemperatur T, Fließgeschwindigkeit v der Schmelze und Abkühlzeit t. Diese Prozessparameter können als Vektor von Eingabewerten
wie folgt dargestellt werden:
-
Diese Eingabewerte werden im Zuge der Simulation durch das neuronale Netz verarbeitet, wobei die einzelnen künstlichen Neuronen ihre jeweiligen Ausgabewerte nach ihrer internen Transformationsvorschrift bestimmen. Beispielsweise kann so ein Ausgabevektor
erzeugt werden, welcher eine Information über eine Dichte ρ, eine Zugfestigkeit R in einer bestimmten Richtung, oder eine Porosität ϕ des Produkts enthält. Nimmt man die Transformationsvorschrift des neuronalen Netzes als Operator
an, lässt sich dies darstellen als:
-
Dabei ist jedoch die Transformationsvorschrift T nicht allgemein bekannt. Vielmehr hängt die Transformationsvorschrift stark von den jeweiligen Eingabewerten ab. Somit kann beispielsweise bei einer ermittelten zu hohen Porosität ϕ des Produkts nicht rückgeschlossen werden, welcher Prozessparameter hierfür maßgeblich verantwortlich ist. Durch das erfindungsgemäße Verfahren kann der Einfluss der Prozessparameter jedoch abgeschätzt werden. Nimmt man beispielsweise nach einer bevorzugten Ausführungsform als lineare Abbildung zur Approximation des Transformationsverhaltens eines künstlichen Neurons eine lineare Funktion der Form
an, erhält man durch Aggregation der jeweiligen approximierten Transformationsvorschriften des neuronalen Netzes eine Matrix, deren Einträge eine Information über die Zusammenhänge zwischen den Eingabewerten bzw. Prozessparametern und den Ausgabewerten enthalten, nach der Form
-
In dieser Matrix gibt beispielsweise der Funktionsparameter βϕT eine Information darüber, wie stark die Porosität ϕ des Produkts mit der Prozesstemperatur T zusammenhängt. Wird hier beispielsweise im Zuge der Approximation ein hoher Zahlenwert ermittelt, kann die Porosität offenbar gut durch eine Variation der Prozesstemperatur verändert werden. Somit wird eine zielgerichtete und damit effektive Optimierung des Herstellungsprozesses möglich.
-
Dabei kann die Auswahl, welche Prozessparameter für eine Optimierung des Herstellungsprozesses herangezogen werden, über definierte Randbedingungen erfolgen. Eine Randbedingung kann dabei nach eine Ausführungsform dadurch definiert sein, dass beispielsweise bei einer zu hohen Porosität von den vier relevanten Funktionsparametern nur die berücksichtigt werden, deren Wert einen bestimmten Grenzwert überschreitet. Somit kann eine Auswahl getroffen werden, welche Prozessparameter für eine Prozessoptimierung verwendet werden sollen.
-
Nach der Auswahl der entsprechenden Parameter kann der Herstellungsprozess durch eine Variation der entsprechenden Werte optimiert werden. Wird beispielsweise durch den Parameter βϕT mit einem hohen negativen Zahlenwert angedeutet, dass eine Steigerung der Prozesstemperatur voraussichtlich zu einer abnehmenden Porosität des Produkts führen wird, kann in einem weiteren Schritt der Herstellungsprozess mit entsprechend optimierten Prozessparametern wiederholt werden. Alternativ kann zuvor eine erneute Simulation erfolgen, um vorab zu prüfen, ob die gewählte Optimierung tatsächlich den gewünschten Effekt hat.
-
Nach einer bevorzugten Ausführungsform weist das Approximieren der Transformationsvorschriften der künstlichen Neuronen der ersten Schicht aus der Vielzahl von Schichten für die künstlichen Neuronen der ersten Schicht die nachfolgenden Schritte auf.
-
Zunächst wird ein erster Satz von Eingabewerten für die Prozessparameter ermittelt. Hierzu kann beispielsweise ermittelt werden, mit welchen Prozessparametern der zu optimierende Prozess gegenwärtig durchgeführt wird. Ferner wird eine allgemeine lineare Abbildung zur Approximation des Transformationsverhaltens der künstlichen Neuronen definiert. Beispielsweise kann hier wie zuvor beschrieben als lineare Abbildung eine lineare Funktion mit zunächst unbestimmten Funktionsparametern gewählt werden.
-
Anschließend werden Streumengen von Eingabewerten für die Prozessparameter ermittelt, wobei die Eingabewerte der Streumengen um die jeweiligen Eingabewerte des ersten Satzes von Eingabewerten für die jeweiligen Prozessparameter gestreut sind. Beispielsweise kann bei einer Prozesstemperatur T von 200°C die Streumenge die zusätzlichen Eingabewerte 198°C, 199°C, 201°C und 202°C enthalten. Für den ersten Satz von Eingabewerten für die Prozessparameter und für die zugehörigen Eingabewerte der Streumengen werden dann die Ausgabewerte der künstlichen Neuronen durch Anwenden der jeweiligen Transformationsvorschriften der künstlichen Neuronen ermittelt. Auf diesem Weg werden Wertepaare von Eingabewerten und zugehörigen Ausgabewerten erhalten. Die jeweiligen approximierten, linearen Abbildungen der künstlichen Neuronen werden dann durch Anpassen der allgemeinen linearen Abbildung an die Eingabewerte der künstlichen Neuronen und deren Streumengen und die jeweils zugeordneten Ausgabewerte der künstlichen Neuronen durch ein Regressionsverfahren ermittelt. Die Art der Anpassung bzw. die Wahl des Regressionsverfahrens hängt dabei von der Wahl der allgemeinen linearen Abbildung zur Approximation des Transformationsverhaltens ab.
-
Durch das beschriebene Verfahren kann auf einfache Art und Weise eine Approximation des Transformationsverhaltens der künstlichen Neuronen in einer lokalen Umgebung um einen Satz von Eingabewerten erfolgen.
-
Nach einer Ausführungsform erfolgt das Approximieren der Transformationsvorschriften der künstlichen Neuronen der weiteren Schichten in einer ähnlichen Art und Weise. Dabei werden zunächst Streumengen von Eingabewerten für die künstlichen Neuronen der weiteren Schichten ermittelt, wobei die Eingabewerte der Streumengen um die jeweiligen Ausgabewerte der künstlichen Neuronen der jeweils vorangegangenen Schicht gestreut sind. Anschließend werden die jeweiligen Ausgabewerte der künstlichen Neuronen durch Anwenden der jeweiligen Transformationsvorschiften der künstlichen Neuronen auf die Ausgabewerte der künstlichen Neuronen der jeweils vorangegangenen Schicht und die zugehörigen Eingabewerte der Streumengen ermittelt. Die jeweiligen approximierten linearen Abbildungen der künstlichen Neuronen werden dann durch Anpassen der allgemeinen linearen Abbildungen an die Eingabewerte der künstlichen Neuronen und deren Streumengen und die jeweils zugeordneten Ausgabewerte der künstlichen Neuronen durch ein Regressionsverfahren ermittelt. Somit werden für die Ermittlung der Eingabewerte der weiteren Schichten die Ausgabewerte der jeweils vorangegangenen Schichten verwendet.
-
Vorzugsweise erfolgt dabei die Anpassung der allgemeinen linearen Abbildung an die Eingabe- und Ausgabewerte der künstlichen Neuronen so, dass die approximierten linearen Abbildungen der künstlichen Neuronen für die Eingabewerte aus dem ersten Satz von Eingabewerten denselben Ausgabewert ergeben, wie die jeweiligen Transformationsvorschriften der künstlichen Neuronen. Auf diese Weise kann sichergestellt werden, dass auch die approximierte lineare Abbildung für die Transformationsvorschrift des gesamten neuronalen Netzes für den ersten Satz der Prozessparameter das Verhalten des neuronalen Netzes korrekt wiedergibt.
-
Die Streumengen zu einem Wert eines Prozessparameters, welche gemäß den zuvor beschriebenen Ausführungsformen zur Approximation der Transformationsvorschriften der künstlichen Neuronen herangezogen werden, sind dabei nach einer bevorzugten Ausführungsform um den Wert normalverteilt. Die Streuung der Eingabewerte kann dabei für die gestreuten Eingabewerte der künstlichen Neuronen ab der zweiten Schicht anhand der Streuung der Ausgabewerte der künstlichen Neuronen der jeweils vorangehenden Schicht abgeschätzt werden. So kann beispielsweise der Radius der Streuung der Eingabewerte so gewählt werden, dass er gleich dem Radius der Streuung der Ausgabewerte der vorangegangenen Schicht entspricht. Auf diese Weise kann durch die Approximation das Verhalten des neuronalen Netzes möglichst realistisch dargestellt werden. Dabei kann bei jeder Schicht oder sogar bei jedem künstlichen Neuron die Zahl der verwendeten Streuwerte variieren. Die Zahl der Streuwerte sollte dabei stets so gewählt werden, dass anhand der so erzeugten Eingabe- und Ausgabewerte eine möglichst gute Regressionskurve mit einer geringen Unsicherheit an die Eingabe- und Ausgabewerte angepasst werden kann.
-
Nach einer weiteren Ausführungsform weist das künstliche neuronale Netz N Schichten von künstlichen Neuronen auf. Das Aggregieren der linearen Abbildungen der künstlichen Neuronen der Schichten zu einer linearen Abbildung für das gesamte neuronale Netz erfolgt dann beginnend mit den linearen Abbildungen der künstlichen Neuronen der ersten Schicht schichtweise, durch iteratives Einsetzen der linearen Abbildungen der künstlichen Neuronen einer Schicht als Funktionsargumente in die linearen Abbildungen der künstlichen Neuronen der in dem künstlichen neuronalen Netz nachfolgenden Schicht für alle N Schichten.
-
Bezeichnet beispielsweise der Eingabevektor
den Eingabevektor der ersten Schicht kann die Approximation der Transformationsvorschrift der ersten Schicht beispielsweise mit
für die i künstlichen Neuronen der ersten Schicht bezeichnet werden. Die Eingabewerte der zweiten Schicht können analog als
bezeichnet werden, die der dritten Schicht als
und so weiter. Die zugehörigen Approximationen werden exemplarisch mit
und
für j künstliche Neuronen in der zweiten Schicht und k künstliche Neuronen in der dritten Schicht bezeichnet. Da, wie zuvor beschrieben wurde, die Ausgabewerte der Neuronen der ersten Schicht gleichzeitig die Eingabewerte der Neuronen der zweiten Schicht sind, erhält man induktiv durch Einsetzen:
-
Somit kann auf diese Weise der Ausgabewert der letzten Schicht einzig in Abhängigkeit der Eingabewerte der ersten Schicht des neuronalen Netzes dargestellt werden.
-
In einem weiteren Aspekt betrifft die Erfindung ein Computerprogrammprodukt mit auf einem Computersystem ausführbaren Programminstruktionen, welches bei Ausführung der Programminstruktionen auf dem Computersystem das Computersystem dazu veranlasst, das zuvor beschriebene Verfahren durchzuführen.
-
In noch einem weiteren Aspekt betrifft die Erfindung eine Vorrichtung zur Herstellung eines Produkts durch einen Prozess mit einer Vielzahl von Prozessparametern, wobei die Vorrichtung ein Computersystem mit einem gerichteten, künstlichen, neuronalen Netz zur Simulation des Prozesses aufweist. Das neuronale Netz weist dabei eine Vielzahl von künstlichen Neuronen mit zugeordneten Transformationsvorschriften auf, wobei die künstlichen Neuronen in einer Vielzahl von Schichten angeordnet sind. Das Computersystem ist dabei dazu ausgebildet:
- • Die Transformationsvorschriften der künstlichen Neuronen durch lineare Abbildungen schichtweise zu approximieren, wobei die linearen Abbildungen Funktionen der Prozessparameter mit Funktionsparametern sind, die den Prozessparametern zugeordnet sind,
- • Die linearen Abbildungen der künstlichen Neuronen der Schichten zu einer linearen Abbildung für das gesamte neuronale Netz zu aggregieren,
- • Eine Teilmenge von Prozessparametern aus der Vielzahl der Prozessparameter zu ermitteln, wobei die Funktionsparameter, die den Prozessparametern der Teilmenge in der linearen Abbildung des gesamten neuronalen Netzes zugeordnet sind, eine definierte Randbedingung erfüllen, und
- • Den Prozess durch Variation der Werte der Prozessparameter aus der ermittelten Teilmenge zu optimieren.
-
Ferner ist die Vorrichtung dazu ausgebildet, den Prozess mit den optimierten Prozessparametern durchzuführen.
-
Weitere Merkmale, Einzelheiten und Vorteile der Erfindung ergeben sich aus dem Wortlaut der Ansprüche sowie aus der folgenden Beschreibung von Ausführungsbeispielen anhand der Zeichnungen. Es zeigen:
-
1 eine schematische Darstellung einer Vorrichtung zur Herstellung eines Produkts,
-
2 eine schematische Darstellung eines gerichteten, künstlichen neuronalen Netzes,
-
3 eine schematische Darstellung eines künstlichen Neurons, und
-
Im Folgenden werden einander ähnliche oder identische Merkmale mit denselben Bezugszeichen gekennzeichnet.
-
Die 1 zeigt eine schematische Darstellung einer Vorrichtung 200 zur Herstellung eines Produkts, in welcher die zuvor beschriebene Analyse des Verhaltens eines künstlichen neuronalen Netzes 100 angewendet werden kann. Beispielsweise handelt es sich bei der Vorrichtung 200 um eine Fertigungsanlage für Bauteile, wie beispielsweise eine Spritzgießanlage. In diesem Fall enthält die Vorrichtung 200 eine Spritzgießvorrichtung 202 zur Herstellung von Spritzgussteilen. Die Herstellung der Spritzgussteile erfolgt dabei unter bestimmten, von außen vorgegebenen Prozessparametern 204, wie beispielsweise einem Einspritzdruck, einer Fließgeschwindigkeit der Kunststoffschmelze, einer Prozesstemperatur, Abkühlzeiten von Rohlingen und ähnlichem. Die Wahl dieser Prozessparameter bestimmt im Allgemeinen die Qualität bzw. die Eigenschaften des Erzeugnisses 206.
-
Dabei findet im Rahmen der Produktion üblicherweise eine Qualitätskontrolle des Erzeugnisses statt. Wird dabei festgestellt, dass die Eigenschaften der hergestellten Artikel nicht den Mindestanforderungen entsprechen, müssen die Prozessparameter angepasst werden, um diesem Mangel zu begegnen. Aufgrund der oftmals sehr komplexen Zusammenhänge zwischen den Prozessparametern und dem erzeugten Artikel bzw. dessen Qualität ist es oftmals nicht ohne weiteres möglich, zu bestimmen, welcher Prozessparameter wie verändert werden muss, um die erwünschte Qualitätssteigerung zu erzielen.
-
Ferner ist eine Variation der Prozessparameter nach dem Prinzip „Versuch und Irrtum” im Taufenden Betrieb einer Herstellungsanlage im Allgemeinen nicht möglich, oder mit Ausfallzeiten der Anlage und folglich hohen Kosten verbunden. Es ist jedoch möglich den Herstellungsprozess zu simulieren und anhand der Simulation zu ermitteln, welcher Prozessparameter wie geändert werden muss, um die geforderte Qualität des hergestellten Produkts zu gewährleisten. Hierzu ist erfindungsgemäß die Vorrichtung 200 mit einem Computersystem 208 verbunden. Bei dem Computersystem 208 handelt es sich beispielsweise um ein System mit einem oder mehreren Ein- oder Mehrkernprozessoren, einem oder mehreren Speichermedien, Eingabe- und Ausgabegeräten, Netzwerkschnittstellen und einem geeigneten Arbeitsspeicher.
-
Erfindungsgemäß findet auf dem Computersystem 208 eine Simulation des Herstellungsprozesses statt, welcher in der Vorrichtung 200 umgesetzt wird. Aufgrund der hohen Komplexität eines solchen Prozesses bzw. dessen Simulation wird zur Simulation ein entsprechend eingerichtetes und eingelerntes künstliches neuronales Netz verwendet 100, wie es exemplarisch in der 2 dargestellt ist. Das neuronale Netz der 2 ist jedoch stark vereinfacht dargestellt. Üblicherweise ist zur Simulation eines Herstellungsprozesses mit einer Vielzahl von Prozessparametern ein neuronales Netz mit einer großen Zahl künstlicher Neuronen 102 notwendig, welche in einer Vielzahl von Schichten angeordnet und untereinander vernetzt sind.
-
Durch die Verwendung eines solchen künstlichen neuronalen Netzes 100 wird es mit überschaubarem Aufwand möglich, auch ein hochkomplexes System, wie beispielsweise einen Herstellungsprozess zu simulieren. Dabei ist es jedoch in einem künstlichen neuronalen Netz meist nicht möglich, im Nachhinein zu erklären, welcher Eingabewert (Prozessparameter) bei der Simulation welchen Einfluss auf das Ergebnis hatte. Dies wird jedoch durch das im Folgenden beschriebene Verfahren durch eine Approximation des Transformationsverhaltens des neuronalen Netzes mit nachvollziehbaren, linearen Abbildungen möglich. Aus der hieraus gewonnen Kenntnis des Einflusses der verschiedenen Prozessparameter ist dann im Folgenden eine zielgerichtete Optimierung des Herstellungsprozesses möglich.
-
Die 2 zeigt eine schematische Darstellung eines exemplarischen, künstlichen neuronalen Netzes 100 mit einer Vielzahl vernetzter, künstlicher Neuronen 102. Die künstlichen Neuronen 102 sind dabei in drei Schichten angeordnet. In einer ersten Schicht, welche in der gewählten Darstellung links ist, sind vier künstliche Neuronen 102 dargestellt, in einer zweiten Schicht fünf künstliche Neuronen 102 und in einer dritten Schicht drei künstliche Neuronen 102. Die einzelnen Schichten werden im Folgenden mit einem Laufindex I bezeichnet, während die künstlichen Neuronen 102 innerhalb einer Schicht die Laufindizes i, j oder k haben. Bei dem dargestellten neuronalen Netz 100 handelt es sich um ein gerichtetes Netz, was bedeutet, dass Verbindungen nur zwischen Neuronen direkt benachbarter Schichten bestehen und die Übertragung von Signalen über die Verbindungen nur in eine Richtung (hier von links nach rechts) stattfindet. Ein solches künstliches neuronales Netz 100 wird oftmals auch als mehrschichtiges feedforward-Netz beschrieben.
-
Die künstlichen Neuronen 102 der ersten Schicht (I = 1) erhalten als Eingabewerte Prozessparameter eines Prozesses, welcher durch das künstliche neuronale Netz 100 simuliert werden soll. Zur Simulation des Prozesses kann das künstliche neuronale Netz 100 zuvor ein Lernverfahren durchlaufen, mit dem das künstliche neuronale Netz 100 „lernt” wie der zu simulierende Prozess dargestellt werden kann. Hierzu gibt es im Stand der Technik eine Vielzahl verschiedener Ansätze, welche beispielsweise das überwachte Lernen, das bestärkende Lernen, das unüberwachte Lernen oder das stochastische Lernen umfassen können. Das Einrichten des künstlichen neuronalen Netzes 100 mit den hierzu notwendigen Lernverfahren ist jedoch nicht Gegenstand der vorliegenden Erfindung und wird im Folgenden auch nicht weiter thematisiert.
-
In 3 ist eine schematische Darstellung eines künstlichen Neurons 102 gezeigt, wie es in dem künstlichen neuronalen Netz 100 der 2 Verwendung findet. Das künstliche Neuron 102 weist eine Vielzahl von Eingängen 104 auf, über welche Eingabewerte an das künstliche Neuron 102 übermittelt werden. Während für die zweite und dritte Schicht die Eingabewerte der Neuronen 102 von den Neuronen 102 der vorangegangenen Schicht bestimmt sind, sind für die erste Schicht die Eingabewerte der Neuronen 102 durch die Prozessparameter des zu simulierenden Prozesses vorgegeben. Auf Grundlage der empfangenen Eingabewerte ermittelt das künstliche Neuron 102 einen Ausgabewert 106, welcher im Weiteren mit x (l) / i bezeichnet wird. Beispielsweise bezeichnet x (1) / 2 den Ausgabewert des zweiten Neurons (j = 2) der ersten Schicht (I = 1).
-
Da bis auf die Neuronen 102 der ersten Schicht (I = 1) die Eingabewerte 104 der Neuronen 102 stets den Ausgabewerten der Neuronen 102 der vorangegangenen Schicht entsprechen, sind in 3 die Eingänge mit x (l – 1) / j bezeichnet. Die Neuronen an sich werden im Folgenden mit der Bezeichnung z (l) / i identifiziert. Das Neuron z (3) / 3 wäre somit das dritte Neuron 102 in der dritten Schicht. Zählt man den Laufindex i von unten nach oben, wie in 3 dargestellt, handelt es sich also um das oberste rechte Neuron 102 des künstlichen neuronalen Netzes 100 der 2
-
Wie in der
3 dargestellt, empfängt also ein Neuron
z (l) / i die Eingabewerte
x (l – 1) / j über die Eingänge
104 von den Neuronen
102 der vorangegangenen Schicht (I – 1). Diese Eingabewerte werden mit einem Gewichtungsfaktor w
ij verrechnet. Dieser Gewichtungsfaktor repräsentiert eine Bindungsstärke zwischen einem Neuron j der Schicht I – 1 und dem Neuron i der Schicht I und wird im Zuge des Lernverfahrens des neuronalen Netzes
100 bestimmt. Die so gewichteten Eingabewerte werden von dem Neuron zusammengefasst und durch Anwendung einer Transformationsvorschrift
f (l) / i auf die Eingabewerte wird der Ausgabewert
x (l) / i bestimmt zu:
-
Aufgrund der starken Verzweigungen des künstlichen neuronalen Netzes
100, ist es für einen bestimmten Satz (Vektor) von Eingabewerten
in der ersten Schicht im Allgemeinen nicht oder nur sehr schwer möglich abzuschätzen, welcher der Eingabewerte den Vektor der Ausgabewerte
wie beeinflusst hat. Dieses Wissen ist jedoch vorteilhaft für eine Optimierung eines simulierten Prozesses. Bei Kenntnis des relevantesten Eingabewertes kann beispielsweise eben dieser Eingabewert bei einer Optimierung zuerst variiert werden, wodurch eine möglichst starke Veränderung des Simulationsergebnisses erzielt werden kann. Somit kann die Effizienz des Optimierungsverfahrens durch diese Kenntnis der Relevanz der Prozessparameters eines simulierten Prozesses verbessert werden.
-
Erfindungsgemäß ist hierzu vorgesehen, das Transformationsverhalten des neuronalen Netzes
100, welches einen Vektor von Eingabewerten
in einen Vektor von Ausgabewerten
überführt durch eine nachvollziehbare, lineare Abbildung zu approximieren. Exemplarisch wird im Folgenden als allgemeine, lineare Abbildung zur Approximation des Transformationsverhaltens eines Neurons
102 z (l) / i und damit auch des gesamten, künstlichen neuronalen Netzes
100 ein lineares Modell
n (l) / i angenommen. Das lineare Modell
n (l) / i kann mittels einer linearen Funktion beschrieben werden durch:
-
Die Funktionsparameter β
ij und κ
i des linearen Modells werden für jedes Neuron
102 z (l) / i durch eine lineare Regression geschätzt. Ausgehend von einem bestimmten Vektor von Eingabewerten
werden für die Schätzung der Funktionsparameter künstlich Streumengen von verschiedenen Eingabewerten
für das Neuron
102 z (l) / i erzeugt. Diese Werte ergeben sich aus dem originären Wert
auf die ein mit Varianz
σ (l – 1) / j normalverteiltes Rauschen addiert wird.
-
Für jeden dieser verrauschten Werte
lässt sich die Ausgabe
des Neurons
z (l) / i durch Berechnung der bekannten Transformationsvorschrift des Neurons bestimmen (siehe oben). Daraus ergeben sich Beispielwerte von Eingabe und Ausgabe in einer lokalen Umgebung um den Wert
herum, die dazu dienen können die Funktionsparameter β
ij und κ
i zu berechnen. Hierzu kann ein lineares Regressionsverfahren verwendet werden. Als Randbedingung gilt dabei, dass:
-
Das bedeutet, dass für den ursprünglichen Vektor von Eingabewerten
welcher in der ersten Schicht die tatsächlich verwendeten Prozessparameter repräsentiert, das lineare Modell den exakten Wert vorhersagt, welcher sich auch aus der Anwendung der Transformationsvorschrift des Neurons
z (l) / i ergeben würde.
-
Die Ausgabe
des Neurons
z (l) / i kann wiederum als Orientierung für die Eingabe für ein Neuron
z (l + 1) / j der nachfolgenden Schicht verwendet werden. In diesem Fall kann die Streuung der Eingabewerte der ersten Schicht frei gewählt werden. Die Streuung der Eingabewerte der weiteren, nachgelagerten Schichten kann dann an der Streuung der Eingabewerte der vorangestellten Schicht in Kombination mit dem Transformationsverhalten der Neuronen
102 der vorangestellten Schicht orientiert werden.
-
Durch das beschriebene Verfahren kann so für jedes Neuron
102 des neuronalen Netzes
100 eine lineare Approximation des Transformationsverhaltens des Neurons
102 in einer lokalen Umgebung um einen bestimmten Eingabewert bzw. Prozessparameter ermittelt werden. Aus den so gewonnenen linearen Approximationen kann wiederum eine lineare Approximation
gi(x (0) / k) des Transformationsverhaltens des gesamten neuronalen Netzes
100 ermittelt werden. Die Funktion
gi(x (0) / k) gibt dabei eine Approximation der i-ten Komponente der Ausgabewerte der Neuronen der dritten bzw. allgemein letzten Schicht des neuronalen Netzes
100 für einen Eingabevektor
von Prozessparametern in der ersten Schicht wieder und ist definiert durch:
-
Zur Ermittlung der Funktion gi(x (0) / k) werden die linearen Modelle der einzelnen Neuronen 102 der einzelnen Schichten des neuronalen Netzes 100 über die Schichten hinweg aggregiert. Hierzu kann beispielsweise wie nachfolgend beschrieben vorgegangen werden.
-
Es wird angenommen, dass die linearen Modelle der i Neuronen der ersten Schicht (I = 1) wie zuvor beschrieben approximiert wurden und für die i Approximationen
die Parameter β
ij und κ
i bekannt sind. Da die k Neuronen
102 der zweiten Schicht
z (2) / k als Eingabewerte die Ausgabewerte der Neuronen
102 z (1) / i der ersten Schicht erhalten, kann die Approximation
n (1) / i(x (0) / j) als Funktionsargument der Approximation der zweiten Schicht eingesetzt werden. Wurde die lineare Approximation der zweiten Schicht bestimmt zu
wobei die Funktionsparameter β
ik und κ
k bekannt sind, ergibt sich somit durch Einsetzen
als lineare Approximation der i Ausgabewerte der Neuronen der zweiten Schicht. Dieses Verfahren lässt sich induktiv fortsetzen, bis die lineare Approximation
n (3) / j der letzten Schicht nur noch von dem Vektor der Eingabewerte der ersten Schicht
abhängt. Die den jeweiligen Einträgen bzw. Prozessparametern des Eingabevektors zugeordneten Funktionsparameter sind aus der zuvor durchgeführten, schichtweisen Approximation bekannt.
-
Allgemein lässt sich die zuvor beschriebene Iterationsvorschrift definieren als:
-
Die Funktionsparameter, welche den Einträgen des Eingabevektors
der ersten Schicht und damit effektiv den verschiedenen Prozessparametern zugeordnet sind, geben dabei direkt eine Auskunft darüber, wie stark der jeweilige Prozessparameter das Simulationsergebnis beeinflusst hat. Je größer der Funktionsparameter eines Prozessparameters ist, desto größer ist auch der Einfluss des Prozessparameters auf das Simulationsergebnis.
-
Auf diese Art und Weise kann trotz der hohen Komplexität eines neuronalen Netzwerks eine Einschätzung getroffen werden, welche Eingangsparameter den Ausgabewert eines neuronalen Netzes wie beeinflussen. Diese Information kann dann zur Optimierung des Prozesses zu Erzeugung des Produkts verwendet werden.
-
Das vorbeschriebene Verfahren ist jedoch in seinen Anwendungen nicht nur auf die Analyse der Relevanz von Prozessparametern auf ein durch den Prozess erzeugtes Produkt beschränkt. Das Verfahren kann beispielsweise auch verwendet werden, wenn durch das neuronale Netz 100 ein anderes System simuliert wird. Beispielsweise kann so bei einer Berechnung zum Zwecke einer Wetterprognose ermittelt werden, welche Relevanz den in die Berechnung einfließenden Parametern zukommt. Sollte dann beispielsweise festgestellt werden, dass sich ein Parameter mit niedriger Relevanz ändert, kann davon ausgegangen werden, dass die Wetterprognose nicht oder nur geringfügig korrigiert werden muss. Ändert sich hingegen ein als relevant eingestufter Parameter, kann dies als Indiz gewertet werden, dass die Simulation erneut durchgeführt werden muss, da sich das Ergebnis sehr wahrscheinlich stark ändert.
-
Ferner kann das Verfahren auch angewendet werden, wenn durch das neuronale Netz eine Risikobewertung durchgeführt wurde. Durch eine nachträgliche Analyse der Relevanz der Eingangsparameter kann dann eine Aussage darüber getroffen werden, welcher Eingangswert den größten Einfluss auf das Ergebnis hatte. Beispielsweise kann so eine Erklärung eines im Zuge einer Risikobewertung ermittelten Ratings vorgenommen werden.
-
Die Erfindung ist nicht auf eine der vorbeschriebenen Ausführungsformen beschränkt, sondern in vielfältiger Weise abwandelbar.
-
Sämtliche aus den Ansprüchen, der Beschreibung und der Zeichnung hervorgehenden Merkmale und Vorteile, einschließlich konstruktiver Einzelheiten, räumlicher Anordnungen und Verfahrensschritten, können sowohl für sich als auch in den verschiedensten Kombinationen erfindungswesentlich sein.
-
Bezugszeichenliste
-
- 100
- künstliches, neuronales Netz
- 102
- künstliches Neuron
- 104
- Eingabewert
- 106
- Ausgabewert
- 200
- Vorrichtung
- 202
- Anlage
- 204
- Prozessparameter
- 206
- Produkt
an, lässt sich dies darstellen als:
für die i künstlichen Neuronen der ersten Schicht bezeichnet werden. Die Eingabewerte der zweiten Schicht können analog als
bezeichnet werden, die der dritten Schicht als
und so weiter. Die zugehörigen Approximationen werden exemplarisch mit
und
für j künstliche Neuronen in der zweiten Schicht und k künstliche Neuronen in der dritten Schicht bezeichnet. Da, wie zuvor beschrieben wurde, die Ausgabewerte der Neuronen der ersten Schicht gleichzeitig die Eingabewerte der Neuronen der zweiten Schicht sind, erhält man induktiv durch Einsetzen:
wie beeinflusst hat. Dieses Wissen ist jedoch vorteilhaft für eine Optimierung eines simulierten Prozesses. Bei Kenntnis des relevantesten Eingabewertes kann beispielsweise eben dieser Eingabewert bei einer Optimierung zuerst variiert werden, wodurch eine möglichst starke Veränderung des Simulationsergebnisses erzielt werden kann. Somit kann die Effizienz des Optimierungsverfahrens durch diese Kenntnis der Relevanz der Prozessparameters eines simulierten Prozesses verbessert werden.
überführt durch eine nachvollziehbare, lineare Abbildung zu approximieren. Exemplarisch wird im Folgenden als allgemeine, lineare Abbildung zur Approximation des Transformationsverhaltens eines Neurons
für das Neuron
des Neurons
als lineare Approximation der i Ausgabewerte der Neuronen der zweiten Schicht. Dieses Verfahren lässt sich induktiv fortsetzen, bis die lineare Approximation
