DE102016011531A1

DE102016011531A1 - Vorrichtung für maschinelles Lernen und elektrische Spulenerwärmungsvorrichtung

Info

Publication number: DE102016011531A1
Application number: DE102016011531.9A
Authority: DE
Inventors: Yasunori Sugimoto
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2015-09-30
Filing date: 2016-09-23
Publication date: 2017-03-30
Also published as: JP6110452B1; CN106558960A; US20170094722A1; CN106558960B; US10004112B2; JP2017069421A

Abstract

Eine Vorrichtung für maschinelles Lernen umfasst eine Zustandsbeobachtungseinheit und eine Lerneinheit. Die Zustandsbeobachtungseinheit beobachtet eine Zustandsvariable, die mindestens eines von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung, und einen Istwert der Zeit der elektrischen Erwärmung der durch die elektrische Spulen-Erwärmungseinheit elektrisch erwärmten Spule, und mindestens eines von einem Sollwert der Zeit der elektrischen Erwärmung, einer Spannung und einem Strom in der elektrischen Spulen-Erwärmungseinheit umfasst. Die Lerneinheit führt einen Lernvorgangs aus durch Verknüpfen von mindestens einem von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung, und einem durch die Zustandsbeobachtungseinheit beobachteten Istwert der Zeit der elektrischen Erwärmung der Spule mit mindestens einem von einem Sollwert der Zeit der elektrischen Erwärmung, der Spannung und dem Strom, die durch die Zustandsbeobachtungseinheit beobachtet werden.

Description

ALLGEMEINER STAND DER TECHNIK
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Vorrichtung für maschinelles Lernen und eine elektrische Spulen-Erwärmungsvorrichtung, die eine solche Vorrichtung für maschinelles Lernen umfasst.
2. Beschreibung des Standes der Technik
Eine durch eine Wickelmaschine ausgebildete Einheitsspule 50 (nachfolgend in einigen Fällen einfach als „Spule” bezeichnet) ist mit einem Zahnteil eines Stators 60 gefügt, wie in 5A gezeigt. Wie des Weiteren in 5B gezeigt ist eine Vielzahl von Einheitsspulen 50 so angeordnet, dass sie mit einer Vielzahl von Zahnteilen des Stators 60 gefügt ist.
Die 6A und 6B sind vergrößerte Teilschnittansichten einer Einheitsspule. Um, wie in 6A gezeigt, die Form einer Einheitsspule zu fixieren, wird vorab ein Heißklebstoff 3 auf einen Wicklungsdraht 2 aufgetragen (siehe ungeprüfte Japanische Patentschrift (Kokai) Nrn. 2005-71644 , 2002-231552 , 7-50218 und 2002-358836 ). Nachdem die Einheitsspule gewickelt ist, wird der Wicklungsdraht 2 bestromt, um erwärmt (elektrisch erwärmt) zu werden. Wie in 6B gezeigt, wird der Heißklebstoff 3 geschmolzen, um eine Schicht 3a zu bilden, die eine Vielzahl von benachbarten Abschnitten des gewickelten Wicklungsdrahts 2 zu umgeben, sodass die benachbarten Abschnitte des gewickelten Wicklungsdrahts miteinander verbunden werden.
KURZDARSTELLUNG DER ERFINDUNG
Wenn jedoch der Grad der Erwärmung des Wicklungsdrahts, der elektrisch erwärmt wurde, unzureichend ist, verringert sich Haftfähigkeit des Heißklebstoffs 3, und somit wird die Einheitsspule abgewickelt. Wenn der Grad der Erwärmung des Wicklungsgrads 2, der elektrisch erwärmt wurde, überhöht ist, dann brennt der Heißklebstoff 3 aus und weist keine Haftfähigkeit auf. Des Weiteren werden viel Arbeit und viele Mannstunden erforderlich, da es notwendig wird, dass ein Bediener Betriebsbedingungen durch Ausprobieren manuell einstellt.
Die vorliegende Erfindung wurde vor dem Hintergrund der oben beschriebenen Umstände gemacht und hat eine Aufgabe, eine Vorrichtung für maschinelles Lernen bereitzustellen, die Spulen optimal elektrisch erwärmen kann, ohne detaillierte Betriebsbedingungen manuell einzustellen, und eine elektrische Spulen-Erwärmungsvorrichtung bereitzustellen, die mit einer solchen Vorrichtung für maschinelles Lernen bereitgestellt ist.
Um die obengenannte Aufgabe zu erreichen wird gemäß einem ersten Aspekt der Erfindung eine Vorrichtung für maschinelles Lernen bereitgestellt, die mit einer elektrischen Spulen-Erwärmungseinheit kommunizieren kann und die einen Betriebsvorgang lernt, um zu bewirken, dass die elektrische Spulen-Erwärmungseinheit eine Spule elektrisch erwärmt. Die Vorrichtung für maschinelles Lernen umfasst eine Zustandsbeobachtungseinheit und eine Lerneinheit. Die Zustandsbeobachtungseinheit beobachtet eine Zustandsvariable, die mindestens eines von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung, und einen Istwert der Zeit der elektrischen Erwärmung der durch die elektrische Spulen-Erwärmungseinheit elektrisch erwärmten Spule, und mindestens eines von einem Sollwert der Zeit der elektrischen Erwärmung, einer Spannung, und einem Strom in der elektrischen Spulen-Erwärmungseinheit umfasst. Die Lerneinheit führt einen Lernvorgang aus durch Verknüpfen von mindestens einem von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung, und einem durch die Zustandsbeobachtungseinheit beobachteten Istwert der Zeit der elektrischen Erwärmung der Spule mit mindestens einem von einem Sollwert der Zeit der elektrischen Erwärmung, der Spannung und dem Strom, die durch die Zustandsbeobachtungseinheit beobachtet werden.
Gemäß einem zweiten Aspekt der Erfindung umfasst in der Vorrichtung für maschinelles Lernen gemäß dem ersten Aspekt der Erfindung die Lerneinheit eine Belohnungsberechnungseinheit und eine Funktionsaktualisierungseinheit. Die Belohnungsberechnungseinheit berechnet eine Belohnung basierend auf mindestens einem von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung und einem durch die Zustandsbeobachtungseinheit beobachteten Istwert der Zeit der elektrischen Erwärmung der Spule. Die Funktionsaktualisierungseinheit aktualisiert eine Funktion zum Entscheiden, aus der gegenwärtigen Zustandsvariablen, basierend auf der durch die Belohnungseinheit berechneten Belohnung, mindestens einen von dem Sollwert der Zeit der elektrischen Erwärmung, der Spannung und dem Strom.
Gemäß einem dritten Aspekt der Erfindung umfasst die Vorrichtung gemäß dem ersten oder zweiten Aspekt der Erfindung eine Entscheidungsfindungseinheit zum Entscheiden, aus der gegenwärtigen Zustandsvariablen, basierend auf einem Ergebnis des Lernens der Lerneinheit, eines Optimalwerts von mindestens einem von dem Sollwert der Zeit der elektrischen Erwärmung, der Spannung und dem Strom.
Gemäß einem vierten Aspekt der Erfindung berechnet in der Vorrichtung für maschinelles Lernen gemäß einem von dem ersten bis dritten Aspekt der Erfindung die Lerneinheit die durch die Zustandsbeobachtungseinheit beobachtete Zustandsvariable in einer mehrschichtigen Struktur, um die Funktion auf einer Echtzeitbasis zu aktualisieren.
Gemäß einem fünften Aspekt der Erfindung wird in der Vorrichtung für maschinelles Lernen gemäß einem von dem ersten bis vierten Aspekt der Erfindung die Funktion der Funktionsaktualisierungseinheit mittels einer Funktion aktualisiert, die durch eine Funktionsaktualisierungseinheit einer anderen Vorrichtung für maschinelles Lernen aktualisiert wird.
Gemäß einem sechsten Aspekt der Erfindung wird eine elektrische Spulen-Erwärmungsvorrichtung bereitgestellt, die die Vorrichtung für maschinelles Lernen gemäß einem von dem ersten bis fünften Aspekt der Erfindung umfasst.
Diese Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung und andere Aufgaben, Merkmale und Vorteile werden aus der ausführlichen Beschreibung von in den beigefügten Zeichnungen dargestellten typischen Ausführungsformen deutlicher werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockschaltbild der Funktionen einer Spulen-Produktionsvorrichtung gemäß der vorliegenden Erfindung.
2 ist eine vergrößerte Ansicht einer Vorrichtung für maschinelles Lernen.
3 ist ein Ablaufdiagramm des Betriebsablaufs einer Vorrichtung für maschinelles Lernen.
4 ist eine Ansicht, die die Beziehung zwischen, zum Beispiel, einer Zeit der elektrischen Erwärmung und einer Temperatur während der Zeit der elektrischen Erwärmung darstellt.
5A ist eine Ansicht, die den Zustand einer Einheitsspule zeigt, die mit einem Eisenkern zusammengefügt ist.
5B ist eine Ansicht, die einen Eisenkern darstellt, der mit einer Vielzahl von Einheitsspulen zusammengefügt ist.
6A ist eine erste vergrößerte Teilschnittansicht einer Einheitsspule.
6B ist eine zweite vergrößerte Teilschnittansicht einer Einheitsspule.
7 ist ein schematisches Schaubild eines Neuronenmodells.
8 ist ein schematisches Schaubild eines dreischichtigen neuralen Netzwerkmodells.
AUSFÜHRLICHE BESCHREIBUNG
Ausführungsformen der vorliegenden Erfindung werden nachfolgend mit Bezug auf die beigefügten Zeichnungen beschrieben. In den folgenden Figuren werden ähnliche Teile mit denselben Bezugsziffern bezeichnet. Diese Figuren sind passend im Maßstab modifiziert, um deren Verständnis zu erleichtern.
Die 1 ist ein Blockschaltbild der Funktionen einer elektrischen Spulen-Erwärmungsvorrichtung gemäß der vorliegenden Erfindung. Wie in 1 gezeigt, umfasst eine elektrische Spulen-Erwärmungsvorrichtung hauptsächlich eine elektrische Spulen-Erwärmungseinheit 10 und eine Steuervorrichtung 20 zum Steuern der elektrischen Spulen-Erwärmungseinheit 10.
Die 1 zeigt in ihrem unteren Teil die elektrische Spulen-Erwärmungseinheit 10. Die elektrische Spulen-Erwärmungseinheit 10 bestromt eine Spule 5, die durch eine nicht dargestellte Wickelmaschine gewickelt wird. Wie in 1 gezeigt ist eine Stromquelle 6 insbesondere mit dem vorderen Ende und dem hinteren Ende der Wicklung der Spule 5 verbunden, um die Spule 5 zu bestromen. Es wird angemerkt, dass, wie oben beschrieben, ein Walzdraht 2 der Spule 5 mit Heißklebstoff 3 beschichtet ist (siehe 6A).
Die Steuervorrichtung 20 ist ein digitaler Computer und umfasst eine Strom-Spannungs-Befehlseinheit 21 zum Anweisen eines Stroms und einer Spannung mit denen die Spule bestromt wird, und eine Befehlseinheit für die Zeit der elektrischen Erwärmung 22 zum Anweisen der Zeit, über die die elektrische Erwärmungseinheit 10 einen elektrischen Erwärmungsvorgang ausführt. Die Sollwerte, die durch die Strom-Spannungs-Befehlseinheit 21 und die Befehlseinheit für die Zeit der elektrischen Erwärmung 22 anzuweisen sind, werden durch eine später beschriebene Vorrichtung für maschinelles Lernen 30 bestimmt.
Die Steuervorrichtung 20 umfasst ebenfalls eine Haftzustands-Detektionseinheit 23 zum Detektieren des Zustands der Haftfähigkeit einer produzierten Spule. Die Haftzustands-Detektionseinheit 23 ist beispielsweise eine Kamera. Die Steuervorrichtung 20 umfasst ferner eine Spannungsfestigkeits-Detektionseinheit 24 zum Detektieren der Spannungsfestigkeit einer produzierten Spule, und eine Temperatur-Detektionseinheit 25 zum Detektieren der Temperatur einer Spule, die elektrisch erwärmt wird. Die Steuervorrichtung 20 umfasst ferner eine Detektionseinheit für die elektrische Erwärmungszeit 26 zum Detektieren der abgelaufenen Zeit, in der die Spulen-Erwärmungseinheit 10 tatsächlich eine Spule elektrisch erwärmt.
Wie in 1 gezeigt umfasst die Steuervorrichtung 20 ferner die Vorrichtung für maschinelles Lernen 30. Die Vorrichtung für maschinelles Lernen 30 kann eine externe Vorrichtung für die Steuervorrichtung 20 sein. In diesem Fall ist die Vorrichtung für maschinelles Lernen 30 mit der Steuervorrichtung 20 und der elektrischen Spulen-Erwärmungseinheit 10 verbunden, um miteinander zu kommunizieren.
Mit Bezug auf die 2, die eine vergrößerte Ansicht einer Vorrichtung für maschinelles Lernen 30 ist, umfasst die Vorrichtung für maschinelles Lernen 30 eine Zustandsbeobachtungseinheit 31 zum Beobachten einer Zustandsvariablen, die aus mindestens einem von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung, und einem Istwert der Zeit der elektrischen Erwärmung einer durch die elektrische Erwärmungseinheit 10 elektrisch erwärmten Spulen, und mindestens einem Sollwert der Zeit der elektrischen Erwärmung, einer Spannung und einem Strom in der elektrischen Spulen-Erwärmungseinheit 10 besteht. Die Zustandsbeobachtungseinheit 31 kann nacheinander jede Zustandsvariable zusammen mit einer Zeit speichern, zu der die Zustandsvariable beobachtet wird.
Die Vorrichtung für maschinelles Lernen 30 umfasst ebenfalls eine Lerneinheit 35 zum Ausführen eines Lernvorgangs durch Verknüpfen von mindestens einem von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung, und einem Istwert der Zeit der elektrischen Erwärmung der Spule, die durch die Beobachtungseinheit 31 beobachtet werden, mit mindestens einem von einem Sollwert der Zeit der elektrischen Erwärmung, einer Spannung, und einem Strom, die durch die Zustandsbeobachtungseinheit 31 beobachtet werden.
Die Lerneinheit 35 kann verschiedene Arten von maschinellem Lernen ausführen, wie z. B. überwachtes Lernen, unüberwachtes Lernen, teilüberwachtes Lernen, bestärkendes Lernen, transduktives Lernen, Multitask-Lernen, usw.. In der folgenden Beschreibung führt die Lerneinheit 35 bestärkendes Lernen mittels Q-Lernen aus.
Wie aus 2 deutlich wird, entspricht die Vorrichtung für maschinelles Lernen 30 einem Agenten im bestärkenden Lernen. Des Weiteren detektieren die Haftzustands-Detektionseinheit 23, die Spannungsfestigkeits-Detektionseinheit 24, die Temperatur-Detektionseinheit 25 und die Detektionseinheit der Zeit der elektrischen Erwärmung 26 den Zustand der Umwelt.
Die Lerneinheit 35 zum Ausführen des bestärkenden Lernens umfasst eine Belohnungsberechnungseinheit 32 zum Berechnen einer Belohnung basierend auf mindestens einem von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung und einem Istwert der Zeit der elektrischen Erwärmung einer Spule, die durch die Zustandsbeobachtungseinheit 31 beobachtet werden, und eine Funktionsaktualisierungseinheit 33 (künstliche Intelligenz) zum Aktualisieren einer Funktion, beispielsweise einer Aktionswertfunktion (Aktionswerttabelle) zum Entscheiden, aus der gegenwärtigen Zustandsvariablen, basierend auf der durch die Belohnungsberechnungseinheit 32 berechneten Belohnung, mindestens eines von einem Sollwert der Zeit der elektrischen Erwärmung, einer Spannung und einem Strom. Selbstverständlich kann die die Funktionsaktualisierungseinheit 33 andere Funktionen aktualisieren.
Die Vorrichtung für maschinelles Lernen 30 umfasst ebenfalls eine Entscheidungsfindungseinheit 34 zum Entscheiden, aus der gegenwärtigen Zustandsvariablen, basierend auf dem Ergebnis des Lernens der Lerneinheit 35, des Optimalwerts von mindestens einem von einem Sollwert der Zeit der elektrischen Erwärmung, einer Spannung und einem Strom. Die Entscheidungsfindungseinheit 34 lernt die Auswahl einer besseren Aktion (Entscheidungsfindung). Es wird angemerkt, dass die Entscheidungsfindungseinheit 34 in der Steuervorrichtung 20 und nicht in Vorrichtung für maschinelles Lernen 30 umfasst sein kann.
3 ist ein Ablaufdiagramm des Betriebsablaufs einer Vorrichtung für maschinelles Lernen. Der Betriebsablauf der Vorrichtung für maschinelles Lernen 30 wird mit Bezug auf die 1 bis 3 beschrieben. Die in 3 gezeigten Inhalte werden jedes Mal ausgeführt, wenn die elektrische Spulen-Erwärmungseinheit 10 einen elektrischen Erwärmungsvorgang ausführt.
Zunächst wählt in Schritt 511 in 3 die elektrische Spulen-Erwärmungseinheit 10 einen Sollwert der Zeit der elektrischen Erwärmung und Sollwerte der Spannung und des Stroms aus und weist dieselben an. Diese Sollwerte werden zufällig aus ihren jeweiligen vorbestimmten Bereichen ausgewählt.
Alternativ kann beispielsweise für den Sollwert der Zeit der elektrischen Erwärmung der anfangs der Minimalwert in dem vorbestimmten Bereich ausgewählt werden, und dann kann ein um einen sehr kleinen Betrag erhöhter Wert in dem nachfolgenden Zyklus werden. Dasselbe gilt für die anderen Sollwerte. Dasselbe gilt für die anderen Sollwerte. Die Prozesse in 3 können wiederholt werden, sodass alle Kombinationen eines Sollwerts der Zeit der elektrischen Erwärmung und Sollwerte der Spannung und des Strom gewählt werden.
Dann wird in Schritt S12 der Zustand der Haftfähigkeit in einer Spule durch die Haftzustands-Detektionseinheit 23 detektiert und es wird bestimmt, ob der Haftzustand gut ist. Die 4 ist eine Ansicht, die ein Beispiel der Beziehung zwischen der Zeit der elektrischen Erwärmung und der Temperatur während der Zeit der elektrischen Erwärmung zeigt. Die horizontale Achse in 4 stellt den Istwert der Zeit der elektrischen Erwärmung dar und die vertikale Achse in 4 stellt die Spannungsfestigkeit, die Temperatur während der Zeit der elektrischen Erwärmung und einen Haftzustand einer Spule dar. Es wird angemerkt, dass in 4 ein Bereich A1 ein Bereich ist, in dem der Haftzustand einer Spule schlecht ist, ein Bereich A2 ein Bereich ist, in dem der Haftzustand normal ist und ein Bereich A3 ein Bereich ist, in dem der Haftbereich gut ist. Des Weiteren stellt in 4 eine gerade Line B die Spannungsfestigkeit einer Spule dar und eine Kurvenlinie C stellt die Temperatur während der Zeit der elektrischen Erwärmung einer Spule dar. Des Weiteren stellt eine in 4 gezeigte Kurvenlinie R die Belohnung dar.
Wie in den Bereichen A1 bis A3 in 4 gezeigt verbessert sich der Haftzustand mit sich verlängernder elektrischer Erwärmungszeit und es ist besonders bevorzugt, wenn die Zeit der elektrischen Erwärmung innerhalb des Bereichs A3 bleibt, und folglich wickelt sich der Wicklungsdraht 2 nicht ab und der Heißklebstoff 3 des Wicklungsdrahts 2 brennt nicht aus. Wenn des Weiteren, wie durch die gerade Linie B gekennzeichnet, die Zeit der elektrischen Erwärmung einen vorbestimmten Wert überschreitet, verringert sich die Spannungsfestigkeit drastisch. Wie durch die gerade Linie C gekennzeichnet erhöht sich die Temperatur während Zeit der elektrischen Erwärmung einer Spule zusammen mit der Zeit der elektrischen Erwärmung.
Wenn, wie durch die Kurvenlinie R in 4 gekennzeichnet, die Spannungsfestigkeit einer Spule in dem vorbestimmten Spannungsfestigkeitsbereich umfasst ist und wenn ein Istwert der der Temperatur während der Zeit der elektrischen Erwärmung in einem vorbestimmten Temperaturbereich umfasst ist, dann erhöht sich eine Belohnung. Wenn jedoch ein Istwert der Zeit der elektrischen Erwärmung größer als eine vorbestimmte Zeit wird, verringert sich eine Belohnung drastisch. Bezüglich der Erhöhung und Verringerung einer Belohnung, die nachfolgend beschrieben wird, wird der Betrag der Erhöhung und der Verringerung beispielsweise basierend auf den Inhalten von 4 bestimmt.
Mit Bezug wiederum auf 3 erhöht sich in Schritt S13 eine Belohnung, wenn der Haftzustand in Schritt S12 gut ist. Wenn im Gegensatz dazu der Haftzustand nicht gut ist, verringert sich in Schritt S20 eine Belohnung oder bleibt unverändert.
Nachfolgend wird in Schritt S14 bestimmt, ob die Spannungsfestigkeit einer Spule, die durch die Spannungsfestigkeits-Detektionseinheit 24 detektiert wird, in dem vorbestimmten Spannungsfestigkeitsbereich umfasst ist. Wenn die Spannungsfestigkeit in dem vorbestimmten Spannungsfestigkeitsbereich umfasst ist, erhöht sich eine Belohnung in Schritt S15. Wenn die Spannungsfestigkeit nicht in dem Spannungsfestigkeitsbereich umfasst ist, verringert sich eine Belohnung in Schritt S20 oder bleibt unverändert. Es wird angemerkt, dass die Spannungsfestigkeit vorzugsweise hoch ist und die Obergrenze des Spannungsfestigkeitsbereichs in einigen Ausführungsformen nicht erforderlich ist.
Nachfolgend wird in Schritt S16 bestimmt, ob die Temperatur während der elektrischen Erwärmung einer Spule, die durch die Temperatur-Detektionseinheit 25 detektiert wird, in dem vorbestimmten Temperaturbereich umfasst ist. Wenn die Temperatur während der elektrischen Erwärmung der Spule in dem vorbestimmten Temperaturbereich umfasst ist, erhöht sich eine Belohnung in Schritt S17. Wenn die Temperatur während der elektrischen Erwärmung der Spule nicht in dem vorbestimmten Temperaturbereich umfasst ist, verringert sich eine Belohnung in Schritt S20 oder bleibt unverändert. Es wird bevorzugt, dass die Temperatur während des elektrischen Erwärmens innerhalb des Temperaturbereichs und in der Nähe der Obergrenze des Temperaturbereichs bleibt.
Nachfolgend wird in Schritt S18 bestimmt, ob der durch die Detektionseinheit der Zeit der elektrischen Erwärmung 26 detektierte Istwert der Zeit der elektrischen Erwärmung in dem vorbestimmten Zeitbereich der elektrischen Erwärmung umfasst ist. Wenn der Istwert der Zeit der elektrischen Erwärmung in dem vorbestimmten Zeitbereich der elektrischen Erwärmung umfasst ist, erhöht sich eine Belohnung in Schritt S19. Wenn der Istwert der Zeit der elektrischen Erwärmung nicht in dem vorbestimmten Zeitbereich der elektrischen Erwärmung umfasst ist, verringert sich eine Belohnung in Schritt S20 oder bleibt unverändert. Es wird angemerkt, dass der Istwert der Zeit der elektrischen Erwärmung vorzugsweise klein ist und die Untergrenze des Zeitbereichs der elektrischen Erwärmung in einigen Ausführungsformen nicht erforderlich ist.
Eine solche Erhöhung oder Verringerung der Belohnung wird durch die Belohnungsberechnungseinheit 32 berechnet. Der erhöhte Betrag oder der verringerte Betrag einer Belohnung kann für jeden Schritt variieren. Alternativ können mindestens ein Bestimmungsschritt der Schritte S12, S14, S16 und S18 und zugeordnete Belohnungsschritte weggelassen werden.
Nachfolgend aktualisiert in Schritt S19 die Funktionsaktualisierungseinheit 33 eine Aktionswertfunktion. Q-Lernen, das durch die Lerneinheit 35 ausgeführt wird, ist ein Verfahren zum Lernen eines Werts (Aktionswert) Q(s, a) zum Auswählen einer Aktion a unter einem bestimmten Umweltzustand s. Folglich wird eine Aktion a mit dem höchsten Q(s, a) bei einem bestimmten Zustand s ausgewählt. Beim Q-Lernen werden verschiedene Aktionen a unter einem bestimmten Zustand s durch Ausprobieren ausgeführt, und dann werden zu diesem Zeitpunkt Belohnungen verwendet, um einen korrekten Q(s, a) zu lernen. Der Aktualisierungsausdruck für die Aktionswertfunktion Q(s, a) wird durch die nachstehende Gleichung (1) angegeben:
wobei s_t die Umwelt zur Zeit t ist und a_t die Aktion zur Zeit t ist. Nach der Aktion a_t ändert sich die Umwelt zu s_t+1, und die Belohnung r_t+1 wird durch eine Änderung in der Umwelt berechnet. Der Ausdruck, an den „max” angehängt ist, wird durch Multiplizieren des Q-Werts, welcher erhalten wird, wenn die Aktion a mit dem höchsten Q-Wert (zu diesem Zeitpunkt) unter dem Zustand s_t+1 gewählt ist, mit γ erhalten. γ ist der Diskontierungsfaktor, der einen Bereich von 0 < γ ≤ 1 (normalerweise 0,9 bis 0,99) aufweist, und α ist der Lernfaktor mit einem Bereich von 0 < α ≤ 1 (normalerweise ungefähr 0,1).
Diese Gleichung drückt aus, dass wenn ein Bewertungswert Q(s_t+1, max a_t+1) der optimalen Aktion in einem durch die Aktion a verursachten nachfolgenden Umweltzustand größer als der Bewertungswert Q(s_t, a_t) der Aktion im Zustand s ist, Q(s_t, a_t) erhöht wird, und im umgekehrten Fall, d. h. der Bewertungswert Q(s_t+1, max a_t+1) kleiner als der Bewertungswert Q(s_t, a_t) ist, Q(s_t, a_t) verringert wird. Kurz gesagt soll sich der Wert einer bestimmten Aktion in einem bestimmten Zustand dem Wert einer optimalen Aktion in dem durch die bestimmte Aktion verursachten nachfolgenden Zustand annähern. Mit anderen Worten, die Lerneinheit 35 aktualisiert die optimalen Werte eines Sollwerts der Zeit der elektrischen Erwärmung einer Spule und die Sollwerte der Spannung und des Stroms.
Wie oben beschrieben aktualisiert in Schritt S21 die Funktionsaktualisierungseinheit 33 eine Aktionswertfunktion mittels der Gleichung (1). Der Prozess kehrt dann zu Schritt S11 zurück, und ein anderer Sollwert der Zeit der elektrischen Erwärmung für die Spule und andere Sollwerte der Spannung und des Stroms werden ausgewählt, und dann wird eine Aktionswertfunktion in einer ähnlichen Weise aktualisiert. Es wird angemerkt, dass anstatt einer Aktionswertfunktion eine Aktionswerttabelle aktualisiert werden kann.
Beim bestärkenden Lernen entscheidet die Lerneinheit 35 als ein Agent eine Aktion basierend auf dem Zustand der Umwelt. Die Aktion in dieser Beziehung bedeutet, dass die Entscheidungsfindungseinheit 34 neue Werte des Sollwerts der Zeit der elektrischen Erwärmung und der Sollwerte der Spannung und des Stroms auswählt, um die Aktion entsprechend dieser neuen Werte auszuführen. Diese neuen Werte von verschiedenen Sollwerten ändern die in 2 gezeigte Umwelt, zum Beispiel einen Haftzustand, eine Spannungsfestigkeit, eine Temperatur während der Zeit der elektrischen Erwärmung und einen Istwert der Zeit der elektrischen Erwärmung einer Spule. Mit einer solchen Änderung in der Umwelt werden Belohnungen an die Vorrichtung für maschinelles Lernen 30 ausgegeben, wie oben beschrieben, und die Entscheidungsfindungseinheit 34 der Vorrichtung für maschinelles Lernen 30 lernt die Auswahl (Entscheidungsfindung) einer besseren Aktion, um beispielsweise höhere Belohnungen zu erlangen.
Somit verbessert ein vielfaches Wiederholen des in 3 gezeigten Prozesses die Zuverlässigkeit der Aktionswertfunktion. In Schritt 511 ermöglicht dann das Auswählen, basierend auf der zuverlässigen Aktionswertfunktion, eines Sollwerts der Zeit der elektrischen Erwärmung und von Sollwerten der Spannung und des Stroms, um beispielsweise einen Q-Wert zu erhöhen, eine angemessenere Entscheidung für beispielsweise einen geeigneteren Abmaß-Sollwert. In einem in 4 gezeigten Beispiel fließen die Ergebnisse des Lernens der Vorrichtung für maschinelles Lernen 30 in einem durch punktierte Linien definierten Bereich Z zusammen.
Wie oben beschrieben können die durch die Funktionsaktualisierungseinheit 33 der Vorrichtung für maschinelles Lernen 30 gemäß der vorliegenden Erfindung aktualisierten Inhalte automatisch als ein optimaler Sollwert der Zeit der elektrischen Erwärmung und als optimale Sollwerte der Spannung und des Stroms, die zum Bilden einer Spule notwendig sind, entschieden werden. Des Weiteren ermöglicht die Einführung einer solchen Vorrichtung für maschinelles Lernen 30 in die Steuervorrichtung 20 eine automatische Anpassung, zum Beispiel, eines Sollwerts der Zeit der elektrischen Erwärmung. Somit können Einheitsspulen mit einer stabilen Haftkraft automatisch produziert werden, und eine Abweichungen unter den Spulen aufgrund von individuellen Differenzen zwischen den Spulen kann beseitigt werden. Des Weiteren beseitigt das Befolgen der Ergebnisse des Lernens der Vorrichtung für maschinelles Lernen die Notwendigkeit des manuellen Einstellens von Betriebsbedingungen durch einen Bediener während der Produktion von Spulen. Somit können die Arbeit und die Mannstunden, die zum Produzieren von Spulen notwendig sind, reduziert werden. Folglich kann die Produktionseffizienz verbessert werden.
In nicht dargestellten Ausführungsformen wird eine weitere Vorrichtung für maschinelles Lernen 30' mit einer der Vorrichtung für maschinelles Lernen 30 ähnlichen Ausgestaltung in eine weitere Steuervorrichtung 20 einer weiteren Wickelmaschine 10' aufgenommen. Die Steuervorrichtung 20' und die Steuervorrichtung 20 sind miteinander verbunden, um miteinander zu kommunizieren. In einem solchen Fall kann eine durch eine weitere Funktionsaktualisierungseinheit 33 der Vorrichtung für maschinelles Lernen 30' aktualisierte Funktion in der Funktionsaktualisierungseinheit 33 der Vorrichtung für maschinelles Lernen 30 dupliziert werden. Diese Funktion kann dazu verwendet werden, die Funktion in der Funktionsaktualisierungseinheit 33 zu aktualisieren. In diesem Fall ist verständlich, dass die zuverlässigen Ergebnisse des Lernens abgeleitet werden können.
Alternativ kann eine Funktion, die durch Verwendung eines neuralen Netzwerks, das später beschrieben wird, angenähert wird, als eine Aktionswertfunktion verwendet werden. In dieser Hinsicht kann die durch die Zustandsbeobachtungseinheit 31 beobachtete Zustandsvariable in einer mehrschichtigen Struktur berechnet werden, um die Aktionswertfunktion auf einer Echtzeitbasis zu aktualisieren. Somit wird verständlich, dass angemessenere Ergebnisse des Lernens erhalten werden können. Dies ist äußerst hilfreich für Daten mit einem riesigen Volumen an Information zu „s” und „a”, beispielsweise für Bilddaten.
Die in 2 gezeigte Vorrichtung für maschinelles Lernen 30 usw. wird nochmals ausführlich beschrieben, obwohl dabei eine Wiederholung an Information vorliegt. Die Vorrichtung für maschinelles Lernen 30 besitzt eine Funktion, um nützliche Regeln oder Wissenspräsentationen, Bestimmungskriterien usw. aus der Zusammenstellung von in die Vorrichtung eingegebenen Daten analytisch zu extrahieren, sowie eine Funktion zum Ausgeben der Ergebnisse der Bestimmung und Wissen zu lernen. Es gibt verschiedene maschinelle Lernverfahren, und die Verfahren werden grob in „überwachtes Lernen”, „unüberwachtes Lernen” und „bestärkendes Lernen” unterteilt. Um diese Lernverfahren auszuführen, gibt es ein weiteres Verfahren, das als „Deep Learning” zum Lernen der Extraktion von Merkmalsgrößen selbst bezeichnet wird.
„Überwachtes Lernen” ist ein Verfahren, in dem ein großes Volumen von gepaarten Eingabe-Ausgabe-Daten (Kennsatz) an eine Lernvorrichtung gegeben wird, sodass Eigenschaften dieser Datensätze gelernt werden können und ein Modell zum Ableiten eines Ausgabewerts von Eingabedaten, d. h. die Eingabe-Ausgabe-Beziehung, induktiv erfasst werden kann. In der vorliegenden Ausführungsform kann dieses Lernverfahren verwendet werden, um einen Abmaß-Istwert einer Spule von den oben beschriebenen Sollwerten für die Spule abzuleiten. Dieses Verfahren kann durch Verwendung eines Algorithmus, zum Beispiel eines neuralen Netzwerks, das später beschrieben wird, ausgeführt werden.
„Unüberwachtes Lernen” ist ein Verfahren, bei dem ein großes Volumen von nur Eingabedaten an eine Lernvorrichtung gegeben werden, sodass die Verteilung der Eingabedaten gelernt werden kann und eine Vorrichtung zum, beispielsweise, Komprimieren, Klassifizieren und Glätten der Eingabedaten selbst dann gelernt werden kann, wenn die entsprechenden Lehrer-Ausgabedaten nicht gegeben werden. Beispielsweise können die Eigenschaften dieser Datensätze basierend auf ihrer Ähnlichkeit geclustert werden. Das aus dem Lernen erhaltene Ergebnis wird verwendet, um ein bestimmtes Kriterium festzulegen, und dann wird die Zuordnung der Ausgabe durchgeführt, um das Kriterium zu optimieren, sodass die Vorhersage der Ausgabe erreicht werden kann. Es gibt ein weiteres Problemlösungsverfahren, das zwischen dem „unüberwachten Lernen” und dem „überwachten Lernen” angesiedelt ist, welches als „teilüberwachtes Lernen” bekannt ist. Bei diesem Lernverfahren wird ein kleines Volumen an gepaarten Eingabe-Ausgabe-Daten und ein großes Volumen von nur Eingabedaten bereitgestellt. In der vorliegenden Ausführungsform werden Daten, die auch dann erfasst werden können, wenn eine Wicklungsmaschine momentan nicht arbeitet, beim unüberwachten Lernen verwendet, um ein Lernen effizient auszuführen.
Beim bestärkenden Lernen werden Probleme wie folgt gelöst.

• Eine Wickelmaschine und eine Steuervorrichtung für die Wickelmaschine beobachten den Zustand der Umwelt und entscheiden eine Aktion.
• Die Umwelt ändert sich entsprechend einiger Regeln, und eine Aktion kann die Umwelt ändern.
• Ein Belohnungssignal wird bei jeder Aktion zurückgesendet.
• Das Ziel der Maximierung ist die Summe von (diskontierten) Belohnungen, die jetzt und in der Zukunft erlangt werden sollen.
• Das Lernen startet ab dem Zustand, in dem ein durch eine Aktion verursachtes Ergebnis vollständig unbekannt oder unvollständig bekannt ist. Die Wickelmaschine kann das Ergebnis als Daten erst erfassen, nachdem sie tatsächlich zu arbeiten beginnt. Mit anderen Worten, es ist notwendig, die optimale Aktion durch Ausprobieren zu suchen.
• Es ist ebenfalls möglich, als einen Anfangszustand den Zustand einzustellen, bei dem ein vorhergehendes Lernen (z. B. das obengenannte überwachte Lernen, oder inverses bestärkendes Lernen) ausgeführt wird, um die Aktion einer Person nachzuahmen und das Lernen ab einem guten Startpunkt zu starten.

„Bestärkendes Lernen” ist ein Lernverfahren zum Lernen von nicht nur Bestimmungen oder Klassifizierungen, sondern auch von Aktionen, um eine angemessene Aktion basierend auf der Interaktion der Umwelt zu einer Aktion zu lernen, d. h. eine Aktion, um die Belohnungen, die in der Zukunft erlangt werden sollen, zu maximieren. In der vorliegenden Ausführungsform zeigt dies an, dass eine Aktion, die eine Wirkung auf die Zukunft ausüben kann, erfasst werden kann. Die Erklärung des bestärkenden Lernens wird nachfolgend fortgeführt, indem beispielsweise Q-Lernen verwendet wird, wobei jedoch das bestärkende Lernen nicht auf Q-Lernen beschränkt ist.
Q-Lernen ist ein Verfahren zum Lernen eines Werts Q(s, a) zum Auswählen einer Aktion a unter einem bestimmten Umweltzustand s. Mit anderen Worten, es wird nur erforderlich, dass die Aktion a mit dem höchsten Wert Q(s, a) als eine optimale Aktion unter einen bestimmten Zustand s gewählt wird. Anfangs ist jedoch der korrekte Wert des Werts Q(s, a) für eine Kombination des Zustands s und der Aktion a völlig unbekannt. Dann wählt der Agent (Gegenstand einer Aktion) verschiedene Aktionen a unter einem bestimmten Zustand s aus und vergibt Belohnungen an die Aktionen a zu diesem Zeitpunkt. Somit lernt der Agent die Auswahl einer besseren Aktion, d. h. den korrekten Wert Q(s, a).
Als ein Ergebnis der Aktion wird die Maximierung der Summe von Belohnungen, die in der Zukunft erlangt werden sollen, erwünscht, und folglich wird darauf abgezielt, dass schließlich Q(s, a) = E[Σγ^tr_t] erreicht wird (Ein erwarteter Wert wird für die Zeit festgelegt, wenn sich der Zustand entsprechend der optimalen Aktion ändert. Selbstverständlich ist der erwartete Wert unbekannt, und sollte folglich gelernt werden, während er gesucht wird). Der Aktualisierungsausdruck für einen solchen Wert Q(s, a) wird beispielsweise angegeben durch:
(Diese Gleichung ist identisch zur obenstehenden Gleichung (1).)
wobei s_t die Umwelt zur Zeit t ist und a_t die Aktion zur Zeit t ist. Nach der Aktion a_t ändert sich die Umwelt zu s_t+1. r_t+1 ist die Belohnung, die bei einer Änderung des Zustands erhalten wird. Der Ausdruck, an den „max” angehängt ist, wird durch Multiplizieren des Q-Werts, welcher erhalten wird, wenn die Aktion a mit dem höchsten Q-Wert (zu diesem Zeitpunkt) unter dem Zustand s_t+1 gewählt ist, mit γ erhalten. γ ist der Parameter, der einen Bereich von 0 < γ ≤ 1 aufweist, und Diskontierungsfaktor genannt wird. α ist der Lernfaktor und weist einem Bereich von 0 < α ≤ 1 auf.
Diese Gleichung drückt ein Verfahren aus zum Aktualisieren eines Bewertungswerts Q(s_t, a_t) einer Aktion a_t in einem Zustand s_t basierend auf einer Belohnung r_t+1, die als ein Ergebnis eines versuchsweisen a_t zurückgesendet wurde. Wenn ein Bewertungswert Q(s_t+1, max a_t+1) der optimalen Aktion max a in einem durch die Belohnung r_t+1 + der Aktion a verursachten nachfolgenden Zustand größer als der Bewertungswert Q(s_t, a_t) der Aktion a in dem Zustand s ist, dann wird Q(s_t, a_t) erhöht. Wenn im umgekehrten Fall, d. h. der Bewertungswert Q(s_t+1, max a_t+1) kleiner als der Bewertungswert Q(s_t, a_t) ist, dann wird Q(s_t, a_t) verringert. Mit anderen Worten, der Wert einer bestimmten Aktion in einem bestimmten Zustand soll sich der unmittelbar als ein Ergebnis zurückgesendeten Belohnung und dem Wert einer optimalen Aktion in dem durch die bestimmte Aktion verursachten nachfolgenden Zustand annähern.
Beispiele des Verfahrens zum Ausdrücken von Q(s, a) auf einem Computer umfassen ein Verfahren zum Sichern der Werte von allen Zustandsaktionspaaren (s, a) als eine Tabelle (Aktionswerttabelle) und ein Verfahren zum Erstellen einer Funktion zum Annähern von Q(s, a). Beim letzteren Verfahren kann der obengenannte Aktualisierungsausdruck erreicht werden, indem ein Parameter der Näherungsfunktion mittels eines Verfahrens, wie dem stochastischen Gradientenverfahren, angepasst wird. Beispiele der Näherungsfunktion umfassen ein neurales Netzwerk, das später beschrieben wird.
Als Näherungsalgorithmus einer Wertfunktion im überwachten Lernen, unüberwachten Lernen und bestärkenden Lernen kann ein neurales Netzwerk verwendet werden. Das neurale Netzwerk besteht beispielsweise aus einer arithmetischen Vorrichtung und einem Speicher, die ein neurales Netzwerk verwirklichen, das ein Neuronenmodell simuliert, wie in 7 gezeigt. Die 7 ist ein schematisches Schaubild, das ein Neuronenmodell darstellt.
Wie in 7 gezeigt gibt ein Neuron eine Ausgabe y in Erwiderung mehrerer Eingaben x (Eingaben x1 bis x3 werden hier als Beispiel bereitgestellt) aus. Die Gewichtungen w (w1 bis w3) werden den entsprechenden Eingaben x1 bis x3 auferlegt. Dies bewirkt, dass das Neuron die Ausgabe y ausgibt, die durch die nachstehende Gleichung ausgedrückt wird. Es wird angemerkt, dass die Eingaben x, die Ausgabe y und die Gewichtungen w Vektoren sind.
wobei θ der systematische Fehler ist und f_k die Aktivierungsfunktion ist.
Ein dreischichtiges gewichtetes neurales Netzwerk, das aus einer Kombination von wie oben beschriebenen Neuronen besteht, wird nun nachstehend mit Bezug auf die 8 beschrieben. Die 8 ist ein schematisches Schaubild, das ein gewichtetes neurales Netzwerk mit drei Schichten D1 bis D3 darstellt.
Wie in 8 gezeigt werden mehrere Eingaben x (Eingaben x1 bis x3 werden hierin als ein Beispiel bereitgestellt) von der linken Seite des neuralen Netzwerks eingegeben, und die Ergebnisse y (Ergebnisse y1 bis y3 werden hierin als ein Beispiel bereitgestellt) werden von der rechten Seite des neuralen Netzwerks ausgegeben.
Insbesondere werden die Eingaben x1 bis x3, denen die entsprechenden Gewichtungen auferlegt wurden, entsprechend in die drei Neuronen N11 bis N13 eingegeben. Diese den Eingaben auferlegten Gewichtungen werden gemeinsam durch w1 gekennzeichnet.
Die Neuronen N11 bis N13 geben entsprechend z11 bis z13 aus. Diese z11 bis z13 werden gemeinsam durch einen Merkmalsvektor z1 gekennzeichnet und können als ein Vektor behandelt werden, der durch Extrahieren eines Merkmalsbetrags eines Eingabevektors erhalten wird. Dieser Merkmalsvektor z1 ist ein Merkmalsvektor zwischen der Gewichtung w1 und der Gewichtung w2.
Die Merkmalsvektoren z11 bis z13, denen die entsprechenden Gewichtungen auferlegt wurden, werden in die zwei Neuronen N21 und N22 eingegeben. Diese den Merkmalsvektoren auferlegten Gewichtungen werden gemeinsam durch w2 gekennzeichnet.
Die Neuronen N21 und N22 geben entsprechend z21 und z22 aus. Diese z21 und z22 werden gemeinsam durch einen Merkmalsvektor z2 gekennzeichnet. Dieser Merkmalsvektor z2 ist ein Merkmalsvektor zwischen der Gewichtung w2 und der Gewichtung w3.
Die Merkmalsvektoren z21 und z22, denen die entsprechenden Gewichtungen auferlegt wurden, werden in die drei Neuronen N31 bis N33 eingegeben. Diese den Merkmalvektoren auferlegten Gewichtungen werden gemeinsam durch w3 gekennzeichnet.
Abschließend geben die Neuronen N31 bis N33 entsprechend die Ergebnisse y1 bis y3 aus.
Der Betriebsablauf des neuralen Netzwerks umfasst einen Lernmodus und einen Wertvorhersagemodus. Lern-Datensätze werden genutzt, um die Gewichtungen w im Lernmodus zu lernen, und die von dem Lernen erhaltenen Parameter werden genutzt, um die Aktion der Wickelmaschine im Vorhersagemodus zu bestimmen (Der Einfachheit halber wird der Begriff „Vorhersage” verwendet, es können jedoch verschiedene Aufgaben ausgeführt werden, die Detektion, Klassifikation, Ableitung usw. umfassen).
Es ist möglich, nicht nur ein Lernen auszuführen (Online-Lernen), bei dem Daten, die durch das tatsächliche Arbeiten der Wickelmaschine im Vorhersagemodus erfasst werden, unmittelbar gelernt werden und sich in der nachfolgenden Aktion niederschlagen, sondern auch ein Lernen (Batch-Lernen) auszuführen, bei dem zuvor gesammelte Daten unter Verwendung einer Gruppe der Daten gemeinsam gelernt werden, und danach ein Detektionsmodus mittels der von dem Lernen erhaltenen Parameter ausgeführt wird. Ein weiterer Zwischenlernmodus kann jedes Mal zwischengeschoben werden, wenn eine vorbestimmte Datenmenge gesammelt wird.
Die Gewichtungen w1 bis w3 können durch ein Fehlerrückführungsverfahren gelernt werden. Die Information zu den Fehlern wird von der rechten Seite zur linken Seite eingeführt. Das Fehlerrückführverfahren ist ein Verfahren zum Anpassen (Lernen) jeder Gewichtung, um so eine Differenz zwischen der Ausgabe y, wenn die Eingabe x eingegeben wird, und der tatsächlichen Ausgabe y (Lehrer) in jedem Neuron zu reduzieren.
In einem solchen neuralen Netzwerk können drei oder mehr Schichten bereitgestellt werden. (Dies wird Deep Learning genannt). Eine arithmetische Vorrichtung, die schrittweise Merkmale aus Eingabedaten extrahiert, um ein Ergebnis zurückzusenden, kann automatisch nur aus Lehrer-Daten erfasst werden.
Somit ist die Vorrichtung für maschinelles Lernen 30 mit der Zustandsbeobachtungseinheit 31, der Lerneinheit 35 und der Entscheidungsfindungseinheit 34 bereitgestellt, um Q-Lernen auszuführen, wie in 2 gezeigt. Das maschinelle Lernverfahren, das auf die vorliegende Erfindung angewendet werden kann, ist jedoch nicht auf Q-Lernen beschränkt. Wenn beispielsweise überwachtes Lernen angewendet wird, entspricht die Wertfunktion dem Lernmodell und die Belohnung entspricht dem Fehler.
WIRKUNG DER ERFINDUNG
Im ersten bis dritten Aspekt der Erfindung kann eine Vorrichtung für maschinelles Lernen bereitgestellt werden, die automatisch einen optimalen Haftzustand usw. für eine Spule entscheiden kann, ohne dass die Notwendigkeit besteht, dass Betriebsbedingungen manuell durch einen Bediener eingestellt werden müssen.
Im vierten Aspekt der Erfindung können angemessene Ergebnisse des Lernens erhalten werden.
Im fünften Aspekt der Erfindung können die Ergebnisse des Lernens einer Vorrichtung für maschinelles Lernen in einer weiteren Vorrichtung für maschinelles Lernen aufgenommen werden, und somit können zuverlässige Ergebnisse des Lernens abgeleitet werden.
Im sechsten Aspekt der Erfindung beseitigt das Befolgen der Ergebnisse des Lernens der Vorrichtung für maschinelles Lernen die Notwendigkeit des manuellen Einstellens von Betriebsbedingungen durch einen Bediener während der Produktion von Spulen. Somit können die Arbeit und die Mannstunden, die zum Produzieren von Spulen notwendig sind, reduziert werden. Des Weiteren können Einheitsspulen mit einer stabilen Haftkraft automatisch produziert werden, und Abweichungen unter den Spulen aufgrund individueller Differenzen zwischen den Spulen können beseitigt werden.
Die vorliegende Erfindung wurde obenstehend unter Verwendung von Ausführungsbeispielen beschrieben. Ein Fachmann würde jedoch verstehen, dass die vorgenannten Modifikationen und verschiedenen anderen Modifikationen, Weglassungen und Hinzufügungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Erfindung abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2005-71644 [0003]
JP 2002-231552 [0003]
JP 7-50218 [0003]
JP 2002-358836 [0003]

Claims

Vorrichtung für maschinelles Lernen (30), die mit einer elektrischen Spulen-Erwärmungseinheit (10) kommunizieren kann und die einen Betriebsvorgang lernt, um zu bewirken, dass die elektrische Spulen-Erwärmungseinheit eine Spule elektrisch erwärmt, Folgendes umfassend: eine Zustandsbeobachtungseinheit (31) zum Beobachten einer Zustandsvariable, die mindestens eines von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung, und einen Istwert der Zeit der elektrischen Erwärmung der durch die elektrische Spulen-Erwärmungseinheit elektrisch erwärmten Spule, und mindestens eines von einem Sollwert der Zeit der elektrischen Erwärmung, einer Spannung und einem Strom in der elektrischen Spulen-Erwärmungseinheit umfasst; und eine Lerneinheit (35) zum Ausführen eines Lernvorgangs durch Verknüpfen von mindestens einem von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung, und einem durch die Zustandsbeobachtungseinheit beobachteten Istwert der Zeit der elektrischen Erwärmung der Spule mit mindestens einem von einem Sollwert der Zeit der elektrischen Erwärmung, der Spannung und dem Strom, die durch die Zustandsbeobachtungseinheit beobachtet werden.
Vorrichtung für maschinelles Lernen nach Anspruch 1, wobei die Lerneinheit umfasst: eine Belohnungsberechnungseinheit (32) zum Berechnen einer Belohnung basierend auf mindestens einem von einem Haftzustand, einer Spannungsfestigkeit, einer Temperatur während der Zeit der elektrischen Erwärmung und einem durch die Zustandsbeobachtungseinheit beobachteten Istwert der Zeit der elektrischen Erwärmung der Spule; und eine Funktionsaktualisierungseinheit (33) zum Aktualisieren einer Funktion zum Entscheiden, aus der gegenwärtigen Zustandsvariablen, basierend auf der durch die Belohnungseinheit berechneten Belohnung, mindestens eines von dem Sollwert der Zeit der elektrischen Erwärmung, der Spannung und dem Strom.
Vorrichtung für maschinelles Lernen nach Anspruch 1 oder 2, umfassend eine Entscheidungsfindungseinheit (34) zum Entscheiden, aus der gegenwärtigen Zustandsvariablen, basierend auf einem Ergebnis des Lernens der Lerneinheit, eines Optimalwerts von mindestens einem von dem Sollwert der Zeit der elektrischen Erwärmung, der Spannung und dem Strom.
Vorrichtung für maschinelles Lernen nach einem der Ansprüche 1 bis 3, wobei die Lerneinheit die durch die Zustandsbeobachtungseinheit beobachtete Zustandsvariable in einer mehrschichtigen Struktur berechnet, um die Funktion auf einer Echtzeitbasis zu aktualisieren.
Vorrichtung für maschinelles Lernen nach einem der Ansprüche 1 bis 4, wobei die Funktion der Funktionsaktualisierungseinheit mittels einer Funktion aktualisiert wird, die durch eine Funktionsaktualisierungseinheit einer anderen Vorrichtung für maschinelles Lernen aktualisiert wird.
Elektrische Spulen-Erwärmungsvorrichtung, die Vorrichtung für maschinelles Lernen nach einem der Ansprüche 1 bis 5 umfassend.