DE102016010048A1

DE102016010048A1 - Maschinelles lernverfahren und vorrichtung zum maschinellen lernen zum erlernen eines betriebsbefehls an einen elektromotor sowie steuerung und elektromotorvorrichtung einschliesslich vorrichtung zum maschinellen lernen

Info

Publication number: DE102016010048A1
Application number: DE102016010048.6A
Authority: DE
Inventors: Yasuyuki Matsumoto; Norihiro CHOU
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2015-08-28
Filing date: 2016-08-19
Publication date: 2017-03-02
Anticipated expiration: 2036-08-20
Also published as: DE102016010048B4; US20170063284A1; CN106485992B; CN106485992A; JP2017045406A; US9887661B2; JP6438366B2

Abstract

Eine Steuerung, die dafür sorgt, dass ein Elektromotor entsprechend einer Umgebungstemperatur effizient arbeitet. Die Steuerung beinhaltet eine Vorrichtung zum maschinellen Lernen, die einen Betriebsbefehl an den Elektromotor erlernt. Die Vorrichtung zum maschinellen Lernen beinhaltet einen Zustandsbeobachtungsteil und einen Lernteil. Der Zustandsbeobachtungsteil beobachtet eine Umgebungstemperatur einer Elektromotorvorrichtung sowie eine Zykluszeit des Elektromotors als Zustandsvariablen. Der Lernteil erlernt einen Betriebsbefehl an den Elektromotor entsprechend einem Trainingsdatensatz, der auf der Grundlage einer Kombination aus den von einem Beurteilungsdatenerfassungsteil erfassten Beurteilungsdaten und den Zustandsvariablen erstellt wird.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein maschinelles Lernverfahren und eine Vorrichtung zum maschinellen Lernen zum Erlernen eines Betriebsbefehls an einen Elektromotor sowie eine Steuerung und eine Elektromotorvorrichtung, die diese Vorrichtung zum maschinellen Lernen beinhaltet.
2. Beschreibung des Standes der Technik
Damit ein gewünschter Prozess unter Verwendung eines Elektromotors effizient vonstattengeht, ist eine Verkürzung der Zykluszeit wünschenswert. Zur Verkürzung der Zykluszeit ist eine Optimierung von Hochlauf oder Auslauf (nachstehend manchmal als „Hochlauf/Auslauf” bezeichnet) eines Elektromotors möglich. Im Allgemeinen wird der Hochlauf/Auslauf eines Elektromotors von der Bedienperson vorgegeben, sodass die Optimierung zum großen Teil auf das Wissen und die Erfahrung der Bedienperson angewiesen war. Versuch und Irrtum war ebenfalls von großer Bedeutung.
Ein weiterer Faktor, der eine Optimierung von Hochlauf/Auslauf erschwert, ist die von einer den Elektromotor steuernden Steuerung erzeugte Wärme. Ein Elektromotor wird so gesteuert, dass er in einem Bereich arbeitet, in dem es nicht zur Überhitzung kommt, jedoch ist es von der Umgebung des Elektromotors abhängig, ob es zur Überhitzung kommt. Damit eine Überhitzung zuverlässig verhindert wird, ist es deshalb notwendig, bei der Optimierung von Hochlauf/Auslauf die extremste Umgebung anzunehmen. Wenn die Umgebungstemperatur niedrig ist, ist folglich der Betrieb des Elektromotors tatsächlich nicht optimiert und die Zykluszeit neigt dazu, sich zu verlängern.
Bekannt ist die Anpassung der Ausgangsleistung eines Elektromotors entsprechend der Temperatur der wärmeerzeugenden Quelle. Bekannt ist beispielsweise die Bestimmung der Temperatur eines Leistungshalbleitermoduls zum Ansteuern eines Elektromotors und die Begrenzung der Ausgangsleistung des Elektromotors, wenn die bestimmte Temperatur die Bezugstemperatur übersteigt (siehe Japanische Patentveröffentlichung Nr. 2014-239631A ).
KURZDARSTELLUNG DER ERFINDUNG
Es wurde eine Steuerung, die dafür sorgt, dass ein Elektromotor entsprechend einer Umgebungstemperatur effizient arbeitet, angestrebt.
In einer bevorzugten Ausführungsform der vorliegenden Erfindung ist eine Vorrichtung zum maschinellen Lernen bereitgestellt, die einen Betriebsbefehl für einen Elektromotor erlernt, wobei die Vorrichtung zum maschinellen Lernen einen Zustandsbeobachtungsteil umfasst, der eine Umgebungstemperatur einer Elektromotorvorrichtung, die einen Elektromotor und eine den Elektromotor steuernde Steuerung beinhaltet, sowie eine Zykluszeit des Elektromotors als Zustandsvariablen beobachtet, einen Beurteilungsdatenerfassungsteil, der Beurteilungsdaten erfasst, mit denen festgestellt wird, ob es in der Elektromotorvorrichtung zu einer Überhitzung gekommen ist, und einen Lernteil, der entsprechend einem Trainingsdatensatz, der auf der Grundlage einer Kombination aus den Zustandsvariablen und den Beurteilungsdaten erstellt wird, einen Betriebsbefehl an den Elektromotor erlernt.
In einer bevorzugten Ausführungsform der vorliegenden Erfindung umfasst der Lernteil einen Belohnungsberechnungsteil, der anhand der Zykluszeit und der Beurteilungsdaten eine Belohnung berechnet, sowie einen Funktionsaktualisierungsteil, der eine Funktion zur Ermittlung des Betriebsbefehls anhand der Belohnung aktualisiert.
In einer bevorzugten Ausführungsform der vorliegenden Erfindung ist der Belohnungsberechnungsteil so ausgelegt, dass die Belohnung erhöht wird, wenn festgestellt wird, dass in der Elektromotorvorrichtung keine Überhitzung stattfindet und die Zykluszeit kürzer als ein vorgegebener Schwellenwert ist, und die Belohnung herabgesetzt wird, wenn festgestellt wird, dass es in der Elektromotorvorrichtung zur Überhitzung gekommen ist oder die Zykluszeit größer oder gleich einem Schwellenwert ist.
In einer bevorzugten Ausführungsform der vorliegenden Erfindung ist der Funktionsaktualisierungsteil so ausgelegt, dass er eine Aktionswerttabelle entsprechend der Belohnung aktualisiert.
In einer bevorzugten Ausführungsform der vorliegenden Erfindung ist der Lernteil so ausgelegt, dass er den Betriebsbefehl entsprechend einem Trainingsdatensatz erlernt, der für eine Vielzahl von Elektromotorvorrichtungen erstellt wird.
In einer bevorzugten Ausführungsform der vorliegenden Erfindung sind die Vorrichtung zum maschinellen Lernen, ein Temperaturmessteil, der eine Umgebungstemperatur misst, ein Zeitmessteil, der eine Zykluszeit misst, sowie ein Entscheidungsteil, der einen Betriebsbefehl entsprechend einer aktuellen Umgebungstemperatur und aktuellen Zykluszeit anhand des Lernergebnisses des Lernteils ermittelt, bereitgestellt.
In einer bevorzugten Ausführungsform der vorliegenden Erfindung ist eine Elektromotorvorrichtung bereitgestellt, die die vorstehende Steuerung und einen von der Steuerung gesteuerten Elektromotor umfasst.
In einer bevorzugten Ausführungsform der vorliegenden Erfindung ist ein maschinelles Lernverfahren bereitgestellt, mit dem ein Betriebsbefehl für einen Elektromotor erlernt wird, wobei das maschinelle Lernverfahren Folgendes umfasst: Beobachten einer Umgebungstemperatur einer Elektromotorvorrichtung, die einen Elektromotor und eine den Elektromotor steuernde Steuerung beinhaltet, sowie einer Zykluszeit des Elektromotors als Zustandsvariablen, Erfassen von Beurteilungsdaten, mit denen festgestellt wird, ob es in der Elektromotorvorrichtung zu einer Überhitzung gekommen ist, und Erlernen eines Betriebsbefehls an den Elektromotor entsprechend einem Trainingsdatensatz, der auf der Grundlage einer Kombination aus den Zustandsvariablen und den Beurteilungsdaten erstellt wird.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Diese und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung sind unter Bezug auf die ausführliche Beschreibung von veranschaulichenden Ausführungsformen der vorliegenden Erfindung, die in den beigefügten Zeichnungen dargestellt sind, besser zu verstehen.
1 ist ein Blockschaubild einer Elektromotorvorrichtung gemäß einer Ausführungsform.
2 ist ein Ablaufdiagramm, in dem ein Ablauf eines Lernvorgangs in einer Vorrichtung zum maschinellen Lernen dargestellt ist.
3 ist eine Ansicht, in der ein Beispiel für den Aufbau eines neuronales Netzes dargestellt ist.
4 ist eine Darstellung, in der eine Beziehung zwischen dem Strom, mit dem ein Elektromotor versorgt wird, und einer Zykluszeit dargestellt ist.
AUSFÜHRLICHE BESCHREIBUNG
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung unter Bezug auf die beigefügten Zeichnungen erläutert. 1 ist ein Blockschaubild einer Elektromotorvorrichtung 1 gemäß einer Ausführungsform. Die Elektromotorvorrichtung 1 beinhaltet einen Elektromotor 2, eine den Elektromotor 2 steuernde Steuerung 3, eine Vorrichtung zum maschinellen Lernen 4, die einen Betriebsbefehl an den Elektromotor 2 erlernt, sowie einen Kühler 5.
Der Elektromotor 2 wird verwendet, um eine Welle einer Werkzeugmaschine oder einen Industrieroboter mit Antriebsleistung zu versorgen. Der Elektromotor 2 arbeitet entsprechend einem Betriebsbefehl, der von der Steuerung 3 erstellt wird. Ein Betriebsbefehl umfasst einen Positionsbefehl, Drehzahlbefehl und Hochlaufbefehl. Die Vorrichtung zum maschinellen Lernen 4 verwendet das Verfahren des später erläuterten maschinellen Lernens zum Erlernen eines Befehls für den optimalen Hochlauf entsprechend der Umgebungstemperatur.
Die Steuerung 3 ist ein Digitalrechner einschließlich einer Zentraleinheit, eines Speichers und einer Schnittstelle, die über einen Bus miteinander verbunden sind. Alternativ kann die Steuerung 3 ein Verstärker sein, der den Elektromotor 2 mit Antriebsleistung versorgt, oder kann eine Kombination aus einem Digitalrechner und Verstärker sein. Nachstehend wird ein Beispiel erläutert, in dem die Steuerung 3 ein Digitalrechner ist. Die Zentraleinheit nimmt die zur Umsetzung der verschiedenen Funktionen der Steuerung 3 notwendige Verarbeitung vor.
Ein Speicher umfasst einen Nur-Lese-Speicher, Direktzugriffsspeicher, nicht-flüchtigen Speicher usw. Der Nur-Lese-Speicher speichert ein Systemprogramm, das die Funktionsweise der Steuerung 3 insgesamt steuert. Der Direktzugriffsspeicher speichert vorübergehend ein Erkennungssignal von einer Erfassungsvorrichtung oder Erfassungsschaltung sowie Verarbeitungsergebnisse der Zentraleinheit usw. Der nichtflüchtige Speicher speichert ein Betriebsprogramm zum Steuern des Betriebs des Elektromotors 2 sowie Parameter usw.
Die Schnittstelle verbindet die Steuerung 3 und externe Vorrichtungen, beispielsweise ein Eingabegerät und ein Anzeigegerät usw., miteinander und wird zum Senden und Empfangen von Signalen und Daten dazwischen verwendet.
Die wie in 1 dargestellte Steuerung 3 beinhaltet einen Temperaturmessteil 31, Befehlserstellungsteil 32, Zeitmessteil 33 und Beurteilungsteil 34.
Der Temperaturmessteil 31 misst die Umgebungstemperatur der Elektromotorvorrichtung 1. In einer Ausführungsform misst der Temperaturmessteil 31 die Temperatur des Kühlers 5, um dadurch die Umgebungstemperatur zu erfassen. Der Kühler 5 wird zum Ableiten der von einer wärmeerzeugenden Quelle der Elektromotorvorrichtung 1 erzeugten Wärme verwendet. Der Kühler 5 ist beispielsweise ein Kühlkörper, der so ausgelegt ist, dass er mit der Außenluft im Wärmeaustausch steht. Die Temperatur ändert sich entsprechend der Umgebungstemperatur der Elektromotorvorrichtung 1. Durch Messen der Temperatur des Kühlers 5 ist es deshalb möglich, die Umgebungstemperatur indirekt zu messen.
In einer weiteren Ausführungsform kann der Temperaturmessteil 31 einen am Gehäuse der Steuerung 3 angebrachten Temperatursensor zum direkten Messen der Umgebungstemperatur verwenden. Mit der von dem Temperaturmessteil 31 gemessenen „Umgebungstemperatur” ist in dieser Beschreibung die Temperatur gemeint, die durch direkte oder indirekte Messung der Außenlufttemperatur erhalten wird. Alternativ kann die „Umgebungstemperatur” durch Berechnen aus einer einzelnen physikalischen Größe ermittelt werden, die zu der Umgebungstemperatur in korrelativer Beziehung steht. Die von dem Temperaturmessteil 31 gemessene Umgebungstemperatur wird in einen Zustandsbeobachtungsteil 41 der Vorrichtung zum maschinellen Lernen 4 eingegeben.
Der Befehlserstellungsteil 32 erzeugt einen Betriebsbefehl für den Elektromotor 2 entsprechend einem Betriebsprogramm und Parametern, die in einem nicht-flüchtigen Speicher gespeichert sind. Die Steuerung 3 führt dem Elektromotor 2 entsprechend dem Betriebsbefehl Strom zu.
Der Zeitmessteil 33 misst die Zykluszeit des Elektromotors 2, der entsprechend einem Betriebsbefehl arbeitet, der von dem Befehlserstellungsteil 32 ausgegeben wird. Die Zykluszeit kann auch für jeden Block des Betriebsprogramms berechnet werden. Die von dem Zeitmessteil 33 gemessene Zykluszeit wird in den Zustandsbeobachtungsteil 41 der Vorrichtung zum maschinellen Lernen 4 eingegeben.
Der Beurteilungsteil 34 stellt fest, ob es in der Elektromotorvorrichtung 1 zur Überhitzung kommt (nachstehend manchmal als „Überhitzungsbeurteilung” bezeichnet). Der Beurteilungsteil 34 nutzt zum Vornehmen der Überhitzungsbeurteilung eine Erfassungsschaltung oder Erfassungsvorrichtung zum Erfassen der Temperatur eines Leistungselements oder einer anderen wärmeerzeugenden Quelle, die in einem Verstärker der Steuerung 3 verwendet wird.
Alternativ kann der Beurteilungsteil 34 zum Vornehmen der Überhitzungsbeurteilung ein Erfassungsmittel zum Erfassen der Temperatur jeder beliebigen Stelle verwenden, an der lokal ein Temperaturhöchstwert gesetzt ist. Das Ergebnis der Überhitzungsbeurteilung (nachstehend manchmal als die „Beurteilungsdaten” bezeichnet) wird in den Beurteilungsdatenerfassungsteil 42 der Vorrichtung zum maschinellen Lernen 4 eingegeben.
Die in 1 dargestellte Vorrichtung zum maschinellen Lernen 4 beinhaltet einen Zustandsbeobachtungsteil 41, einen Beurteilungsdatenerfassungsteil 42, einen Lernteil 43 sowie einen Entscheidungsteil 46.
Der Zustandsbeobachtungsteil 41 beobachtet die vom Temperaturmessteil 31 übermittelte Umgebungstemperatur sowie die von dem Zeitmessteil 33 übermittelte Zykluszeit als Zustandsvariablen. Die Zustandsvariablen werden von dem Zustandsbeobachtungsteil 41 in den Lernteil 43 eingegeben.
Der Beurteilungsdatenerfassungsteil 42 erfasst Beurteilungsdaten vom Beurteilungsteil 34 der Steuerung 3. Das Beurteilungsergebnis wird zur Berechnung einer Belohnung im später erläuterten Belohnungsberechnungsteil 44 verwendet.
Der Lernteil 43 erlernt einen Betriebsbefehl an den Elektromotor 2 entsprechend einem Trainingsdatensatz, der auf der Grundlage der Kombination aus den vom Zustandsbeobachtungsteil 41 gesendeten Zustandsvariablen und von dem Beurteilungsdatenerfassungsteil 42 gesendeten Beurteilungsdaten erstellt wird.
Der Entscheidungsteil 46 verwendet das Lernergebnis des Lernteils 43 als Grundlage für die Ermittlung eines Betriebsbefehls an den Elektromotor 2, der den aktuellen Zustandsvariablen entspricht, insbesondere eines Hochlaufbefehls. Der Befehlserstellungsteil 32 sendet an den Elektromotor 2 einen von dem Entscheidungsteil 46 ermittelten Hochlaufbefehl. Es sei darauf hingewiesen, dass erläutert wurde, dass der Entscheidungsteil 46 in der Vorrichtung zum maschinellen Lernen 4 enthalten ist, jedoch kann der Entscheidungsteil 46 auch so ausgelegt sein, dass er in der Steuerung 3 enthalten ist. Die Vorrichtung zum maschinellen Lernen 4 kann ferner so ausgelegt sein, dass sie in der Steuerung 3 enthalten ist. Die Steuerung 3 kann einen Temperaturmessteil 31, einen Befehlserstellungsteil 32, einen Zeitmessteil 33, einen Beurteilungsteil 34, einen Entscheidungsteil 46 und eine Vorrichtung zum maschinellen Lernen 4 beinhalten, die den Entscheidungsteil 46 nicht enthält.
Die Vorrichtung zum maschinellen Lernen 4 kann ein Digitalrechner sein, der von der Steuerung 3 getrennt ist, oder kann in der Steuerung 3 aufgenommen sein. Im letzteren Fall nutzt die Vorrichtung zum maschinellen Lernen 4 eine Zentraleinheit und Speicher der Steuerung 3 zum maschinellen Lernen.
In einer Ausführungsform kann die Vorrichtung zum maschinellen Lernen 4 an einer Stelle getrennt vom Elektromotor 2 und der Steuerung 3 vorgesehen sein. In diesem Fall ist die Vorrichtung zum maschinellen Lernen 4 über ein Netzwerk mit der Steuerung 3 verbunden. Alternativ kann sich die Vorrichtung zum maschinellen Lernen 4 auf einem Crowd-Server befinden.
Die Vorrichtung zum maschinellen Lernen 4 gemäß der vorliegenden Ausführungsform arbeitet mit Verstärkungslernen gemäß dem bekannten Verfahren des Q-Lernens. Die Vorrichtung zum maschinellen Lernen 4 erlernt auf der Grundlage der Aktionswertfunktion Q(s, a) zum Ermitteln des Aktionswerts Q (erwarteter Wert) bei Auswahl der Aktion „a” (ein an den Elektromotor 2 ausgegebener Betriebsbefehl) zum Zeitpunkt einer bestimmten Zustandsvariablen „s” (aktuelle Umgebungstemperatur und aktuelle Zykluszeit) die beste Aktion.
In der Anfangsphase des Lernens ist der Aktionswert Q, der einer Kombination aus einer bestimmten Zustandsvariablen „s” und einer Aktion „a” zugewiesen ist, unbekannt. Die Vorrichtung zum maschinellen Lernen 4 wählt willkürlich eine Aktion „a” aus, führt sie für verschiedene Zustandsvariablen „s” aus, addiert kumulativ eine als Ergebnis der Aktion „a” angegebene Belohnung und aktualisiert so die Aktionswertfunktion Q(s, a). Die allgemeine Formel zum Aktualisieren der Aktionswertfunktion Q(s, a) wird mit der Formel 1 angegeben.
s_t ist hier eine Zustandsvariable zum Zeitpunkt „t”. a_t ist eine zum Zeitpunkt „t” ausgeführte Aktion. S_t+1 ist eine Zustandsvariable zum Zeitpunkt t + 1, anders ausgedrückt, eine Zustandsvariable nach Veränderung infolge der Ausführung der Aktion a_t. r_t+i ist eine Belohnung, die entsprechend der Umgebung gegeben wird, die sich infolge der Aktion a_t verändert hat. Der Begriff „max” bezeichnet den Höchstwert des Aktionswerts Q bei der Zustandsvariablen s_t+i (also der Aktionswert für die beste Aktion „a”). γ ist ein Abzugswert und so festgelegt, dass er 0 < γ ≤ 1 erfüllt (beispielsweise γ = 0,9 bis 0,99). α ist ein Lernkoeffizient und so festgelegt, dass er 0 < α ≤ 1 erfüllt (beispielsweise α = 0,05 bis 0,2).
Die mit Formel 1 dargestellte Aktualisierungsformel erhöht den Aktionswert Q, wenn der Aktionswert der besten Aktion „a” zum Zeitpunkt t + 1 höher ist als der Aktionswert Q der Aktion „a”, die zum Zeitpunkt „t” ausgeführt wurde, während sie den Aktionswert Q im entgegengesetzten Fall verkleinert. Anders ausgedrückt wird die Aktionswertfunktion Q(s, a) aktualisiert, damit sich der Aktionswert Q der Aktion „a” zum Zeitpunkt „t” dem Wert der besten Aktion zum Zeitpunkt t + 1 annähert. Der Wert der besten Aktion in einer bestimmten Umgebung wird daher schrittweise auf den Aktionswert in der vorherigen Umgebung übertragen.
Bezogen wiederum auf 1 beinhaltet der Lernteil 43 einen Belohnungsberechnungsteil 44 und einen Funktionsaktualisierungsteil 45.
Der Belohnungsberechnungsteil 44 berechnet die Belohnung „r” anhand der Zykluszeit und Beurteilungsdaten des Elektromotors 2. Wenn beispielsweise festgestellt wird, dass keine Überhitzung stattgefunden hat und die Zykluszeit kürzer als ein vorgegebener Schwellenwert ist, wird die Belohnung „r” erhöht (es wird beispielsweise eine Belohnung von „1” gegeben). Andererseits wird, wenn festgestellt wird, dass es zu einer Überhitzung kommt, oder wenn die Zykluszeit größer gleich dem Schwellenwert ist, die Belohnung „r” herabgesetzt (es wird beispielsweise eine Belohnung von „–1” gegeben). Es sei darauf hingewiesen, dass zu jedem vorgegebenen Zeitpunkt ein unterschiedlich großer Schwellenwert verwendet werden kann.
Der Funktionsaktualisierungsteil 45 aktualisiert die Funktion zum Ermitteln eines Betriebsbefehls an den Elektromotor 2 entsprechend der von dem Belohnungsberechnungsteil 44 berechneten Belohnung. Die Funktion kann beispielsweise durch Aktualisieren der Aktionswerttabelle entsprechend dem Trainingsdatensatz aktualisiert werden. Die Aktionswerttabelle ist ein Datensatz aus jeder beliebigen Aktion verbunden mit dem Wert für diese Aktion und gespeichert in Form einer Tabelle.
Nachfolgend wird unter Bezug auf das in 2 dargestellte Ablaufdiagramm das Verstärkungslernverfahren zum Aktualisieren des Aktionswerts Q(s, a) erläutert. In Schritt S201 misst der Temperaturmessteil 31 die Temperatur des Kühlers 5. In Schritt S202 misst der Zeitmessteil 33 die Zykluszeit des Elektromotors 2.
In Schritt S203 wird an der Elektromotorvorrichtung 1 festgestellt, ob eine Überhitzung vorliegt. Die Beurteilung in Schritt S203 erfolgt entsprechend den von dem Beurteilungsteil 34 ausgegebenen Beurteilungsdaten. Wenn das Beurteilungsergebnis von Schritt S203 negativ ist, wenn also festgestellt wird, dass keine Überhitzung stattfindet, wird die Routine mit Schritt S204 fortgesetzt.
In Schritt S204 wird festgestellt, ob die in Schritt S202 erfasste Zykluszeit kürzer als ein vorgegebener Schwellenwert ist. Wenn das Beurteilungsergebnis in Schritt S204 positiv ist (wenn die Zykluszeit kürzer ist als der Schwellenwert), wird die Routine mit Schritt S205 fortgesetzt. In Schritt S205 erhöht der Belohnungsberechnungsteil 44 die Belohnung ”r”, damit der Aktionswert Q für den an den Elektromotor 2 gesendeten Betriebsbefehl erhöht wird.
Wenn das Beurteilungsergebnis in Schritt S203 positiv ist oder wenn das Beurteilungsergebnis in Schritt S204 negativ ist, wird die Routine mit Schritt S206 fortgesetzt. In Schritt S206 setzt der Belohnungsberechnungsteil 44 die Belohnung „r” herab, damit der Aktionswert Q für einen an den Elektromotor 2 gesendeten Betriebsbefehl sinkt.
In Schritt S207 aktualisiert der Funktionsaktualisierungsteil 45 auf der Grundlage der in Schritt S205 oder Schritt S206 berechneten Belohnung „r” die Aktionswertfunktion Q(a, s). Danach kehrt die Routine wieder zu Schritt S201 zurück, in dem die Verarbeitung von Schritt S201 bis S207 erneut für den neu ausgewählten Betriebsbefehl vorgenommen wird. Die Verarbeitung von Schritt S201 bis S207 kann jedes Mal vorgenommen werden, wenn ein Betriebsbefehl geändert wird, oder kann immer wieder in vorgegebenen Zeiträumen vorgenommen werden. In der Anfangsphase des maschinellen Lernens kann die Verarbeitung von Schritt S201 bis S207 für einen willkürlich erstellten Hochlaufbefehl vorgenommen werden.
In einer weiteren Ausführungsform kann die Vorrichtung zum maschinellen Lernen 4 beim maschinellen Lernen auch entsprechend einem Modell neuronaler Netze arbeiten. 3 zeigt ein Beispiel für en Modell eines neuronales Netzes. Das neuronale Netz besteht aus einer Eingangsschicht mit der Anzahl „l” an Neuronen x₁, x₂, X₃, ..., x₁ _, einer Zwischenschicht (verborgene Schicht) mit der Anzahl „m” an Neuronen y₁, y₂, y₃, ..., y_m, und einer Ausgangsschicht mit der Anzahl „n” an Neuronen z₁, z₂, z₃, ..., z_n. Es sei darauf hingewiesen, dass in 3 die Zwischenschicht mit nur einer Schicht dargestellt ist, jedoch auch zwei oder mehr Zwischenschichten vorgesehen sein können.
Das neuronale Netz erlernt die Beziehung zwischen der Umgebungstemperatur einer Elektromotorvorrichtung 1, der Zykluszeit und auftretenden Überhitzungen. Das neuronale Netz erlernt die Beziehung zwischen den Zustandsvariablen und Umweltveränderungen anhand eines Trainingsdatensatzes, der auf der Grundlage von Zustandsvariablen und Beurteilungsdaten erstellt wird, mit dem sogenannten „überwachten Lernen”. Gemäß der vorliegenden Ausführungsform ist der Entscheidungsteil 46, der in der Elektromotorsteuerung 3 oder der Vorrichtung zum maschinellen Lernen 4 enthalten ist, so ausgelegt, dass die Ausgangsschicht die optimalen Betriebsbefehle als Reaktion auf Zustandsvariablen ermittelt, die in die Eingangsschicht des neuronalen Netzes eingegeben werden.
Gemäß der Vorrichtung zum maschinellen Lernen und dem maschinellen Lernverfahren entsprechend der vorstehenden Ausführungsform ist es möglich, den optimalen Betriebsbefehl für die Umgebungstemperatur der Elektromotorvorrichtung 1 zu erlernen. 4 ist eine Darstellung, in der die Beziehung zwischen dem Strom, mit dem der Elektromotor 2 versorgt wird, und der Zykluszeit dargestellt ist. Die durchgezogene Linie in der Figur zeigt den Fall, in dem es zumindest an einer Stelle zur Überhitzung kommt, wohingegen die unterbrochene Linie den Fall zeigt, in dem ein unter Verwendung des vorgenannten maschinellen Lernens ermittelter Betriebsbefehl an den Elektromotor 2 übermittelt wird.
In der Fläche A1 oberhalb der durchgezogenen Kurve kommt es zur Überhitzung, der Betrieb des Elektromotors 2 wird als regelwidrig angesehen und es wird ein Not-Aus oder ein Alarm ausgelöst. Der zuvor erwähnte Entscheidungsteil 46, der in der Elektromotorsteuerung 3 oder der Vorrichtung zum maschinellen Lernen 4 enthalten ist, entscheidet über den Betriebsbefehl, damit der Betrieb im Bereich der Fläche A2 unter der durchgezogenen Kurve liegt, während er sich der Grenze zur Fläche A1 annähert. Anders ausgedrückt wird gemäß der vorliegenden Ausführungsform der optimale Betriebsbefehl, mit dem die Zykluszeit innerhalb eines Bereichs, in dem keine Überhitzung stattfindet, möglichst stark verkürzt werden kann, an den Elektromotor 2 übermittelt.
Wie zuvor erläutert wurde, wird gemäß der vorliegenden Ausführungsform unter Verwendung des Ergebnisses des maschinellen Lernens ein Betriebsbefehl an den Elektromotor automatisch optimiert, sodass das Wissen oder die Erfahrung der Bedienperson nicht mehr als Grundlage dienen muss. Des Weiteren wird der optimale Betriebsbefehl für die Umgebungstemperatur erzeugt, damit der Betrieb des Elektromotors jederzeit optimiert werden kann. Der Vorgang des Ermittelns des optimalen Betriebsbefehls ist ferner durch maschinelles Lernen automatisiert, damit kein Bedarf mehr an Versuch und Irrtum besteht und die Belastung für die Bedienperson geringer werden kann.
In einer Ausführungsform kann der Lernteil 43 auch so ausgelegt sein, dass ein Betriebsbefehl gemäß einem Trainingsdatensatz erlernt wird, der für eine Vielzahl von Elektromotorvorrichtungen 1 erstellt wird. Der Lernteil 43 kann einen Trainingsdatensatz von einer Vielzahl von Elektromotorvorrichtungen 1 erfassen, die am selben Arbeitsplatz verwendet werden, oder kann einen Trainingsdatensatz verwenden, der von Elektromotorvorrichtungen 1 erhoben wird, die unabhängig an verschiedenen Arbeitsplätzen arbeiten, damit er Fehlfunktionen kennenlernt.
Es ist zwar eine Ausführungsform erläutert worden, bei der Verstärkungslernen und ein neuronales Netz zum maschinellen Lernen verwendet werden, jedoch kann auch ein weiteres bekanntes Verfahren zum maschinellen Lernen verwendet werden, beispielsweise genetische Programmierung, logisch-funktionale Programmierung, Support Vector Machine usw.
Zuvor wurden verschiedene Ausführungsformen der vorliegenden Erfindung erläutert, jedoch würde ein Fachmann erkennen, dass ebenso weitere Ausführungsformen verwendet werden können, damit die mit der vorliegenden Erfindung beabsichtigten Handlungen ausgeführt und die entsprechenden Wirkungen erzielt werden. Die Komponenten der zuvor erläuterten Ausführungsformen können insbesondere gelöscht oder ersetzt werden, ohne dass vom Schutzumfang der vorliegenden Erfindung abgewichen wird, und es können ferner bekannte Mittel hinzugefügt werden. Des Weiteren ist es für einen Fachmann selbstverständlich, dass die Merkmale der Vielzahl von ausdrücklich oder implizit in dieser Beschreibung offenbarten Ausführungsformen auch frei kombiniert werden können, damit die vorliegende Erfindung funktioniert.
Die Vorrichtung zum maschinellen Lernen und das maschinelle Lernverfahren gemäß der vorliegenden Erfindung erlernen einen Betriebsbefehl an den Elektromotor entsprechend einem Trainingsdatensatz, der auf der Grundlage der Kombination aus den Zustandsvariablen und Beurteilungsdaten erstellt wird. Die Umgebungstemperatur und Zykluszeit der Elektromotorvorrichtung und das Auftreten von Überhitzungen werden beim Erlernen eines Betriebsbefehls in Verbindung gebracht, damit der der Umgebungstemperatur entsprechende optimale Betriebsbefehl erlernt wird.
Die Steuerung und die Elektromotorvorrichtung gemäß der vorliegenden Erfindung sorgen dafür, dass der Elektromotor entsprechend einem Betriebsbefehl arbeitet, der entsprechend der Umgebungstemperatur optimiert ist, damit die Zykluszeit verkürzt werden kann, ohne dass es zur Überhitzung kommt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2014-239631 A [0004]

Claims

Vorrichtung zum maschinellen Lernen (4), die einen Betriebsbefehl für einen Elektromotor (2) erlernt, wobei die Vorrichtung zum maschinellen Lernen Folgendes umfasst: einen Zustandsbeobachtungsteil, der eine Umgebungstemperatur einer Elektromotorvorrichtung, die den Elektromotor und eine den Elektromotor steuernde Steuerung (3) beinhaltet, sowie eine Zykluszeit des Elektromotors als Zustandsvariablen beobachtet, einen Beurteilungsdatenerfassungsteil (42), der Beurteilungsdaten erfasst, mit denen festgestellt wird, ob es in der Elektromotorvorrichtung zu einer Überhitzung gekommen ist, und einen Lernteil (43), der einen Betriebsbefehl an den Elektromotor entsprechend einem Trainingsdatensatz erlernt, der auf der Grundlage einer Kombination aus den Zustandsvariablen und den Beurteilungsdaten erstellt wird.
Vorrichtung zum maschinellen Lernen nach Anspruch 1, wobei der Lernteil Folgendes umfasst: einen Belohnungsberechnungsteil (44), der anhand der Zykluszeit und der Beurteilungsdaten eine Belohnung berechnet, und einen Funktionsaktualisierungsteil (45), der eine Funktion zum Ermitteln des Betriebsbefehls auf Grundlage der Belohnung aktualisiert.
Vorrichtung zum maschinellen Lernen nach Anspruch 2, wobei der Belohnungsberechnungsteil so ausgelegt ist, dass die Belohnung erhöht wird (S205), wenn festgestellt wird, dass in der Elektromotorvorrichtung keine Überhitzung stattfindet (S203, NEIN) und die Zykluszeit kürzer als ein vorgegebener Schwellenwert ist (S204, JA), und die Belohnung herabgesetzt wird (S206), wenn festgestellt wird, dass es in der Elektromotorvorrichtung zur Überhitzung gekommen ist (S203, JA) oder die Zykluszeit größer gleich einem Schwellenwert ist (S204, NEIN).
Vorrichtung zum maschinellen Lernen nach Anspruch 2 oder 3, wobei der Funktionsaktualisierungsteil so ausgelegt ist, dass er eine Aktionswerttabelle entsprechend der Belohnung aktualisiert (S207).
Vorrichtung zum maschinellen Lernen nach einem der Ansprüche 1 bis 4, wobei der Lernteil so ausgelegt ist, dass er einen Betriebsbefehl entsprechend einem Trainingsdatensatz erlernt, der für eine Vielzahl von Elektromotorvorrichtungen erstellt wird.
Steuerung, umfassend: eine Vorrichtung zum maschinellen Lernen (44) nach einem der Ansprüche 1 bis 5, einen Temperaturmessteil (31), der die Umgebungstemperatur misst, einen Zeitmessteil (33), der die Zykluszeit misst, und einen Entscheidungsteil (46), der den Betriebsbefehl entsprechend einer aktuellen Umgebungstemperatur und aktuellen Zykluszeit anhand des Lernergebnisses des Lernteils ermittelt.
Elektromotorvorrichtung, umfassend: eine Steuerung nach Anspruch 6 und einen von der Steuerung gesteuerten Elektromotor.
Verfahren zum maschinellen Lernen, das einen Betriebsbefehl für einen Elektromotor erlernt, wobei das maschinelle Lernverfahren Folgendes umfasst: Beobachten einer Umgebungstemperatur einer Elektromotorvorrichtung, die einen Elektromotor und eine den Elektromotor steuernde Steuerung beinhaltet, sowie einer Zykluszeit des Elektromotors als Zustandsvariablen, Erfassen von Beurteilungsdaten, mit denen festgestellt wird, ob es in der Elektromotorvorrichtung zu einer Überhitzung gekommen ist, und Erlernen eines Betriebsbefehls an den Elektromotor entsprechend einem Trainingsdatensatz, der auf der Grundlage einer Kombination aus den Zustandsvariablen und den Beurteilungsdaten erstellt wird.