DE102018214276A1 - Vorrichtung für maschinelles Lernen, Steuersystem, Steuervorrichtung und Verfahren für maschinelles Lernen - Google Patents

Vorrichtung für maschinelles Lernen, Steuersystem, Steuervorrichtung und Verfahren für maschinelles Lernen Download PDF

Info

Publication number
DE102018214276A1
DE102018214276A1 DE102018214276.9A DE102018214276A DE102018214276A1 DE 102018214276 A1 DE102018214276 A1 DE 102018214276A1 DE 102018214276 A DE102018214276 A DE 102018214276A DE 102018214276 A1 DE102018214276 A1 DE 102018214276A1
Authority
DE
Germany
Prior art keywords
spindle motor
deceleration
spindle
travel distance
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102018214276.9A
Other languages
English (en)
Other versions
DE102018214276B4 (de
Inventor
Daisuke Tajima
Yuuki Morita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102018214276A1 publication Critical patent/DE102018214276A1/de
Application granted granted Critical
Publication of DE102018214276B4 publication Critical patent/DE102018214276B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/041—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a variable is automatically adjusted to optimise the performance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23G—THREAD CUTTING; WORKING OF SCREWS, BOLT HEADS, OR NUTS, IN CONJUNCTION THEREWITH
    • B23G1/00—Thread cutting; Automatic machines specially designed therefor
    • B23G1/16—Thread cutting; Automatic machines specially designed therefor in holes of workpieces by taps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23G—THREAD CUTTING; WORKING OF SCREWS, BOLT HEADS, OR NUTS, IN CONJUNCTION THEREWITH
    • B23G1/00—Thread cutting; Automatic machines specially designed therefor
    • B23G1/44—Equipment or accessories specially designed for machines or devices for thread cutting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/24—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for determining value of torque or twisting moment for tightening a nut or other member which is similarly stressed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/182—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by the machine tool function, e.g. thread cutting, cam making, tool direction control
    • G05B19/186—Generation of screw- or gearlike surfaces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/416—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control of velocity, acceleration or deceleration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/416—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control of velocity, acceleration or deceleration
    • G05B19/4163—Adaptive control of feed or cutting velocity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45216—Tapping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49065—Execute learning mode first for determining adaptive control parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Numerical Control (AREA)
  • Automatic Control Of Machine Tools (AREA)

Abstract

Während eine Motorfähigkeit zu Verzögerung an einen Sollwert angenähert wird, wird ein Gewindebohren für jede Maschine oder jede Betriebsbedingung stabilisiert. Eine Vorrichtung für maschinelles Lernen, die maschinelles Lernen im Hinblick auf eine Steuervorrichtung einer Werkzeugmaschine durchführt, wobei die Steuervorrichtung einen Synchronbetrieb eines Spindelmotors und eines Vorschubachsenmotors steuert. Die Vorrichtung für maschinelles Lernen beinhaltet: eine Zustandsinformations-Erfassungseinheit, um zu bewirken, dass die Steuervorrichtung ein Gewindebohrprogramm ausführt, um von der Steuervorrichtung Zustandsinformationen zu erfassen, die einen Drehmoment-Befehlswert im Hinblick auf den Spindelmotor, einen Antriebszustand, der eine Verzögerung beinhaltet, ein Verhältnis einer Verfahrstrecke bei Beschleunigung und einer Verfahrstrecke bei Verzögerung beinhalten; eine Aktioninformations-Ausgabeeinheit zum Ausgeben von Aktionsinformationen, die Anpassungsinformationen des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung beinhalten, an die Steuervorrichtung; eine Belohnungsausgabeeinheit zum Ausgeben eines Belohnungswerts bei einem bestärkenden Lernen auf Grundlage eines Drehmoment-Befehlswerts bei Verzögerung und eines Drehmomentbefehls-Sollwerts bei Verzögerung; und eine Wertfunktions-Aktualisierungseinheit zum Aktualisieren einer Aktionswertfunktion auf Grundlage des Belohnungswerts, der von der Belohnungsausgabeeinheit ausgegeben wird, der Zustandsinformationen und der Aktionsinformationen.

Description

  • Hintergrund der Erfindung
  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf: eine Vorrichtung für maschinelles Lernen, die ein maschinelles Lernen im Hinblick auf eine Steuervorrichtung einer Werkzeugmaschine durchführt, wobei die Steuervorrichtung einen Synchronbetrieb eines Spindelmotors und eines Vorschubachsenmotors steuert; ein Steuersystem; eine Steuervorrichtung; und ein Verfahren für maschinelles Lernen.
  • Verwandte Technik
  • Es ist eine herkömmliche Steuervorrichtung einer Werkzeugmaschine bekannt, die Gewindebohren (Schraublochbohren) im Hinblick auf ein Werkstück durch einen Synchronbetrieb eines Spindelmotors und eines Vorschubachsenmotors durchführt. Beispielsweise offenbart das Patentdokument 1 eine Steuervorrichtung einer Werkzeugmaschine, die in der Lage ist, eine Zykluszeit durch Durchführen einer Steuerung zu verkürzen, um zu bewirken, dass ein Spindelmotor eine maximale Beschleunigungsfähigkeit ausübt. Im Besonderen beinhaltet diese Steuervorrichtung eine Spindelsteuereinheit, die einen Spindelmotor antreibt. Die Spindelsteuereinheit beinhaltet: eine Anfangsbetriebs-Steuereinheit, die bewirkt, dass sich die Spindel mit der maximalen Fähigkeit von einer Bearbeitungsstartposition aus mit der Höchstdrehzahl V0 als Sollwert beschleunigend dreht; eine Maximalbeschleunigungs-Erkennungseinheit, die die maximale Beschleunigung A0 der Spindel während der Beschleunigungsdrehung erkennt; eine Restdrehbetrags-Erkennungseinheit, die einen Restdrehbetrag Sr der Spindel von einer Ist-Position bis zu einer Zielschraubtiefe erkennt; eine Ist-Drehzahl-Erkennungseinheit, die eine Ist-Drehzahl Vc der Spindel erkennt; eine Positionierungsvorgangs-Steuereinheit, die bewirkt, dass sich die Spindel nach der Beschleunigungsdrehung so verzögernd dreht, dass die Spindel die Zielschraubtiefe erreicht; und eine Übermaßerkennungseinheit, die einen Übermaßbetrag Ov der Spindel im Hinblick auf die Zielschraubtiefe während der Verzögerungsdrehung erkennt.
  • Patentdokument 1: ungeprüfte japanische Patentanmeldung, Veröffentlichungs-Nr. 2017-30061
  • Übersicht über die Erfindung
  • Zum Gewindebohren im Hinblick auf ein Werkstück durch einen Synchronbetrieb eines Spindelmotors und eines Vorschubachsenmotors befindet sich ein Antriebszustand zum Drehen eines Werkzeugs in einer Reihenfolge aus Beschleunigung, konstanter Drehzahl, Verzögerung und Anhalten. Wenn ein Spindeldrehmoment-Befehlswert bei Verzögerung so erhöht wird, dass ein Verzögerungszeitraum verkürzt wird und ein Zeitraum einer konstanten Drehzahl verlängert wird, kann eine Zykluszeit verkürzt werden. Wenn der Spindeldrehmoment-Befehlswert bei Verzögerung jedoch übermäßig erhöht wird, übersteigt der Spindeldrehmoment-Befehlswert bisweilen den Spindeldrehmomentbefehls-Sollwert bei Verzögerung.
  • Ein Ziel der vorliegenden Erfindung besteht darin bereitzustellen: eine Vorrichtung für maschinelles Lernen; ein Steuersystem; eine Steuervorrichtung; und ein Verfahren für maschinelles Lernen, die zum Stabilisieren für jede Maschine oder jede Betriebsbedingung im Hinblick auf ein Bearbeitungsprogramm bei gleichzeitigem Annähern einer Motorfähigkeit zu Verzögerung an einen Sollwert in der Lage sind.
    • (1) Eine Vorrichtung für maschinelles Lernen (zum Beispiel eine im Folgenden beschriebene Vorrichtung 300 für maschinelles Lernen) gemäß der vorliegenden Erfindung führt maschinelles Lernen im Hinblick auf eine Steuervorrichtung (zum Beispiel eine im Folgenden beschriebene Steuervorrichtung 200) einer Werkzeugmaschine (zum Beispiel einer im Folgenden beschriebenen Werkzeugmaschine 100) durch, wobei die Steuervorrichtung einen Synchronbetrieb eines Spindelmotors (zum Beispiel eines im Folgenden beschriebenen Spindelmotors 101) und eines Vorschubachsenmotors (zum Beispiel eines im Folgenden beschriebenen Vorschubachsenmotors 105) steuert, wobei die Vorrichtung für maschinelles Lernen beinhaltet: eine Zustandsinformations-Erfassungseinheit (zum Beispiel eine im Folgenden beschriebene Zustandsinformations-Erfassungseinheit 301), um zu bewirken, dass die Steuervorrichtung ein Gewindebohrprogramm ausführt, um von der Steuervorrichtung Zustandsinformationen zu erfassen, die zumindest einen Drehmoment-Befehlswert im Hinblick auf den Spindelmotor, einen Antriebszustand, der eine Verzögerung des Spindelmotors beinhaltet, und ein Verhältnis einer Verfahrstrecke bei Beschleunigung und einer Verfahrstrecke bei Verzögerung des Spindelmotors beinhalten; eine Aktioninformations-Ausgabeeinheit (zum Beispiel eine im Folgenden beschriebene Aktioninformations-Ausgabeeinheit 303) zum Ausgeben von Aktionsinformationen, die Anpassungsinformationen des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors beinhalten, die in den Zustandsinformationen beinhaltet sind, an die Steuervorrichtung; eine Belohnungsausgabeeinheit (zum Beispiel eine im Folgenden beschriebene Belohnungsausgabeeinheit 3021) zum Ausgeben eines Belohnungswerts bei einem bestärkenden Lernen auf Grundlage eines Drehmoment-Befehlswerts bei Verzögerung, der in den Zustandsinformationen beinhaltet ist, und eines Drehmomentbefehls-Sollwerts bei Verzögerung; und eine Wertfunktions-Aktualisierungseinheit (zum Beispiel eine im Folgenden beschriebene Wertfunktions-Aktualisierungseinheit 3022) zum Aktualisieren einer Aktionswertfunktion auf Grundlage des Belohnungswerts, der von der Belohnungsausgabeeinheit ausgegeben wird, der Zustandsinformationen und der Aktionsinformationen.
    • (2) Bei der oben beschriebenen Vorrichtung für maschinelles Lernen gemäß (1) kann die Belohnungsausgabeeinheit eine Belohnung durch die Formel 1 mithilfe eines Drehmoment-Befehlswerts bei Verzögerung Tm, eines Drehmomentbefehls-Sollwerts bei Verzögerung Tt und eines Koeffizienten a gewinnen. α × ( 1 − | T t − T m | T t )
      Figure DE102018214276A1_0001
    • (3) Bei der oben beschriebenen Vorrichtung für maschinelles Lernen gemäß (1) oder (2) kann die Vorrichtung für maschinelles Lernen eine Optimierungsaktionsinformations-Ausgabeeinheit (zum Beispiel eine im Folgenden beschriebene Optimierungsaktionsinformations-Ausgabeeinheit 305) zum Erzeugen und Ausgeben eines Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors auf Grundlage einer Wertfunktion beinhalten, die durch die Wertfunktions-Aktualisierungseinheit aktualisiert wird.
    • (4) Ein Steuersystem gemäß der vorliegenden Erfindung beinhaltet die oben beschriebene Vorrichtung für maschinelles Lernen gemäß einem von (1) bis (3) und eine Steuervorrichtung einer Werkzeugmaschine, die einen Synchronbetrieb eines Spindelmotors und eines Vorschubachsenmotors steuert.
    • (5) Eine Steuervorrichtung gemäß der vorliegenden Erfindung beinhaltet die oben beschriebene Vorrichtung für maschinelles Lernen gemäß einem von (1) bis (3) und steuert einen Synchronbetrieb eines Spindelmotors und eines Vorschubachsenmotors.
    • (6) Bei dem oben beschriebenen Steuersystem gemäß (4) kann die Steuervorrichtung (zum Beispiel eine im Folgenden beschriebene Steuervorrichtung 200) beinhalten eine numerische Steuereinheit (zum Beispiel eine im Folgenden beschriebene numerische Steuereinheit 210) zum Erzeugen eines Spindelbefehls und eines Vorschubachsenbefehls auf Grundlage eines Gewindebohrprogramms; eine Spindelsteuereinheit (zum Beispiel eine im Folgenden beschriebene Spindelsteuereinheit 220) zum Steuern eines Drehvorgangs des Spindelmotors gemäß dem Spindelbefehl, eine Dreherkennungseinheit (zum Beispiel eine im Folgenden beschriebene Dreherkennungseinheit 230) zum Erkennen einer Drehposition des Spindelmotors, und eine Vorschubachsen-Steuereinheit (zum Beispiel eine im Folgenden beschriebene Vorschubachsen-Steuereinheit 240) zum Steuern eines Vorschubvorgangs der Vorschubachse auf Grundlage der Drehposition gemäß dem Vorschubachsenbefehl, die numerische Steuereinheit kann eine Spindelbefehls-Ausgabeeinheit (zum Beispiel eine im Folgenden beschriebene Spindelbefehls-Ausgabeeinheit 211) zum Erfassen eines Drehgesamtbetrags und der Höchstdrehzahl des Spindelmotors von einer Startposition bis zu einer Zielposition von dem Gewindebohrprogramm beinhalten, um den Drehgesamtbetrag und die Höchstdrehzahl als Spindelbefehl an die Spindelsteuereinheit zu senden, die Spindelsteuereinheit kann eine Anfangsbetriebs-Steuereinheit (zum Beispiel eine im Folgenden beschriebene Anfangsbetriebs-Steuereinheit 221), um durch eine Drehzahlregelung mit der Höchstdrehzahl als Sollwert zu bewirken, dass sich der Spindelmotor von der Startposition aus beschleunigend dreht, eine Drehbetrags-Erkennungseinheit (zum Beispiel eine im Folgenden beschriebene Drehbetrags-Erkennungseinheit 222) zum Erkennen eines Drehbetrags des Spindelmotors auf Grundlage der Drehposition während der Beschleunigungsdrehung, eine Restdrehbetrags-Erkennungseinheit (zum Beispiel eine im Folgenden beschriebene Restdrehbetrags-Erkennungseinheit 223) zum Erkennen eines Restdrehbetrags des Spindelmotors von einer Ist-Position bis zu der Zielposition auf Grundlage des Drehgesamtbetrags und der Drehposition, eine Ist-Drehzahl-Erkennungseinheit (zum Beispiel eine im Folgenden beschriebene Ist-Drehzahl-Erkennungseinheit 224) zum Erkennen einer Ist-Drehzahl des Spindelmotors auf Grundlage der Drehposition, und eine Positionierungsvorgangs-Steuereinheit (zum Beispiel eine im Folgenden beschriebene Positionierungsvorgangs-Steuereinheit 225) beinhalten, um durch eine Positionssteuerung auf Grundlage des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors, des Restdrehbetrags und der Ist-Drehzahl nach der Beschleunigungsdrehung zu bewirken, dass sich der Spindelmotor verzögernd dreht und die Zielposition erreicht.
    • (7) Bei der oben beschriebenen Steuervorrichtung gemäß (5) kann die Steuervorrichtung eine numerische Steuereinheit (zum Beispiel eine im Folgenden beschriebene numerische Steuereinheit 210) zum Erzeugen eines Spindelbefehls und eines Vorschubachsenbefehls auf Grundlage eines Gewindebohrprogramms, eine Spindelsteuereinheit (zum Beispiel eine im Folgenden beschriebene Spindelsteuereinheit 220) zum Steuern eines Drehvorgangs des Spindelmotors gemäß dem Spindelbefehl, eine Dreherkennungseinheit (zum Beispiel eine im Folgenden beschriebene Dreherkennungseinheit 230) zum Erkennen einer Drehposition des Spindelmotors, und eine Vorschubachsen-Steuereinheit (zum Beispiel eine im Folgenden beschriebene Vorschubachsen-Steuereinheit 240) zum Steuern eines Vorschubvorgangs der Vorschubachse auf Grundlage der Drehposition gemäß dem Vorschubachsenbefehl beinhalten, die numerische Steuereinheit kann eine Spindelbefehls-Ausgabeeinheit (zum Beispiel eine im Folgenden beschriebene Spindelbefehls-Ausgabeeinheit 211) zum Erfassen eines Drehgesamtbetrags und der Höchstdrehzahl des Spindelmotors von einer Startposition bis zu einer Zielposition von dem Gewindebohrprogramm beinhalten und sendet den Drehgesamtbetrag und die Höchstdrehzahl als Spindelbefehl an die Spindelsteuereinheit, und die Spindelsteuereinheit kann eine Anfangsbetriebs-Steuereinheit (zum Beispiel eine im Folgenden beschriebene Anfangsbetriebs-Steuereinheit 221), um durch eine Drehzahlregelung mit der Höchstdrehzahl als Sollwert zu bewirken, dass sich der Spindelmotor von der Startposition aus beschleunigend dreht, eine Drehbetrags-Erkennungseinheit (zum Beispiel eine im Folgenden beschriebene Drehbetrags-Erkennungseinheit 222) zum Erkennen eines Drehbetrags des Spindelmotors auf Grundlage der Drehposition während der Beschleunigungsdrehung, eine Restdrehbetrags-Erkennungseinheit (zum Beispiel eine im Folgenden beschriebene Restdrehbetrags-Erkennungseinheit 223) zum Erkennen eines Restdrehbetrags des Spindelmotors von einer Ist-Position bis zu der Zielposition auf Grundlage des Drehgesamtbetrags und der Drehposition, eine Ist-Drehzahl-Erkennungseinheit (zum Beispiel eine im Folgenden beschriebene Ist-Drehzahl-Erkennungseinheit 224) zum Erkennen einer Ist-Drehzahl des Spindelmotors auf Grundlage der Drehposition und eine Positionierungsvorgangs-Steuereinheit (zum Beispiel eine im Folgenden beschriebene Positionierungsvorgangs-Steuereinheit 225) beinhalten, um durch eine Positionssteuerung auf Grundlage des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors, des Restdrehbetrags und der Ist-Drehzahl nach der Beschleunigungsdrehung zu bewirken, dass sich der Spindelmotor verzögernd dreht und die Zielposition erreicht.
    • (8) Ein Verfahren für maschinelles Lernen gemäß der vorliegenden Erfindung ist ein Verfahren für maschinelles Lernen einer Vorrichtung für maschinelles Lernen (zum Beispiel einer im Folgenden beschriebenen Vorrichtung 300 für maschinelles Lernen), die maschinelles Lernen im Hinblick auf eine Steuervorrichtung (zum Beispiel eine im Folgenden beschriebene Steuervorrichtung 200) einer Werkzeugmaschine (zum Beispiel einer im Folgenden beschriebenen Werkzeugmaschine 100) durchführt, wobei die Steuervorrichtung einen Synchronbetrieb eines Spindelmotors (zum Beispiel eines im Folgenden beschriebenen Spindelmotors 101) und eines Vorschubachsenmotors (zum Beispiel eines im Folgenden beschriebenen Vorschubachsenmotors 105) steuert, wobei das Verfahren für maschinelles Lernen beinhaltet:
      • Erfassen von Zustandsinformationen, die zumindest einen Drehmoment-Befehlswert im Hinblick auf den Spindelmotor, einen Antriebszustand, der eine Verzögerung des Spindelmotors beinhaltet, und ein Verhältnis einer Verfahrstrecke bei Beschleunigung und einer Verfahrstrecke bei Verzögerung des Spindelmotors beinhalten, von der Steuervorrichtung durch Bewirken, dass die Steuervorrichtung ein Gewindebohrprogramm ausführt;
      • Ausgeben von Aktionsinformationen, die Anpassungsinformationen des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors beinhalten, die in den Zustandsinformationen beinhaltet sind, an die Steuervorrichtung;
      • Ausgeben eines Belohnungswerts bei bestärkendem Lernen auf Grundlage eines Drehmoment-Befehlswerts bei Verzögerung, der in den Zustandsinformationen beinhaltet ist, und eines Drehmomentbefehls-Sollwerts bei Verzögerung; und
      • Aktualisieren einer Aktionswertfunktion auf Grundlage des Belohnungswerts, der Zustandsinformationen und der Aktionsinformationen.
  • Gemäß der vorliegenden Erfindung kann, während eine Motorfähigkeit zu Verzögerung einem Sollwert angenähert werden kann, ein Gewindebohrvorgang für jede Maschine oder jede Betriebsbedingung im Hinblick auf ein Bearbeitungsprogramm stabilisiert werden.
  • Figurenliste
    • 1 ist ein Blockschaubild, das ein Steuersystem und eine Werkzeugmaschine einer ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 2 ist ein Schaubild, das eine Gestaltung der Werkzeugmaschine darstellt.
    • 3 ist ein Blockschaubild, das eine Gestaltung einer Steuervorrichtung des Steuersystems der ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 4 ist ein Schaubild, das eine Beziehung zwischen einer Drehzahl v eines Spindelmotors bei Verzögerung und einer Zeit t, wenn ein Verhältnis einer Verfahrstrecke bei Beschleunigung Sa und einer Verfahrstrecke bei Verzögerung Sd 1:1 beträgt, darstellt.
    • 5 ist ein Blockschaubild, das eine Gestaltung einer Vorrichtung für maschinelles Lernen darstellt.
    • 6 ist ein Ablaufplan, der den Betrieb der Vorrichtung für maschinelles Lernen zum Zeitpunkt eines Q-Learning in einer Ausführungsform darstellt.
    • 7 ist ein Schaubild, das eine Beziehung zwischen der Drehzahl v des Spindelmotors bei Verzögerung und der Zeit t, wenn das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und einer Verfahrstrecke bei Verzögerung nach einer Korrektur Sd' 1:0,7 beträgt, darstellt.
    • 8 ist ein Schaubild, das eine Beziehung zwischen der Drehzahl v des Spindelmotors bei Verzögerung und der Zeit t, wenn das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und einer Verfahrstrecke bei Verzögerung nach einer Korrektur Sd" 1:0,4 beträgt, darstellt.
    • 9 ist ein Ablaufplan, der einen Betrieb zum Zeitpunkt einer Erzeugung von Optimierungsaktionsinformationen durch eine Optimierungsaktionsinformations-Ausgabeeinheit darstellt
  • Ausführliche Beschreibung der Erfindung
  • Ausführungsformen der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
  • (Erste Ausführungsform)
  • Ein Steuersystem einer Werkzeugmaschine der vorliegenden Ausführungsform beinhaltet eine Steuervorrichtung und eine Vorrichtung für maschinelles Lernen und wird in geeigneter Weise bei einem Durchführen eines Gewindebohrens durch Steuern eines Synchronbetriebs eines Spindelmotors und eines Vorschubachsenmotors der Werkzeugmaschine verwendet. Ein solches Gewindebohren wird als Gewindebohren ohne Ausgleichsfutter bezeichnet. Die vorliegende Ausführungsform wird anhand des Gewindebohrens ohne Ausgleichsfutter als Beispiel beschrieben. Die vorliegende Erfindung kann jedoch auf eine Bearbeitung angewendet werden, die durch einen Synchronbetrieb eines Spindelmotors und eines Vorschubachsenmotors durchgeführt wird, und unterliegt keiner besonderen Beschränkung auf das Gewindebohren ohne Ausgleichsfutter.
  • 1 ist ein Blockschaubild, das ein Steuersystem und eine Werkzeugmaschine einer ersten Ausführungsform der vorliegenden Erfindung darstellt. Wie in 1 dargestellt, beinhaltet ein Steuersystem 10 n Steuervorrichtungen 200-1 bis 200-n, ein Netzwerk 400 und Vorrichtungen 300-1 bis 300-n für maschinelles Lernen, die über das Netzwerk 400 mit den Steuervorrichtungen 200-1 bis 200-n verbunden sind. Die n Werkzeugmaschinen 100-1 bis 100-n sind mit den n Steuervorrichtungen 200-1 bis 200-n verbunden. Es ist zu beachten, dass es sich bei n um eine beliebige natürliche Zahl handelt.
  • Die Werkzeugmaschine 100-1 und die Steuervorrichtung 200-1 werden als Eins-zu-Eins-Satz betrachtet und sind zur Datenübertragung verbunden. Die Werkzeugmaschine 100-2 bis 100-n und die Steuervorrichtungen 200-2 bis 200-n sind auf dieselbe Weise wie die Werkzeugmaschine 100-1 und die Steuervorrichtung 200-1 verbunden. n Sätze der Werkzeugmaschinen 100-1 bis 100-n und der Steuervorrichtungen 200-1 bis 200-n können über eine Verbindungsschnittstelle direkt verbunden oder über ein Netzwerk wie zum Beispiel ein lokales Netzwerk (local area network, LAN) verbunden sein. Beispielsweise kann eine Mehrzahl von n Sätzen der Werkzeugmaschinen 100-1 bis 100-n und der Steuervorrichtungen 200-1 bis 200-n in derselben Fabrikationsstätte oder in unterschiedlichen Fabrikationsstätten aufgestellt sein.
  • Die Steuervorrichtung 200-1 und die Vorrichtung 300-1 für maschinelles Lernen werden als Eins-zu-Eins-Satz betrachtet und sind zur Datenübertragung verbunden. Die Steuervorrichtungen 200-2 bis 200-n und die Vorrichtungen 300-2 bis 300-n für maschinelles Lernen sind auf dieselbe Weise wie die Steuervorrichtung 200-1 und die Vorrichtung 300-1 für maschinelles Lernen verbunden. In 1 sind n Sätze der Steuervorrichtungen 200-1 bis 200-n und der Vorrichtungen 300-1 bis 300-n für maschinelles Lernen über das Netzwerk 400 verbunden. Im Hinblick auf die n Sätze der Steuervorrichtungen 200-1 bis 200-n und der Vorrichtungen 300-1 bis 300-n für maschinelles Lernen können die Steuervorrichtungen und die Vorrichtungen für maschinelles Lernen in jedem der Sätze jedoch direkt über eine Verbindungsschnittstelle verbunden sein. Bei dem Netzwerk 400 handelt es sich zum Beispiel um ein lokales Netzwerk (LAN), das innerhalb einer Fabrikationsstätte aufgebaut ist, das Internet, ein öffentliches Fernsprechnetz oder um eine Kombination von diesen. Das Datenübertragungsverfahren in dem Netzwerk 400 und ob eine drahtgebundene Verbindung oder eine drahtlose Verbindung verwendet wird, unterliegt keiner besonderen Beschränkung.
  • Als Nächstes werden Gestaltungen der Werkzeugmaschinen 100-1 bis 100-n, der Steuervorrichtungen 200-1 bis 200-n und der Vorrichtungen 300-1 bis 300-n für maschinelles Lernen beschrieben, die in dem Steuersystem 10 beinhaltet sind. 2 ist ein Blockschaubild, das eine Gestaltung der Werkzeugmaschine 100 des Steuersystems 10 der ersten Ausführungsform der vorliegenden Erfindung darstellt. 3 ist ein Blockschaubild, das eine Gestaltung der Steuervorrichtung 200 des Steuersystems 10 der ersten Ausführungsform der vorliegenden Erfindung darstellt. Die Werkzeugmaschine 100 von 2 und die Steuervorrichtung 200 von 3 entsprechen zum Beispiel der Werkzeugmaschine 100-1 bzw. der Steuervorrichtung 200-1, die in 1 dargestellt werden. Die Werkzeugmaschinen 100-2 bis 100-n und die Steuervorrichtungen 200-2 bis 200-n weisen ebenfalls dieselben Gestaltungen auf.
  • Zunächst wird die Werkzeugmaschine 100 beschrieben. Wie in 2 dargestellt, beinhaltet die Werkzeugmaschine 100: einen Spindelmotor 101; einen Positionsdetektor 102 wie zum Beispiel einen Drehgeber, der mit dem Spindelmotor 101 verbunden ist; eine Halteeinheit 103, die den Spindelmotor 101 hält; eine Kugelspindel 104, die die Halteeinheit 103 linear verfährt; einen Vorschubachsenmotor 105, der mit der Kugelspindel 104 verbunden ist; und einen Positionsdetektor 106 wie zum Beispiel einen Drehgeber, der mit dem Vorschubachsenmotor 105 verbunden ist.
  • Ein Werkzeug wird an der Drehachse des Spindelmotors 101 angebracht, und bei dem Spindelmotor 101 handelt es sich um einen Motor wie zum Beispiel einen Servomotor, der bewirkt, dass sich die Drehachse mit einer erforderlichen Drehzahl dreht. Der Vorschubachsenmotor 105 ist ein Motor wie zum Beispiel ein Servomotor, der bewirkt, dass die Halteeinheit 103, die an dem Spindelmotor 101 angebracht ist, einen Vorschub in Hinblick auf ein Werkstück mit einer für ein Bearbeiten erforderlichen Geschwindigkeit durchführt.
  • 2 stellt eine Werkzeugmaschine dar, die ein Gewindebohren ohne Ausgleichsfutter durch lineares Vorschieben eines Werkzeugs, das durch den Spindelmotor 101 gedreht wird, im Hinblick auf das Werkstück durch den Vorschubachsenmotor 105 durchführt. Die Werkzeugmaschine kann das Werkzeug jedoch durch den Vorschubachsenmotor 105 im Hinblick auf das Werkstück, das durch den Spindelmotor 101 gedreht wird, linear vorschieben oder kann das Werkstück, das durch den Spindelmotor 101 gedreht wird, durch den Vorschubachsenmotor 105 im Hinblick auf das Werkzeug linear vorschieben. Die Werkzeugmaschine kann das Werkstück durch den Vorschubachsenmotor 105 im Hinblick auf das Werkzeug, das durch den Spindelmotor 101 gedreht wird, linear vorschieben. In allen diesen Fällen arbeitet der Vorschubachsenmotor 105, der relativ große Reserven bei einem Beschleunigungs- und Verzögerungsdrehmoment während des Betriebs aufweist, so, dass er dem Spindelmotor 101 folgt, der relativ kleine Reserven bei einem Beschleunigungs- und Verzögerungsdrehmoment während des Betriebs aufweist, und dadurch können Synchronfehler verringert und kann die Bearbeitungsgenauigkeit verbessert werden.
  • Als Nächstes wird die Steuervorrichtung 200 beschrieben. Wie in 3 dargestellt, handelt es sich bei der Steuervorrichtung 200 um eine Vorrichtung, die einen Synchronbetrieb (eine sogenannte Master-/Slave-Synchronisation), bei dem der Vorschubachsenmotor 105 so arbeitet, dass er dem Drehvorgang des Spindelmotors 101 unter Berücksichtigung einer in einem Gewindebohrprogramm 500 spezifizierten Gewindesteigung folgt, in einer Werkzeugmaschine (zum Beispiel einer Drehmaschine, einer Ständerbohrmaschine, einem Bearbeitungszentrum oder dergleichen) steuert, die ein Gewindebohren durch einen Synchronbetrieb des Spindelmotors 101 und des Vorschubachsenmotors 105 durchführt.
  • Die Steuervorrichtung 200 beinhaltet eine numerische Steuereinheit 210, eine Spindelsteuereinheit 220, eine Dreherkennungseinheit 230 und eine Vorschubachsen-Steuereinheit 240.
  • Die numerische Steuereinheit 210 beinhaltet eine Spindelbefehls-Ausgabeeinheit 211, eine Programminterpretationseinheit 212 und eine Vorschubachsenbefehls-Ausgabeeinheit 213.
  • Vor einem Start des Gewindebohrens erfasst die Spindelbefehls-Ausgabeeinheit 211 einen Drehgesamtbetrag S0 des Spindelmotors 101 von einer Bearbeitungsstartposition (Drehposition) bis zu einer Zielschraubtiefe (Drehposition) und die Höchstdrehzahl V0 aus einem Befehlswert des Gewindebohrprogramms 500, das durch die Programminterpretationseinheit 212 interpretiert wird. Die Spindelbefehls-Ausgabeeinheit 211 sendet den Drehgesamtbetrag S0 und die Höchstdrehzahl V0 als Spindelbefehl CS an die Spindelsteuereinheit 220. Wenn das Gewindebohrprogramm 500 zum Beispiel einen Befehl zum Bearbeiten eines Innengewindes mit einer Gewindesteigung von 1,25 mm und einer Schraubtiefe von 30 mm beinhaltet, wobei die Höchstdrehzahl (in diesem Beispiel die Höchstdrehzahl pro Minute) V0 des Spindelmotors 101 3.000/min beträgt, beträgt der Drehgesamtbetrag S0 des Spindelmotors 101 von der Bearbeitungsstartposition bis zu der Zielschraubtiefe 30/1,25=24(U). Dementsprechend meldet die Spindelbefehls-Ausgabeeinheit 211 der Spindelsteuereinheit 220 die Höchstdrehzahl V0=3.000(/min) und den Drehgesamtbetrag S0=24(U). Auf diese Weise beinhaltet der Spindelbefehl CS keinen Positionsbefehl und keinen Beschleunigungs- und Verzögerungsbefehl zum Drehen des Spindelmotors 101 bis zu der Zielschraubtiefe.
  • Die Programminterpretationseinheit 212 interpretiert das Gewindebohrprogramm 500. Die Vorschubachsenbefehls-Ausgabeeinheit 213 erzeugt einen Vorschubachsenbefehl CF in Übereinstimmung mit der Interpretation durch die Programminterpretationseinheit 212, um den Vorschubachsenbefehl CF an die Vorschubachsen-Steuereinheit 240 zu senden.
  • Die Spindelsteuereinheit 220 beinhaltet eine Anfangsbetriebs-Steuereinheit 221, eine Drehbetrags-Erkennungseinheit 222, eine Restdrehbetrags-Erkennungseinheit 223, eine Ist-Drehzahl-Erkennungseinheit 224 und eine Positionierungsvorgangs-Steuereinheit 225. Die Anfangsbetriebs-Steuereinheit 221 bewirkt durch Drehzahlregelung mit der Höchstdrehzahl V0, die von der Spindelbefehls-Ausgabeeinheit 211 gesendet wird, als Sollwert, dass sich der Spindelmotor 101 mit der maximalen Fähigkeit von der Bearbeitungsstartposition aus beschleunigend dreht. Die Drehbetrags-Erkennungseinheit 222 erkennt einen Drehbetrag des Spindelmotors 101 ab dem Drehbeginn auf Grundlage einer Drehposition FBS, die von der Dreherkennungseinheit 230 während der Beschleunigungsdrehung ausgegeben wird. Der Drehbetrag ab dem Beginn der Beschleunigungsdrehung des Spindelmotors 101 bis zum Erreichen der Höchstdrehzahl V0 ist eine Verfahrstrecke bei Beschleunigung. Die Restdrehbetrags-Erkennungseinheit 223 erkennt einen Restdrehbetrag Sr des Spindelmotors 101 von der Ist-Position (Drehposition) bis zu der Zielschraubtiefe auf Grundlage des Drehgesamtbetrags S0, der von der Spindelbefehls-Ausgabeeinheit 211 gesendet wird, und einer Drehposition FBS, die von der Dreherkennungseinheit 230 ausgegeben wird. Die Restdrehbetrags-Erkennungseinheit 223 sendet den erkannten Restdrehbetrag Sr für jede Erkennung an die numerische Steuereinheit 210. Die numerische Steuereinheit 210 ermittelt durch den Restdrehbetrag Sr, dass ein Spitzenende des Werkzeugs beim Gewindebohren die Zielschraubtiefe erreicht. Die Ist-Drehzahl-Erkennungseinheit 224 erkennt eine Ist-Drehzahl Vc des Spindelmotors 101 auf Grundlage der Drehposition FBS, die von der Dreherkennungseinheit 230 ausgegeben wird. Die Ist-Drehzahl-Erkennungseinheit 224 ändert die Drehung des Spindelmotors 101 von der Beschleunigungsdrehung in eine Drehung mit der Höchstdrehzahl V0, wenn die Ist-Drehzahl Vc die Höchstdrehzahl V0 erreicht. Die Positionierungsvorgangs-Steuereinheit 225 führt eine Positionierungssteuerung zum Bewirken, dass sich der Spindelmotor 101 verzögernd dreht, um die Zielschraubtiefe zu erreichen, auf Grundlage des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung, das von der Vorrichtung 300 für maschinelles Lernen empfangen wird, des Restdrehbetrags Sr, der durch die Restdrehbetrags-Erkennungseinheit 223 erkannt worden ist, und der Ist-Drehzahl Vc, die durch die Ist-Drehzahl-Erkennungseinheit 224 erkannt worden ist, nach der Drehung mit der Höchstdrehzahl V0 durch. Die Positionierungsvorgangs-Steuereinheit 225 kann einen Übergang von der Beschleunigungsdrehung zu der Verzögerungsdrehung durchführen, bevor die Ist-Drehzahl Vc des Spindelmotors 101 die Höchstdrehzahl erreicht. Wenn zum Beispiel das Verhältnis der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung 1:m(m≤1) beträgt, überführt die Positionierungsvorgangs-Steuereinheit 225 die Beschleunigungsdrehung des Spindelmotors 101 in die Verzögerungsdrehung, wenn die Drehbetrags-Erkennungseinheit 222 erkannt hat, dass der Drehbetrag des Spindelmotors 101 1/(1+m) des Drehgesamtbetrags S0 ab dem Drehbeginn erreicht hat.
  • Die Spindelsteuereinheit 220 sendet den Drehmoment-Befehlswert durch eine allgemeine Rückkopplungsregelung mithilfe der Drehposition FBS (das heißt, eines Rückkopplungswerts) des Spindelmotors 101, die durch die Dreherkennungseinheit 230 erkannt wird, an den Spindelmotor 101, um die Drehung des Spindelmotors 101 zu steuern.
  • Die Dreherkennungseinheit 230 kann die Drehposition FBS aus einer Ausgabe durch den Positionsdetektor 102 wie zum Beispiel einen Drehgeber erfassen, der die Betriebsposition des Spindelmotors 101 erkennt. Die Vorschubachsen-Steuereinheit 240 steuert einen Vorschubvorgang des Vorschubachsenmotors 105 im Anschluss an den Betrieb des Spindelmotors 101 durch die Rückkopplungsregelung mithilfe des Rückkopplungswerts der Vorschubposition von dem Positionsdetektor 102 wie zum Beispiel einem Drehgeber, der die Betriebsposition des Vorschubachsenmotors 105 erkennt, und der Drehposition FBS des Spindelmotors 101 in Übereinstimmung mit dem Vorschubachsenbefehl CF, der von der Vorschubachsenbefehls-Ausgabeeinheit 213 gesendet worden ist. Die Vorschubachsen-Steuereinheit 240 schiebt den Vorschubachsenmotor 105 linear in einer Richtung Z im Hinblick auf das Werkstück vor. Die Steuervorrichtung 200 kann jedoch des Weiteren zwei Achsensteuereinheiten beinhalten, die zwei Achsenmotoren steuern, die das Werkstück oder das Werkzeug in Richtung einer x-Achse und in Richtung einer y-Achse vorschieben.
  • Im Folgenden wird im Besonderen ein Betrieb der Spindelsteuereinheit 220 unter Bezugnahme auf 4 beschrieben. Hier wird ein Fall beschrieben, in dem das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd 1:1 beträgt. 4 ist ein Schaubild, das eine Beziehung zwischen einer Drehzahl v des Spindelmotors bei Verzögerung und einer Zeit t in einem Fall darstellt, in dem das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd 1:1 beträgt. 4 stellt einen Zyklus beim Gewindebohren dar, bis das Werkzeug die Zielschraubtiefe von der Oberfläche des Werkstücks aus erreicht, anhält und von der Zielschraubtiefe zu der Oberfläche des Werkstücks gezogen wird. Eine Zeit t1 in 4 gibt eine Zeit (Zykluszeit) eines Zyklus an.
  • Zuerst wird ein Vorgang eines Gewindebohrens von einer Oberfläche des Werkstücks bis zu der Zielschraubtiefe durch ein Werkzeug beschrieben. Die Anfangsbetriebs-Steuereinheit 221 bewirkt durch Drehzahlregelung, wobei ein Sollwert die Höchstdrehzahl V0 ist, die von der Spindelbefehls-Ausgabeeinheit 211 gesendet worden ist, dass sich der Spindelmotor 101 mit der maximalen Fähigkeit von der Bearbeitungsstartposition aus beschleunigend dreht. Die Drehbetrags-Erkennungseinheit 222 erkennt den Drehbetrag des Spindelmotors 101 ab dem Drehbeginn. Wenn die Ist-Drehzahl-Erkennungseinheit 224 erkennt, dass die Ist-Drehzahl Vc die Höchstdrehzahl V0 erreicht hat, bewirkt die Anfangsbetriebs-Steuereinheit 221, dass sich der Spindelmotor 101 mit der Höchstdrehzahl V0 dreht. Die Drehbetrags-Erkennungseinheit 222 bezieht den Drehbetrag (die Verfahrstrecke bei Beschleunigung) ab dem Beginn der Beschleunigungsdrehung des Spindelmotors 101 bis zum Erreichen der Höchstdrehzahl V0. Die Verfahrstrecke bei Beschleunigung Sa ist ein integrierter Wert eines Integrals (v*t) der Drehzahl v des Spindelmotors und der Zeit t ab dem Beginn der Drehung des Spindelmotors 101 und der Beschleunigung bis zum Erreichen der Höchstdrehzahl V0. Wenn der Restdrehbetrag Sr des Spindelmotors 101, der durch die Restdrehbetrags-Erkennungseinheit 223 erkannt wird, mit der Verfahrstrecke bei Beschleunigung (dem Drehbetrag bei Beschleunigung) Sa übereinstimmt, bewirkt die Positionierungsvorgangs-Steuereinheit 225 eine Verzögerungsdrehung durch Festlegen einer Beschleunigung der Verzögerung so, dass ein Spitzenende des Werkzeugs auf der Zielschraubtiefe anhält. Die Beschleunigung der Verzögerung wird durch den Restdrehbetrag Sr und die Ist-Drehzahl Vc gewonnen. Ein Drehzeitraum tr einer Verzögerung wird durch (den Restdrehbetrag Sr) / (die Ist-Drehzahl Vc) gewonnen, und die Beschleunigung der Verzögerung wird durch (die Ist-Drehzahl Vc) / (den Drehzeitraum Tr der Verzögerung) gewonnen. Die Verfahrstrecke bei Verzögerung Sd ist ein integrierter Wert eines Integrals (v*t) der Drehzahl v des Spindelmotors und der Zeit t ab dem Beginn der Verzögerungsdrehung des Spindelmotors 101 bis zum Anhalten des Spindelmotors 101. Wenn ein Übergang von der Beschleunigungsdrehung zu der Verzögerungsdrehung durchgeführt wird, bevor die Ist-Drehzahl Vc des Spindelmotors 101 die Höchstdrehzahl erreicht, ist die Verfahrstrecke bei Beschleunigung bis zum Durchführen des Übergangs zu der Verzögerungsdrehung die Verfahrstrecke bei Verzögerung, das heißt, der Restdrehbetrag Sr. Die Positionierungsvorgangs-Steuereinheit 225 kann die Beschleunigung der Verzögerung ähnlich wie oben gewinnen.
  • Als Nächstes dreht und zieht die Spindelsteuereinheit 220 das Werkzeug von der Zielschraubtiefe zu der Oberfläche des Werkstücks durch denselben Vorgang wie bei dem Vorgang des Gewindebohrens von der Oberfläche des Werkstücks bis zu der Zielschraubtiefe, außer dass die Drehrichtung des Spindelmotors umgekehrt ist.
  • Die Spindelsteuereinheit 220 kann den Betrieb (der als Schneiden bezeichnet wird) des Spindelmotors 101 zum Schneiden eines Lochs des Werkstücks bis zu einer Zielschraubtiefe durch das Werkzeug beim Gewindebohren mithilfe der Werkzeugmaschine 100 steuern. Die Spindelsteuereinheit 220 kann den Betrieb (der als Rücklauf bezeichnet wird) des Spindelmotors 101 zum Ziehen des Werkzeugs aus dem Werkstück, nachdem das Loch des Werkstücks mit Bohren bis zu der Zielschraubtiefe mithilfe des Werkzeugs durchgeführt worden ist, beim Gewindebohren mithilfe der Werkzeugmaschine steuern.
  • Die Gestaltungen der Werkzeugmaschine 100 und der Steuervorrichtung 200 werden oben beschrieben, und die oben beschriebenen Gestaltungen sind Abschnitte, die in besonderer Beziehung zu dem Betrieb der vorliegenden Ausführungsform stehen. Einzelheiten jeder Gestaltung der Werkzeugmaschine 100 und der Steuervorrichtung 200, beispielsweise eine Positionssteuereinheit und eine Drehzahlregelungseinheit zum Gestalten einer Positions- und Geschwindigkeits-Rückkopplungsschleife in der Spindelsteuereinheit 220 und der Vorschubachsen-Steuereinheit, ein Motorantriebsverstärker, der den Spindelmotor oder den Vorschubachsenmotor auf Grundlage des Drehmoment-Befehlswerts antreibt, ein Bedienpult zum Empfangen der Bedienvorgänge eines Benutzers und dergleichen sind einem Fachmann bestens bekannt. Daher werden ausführliche Beschreibungen und Veranschaulichung davon weggelassen.
  • <Vorrichtung 300 für maschinelles Lernen>
  • 5 ist ein Blockschaubild, das die Gestaltung der Vorrichtung 300 für maschinelles Lernen darstellt. Die Vorrichtung 300 für maschinelles Lernen entspricht zum Beispiel der in 1 dargestellten Vorrichtung 300-1 für maschinelles Lernen. Die Werkzeugmaschinen 100-2 bis 100-n weisen ähnliche Gestaltungen auf. Bei der Vorrichtung 300 für maschinelles Lernen handelt es sich um eine Vorrichtung, die ein bestärkendes Lernen im Hinblick auf das Verhältnis der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung beim Gewindebohren durchführt, wobei der Drehmoment-Befehlswert bei Verzögerung dem Drehmomentbefehls-Sollwert bei Verzögerung am nächsten ist, wenn die Werkzeugmaschine 100 durch das Gewindebohrprogramm 500 durch Ausführen des Gewindebohrprogramms 500 durch die Steuervorrichtung 200 betrieben wird, wobei das Gewindebohrprogramm 500 im Voraus erstellt wird.
  • Bevor jeder in der Vorrichtung 300 für maschinelles Lernen beinhaltete Funktionsblock beschrieben wird, wird der grundlegende Mechanismus des bestärkenden Lernens beschrieben. Ein Agent (der bei der vorliegenden Ausführungsform der Vorrichtung 300 für maschinelles Lernen entspricht) beobachtet einen Umgebungszustand und wählt eine Aktion aus. Die Umgebung ändert sich auf Grundlage dieser Aktion. Es erfolgt eine Belohnung in Übereinstimmung mit der Umgebungsänderung, und der Agent lernt die Auswahl (Entscheidung) einer besseren Aktion. Während überwachtes Lernen ein vollkommen korrektes Ergebnis darstellt, wird die Belohnung bei bestärkendem Lernen häufig als Fragmentwert auf Grundlage einer Änderung in einem Teil der Umgebung dargestellt. Auf diese Weise lernt der Agent, eine Aktion so auszuwählen, dass die Gesamtbelohnung in Zukunft maximiert wird.
  • Auf diese Weise lernt der Agent mit bestärkendem Lernen eine Aktion, um eine geeignete Aktion unter Berücksichtigung einer Wechselwirkung der Aktion mit der Umgebung zu lernen, das heißt, ein Verfahren zum Lernen zum Maximieren der in Zukunft zu erzielenden Belohnung. Dies bedeutet, dass die Vorrichtung 300 für maschinelles Lernen der vorliegenden Ausführungsform zum Beispiel eine Aktion erzielen kann, die sich auf die Zukunft auswirkt, wie zum Beispiel Auswählen von Aktionsinformationen (auch als „Aktion“ bezeichnet) zum Verkürzen der Zykluszeit bei gleichzeitigem Annähern des Drehmoment-Befehlswerts bei Verzögerung an den Drehmomentbefehls-Sollwert bei Verzögerung.
  • Als bestärkendes Lernen kann ein beliebiges Lernverfahren verwendet werden. In der folgenden Beschreibung wird ein Fall als Beispiel beschrieben, in dem Q-Learning angewendet wird. Bei Q-Learning handelt es sich um ein Verfahren zum Lernen einer Wertfunktion Q (S, A) und Auswählen einer Aktion A bei einem Umgebungszustand S. Ein Ziel des Q-Learning besteht darin, die Aktion A mit der höchsten Wertfunktion Q (S, A) als optimale Aktion aus Aktionen A auszuwählen, die in einem Zustand S ergriffen werden können.
  • Zu dem Zeitpunkt, an dem Q-Learning erstmals im Hinblick auf eine Kombination des Zustands S und die Aktion A durchgeführt wird, wird der korrekte Wert der Wertfunktion Q (S, A) überhaupt nicht erkannt. Folglich wählt der Agent verschiedene Aktionen A in einem Zustand S aus und wählt eine bessere Aktion auf Grundlage der gegebenen Belohnung im Hinblick auf die Aktion A zu diesem Zeitpunkt aus, um die korrekte Wertfunktion Q (S, A) zu lernen.
  • Der Agent versucht, schließlich Q (S, A)=E[Σ(γt)rt] zu erzielen, um die Gesamtbelohnung zu maximieren, die in Zukunft erzielt werden kann. E[] stellt einen erwarteten Wert dar, t stellt eine Zeit dar, γ stellt einen im Folgenden beschriebenen Parameter dar, der als Diskontierungsrate bezeichnet wird, rt stellt eine Belohnung zur Zeit t dar, und Σ stellt die Summe zur Zeit t dar. Der erwartete Wert in dieser Formel ist ein erwarteter Wert in einem Fall, in dem der Zustand entsprechend der optimalen Aktion geändert wird. Die optimale Aktion ist jedoch im Prozess des Q-Learning nicht ersichtlich. Daher ergreift der Agent verschiedene Aktionen, um das bestärkende Lernen bei gleichzeitigem Suchen durchzuführen. Eine Aktualisierungsformel einer solchen Wertfunktion Q (S, A) kann zum Beispiel durch die folgende Formel 2 (die im Folgenden als Formel 2 dargestellt wird) dargestellt werden. Q ( S t + 1 , A t + 1 ) ← Q ( S t , A t ) + α ( r t + 1 + γ m a x A Q ( S t + 1 , A ) − Q ( S t , A t ) )
    Figure DE102018214276A1_0002
  • Bei der oben beschriebenen Formel 2 stellt St einen Umgebungszustand zur Zeit t dar, und At stellt eine Aktion zur Zeit t dar. Der Zustand wird durch die Aktion At in St+1 geändert. rt+1 stellt eine Belohnung dar, die durch diese Zustandsänderung erzielt wird. Ein mit max aufaddiertes Item wird durch Multiplizieren von γ mit dem Q-Wert, wenn die Aktion A mit dem höchsten Q-Wert, der zu dieser Zeit worden erkannt ist, in dem Zustand St+1 ausgewählt wird, erzielt. Das γ ist ein Parameter von 0<γ≤1 und wird als Diskontierungsrate bezeichnet. α ist ein Lernkoeffizient und liegt in einem Bereich von 0<α≤1.
  • Die oben beschriebene Formel 2 stellt ein Verfahren zum Aktualisieren der Wertfunktion Q (St, At) der Aktion At in dem Zustand St auf Grundlage der Belohnung rt+1 dar, die als Ergebnis des Versuchs At zurückgesendet wird. Diese Aktualisierungsformel stellt dar, dass Q (St, At) groß festgelegt wird, wenn ein Wert maxa Q(St+1, A) der besten Aktion in dem nächsten Zustand St+1 durch die Aktion At größer als die Wertfunktion Q (St, At) der Aktion At in dem Zustand St ist, wohingegen Q (St, At) klein festgelegt wird, wenn der Wert maxa Q(St+1, A) der besten Aktion in dem nächsten Zustand St+1 durch die Aktion At kleiner ist. Das heißt, die Aktualisierungsformel gibt an, dass ein Wert einer Aktion in einem Zustand an einen Wert der besten Aktion in dem nächsten Zustand durch die Aktion angenähert wird. Die Differenz zwischen der Wertfunktion Q (St, At) und dem Wert maxa Q (St+1, A) ändert sich abhängig von der Diskontierungsrate γ und der Belohnung rt+1. Ein Mechanismus ist jedoch dergestalt, dass ein Wert der besten Aktion in einem Zustand im Grunde zu einem Wert einer Aktion in einem Zustand propagiert wird, der einer vor diesem Zustand ist.
  • Bei Q-Learning besteht ein Verfahren zum Lernen durch Erstellen einer Tabelle von Q (S, A) für jedes Zustand-Aktion-Paar (S, A). Wenn jedoch die Werte von Q (S, A) aller Zustand-Aktion-Paare bestimmt werden, ist die Anzahl von Zuständen zu groß, und es besteht ein Fall, in dem eine erhebliche Dauer erforderlich ist, um das Q-Learning in dem Verfahren zu etablieren.
  • Daher kann eine bekannte, als Deep-Q-Netzwerk (DQN) bezeichnete Technik eingesetzt werden. Im Besonderen wird die Wertfunktion Q mithilfe eines geeigneten neuronalen Netzwerks konfiguriert, und die Parameter des neuronalen Netzwerks werden angepasst. Als Ergebnis kann der Wert der Wertfunktion Q (S, A) durch Annähern der Wertfunktion Q durch das entsprechende neuronale Netzwerk berechnet werden. Die zum Etablieren von Q-Learning erforderliche Zeit kann durch Nutzen des DQN verringert werden. Das DQN wird zum Beispiel ausführlich in dem folgenden Nichtpatentdokument beschrieben.
  • <Nichtpatentdokument>
  • „Human-level control through deep reinforcement learning“, Volodymyr Mnih1 [online], [gesucht am 17 Januar 2017], Internet <URL:
    http://files.davidqiu.com/research/nature14236.pdf>
  • Das oben beschriebene Q-Learning wird durch die Vorrichtung 300 für maschinelles Lernen durchgeführt. Im Besonderen lernt die Vorrichtung 300 für maschinelles Lernen die auszuwählende Wertfunktion Q unter Berücksichtigung, dass der Drehmoment-Befehlswert zum Antreiben des Spindelmotors 101, der von der Steuervorrichtung 200 ausgegeben wird, die Antriebszustandsinformationen (Antriebszustand des Spindelmotors 101), die angeben, in welchem von Beschleunigung, Verzögerung, konstanter Drehzahl und Anhalten sich der Spindelmotor 101 befindet, und das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd der Zustand S sind und eine Anpassung des Verhältnisses der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd im Zusammenhang mit dem Zustand S die Aktion A ist.
  • Die Vorrichtung 300 für maschinelles Lernen führt ein Gewindebohren mithilfe des Gewindebohrprogramms 500 durch, um die Zustandsinformationen S, die den Drehmoment-Befehlswert, die Antriebszustandsinformationen des Spindelmotors 101 und das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd beinhalten, von der Steuervorrichtung 200 zu erfassen und die Aktion A auszugeben. Die Vorrichtung 300 für maschinelles Lernen berechnet die Belohnung mithilfe des Sollwerts des Drehmoment-Befehlswerts bei Verzögerung unter Berücksichtigung, dass es sich bei dem Drehmoment-Befehlswert bei Verzögerung, der auf Grundlage des Drehmoment-Befehlswerts und des Antriebszustands des Spindelmotors 101 gewonnen wird, um Bestimmungsinformationen handelt. Der Sollwert des Drehmoment-Befehlswerts bei Verzögerung wird im Voraus in der Vorrichtung 300 für maschinelles Lernen gespeichert. Die Vorrichtung 300 für maschinelles Lernen vergibt jedes Mal, wenn eine Aktion A durchgeführt wird, eine Belohnung. Die Vorrichtung 300 für maschinelles Lernen sucht zum Beispiel eine optimale Aktion A, so dass die Gesamtbelohnung in Zukunft durch Versuch und Irrtum maximiert wird. Infolgedessen kann die Vorrichtung 300 für maschinelles Lernen die optimale Aktion A (das heißt, das optimale Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd, bei dem der Drehmoment-Befehlswert bei Verzögerung dem Drehmomentbefehls-Sollwert bei Verzögerung am nächsten ist) in Bezug auf den Zustand S, der den Drehmoment-Befehlswert beinhaltet, und die Antriebszustandsinformationen des Spindelmotors 101, die durch Durchführen des Gewindebohrens mithilfe des im Voraus erstellten Programms erfasst werden, auswählen.
  • Das heißt, die Vorrichtung 300 für maschinelles Lernen kann die Aktion A, bei der der Wert der Wertfunktion Q am größten ist, aus den Aktionen A auswählen, die auf das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd in Bezug auf einen Zustand S auf Grundlage der Wertfunktion Q, die gelernt worden ist, angewendet werden, um die Aktion A (das heißt, das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd) auszuwählen, bei der der Drehmoment-Befehlswert bei Verzögerung dem Drehmoment-Befehlswert, der ein Ziel ist, am nächsten ist.
  • 5 ist ein Blockschaubild, das die Vorrichtung 300 für maschinelles Lernen der ersten Ausführungsform der vorliegenden Erfindung darstellt. Um das oben beschriebene bestärkende Lernen durchzuführen, beinhaltet die Vorrichtung 300 für maschinelles Lernen, wie in 5 dargestellt, eine Zustandsinformations-Erfassungseinheit 301, eine Lerneinheit 302, eine Aktionsinformations-Ausgabeeinheit 303, eine Wertfunktions-Speichereinheit 304 und eine Optimierungsaktionsinformations-Ausgabeeinheit 305.
  • Die Zustandsinformations-Erfassungseinheit 301 erfasst den Zustand S, der den Drehmoment-Befehlswert zum Antreiben des Spindelmotors 101, die Antriebszustandsinformationen, die angeben, in welchem von Beschleunigung, Verzögerung, konstanter Drehzahl und Anhalten sich der Spindelmotor 101 befindet, und das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd beinhaltet, von der Steuervorrichtung 200. Diese Zustandsinformationen (die auch als „Status“ bezeichnet werden) S entsprechen einem Umgebungszustand S beim Q-Learning. Die Zustandsinformations-Erfassungseinheit 301 gibt die erfassten Zustandsinformationen S an die Lerneinheit 302 aus. Das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd zu der Zeit, zu der ein Q-Learning erstmals begonnen wird, werden im Voraus durch den Benutzer festgelegt. Hier wird das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd zu der Zeit, zu der ein Q-Learning erstmals begonnen wird, auf 1:1 festgelegt. Die Vorrichtung 300 für maschinelles Lernen passt das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd, das durch den Benutzer festgelegt worden ist, durch bestärkendes Lernen an, um eine Optimierung so durchzuführen, dass der Drehmoment-Befehlswert bei Verzögerung ein Wert ist, der dem Drehmoment-Befehlswert, der ein Ziel ist, nahe ist.
  • Die Lerneinheit 302 ist eine Einheit, die die Wertfunktion Q (S, A) lernt, wenn eine Aktion A bei Zustandsinformationen (einem Umgebungszustand) S gewählt wird. Im Besonderen beinhaltet die Lerneinheit 302 eine Belohnungsausgabeeinheit 3021, eine Wertfunktions-Aktualisierungseinheit 3022 und eine Aktionsinformations-Erzeugungseinheit 3023.
  • Die Belohnungsausgabeeinheit 3021 ist eine Einheit, die die Belohnung berechnet, wenn die Aktion A bei einem Zustand S ausgewählt wird. Die Werkzeugmaschine 100 arbeitet auf Grundlage des Verhältnisses der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd in dem Zustand S und dem Zustand S', wenn der Übergang von dem Zustand S zu dem Zustand S' durch die Aktion A durchgeführt wird. Ein Mittelwert eines Satzes des Drehmoment-Befehlswerts bei Verzögerung in einem Zyklus der Werkzeugmaschine 100, wenn ein Übergang von dem Zustand S zu dem Zustand S' durch die Aktion A durchgeführt wird, wird als Drehmoment-Befehlswert Tm(S) und Drehmoment-Befehlswert Tm(S') betrachtet. Beispielsweise kann die Belohnungsausgabeeinheit 3021 die Belohnung auf Grundlage des Mittelwerts Tm des Satzes des Drehmoment-Befehlswerts bei Verzögerung und des Sollwerts Tt des Drehmoment-Befehlswerts bei Verzögerung berechnen. Hier wird der Sollwert Tt des Drehmoment-Befehlswerts bei Verzögerung so festgelegt, dass er ein etwas kleinerer Wert als der Höchstwert des Drehmoment-Befehlswerts bei Verzögerung ist, zum Beispiel 95 % des Höchstwerts des Drehmoment-Befehlswerts bei Verzögerung. Der Sollwert Tt des Drehmoment-Befehlswerts bei Verzögerung ist nicht auf 95 % des Höchstwerts beschränkt.
  • Im Besonderen kann die Belohnung durch die folgende Formel 3 (im Folgenden als Formel 3 dargestellt) mithilfe des Drehmoment-Befehlswerts Tm zur Zeit der Verzögerung, des Drehmomentbefehls-Sollwerts bei Verzögerung Tt und des Koeffizienten a erzielt werden. α × ( 1 − | T t − T m | T t )
    Figure DE102018214276A1_0003
  • Wie aus der Formel 3 ersichtlich wird, kann die Belohnung auf Grundlage jedes der Drehmoment-Befehlswerte Tm(S), Tm(S') erzielt werden. Wenn der Drehmoment-Befehlswert Tm(S') weiter von dem Drehmomentbefehls-Sollwert Tt als der Drehmoment-Befehlswert Tm(S) entfernt ist, ist die Belohnung ein niedrigerer Wert als der Drehmoment-Befehlswert Tm(S). Wenn der Drehmoment-Befehlswert Tm(S') sich dem Drehmomentbefehls-Sollwert Tt weiter als der Drehmoment-Befehlswert Tm(S) annähert, ist die Belohnung ein höherer Wert als der Drehmoment-Befehlswert Tm(S).
  • Es ist zu beachten, dass das oben beschriebene Verfahren ein Beispielverfahren zum Anwenden der Belohnung ist und das Verfahren ein im Folgenden beschriebenes Verfahren sein kann. Wenn zum Beispiel der Drehmoment-Befehlswert Tm(S') weiter von dem Drehmomentbefehls-Sollwert Tt als der Drehmoment-Befehlswert Tm(S) entfernt ist, ist die Belohnung ein negativer Wert. Wenn der Drehmoment-Befehlswert Tm(S') mit dem Drehmoment-Befehlswert Tm(S) übereinstimmt, ist die Belohnung gleich null. Wenn sich der Drehmoment-Befehlswert Tm(S') dem Drehmomentbefehls-Sollwert Tt weiter als der Drehmoment-Befehlswert Tm(S) annähert, ist die Belohnung ein positiver Wert. Auf diese Weise wird die Belohnung berechnet. Die Belohnungsausgabeeinheit 3021 kann die Belohnung auf einen positiven Wert festlegen, wenn der Drehmoment-Befehlswert Tm(S') mit dem Drehmoment-Befehlswert Tm(S) übereinstimmt, und kann die Belohnung auf einen positiven Wert festlegen, der größer als die Belohnung ist, wenn der Drehmoment-Befehlswert Tm(S') mit dem Drehmoment-Befehlswert Tm(S) übereinstimmt, wenn der Drehmoment-Befehlswert Tm(S') sich dem Drehmomentbefehls-Sollwert Tt weiter als der Drehmoment-Befehlswert Tm(S) annähert.
  • Die Wertfunktions-Aktualisierungseinheit 3022 führt ein Q-Learning auf Grundlage des Zustands S, der Aktion A, des Zustands S', wenn die Aktion A auf den Zustand S angewendet wird, und des Belohnungsgesamtwerts durch, der wie oben beschrieben berechnet wird, um die Wertfunktion Q zu aktualisieren, die die Wertfunktions-Speichereinheit 304 speichert. Das Aktualisieren der Wertfunktion Q kann durch Online-Lernen, Batch-Lernen oder Mini-Batch-Lernen durchgeführt werden.
  • Beim Online-Lernen handelt es sich um ein Lernverfahren zum Anwenden einer Aktion A auf den Ist-Zustand S, um die Wertfunktion Q jedes Mal unverzüglich zu aktualisieren, wenn der Zustand S in einen neuen Zustand S' übergeht. Beim Batch-Lernen handelt es sich um ein Lernverfahren zum Anwenden einer Aktion A auf den Ist-Zustand S, um den Übergang des Zustands S in den neuen Zustand S' zu wiederholen, um Lerndaten zu sammeln und ein Aktualisieren der Wertfunktion Q mithilfe sämtlicher gesammelter Lerndaten durchzuführen. Beim Mini-Batch-Lernen handelt es sich um ein Zwischenlernverfahren zwischen dem Online-Lernen und dem Batch-Lernen und um ein Lernverfahren zum Durchführen eines Aktualisierens der Wertfunktion Q jedes Mal, wenn bestimmte einzelne Lerndaten gesammelt werden.
  • Die Aktionsinformations-Erzeugungseinheit 3023 wählt die Aktion A in einem Prozess von Q-Learning im Hinblick auf den Ist-Zustand S aus. Die Aktionsinformations-Erzeugungseinheit 3023 erzeugt die Aktionsinformationen A, um einen Vorgang (der der Aktion A beim Q-Learning entspricht) zum Modifizieren des Verhältnisses der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd in dem Prozess des durchzuführenden Q-Learning zu bewirken, um die erzeugten Aktionsinformationen A an die Aktionsinformations-Ausgabeeinheit 303 auszugeben.
  • Genauer gesagt, die Aktionsinformations-Erzeugungseinheit 3023 passt zum Beispiel das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd durch die Aktion A an, wodurch das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd, das in dem Zustand S beinhaltet ist, zu erhöhen oder zu senken. Hier legt die Aktionsinformations-Erzeugungseinheit 3023 die Verfahrstrecke bei Beschleunigung Sa als konstant fest und führt eine Modifizierung an der Verfahrstrecke bei Verzögerung Sd im Zustand S in die Verfahrstrecke bei Verzögerung Sd' im Zustand S' durch. Wenn das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd durch die Aktion A angepasst wird und ein Übergang zu dem Zustand S' durchgeführt wird, kann die Aktionsinformations-Erzeugungseinheit 3023 das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd durch die folgende Aktion A' dadurch auswählen, ob der Drehmoment-Befehlswert bei Verzögerung Tm(S') sich dem Drehmomentbefehls-Sollwert Tt angenähert hat oder den Drehmomentbefehls-Sollwert Tt überstiegen hat. Wenn der Drehmoment-Befehlswert bei Verzögerung Tm(S') sich zum Beispiel dem Drehmomentbefehls-Sollwert Tt annähert, kann die Aktionsinformations-Erzeugungseinheit 3023 das Verhältnis der Verfahrstrecke bei Verzögerung Sd im Hinblick auf die Verfahrstrecke bei Beschleunigung Sa verringern, und wenn der Drehmoment-Befehlswert bei Verzögerung Tm(S') den Drehmomentbefehls-Sollwert Tt übersteigt, kann die Aktionsinformations-Erzeugungseinheit 3023 das Verhältnis der Verfahrstrecke bei Verzögerung Sd im Hinblick auf die Verfahrstrecke bei Beschleunigung Sa erhöhen.
  • Die Aktionsinformations-Erzeugungseinheit 3023 kann eine Maßnahme zum Auswählen der Aktion A' durch ein bekanntes Verfahren wie zum Beispiel das Greedy-Verfahren zum Auswählen der Aktion A' mit der höchsten Wertfunktion Q (S, A) aus den aktuell geschätzten Werten der Aktion A oder das ε-Greedy-Verfahren zum zufälligen Auswählen der Aktion A' mit einer geringen Wahrscheinlichkeit ε und abgesehen davon Auswählen der Aktion A' mit der höchsten Wertfunktion Q (S, A) ergreifen.
  • Bei der Aktionsinformations-Ausgabeeinheit 303 handelt es sich um eine Einheit, die die Aktionsinformationen A, die von der Lerneinheit 302 ausgegeben werden, an die Steuervorrichtung 200 sendet.
  • Bei der Wertfunktions-Speichereinheit 304 handelt es sich um eine Speichervorrichtung, die die Wertfunktion Q speichert. Die Wertfunktion Q kann als Tabelle (im Folgenden als Aktionswerttabelle bezeichnet) zum Beispiel für jeden Zustand S und jede Aktion A gespeichert werden. Die Wertfunktion Q, die in der Wertfunktions-Speichereinheit 304 gespeichert wird, wird durch die Wertfunktions-Aktualisierungseinheit 3022 aktualisiert. Die Wertfunktion Q, die in der Wertfunktions-Speichereinheit 304 gespeichert wird, kann mit sonstigen Vorrichtungen 300 für maschinelles Lernen gemeinsam genutzt werden. Wenn die Wertfunktion Q unter einer Mehrzahl von Vorrichtungen 300 für maschinelles Lernen gemeinsam genutzt wird, kann verteiltes bestärkendes Lernen durch die Vorrichtungen 300 für maschinelles Lernen durchgeführt werden. Auf diese Weise kann die Effizienz des bestärkenden Lernens verbessert werden.
  • Die Optimierungsaktionsinformations-Ausgabeeinheit 305 erzeugt die Aktionsinformationen A (im Folgenden als „Optimierungsaktionsinformationen“ bezeichnet), um zu bewirken, dass die Werkzeugmaschine 100 einen Vorgang durchführt, mit dem die Wertfunktion Q (S, A) auf Grundlage der Wertfunktion Q maximiert wird, die durch Durchführen von Q-Learning durch die Wertfunktions-Aktualisierungseinheit 3022 aktualisiert worden ist. Genauer gesagt, die Optimierungsaktionsinformations-Ausgabeeinheit 305 erfasst die Wertfunktion Q, die in der Wertfunktions-Speichereinheit 304 gespeichert ist. Diese Wertfunktion Q wird durch die Wertfunktions-Aktualisierungseinheit 3022 aktualisiert, die ein Q-Learning durchführt, wie oben beschrieben. Anschließend erzeugt die Optimierungsaktionsinformations-Ausgabeeinheit 305 die Aktionsinformationen auf Grundlage der Wertfunktion Q, um die erzeugten Aktionsinformationen an die Steuervorrichtung 200 auszugeben. Diese Optimierungsaktionsinformationen beinhalten Informationen zum Modifizieren des Verhältnisses der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd ähnlich wie die Aktionsinformationen, die in dem Prozess des Q-Learning durch die Aktionsinformations-Ausgabeeinheit 303 ausgegeben werden.
  • Die Steuervorrichtung 200 modifiziert das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd, das aktuell auf Grundlage der Optimierungsaktionsinformationen festgelegt ist, um den Drehmoment-Befehlswert zu erzeugen. Auf diese Weise kann die Werkzeugmaschine 100 die Steuervorrichtung 200 so betreiben, dass ein Gewindebohren für jede Maschine oder jede Betriebsbedingung stabil ist und die Bearbeitungszykluszeit für jede Maschine des Weiteren kurz ist und gleichzeitig der Drehmoment-Befehlswert bei Verzögerung Tm dem Sollwert Tt des Drehmoment-Befehlswerts bei Verzögerung angenähert wird.
  • Die Funktionsblöcke, die in der Steuervorrichtung 200 und der Vorrichtung 300 für maschinelles Lernen beinhaltet sind, sind oben beschrieben worden. Um diese Funktionsblöcke umzusetzen, beinhalten sowohl die Steuervorrichtung 200 als auch die Vorrichtung 300 für maschinelles Lernen eine Vorgangsbearbeitungsvorrichtung wie zum Beispiel eine Zentraleinheit (central processing unit, CPU). Sowohl die Steuervorrichtung 200 als auch die Vorrichtung 300 für maschinelles Lernen beinhalten außerdem eine Zusatzspeichervorrichtung wie zum Beispiel ein Festplattenlaufwerk (hard disk drive, HDD), die verschiedene Steuerprogramme wie etwa Anwendungs-Software und ein Betriebssystem (operating system, OS) speichert, und eine Hauptspeichervorrichtung wie etwa einen Direktzugriffsspeicher (random access memory, RAM) zum Speichern von Daten, die vorübergehend zum Ausführen des Programms durch die Vorgangsbearbeitungsvorrichtung benötigt werden.
  • Sowohl in der Steuervorrichtung 200 als auch in der Vorrichtung 300 für maschinelles Lernen führt die Vorgangsbearbeitungsvorrichtung eine Vorgangsbearbeitung auf Grundlage der Anwendungs-Software oder des OS durch, während sie die Anwendungs-Software und das OS aus der Zusatzspeichervorrichtung ausliest und die/das ausgelesene Anwendungs-Software und OS in die Hauptspeichervorrichtung entpackt. Die Vorgangsbearbeitungsvorrichtung steuert verschiedene Hardware, die in jeder Vorrichtung beinhaltet ist, auf Grundlage dieses Vorgangsergebnisses. Infolgedessen werden die Funktionsblöcke der vorliegenden Ausführungsform umgesetzt. Das heißt, die vorliegende Ausführungsform kann durch das Zusammenwirken von Hardware und Software umgesetzt werden.
  • Die Vorrichtung 300 für maschinelles Lernen führt eine große Anzahl von Vorgängen im Zusammenhang mit maschinellem Lernen durch. Daher ist es wünschenswert, dass zum Beispiel ein Personalcomputer mit Grafikverarbeitungseinheiten (graphics processing units, GPUs) ausgestattet wird. Die Vorrichtung 300 für maschinelles Lernen kann eine Hochgeschwindigkeitsverarbeitung durch Nutzen der GPUs für die Vorgangsbearbeitung im Zusammenhang mit dem maschinellen Lernen durch eine Technik durchführen, die als Allzweck-Berechnung auf Grafikprozessoreinheiten (general-purpose computing on graphics processing units, GPGPU) bezeichnet wird. Des Weiteren kann, um eine Bearbeitung mit höherer Geschwindigkeit durchzuführen, eine Mehrzahl solcher mit den GPUs ausgestatteter Computer dazu verwendet werden, einen Computerverbund zu erstellen, so dass die Vorrichtung 300 für maschinelles Lernen eine Parallelverarbeitung mithilfe der Mehrzahl von Computern durchführt, die in dem Computerverbund beinhaltet sind.
  • Als Nächstes wird der Betrieb der Vorrichtung 300 für maschinelles Lernen zur Zeit eines Q-Learning bei der vorliegenden Ausführungsform unter Bezugnahme auf Ablaufpläne von 6 beschrieben. 6 ist ein Ablaufplan, der den Betrieb der Vorrichtung 300 für maschinelles Lernen zur Zeit eines Q-Learning in der vorliegenden Ausführungsform darstellt. Es ist zu beachten, dass angenommen wird, dass das zu optimierende Gewindebohrprogramm 500 vorbereitet wird und jeder Parameterwert (zum Beispiel der Sollwert Tt des Drehmoment-Befehlswerts bei Verzögerung, die maximale Anzahl von Versuchen und dergleichen) im Voraus festgelegt wird.
  • Zuerst erfasst in Schritt S11 die Zustandsinformations-Erfassungseinheit 301 Anfangszustandsinformationen von der Steuervorrichtung 200. Die erfassten Zustandsinformationen werden an die Wertfunktions-Aktualisierungseinheit 3022 und die Aktionsinformations-Erzeugungseinheit 3023 ausgegeben. Wie oben beschrieben, handelt es sich bei diesen Zustandsinformationen um Informationen, die dem Zustand S bei einem Q-Learning entsprechen, und sie beinhalten den Drehmoment-Befehlswert im Hinblick auf den Spindelmotor 101, die Antriebszustandsinformationen (Antriebszustandsinformationen des Spindelmotors 101), die angeben, in welchem von Beschleunigung, Verzögerung, konstanter Drehzahl und Anhalten sich der Spindelmotor 101 befindet, und das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd, zur Zeit des Schritts S11. Bei der vorliegenden Ausführungsform ist die Verfahrstrecke bei Beschleunigung Sa konstant. Das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd zu der Zeit, zu der ein Q-Learning erstmals begonnen wird, wird im Voraus durch den Benutzer festgelegt und wird hier auf 1:1 festgelegt. Bei der vorliegenden Ausführungsform passt die Vorrichtung 300 für maschinelles Lernen das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd, das durch den Benutzer erstellt worden ist, durch bestärkendes Lernen auf optimalere Werte an.
  • In Schritt S12 bezieht die Zustandsinformations-Erfassungseinheit 301 den Drehmoment-Befehlswert bei Verzögerung Tm(S) im Zusammenhang mit dem Zustand S in einem Zyklus beim Gewindebohren durch den Drehmoment-Befehlswert im Hinblick auf den Spindelmotor 101 im Zusammenhang mit dem Zustand S und die Antriebszustandsinformationen des Spindelmotors 101 und legt diesen Drehmoment-Befehlswert bei Verzögerung Tm(S) als Bestimmungsinformationen fest. Die Zustandsinformations-Erfassungseinheit 301 gibt die erfassten Zustandsinformationen und die Bestimmungsinformationen an die Lerneinheit 302 aus.
  • In Schritt S13 berechnet die Belohnungsausgabeeinheit 3021 die Belohnung auf Grundlage der eingegebenen Bestimmungsinformationen, das heißt, des Drehmoment-Befehlswerts bei Verzögerung Tm(S). In Schritt S13 verwendet die Belohnungsausgabeeinheit 3021 den Drehmoment-Befehlswert bei Verzögerung Tm(S) im Zusammenhang mit dem Zustand S und den Sollwert Tt des Drehmoment-Befehlswerts bei Verzögerung im Hinblick auf den Spindelmotor 101, um die Belohnung durch die oben beschriebene Formel 3 zu berechnen.
  • Wenn der Schritt S13 endet, aktualisiert die Wertfunktions-Aktualisierungseinheit 3022 in Schritt S14 die Wertfunktion Q, die in der Wertfunktions-Speichereinheit 304 gespeichert ist, auf Grundlage des Belohnungsgesamtwerts. Als nächstes ermittelt die Wertfunktions-Aktualisierungseinheit 3022 in Schritt S15, ob das maschinelle Lernen fortgesetzt wird. Ob das maschinelle Lernen fortgesetzt wird, wird dadurch bestimmt, ob die aktuelle Anzahl von Versuchen die maximale Anzahl von Versuchen erreicht hat. Wenn die maximale Anzahl von Versuchen nicht erreicht ist, geht die Verarbeitung zu Schritt S16 über. Wenn die maximale Anzahl von Versuchen erreicht ist, endet die Verarbeitung.
  • In Schritt S16 erzeugt die Aktionsinformations-Erzeugungseinheit 3023 neue Aktionsinformationen A und gibt die erzeugten neuen Aktionsinformationen A über die Aktionsinformations-Ausgabeeinheit 303 an die Steuervorrichtung 200 aus. Die Steuervorrichtung 200, die die Aktionsinformationen empfangen hat, modifiziert das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd im Zusammenhang mit dem Ist-Zustand S auf Grundlage der empfangenen Aktionsinformationen, um einen Übergang zu dem Zustand S' durchzuführen, und treibt die Werkzeugmaschine 100 durch den Zustand S' an, der modifiziert worden ist, um ein Gewindebohren durchzuführen. Beispielsweise modifiziert die Steuervorrichtung 200 den Zustand S, in dem das in 4 dargestellte Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd 1:1 beträgt, in den Zustand S', in dem das Verhältnis 1:0,7 beträgt. 7 ist ein Schaubild, das eine Beziehung zwischen der Drehzahl v des Spindelmotors bei Verzögerung und der Zeit t darstellt, wenn das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und einer Verfahrstrecke bei Verzögerung nach einer Korrektur Sd' 1:0,7 beträgt. Eine Zeit eines Zyklus (Zykluszeit) wird von einer Zeit t1 in eine Zeit t2 geändert, die kleiner als die Zeit t1 ist. Wenn Schritt S16 endet, kehrt die Verarbeitung zu Schritt S12 zurück.
  • Hier wird ein spezifischer Vorgang der Steuervorrichtung 200 in Schritt S16 und dem nächsten Schritt S12 speziell unter Bezugnahme auf 3 beschrieben.
  • Wie in 3 dargestellt, sendet die Spindelsteuereinheit 220 die Antriebszustandsinformationen (Antriebszustandsinformationen des Spindelmotors 101), die angeben, in welchem von Beschleunigung, Verzögerung, konstanter Drehzahl und Anhalten sich der Spindelmotor 101 befindet, auf Grundlage der Ist-Drehzahl Vc, die durch die Ist-Drehzahl-Erkennungseinheit 224 erkannt wird, des Beschleunigungszustands, der durch die Anfangsbetriebs-Steuereinheit 221 gesteuert wird, und des Verzögerungszustands, der durch die Positionierungsvorgangs-Steuereinheit 225 gesteuert wird, an die Vorrichtung 300 für maschinelles Lernen. Die Spindelsteuereinheit 220 sendet den Drehmoment-Befehlswert nicht nur an den Spindelmotor 101, sondern auch an die Vorrichtung 300 für maschinelles Lernen. Die Spindelsteuereinheit 220 sendet das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd in einem Zyklus eines Gewindebohrens, der in dem Gewindebohrprogramm 500 durchgeführt wird, an die Vorrichtung 300 für maschinelles Lernen. Der Drehmoment-Befehlswert, die Antriebszustandsinformationen des Spindelmotors 101 und das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd sind die Zustandsinformationen S, die an die Vorrichtung 300 für maschinelles Lernen zu senden sind. Die Spindelsteuereinheit 220 empfängt das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd von der Vorrichtung 300 für maschinelles Lernen als Aktionsinformationen. Die Positionierungsvorgangs-Steuereinheit 225 bezieht die Verfahrstrecke bei Verzögerung Sd aus dem Verhältnis und der Verfahrstrecke bei Beschleunigung Sa, die durch die Drehbetrags-Erkennungseinheit 222 erkannt wird. Wenn das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd 1:0,7 beträgt, wie in 7 dargestellt, gewinnt die Positionierungsvorgangs-Steuereinheit 225 die Verfahrstrecke bei Verzögerung Sd durch Multiplizieren der Verfahrstrecke bei Beschleunigung Sa, die durch die Drehbetrags-Erkennungseinheit 222 erkannt wird, mit 0,7. Wenn der Restdrehbetrag Sr die gewonnene Verfahrstrecke bei Verzögerung Sd erreicht, beginnt die Verzögerung. Die Beschleunigung der Verzögerung kann auf Grundlage der gewonnenen Verfahrstrecke bei Verzögerung (des Restdrehbetrags Sr) und der Ist-Drehzahl Vc gewonnen werden, wie bereits beschrieben.
  • Wenn die Verarbeitung von dem nächsten Schritt S12 bis zu dem nächsten Schritt S15 endet, wird zum Beispiel in dem nächsten Schritt S6 der Zustand S', in dem das in 7 dargestellte Verhältnis der Verfahrstrecke bei Beschleunigung Sa und der Verfahrstrecke bei Verzögerung Sd' 1:0,7 beträgt, in einen Zustand S" modifiziert, in dem das Verhältnis 1:0,4 beträgt. 8 ist ein Schaubild, das eine Beziehung zwischen der Drehzahl v des Spindelmotors bei Verzögerung und der Zeit t, wenn das Verhältnis der Verfahrstrecke bei Beschleunigung Sa und einer Verfahrstrecke bei Verzögerung nach einer Korrektur Sd" 1:0,4 beträgt, darstellt. Die Zeit eines Zyklus (Zykluszeit) wird von einer Zeit t2 in eine Zeit t3 geändert, die kleiner als die Zeit t2 ist. Die Verarbeitung von Schritt S12 bis Schritt S16 wird wiederholt, bis die maximale Anzahl von Versuchen erreicht ist. Hier endet die Verarbeitung, wenn die Anzahl von Versuchen die maximale Anzahl von Versuchen erreicht. Die Verarbeitung kann jedoch mit einer Bedingung enden, dass die Verarbeitung von Schritt S12 bis Schritt S16 eine vorgegebene Zeit lang wiederholt wird.
  • Es ist ein Fall beschrieben worden, in dem das Verhältnis der Verfahrstrecke bei Verzögerung Sd im Hinblick auf die Verfahrstrecke bei Beschleunigung Sa in dem oben beschriebenen Schritt S16 verringert wird. Die Vorrichtung 300 für maschinelles Lernen erhöht jedoch auch das Verhältnis der Verfahrstrecke bei Verzögerung Sd im Hinblick auf die Verfahrstrecke bei Beschleunigung Sa, um maschinelles Lernen durchzuführen. Wenngleich in Schritt S14 eine Online-Aktualisierung beispielhaft dargestellt wird, kann eine Batch-Aktualisierung oder eine Mini-Batch-Aktualisierung anstelle der Online-Aktualisierung durchgeführt werden.
  • Wie oben beschrieben, zeigt die vorliegende Ausführungsform durch den unter Bezugnahme auf 6 beschriebenen Vorgang eine Wirkung, die in der Lage ist, die Wertfunktion Q zum Stabilisieren eines Gewindebohrens für jede Maschine oder jede Betriebsbedingung im Hinblick auf ein Bearbeitungsprogramm zu erzeugen und die Aktionsinformationen für ein weiteres Verringern der Zykluszeit zu erzeugen und gleichzeitig eine Motorfähigkeit zu Verzögerung an den Sollwert anzunähern.
  • Als Nächstes wird ein Vorgang zur Zeit einer Erzeugung von Optimierungsaktionsinformationen durch die Optimierungsaktionsinformations-Ausgabeeinheit 305 unter Bezugnahme auf einen Ablaufplan von 9 beschrieben. Zuerst erfasst die Optimierungsaktionsinformations-Ausgabeeinheit 305 in Schritt S21 die Wertfunktion Q, die in der Wertfunktions-Speichereinheit 304 gespeichert ist. Bei der Wertfunktion Q handelt es sich um eine Funktion, die durch Durchführen von Q-Learning durch die Wertfunktions-Aktualisierungseinheit 3022 aktualisiert worden ist, wie oben beschrieben.
  • In Schritt S22 erzeugt die Optimierungsaktionsinformations-Ausgabeeinheit 305 die Optimierungsaktionsinformationen auf Grundlage der Wertfunktion Q, um die erzeugten Optimierungsaktionsinformationen an die Steuervorrichtung 200 auszugeben.
  • Wie oben beschrieben, erzeugt die Steuervorrichtung 200 den Drehmoment-Befehlswert auf Grundlage der Optimierungsaktionsinformationen, und dadurch kann die Werkzeugmaschine 100 das Gewindebohren für jede Maschine oder Betriebsbedingung stabilisieren und die Zykluszeit weiter verringern und gleichzeitig die Motorfähigkeit zu Verzögerung an den Sollwert annähern.
  • Oben sind die Ausführungsformen der vorliegenden Erfindung beschrieben worden. Sowohl die Steuervorrichtung als auch die Vorrichtung für maschinelles Lernen können durch Hardware, Software oder Kombinationen von diesen umgesetzt werden. Das Verfahren für maschinelles Lernen, das durch das Zusammenwirken der Steuervorrichtung und der Vorrichtung für maschinelles Lernen, die oben beschrieben worden sind, durchgeführt wird, kann ebenfalls durch Hardware, Software, oder eine Kombination von diesen umgesetzt werden. Durch Software umgesetzt bedeutet eine Umsetzung durch einen Computer, der ein Programm ausliest und ausführt.
  • Das Programm kann mithilfe verschiedener Typen nichttransitorischer, computerlesbarer Medien gespeichert werden und dem Computer zugeführt werden. Zu den nichttransitorischen, computerlesbaren Medien zählen verschiedene Typen von physischen Speichermedien. Zu Beispielen für die nichttransitorischen, computerlesbaren Medien zählen ein magnetisches Medium (zum Beispiel ein Festplattenlaufwerk), ein magnetooptisches Aufzeichnungsmedium (zum Beispiel eine magnetooptische Platte), eine CD-ROM (Read Only Memory, Festwertspeicher), eine CD-R, eine CD-R/W, ein Halbleiterspeicher (zum Beispiel ein Masken-ROM, ein programmierbarer ROM (PROM), ein löschbarer PROM (erasable PROM, EPROM), ein Flash-ROM oder ein Direktzugriffsspeicher (random access memory, RAM)).
  • Wenngleich die oben beschriebenen Ausführungsformen bevorzugte Ausführungsformen der vorliegenden Erfindung sind, ist der Umfang der vorliegenden Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt. Die vorliegende Erfindung kann in einer Ausführungsform durchgeführt werden, in der verschiedene Modifizierungen vorgenommen werden, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
  • <Varianten>
  • Bei den oben beschriebenen Ausführungsformen wird die Vorrichtung 300 für maschinelles Lernen durch eine von der Werkzeugmaschine 100 und der Steuervorrichtung 200 verschiedene Vorrichtung umgesetzt. Ein Teil oder sämtliche der Funktionen der Vorrichtung 300 für maschinelles Lernen können jedoch durch die Werkzeugmaschine 100 oder die Steuervorrichtung 200 umgesetzt werden. Ein Teil oder sämtliche der Funktionen der Vorrichtung 300 für maschinelles Lernen können durch die numerische Steuereinheit 210 der Steuervorrichtung 200 oder die Spindelsteuereinheit 220 umgesetzt werden. Eine Einheit für maschinelles Lernen, die einen Teil oder sämtliche der Funktionen der Vorrichtung 300 für maschinelles Lernen aufweist, kann in der Steuervorrichtung 200 getrennt von der numerischen Steuereinheit 210 oder der Spindelsteuereinheit 220 bereitgestellt werden. Die Optimierungsaktionsinformations-Ausgabeeinheit 305 der Vorrichtung 300 für maschinelles Lernen kann eine von der Vorrichtung 300 für maschinelles Lernen verschiedene Optimierungsaktionsinformations-Ausgabeeinheit sein. In diesem Fall kann eine oder eine Mehrzahl von Optimierungsaktionsinformations-Ausgabeeinheiten im Hinblick auf eine Mehrzahl von Vorrichtungen 300 für maschinelles Lernen bereitgestellt werden, die gemeinsam zu nutzen ist.
  • <Spielraum bei der Systemgestaltung>
  • Bei den oben beschriebenen Ausführungsformen sind die Vorrichtung 300 für maschinelles Lernen und die Steuervorrichtung 200 als Eins-zu-Eins-Satz zur Datenübertragung verbunden. Eine Vorrichtung 300 für maschinelles Lernen kann jedoch zum Beispiel über das Netzwerk 400 zur Datenübertragung mit einer Mehrzahl von Steuervorrichtungen 200 verbunden sein, um ein maschinelles Lernen jeder Steuervorrichtung 200 durchzuführen. Dabei können jeweilige Funktionen der Vorrichtung 300 für maschinelles Lernen durch ein verteiltes Verarbeitungssystem umgesetzt werden, in dem die Funktionen gegebenenfalls auf eine Mehrzahl von Servern verteilt sind. Die Funktionen der Vorrichtung 300 für maschinelles Lernen können durch Einsetzen einer Funktion eines virtuellen Servers oder dergleichen in der Cloud umgesetzt werden.
  • Wenn eine Mehrzahl von Vorrichtungen 300-1 bis 300-n für maschinelles Lernen vorhanden ist, die einer Mehrzahl von Steuervorrichtungen 200-1 bis 200-n jeweils mit demselben Typnamen, derselben Spezifikation oder derselben Serie entspricht, kann die Mehrzahl von Vorrichtungen 300-1 bis 300-n für maschinelles Lernen so gestaltet sein, dass Lernergebnisse in den Vorrichtungen 300-1 bis 300-n für maschinelles Lernen gemeinsam genutzt werden. Infolgedessen kann ein optimaleres Modell erstellt werden.
  • Bezugszeichenliste
    • 10
    Steuersystem
    100, 100-1 bis 100-n
    Werkzeugmaschine
    101
    Spindelmotor
    102
    Achsenmotor
    105
    Zykluszähler
    200, 200-1 bis 200-n
    Steuervorrichtung
    210
    numerische Steuereinheit
    220
    Spindelsteuereinheit
    230
    Dreherkennungseinheit
    240
    Achsenmotor-Steuereinheit
    300, 300-1 bis 300-n
    Vorrichtung für maschinelles Lernen
    301
    Zustandsinformations-Erfassungseinheit
    302
    Lerneinheit
    303
    Aktioninformations-Ausgabeeinheit
    304
    Wertfunktions-Speichereinheit
    305
    Optimierungsaktionsinformations-Ausgabeeinheit
    400
    Netzwerk
    500
    Gewindebohrprogramm
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 201730061 [0003]

Claims (8)

  1. Vorrichtung (300) für maschinelles Lernen, die maschinelles Lernen im Hinblick auf eine Steuervorrichtung (200) einer Werkzeugmaschine (100) durchführt, wobei die Steuervorrichtung (200) einen Synchronbetrieb eines Spindelmotors (101) und eines Vorschubachsenmotors (105) steuert, wobei die Vorrichtung (300) für maschinelles Lernen aufweist: eine Zustandsinformations-Erfassungseinheit (301), um zu bewirken, dass die Steuervorrichtung ein Gewindebohrprogramm ausführt, um von der Steuervorrichtung Zustandsinformationen zu erfassen, die zumindest einen Drehmoment-Befehlswert im Hinblick auf den Spindelmotor, einen Antriebszustand, der eine Verzögerung des Spindelmotors beinhaltet, und ein Verhältnis einer Verfahrstrecke bei Beschleunigung und einer Verfahrstrecke bei Verzögerung des Spindelmotors beinhalten; eine Aktioninformations-Ausgabeeinheit (303) zum Ausgeben von Aktionsinformationen, die Anpassungsinformationen des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors beinhalten, die in den Zustandsinformationen beinhaltet sind, an die Steuervorrichtung; eine Belohnungsausgabeeinheit (3021) zum Ausgeben eines Belohnungswerts bei einem bestärkenden Lernen auf Grundlage eines Drehmoment-Befehlswerts bei Verzögerung, der in den Zustandsinformationen beinhaltet ist, und eines Drehmomentbefehls-Sollwerts bei Verzögerung; und eine Wertfunktions-Aktualisierungseinheit (3022) zum Aktualisieren einer Aktionswertfunktion auf Grundlage des Belohnungswerts, der von der Belohnungsausgabeeinheit ausgegeben wird, der Zustandsinformationen und der Aktionsinformationen.
  2. Vorrichtung für maschinelles Lernen nach Anspruch 1, wobei die Belohnungsausgabeeinheit eine Belohnung durch die folgende Formel 4 mithilfe eines Drehmoment-Befehlswerts Tm bei Verzögerung, eines Drehmomentbefehls-Sollwerts Tt bei Verzögerung und eines Koeffizienten a gewinnt. α × ( 1 − | T t − T m | T t )
    Figure DE102018214276A1_0004
  3. Vorrichtung für maschinelles Lernen nach Anspruch 1 oder 2, wobei die Vorrichtung für maschinelles Lernen eine Optimierungsaktionsinformations-Ausgabeeinheit (305) zum Erzeugen und Ausgeben eines Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors auf Grundlage einer Wertfunktion aufweist, die durch die Wertfunktions-Aktualisierungseinheit aktualisiert wird.
  4. Steuersystem, das die Vorrichtung für maschinelles Lernen nach Anspruch 1 bis 3 und eine Steuervorrichtung einer Werkzeugmaschine aufweist, wobei die Steuervorrichtung einen Synchronbetrieb eines Spindelmotors und eines Vorschubachsenmotors steuert.
  5. Steuervorrichtung einer Werkzeugmaschine, die die Vorrichtung für maschinelles Lernen nach einem der Ansprüche 1 bis 3 aufweist, wobei die Steuervorrichtung einen Synchronbetrieb eines Spindelmotors und eines Vorschubachsenmotors steuert.
  6. Steuersystem nach Anspruch 4, wobei die Steuervorrichtung (200) aufweist: eine numerische Steuereinheit (210) zum Erzeugen eines Spindelbefehls und eines Vorschubachsenbefehls auf Grundlage eines Gewindebohrprogramms; eine Spindelsteuereinheit (220) zum Steuern eines Drehvorgangs des Spindelmotors gemäß dem Spindelbefehl; eine Dreherkennungseinheit (230) zum Erkennen einer Drehposition des Spindelmotors; und eine Vorschubachsen-Steuereinheit (240) zum Steuern eines Vorschubvorgangs der Vorschubachse auf Grundlage der Drehposition gemäß dem Vorschubachsenbefehl, wobei die numerische Steuereinheit eine Spindelbefehls-Ausgabeeinheit (211) zum Erfassen eines Drehgesamtbetrags und der Höchstdrehzahl des Spindelmotors von einer Startposition bis zu einer Zielposition von dem Gewindebohrprogramm aufweist, um den Drehgesamtbetrag und die Höchstdrehzahl als Spindelbefehl an die Spindelsteuereinheit zu senden, wobei die Spindelsteuereinheit aufweist: eine Anfangsbetriebs-Steuereinheit (221), um durch eine Drehzahlregelung mit der Höchstdrehzahl als Sollwert zu bewirken, dass sich der Spindelmotor von der Startposition aus beschleunigend dreht; eine Drehbetrags-Erkennungseinheit (222) zum Erkennen eines Drehbetrags des Spindelmotors auf Grundlage der Drehposition während der Beschleunigungsdrehung; eine Restdrehbetrags-Erkennungseinheit (223) zum Erkennen eines Restdrehbetrags des Spindelmotors von einer Ist-Position bis zu der Zielposition auf Grundlage des Drehgesamtbetrags und der Drehposition; eine Ist-Drehzahl-Erkennungseinheit (224) zum Erkennen einer Ist-Drehzahl des Spindelmotors auf Grundlage der Drehposition; und eine Positionierungsvorgangs-Steuereinheit (225), um durch eine Positionssteuerung auf Grundlage des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors, des Restdrehbetrags und der Ist-Drehzahl nach der Beschleunigungsdrehung zu bewirken, dass sich der Spindelmotor verzögernd dreht und die Zielposition erreicht.
  7. Steuervorrichtung nach Anspruch 5, wobei die Steuervorrichtung aufweist: eine numerische Steuereinheit (210) zum Erzeugen eines Spindelbefehls und eines Vorschubachsenbefehls auf Grundlage eines Gewindebohrprogramms; eine Spindelsteuereinheit (220) zum Steuern eines Drehvorgangs des Spindelmotors gemäß dem Spindelbefehl; eine Dreherkennungseinheit (230) zum Erkennen einer Drehposition des Spindelmotors; und eine Vorschubachsen-Steuereinheit (240) zum Steuern eines Vorschubvorgangs der Vorschubachse auf Grundlage der Drehposition gemäß dem Vorschubachsenbefehl, wobei die numerische Steuereinheit eine Spindelbefehls-Ausgabeeinheit (211) zum Erfassen eines Drehgesamtbetrags und der Höchstdrehzahl des Spindelmotors von einer Startposition bis zu einer Zielposition von dem Gewindebohrprogramm aufweist und den Drehgesamtbetrag und die Höchstdrehzahl als Spindelbefehl an die Spindelsteuereinheit sendet, wobei die Spindelsteuereinheit aufweist: eine Anfangsbetriebs-Steuereinheit (221), um durch eine Drehzahlregelung mit der Höchstdrehzahl als Sollwert zu bewirken, dass sich der Spindelmotor von der Startposition aus beschleunigend dreht; eine Drehbetrags-Erkennungseinheit (222) zum Erkennen eines Drehbetrags des Spindelmotors auf Grundlage der Drehposition während der Beschleunigungsdrehung; eine Restdrehbetrags-Erkennungseinheit (223) zum Erkennen eines Restdrehbetrags des Spindelmotors von einer Ist-Position bis zu der Zielposition auf Grundlage des Drehgesamtbetrags und der Drehposition; eine Ist-Drehzahl-Erkennungseinheit (224) zum Erkennen einer Ist-Drehzahl des Spindelmotors auf Grundlage der Drehposition; und eine Positionierungsvorgangs-Steuereinheit (225), um durch eine Positionssteuerung auf Grundlage des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors, des Restdrehbetrags und der Ist-Drehzahl nach der Beschleunigungsdrehung zu bewirken, dass sich der Spindelmotor verzögernd dreht und die Zielposition erreicht.
  8. Verfahren für maschinelles Lernen einer Vorrichtung (300) für maschinelles Lernen, die maschinelles Lernen im Hinblick auf eine Steuervorrichtung (200) einer Werkzeugmaschine (100) durchführt, wobei die Steuervorrichtung einen Synchronbetrieb eines Spindelmotors (101) und eines Vorschubachsenmotors (105) steuert, wobei das Verfahren für maschinelles Lernen aufweist: Erfassen von Zustandsinformationen, die zumindest einen Drehmoment-Befehlswert im Hinblick auf den Spindelmotor, einen Antriebszustand, der eine Verzögerung des Spindelmotors beinhaltet, und ein Verhältnis einer Verfahrstrecke bei Beschleunigung und einer Verfahrstrecke bei Verzögerung des Spindelmotors beinhalten, von der Steuervorrichtung durch Bewirken, dass die Steuervorrichtung ein Gewindebohrprogramm ausführt; Ausgeben von Aktionsinformationen, die Anpassungsinformationen des Verhältnisses der Verfahrstrecke bei Beschleunigung und der Verfahrstrecke bei Verzögerung des Spindelmotors beinhalten, die in den Zustandsinformationen beinhaltet sind, an die Steuervorrichtung; Ausgeben eines Belohnungswerts bei bestärkendem Lernen auf Grundlage eines Drehmoment-Befehlswerts bei Verzögerung, der in den Zustandsinformationen beinhaltet ist, und eines Drehmomentbefehls-Sollwerts bei Verzögerung; und Aktualisieren einer Aktionswertfunktion auf Grundlage des Belohnungswerts, der Zustandsinformationen und der Aktionsinformationen.
DE102018214276.9A 2017-08-29 2018-08-23 Vorrichtung für maschinelles Lernen, Steuersystem, Steuervorrichtung und Verfahren für maschinelles Lernen Active DE102018214276B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017164062A JP6564432B2 (ja) 2017-08-29 2017-08-29 機械学習装置、制御システム、制御装置、及び機械学習方法
JP2017-164062 2017-08-29

Publications (2)

Publication Number Publication Date
DE102018214276A1 true DE102018214276A1 (de) 2019-02-28
DE102018214276B4 DE102018214276B4 (de) 2021-07-22

Family

ID=65321941

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018214276.9A Active DE102018214276B4 (de) 2017-08-29 2018-08-23 Vorrichtung für maschinelles Lernen, Steuersystem, Steuervorrichtung und Verfahren für maschinelles Lernen

Country Status (4)

Country Link
US (1) US11029651B2 (de)
JP (1) JP6564432B2 (de)
CN (1) CN109420800B (de)
DE (1) DE102018214276B4 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050547A (zh) * 2021-03-04 2021-06-29 合肥宏晶微电子科技股份有限公司 测试激励生成方法、测试方法、电子设备、存储介质
CN113266479A (zh) * 2020-02-17 2021-08-17 丰田自动车株式会社 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置
US11370427B2 (en) * 2018-12-14 2022-06-28 Hyundai Motor Company Driver assistance apparatus and method for operating the same

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083667A1 (en) * 2016-11-04 2018-05-11 Deepmind Technologies Limited Reinforcement learning systems
JP6660038B1 (ja) * 2018-11-05 2020-03-04 株式会社明電舎 軸トルク制御装置
JP7010877B2 (ja) 2019-04-25 2022-01-26 ファナック株式会社 機械学習装置、数値制御システム及び機械学習方法
US11429869B2 (en) * 2019-11-21 2022-08-30 International Business Machines Corporation Artificially intelligent interaction agent
CN111830832B (zh) * 2020-07-27 2021-08-31 中国科学院自动化研究所 仿生滑翔机器海豚平面路径跟踪方法及系统
US11455576B2 (en) * 2020-11-12 2022-09-27 UMNAI Limited Architecture for explainable reinforcement learning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017030061A (ja) 2015-07-29 2017-02-09 ファナック株式会社 主軸と送り軸との同期運転を制御する工作機械の制御装置及び制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757444B2 (ja) * 1985-06-28 1995-06-21 ブラザー工業株式会社 ねじ加工装置
EP0991493B1 (de) 1997-06-24 2004-07-28 AMADA COMPANY, Ltd. Unterstützungsystem
JP2001228909A (ja) 2000-02-16 2001-08-24 Star Micronics Co Ltd 工作機械及びその制御方法
JP3749222B2 (ja) 2002-12-24 2006-02-22 ファナック株式会社 数値制御装置
JP2005216135A (ja) 2004-01-30 2005-08-11 Fanuc Ltd ねじ切り・ねじ立て加工用制御装置
CN101799661B (zh) * 2007-01-10 2012-12-05 株式会社日立制作所 锅炉设备的控制装置及锅炉设备的操作员训练用装置
JP5325949B2 (ja) * 2011-08-08 2013-10-23 ファナック株式会社 タッピング加工装置
WO2013183082A1 (ja) 2012-06-05 2013-12-12 三菱電機株式会社 数値制御装置
JP5624163B2 (ja) 2013-01-17 2014-11-12 ファナック株式会社 ねじ切りサイクルの再加工を行う機能を有する数値制御装置
JP5778801B2 (ja) * 2014-01-23 2015-09-16 ファナック株式会社 工作機械の数値制御装置
DE102015013283B4 (de) 2014-10-17 2019-01-24 Fanuc Corporation Vorrichtung und Verfahren zum Steuern einer Werkzeugmaschine, um einen synchronisierten Betrieb einer Spindelachse und Vorschubachse zu steuern
JP5851670B1 (ja) 2014-10-28 2016-02-03 三菱電機株式会社 数値制御装置
JP6034913B2 (ja) * 2015-03-30 2016-11-30 ファナック株式会社 主軸と送り軸との同期運転を制御する工作機械の制御装置及び制御方法
JP6063013B1 (ja) 2015-08-27 2017-01-18 ファナック株式会社 びびり或いは工具摩耗／破損の発生を抑制する加工条件調整機能を有する数値制御装置
JP6697491B2 (ja) * 2018-01-25 2020-05-20 ファナック株式会社 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法
JP7177672B2 (ja) * 2018-11-26 2022-11-24 オークマ株式会社 数値制御装置
JP7010877B2 (ja) * 2019-04-25 2022-01-26 ファナック株式会社 機械学習装置、数値制御システム及び機械学習方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017030061A (ja) 2015-07-29 2017-02-09 ファナック株式会社 主軸と送り軸との同期運転を制御する工作機械の制御装置及び制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11370427B2 (en) * 2018-12-14 2022-06-28 Hyundai Motor Company Driver assistance apparatus and method for operating the same
CN113266479A (zh) * 2020-02-17 2021-08-17 丰田自动车株式会社 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置
CN113266479B (zh) * 2020-02-17 2023-02-17 丰田自动车株式会社 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置
CN113050547A (zh) * 2021-03-04 2021-06-29 合肥宏晶微电子科技股份有限公司 测试激励生成方法、测试方法、电子设备、存储介质

Also Published As

Publication number Publication date
CN109420800A (zh) 2019-03-05
JP6564432B2 (ja) 2019-08-21
JP2019040556A (ja) 2019-03-14
US11029651B2 (en) 2021-06-08
US20190064756A1 (en) 2019-02-28
DE102018214276B4 (de) 2021-07-22
CN109420800B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
DE102018214276B4 (de) Vorrichtung für maschinelles Lernen, Steuersystem, Steuervorrichtung und Verfahren für maschinelles Lernen
DE102018211682B4 (de) Maschinelle lernvorrichtung, numerische steuervorrichtung, numerisches steuersystem und maschinelles lernverfahren
DE102018200794B4 (de) Aktionsinformations-lernvorrichtung, aktionsinformations-optimierungssystem und aktionsinformations-lernprogramm
DE102018203702B4 (de) Vorrichtung für maschinelles Lernen, Servo-Regelungsvorrichtung, Servo-Regelungssystem und Verfahren für maschinelles Lernen
DE102016006525B4 (de) Vorrichtung und Verfahren zum Steuern einer Werkzeugmaschine, um einen synchronisierten Betrieb einer Spindelachse und Vorschubachse zu steuern
DE102018203956B4 (de) Maschinelle Lernvorrichtung, Servosteuerungsvorrichtung, Servosteuerungssystem und maschinelles Lernverfahren
DE102016003513B4 (de) Vorrichtung und Verfahren zum Steuern einer Werkzeugmaschine, um die synchronisierte Betätigung von Spindelachse und Vorschubachse zu steuern
DE102016008995B4 (de) Vorrichtung und Verfahren zum Steuern einer Werkzeugmaschine, um einen synchronisierten Betrieb einer Spindelachse und Vorschubachse zu Steuern
DE102015013283B4 (de) Vorrichtung und Verfahren zum Steuern einer Werkzeugmaschine, um einen synchronisierten Betrieb einer Spindelachse und Vorschubachse zu steuern
DE102018209094B4 (de) Motorsteuereinheit
DE102018201157B4 (de) Lernmodell-Konstruktionsvorrichtung und Steuerinformations-Optimierungsvorrichtung
DE102018205015A1 (de) Einstellvorrichtung und Einstellverfahren
DE102020204854A1 (de) Vorrichtung für maschinelles Lernen, numerisches Steuersystem undVerfahren für maschinelles Lernen
DE112017000153B4 (de) Steuerparameter-Einstellvorrichtung
DE102019204949A1 (de) Maschinelle lernvorrichtung, steuervorrichtung und maschinelles lernverfahren
DE102017000473A1 (de) Vorrichtung und Verfahren zum Steuern einer Werkzeugmaschine für das Steuern des synchronisierten Betriebs von Spindelachse und Vorschubachse
DE102010063244A1 (de) Werkzeugmaschine
DE102019201758A1 (de) Vorrichtung für maschinelles lernen; vorrichtung zurservosteuerung; system zur servosteuerung; undverfahren für maschinelles lernen
DE112019007578T5 (de) Numerische Steuerung, numerisches Steuerverfahren und Maschinenlernvorrichtung
DE102018003769A1 (de) Vorrichtung für maschinelles Lernen, Servosteuersystem und Verfahren zum maschinellen Lernen
DE102019209104A1 (de) Ausgabevorrichtung, Steuervorrichtung und Ausgabeverfahren für einen Bewertungsfunktionswert
DE102020122373A1 (de) Vorrichtung für maschinelles Lernen, Servosteuervorrichtung, Servosteuersystem und Verfahren für maschinelles Lernen
DE102020201613A1 (de) Vorrichtung für maschinelles Lernen, Steuervorrichtung und Verfahren zum Festlegen eines Suchbereichs für maschinelles Lernen
DE102017010539B4 (de) Vorrichtung und Verfahren zum Steuern einer Werkzeugmaschine, um einen synchronisierten Betrieb einer Spindelachse und einer Vorschubachse zu steuern
DE102020203377A1 (de) Maschinenlernvorrichtung, steuersystem und maschinenlernverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final