DE102019002156A1

DE102019002156A1 - Steuergerät und maschinelle Lernvorrichtung

Info

Publication number: DE102019002156A1
Application number: DE102019002156.8A
Authority: DE
Inventors: Yuuki KUROKAWA
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-04-02
Filing date: 2019-03-26
Publication date: 2019-10-02
Also published as: JP2019185125A; CN110347120A; US20190299406A1

Abstract

Ein Steuergerät umfasst eine maschinelle Lernvorrichtung zum Lernen von Bearbeitungsbedingungen, wenn ein Entgraten durch Steuern des Roboters durchgeführt wird. Die maschinelle Lernvorrichtung beobachtet Werkstückinformationen zur Angabe einer Form oder eines Materials eines Werkstücks, Gratinformationen zur Angabe einer Form oder einer Position des Grats und Beobachtungsbedingungen umfassend Werkzeuginformationen zur Angabe eines Typs eines Werkzeugs, einer Vorschubgeschwindigkeit des Werkzeugs und einer Drehzahl des Werkzeugs als eine Zustandsvariable zur Darstellung eines aktuellen Zustands einer Umgebung und erfasst Ermittlungsdaten zur Angabe eines Bewertungsergebnisses des Entgratens. Anschließend führt unter Verwenden der beobachteten Zustandsvariable und der erfassten Ermittlungsdaten die maschinelle Lernvorrichtung ein Lernen durch Verknüpfen der Bearbeitungsbedingungen mit den Werkstückinformationen und den Gratinformationen durch.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Steuergerät und eine maschinelle Lernvorrichtung und insbesondere ein Steuergerät und eine maschinelle Lernvorrichtung zum Optimieren von Bearbeitungsbedingungen beim Entgraten.
Beschreibung des Stands der Technik
Das Bearbeiten zum Entfernen eines beim Bearbeiten eines Werkstücks erzeugten Grats wird als Entgraten bezeichnet. Beispielsweise wird wie in 9 dargestellt ein Grat, der im Werkstück 4 erzeugt wird, von einem Sichtsensor 5 erkannt und es erfolgt ein Entgraten durch Abschleifen eines Grats durch Verwenden eines an einem Arm 7 eines Roboters 6 befestigten Werkzeugs 8.
Es wurden verschiedene Verfahren zum automatischen Entgraten vorgeschlagen. Beispielsweise offenbart die japanische offengelegte Patentanmeldung Nr. 07-104829 ein Verfahren zum automatischen Entgraten, bei dem ein Gratbildungszustand eines zu entgratenden Werkstücks durch Sichtsensormittel erfasst wird, ein zu verwendendes Entgratungwerkzeug wird durch Vergleichen der Erfassungsergebnisse mit voreingestellten Bearbeitungsbedingung-Auswahlkriterien ausgewählt, das ausgewählte Entgratungswerkzeug wird unter Verwendung eines automatischen Wechslers an einem Roboter montiert und der Roboter mit dem montierten Entgratungswerkzeug wird von einem Reproduzierungsvorgang eines Anlernprogramms zum Ausführen des Entgratens bewegt.
Gemäß dem in der vorhergehenden japanischen offengelegten Patentanmeldung Nr. 07-104829 offenbarten Verfahren muss ein Bediener die Bearbeitungsbedingungen vorab einstellen und es besteht insofern ein Problem, als viel Aufwand und Zeit für den Einstellvorgang erforderlich sind. Dieses Problem ist nachfolgend in Bezug auf 10 beschrieben.
Beispielsweise wählt nach dem Stand der Technik ein Bediener einen Typ des zum entgratenden Werkzeugs 8 beispielsweise auf der Basis der Erfahrung des Bedieners, gemäß einem Material des Werkstücks 4 und einer Größe und Form eines Grats 9 und legt diesen fest. Wenn beispielsweise das Material des Werkstücks 4 hart ist (Edelstahl o. Ä.) und wenn der Grat 9 groß ist, wird ein Werkzeug 8 mit einer relativ hohen Schleifkraft für den Grat 9 in einer Längsrichtung (Z-Richtung in 10) gewählt. Wenn hingegen das Material des Werkstücks 4 weich ist (Aluminium o. Ä.) und wenn der Grat 9 klein ist, wird ein Werkzeug 8 mit einer relativ geringen Schleifkraft für den Grat 9 in einer seitlichen Richtung (X-Richtung in 10) gewählt.
Es ist bekannt, dass, sobald der Typ des Werkzeugs bestimmt ist, Bearbeitungsbedingungen wie eine Schneidmenge, eine Drehzahl des Werkzeugs, eine Vorschubgeschwindigkeit des Werkzeugs u. Ä. in einem gewissen Umfang bestimmt werden können.
11 zeigt eine Tabelle zur Darstellung der Schneidmenge für jeden Typ eines Werkzeugs, die Drehzahl des Werkzeugs und einen empfohlenen Wert der Vorschubgeschwindigkeit des Werkzeugs.
Obgleich das auf der Basis der Erfahrung gewählte Werkzeug auf der Basis von empfohlenen Werten verwendet wird, gibt es Fälle, in denen der Grat nicht erfolgreich entfernt werden kann. Nach dem Stand der Technik wurde in solchen Fällen der Grat nach dem Trial-and-Error-Verfahren durch Erhöhen der Drehzahl bis zur oberen Grenze, Absenken der Vorschubgeschwindigkeit oder Ersetzen des Werkzeugs durch ein anderes Werkzeug mit einer höheren Schleifkraft o. Ä. entfernt. Vorgänge nach dem Trial-and-Error-Verfahren erforderten ebenfalls viel Zeit und Aufwand.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung wurde zum Lösen solcher Probleme entwickelt und eine Aufgabe der vorliegenden Erfindung besteht im Bereitstellen eines Steuergeräts und einer maschinellen Lernvorrichtung zum Optimieren von Bearbeitungsbedingungen beim Entgraten.
Ein Steuergerät gemäß einem Modus der vorliegenden Erfindung steuert einen das Entgraten zum Entfernen eines Grats von einem Werkstück durchführenden Roboter und umfasst eine maschinelle Lernvorrichtung zum Lernen von Bearbeitungsbedingungen, wenn das Entgraten durchgeführt wird. Die maschinelle Lernvorrichtung umfasst eine Zustandsbeobachtungseinheit zum Beobachten von Werkstückinformationen zur Angabe einer Form oder eines Materials des Werkstücks, von Gratinformationen zur Angabe einer Form und/oder einer Position des Grats und Beobachtungsbedingungen umfassend Werkzeuginformationen zur Angabe eines Typs eines Werkzeugs, einer Vorschubgeschwindigkeit des Werkzeugs und einer Drehzahl des Werkzeugs als eine Zustandsvariable zur Darstellung eines aktuellen Zustands einer Umgebung; eine Ermittlungsdaten-Erfassungseinheit zum Erfassen von Ermittlungsdaten zur Angabe eines Bewertungsergebnisses des Entgratens; und eine Lerneinheit zum Durchführen eines Lernens durch Verknüpfen der Bearbeitungsbedingungen mit den Werkstückinformationen und den Gratinformationen unter Verwendung der Zustandsvariable und der Ermittlungsdaten.
Die Ermittlungsdaten können eine Entfernungsrate des Grats oder eine Zykluszeit des Entgratens umfassen.
Die Lerneinheit kann umfassen: eine Belohnungsberechnungseinheit zum Erhalten einer Belohnung in Bezug auf das Bewertungsergebnis; und eine Wertfunktion-Aktualisierungseinheit zum Aktualisieren einer Funktion zum Darstellen von Werten der Bearbeitungsbedingungen in Bezug auf die Werkstückinformationen und die Gratinformationen unter Verwendung der Belohnung.
Die Lerneinheit kann die Zustandsvariable und die Ermittlungsdaten mit einer mehrschichtigen Struktur berechnen.
Das Steuergerät kann ferner eine Entscheidungsfindungseinheit zum Ausgeben eines Befehlswerts basierend auf den Bearbeitungsbedingungen auf der Basis eines Lernergebnisses von der Lerneinheit umfassen.
Die Lerneinheit kann die Bearbeitungsbedingungen unter Verwendung der Zustandsvariable und der Ermittlungsdaten, ermittelt von einer Mehrzahl der Roboter, lernen.
Die maschinelle Lernvorrichtung kann durch eine Cloud-Computing-, Fog-Computing- und Edge-Computing-Umgebung ausgeführt werden.
Eine maschinelle Lernvorrichtung gemäß einem Modus der vorliegenden Erfindung lernt Bearbeitungsbedingungen, wenn ein Roboter das Entgraten zum Entfernen eines Grats von einem Werkstück durchführt, und umfasst: eine Zustandsbeobachtungseinheit zum Beobachten von Werkstückinformationen zur Angabe einer Form oder eines Materials des Werkstücks, von Gratinformationen zur Angabe einer Form und/oder einer Position des Grats und Beobachtungsbedingungen umfassend Werkzeuginformationen zur Angabe eines Typs eines Werkzeugs, einer Vorschubgeschwindigkeit des Werkzeugs und einer Drehzahl des Werkzeugs als eine Zustandsvariable zur Darstellung eines aktuellen Zustands einer Umgebung; eine Ermittlungsdaten-Erfassungseinheit zum Erfassen von Ermittlungsdaten zur Angabe eines Bewertungsergebnisses des Entgratens; und eine Lerneinheit zum Durchführen eines Lernens durch Verknüpfen der Bearbeitungsbedingungen mit den Werkstückinformationen und den Gratinformationen unter Verwendung der Zustandsvariable und der Ermittlungsdaten.
Gemäß der vorliegenden Erfindung können ein Steuergerät und eine maschinelle Lernvorrichtung zum Optimieren von Bearbeitungsbedingungen beim Entgraten bereitgestellt werden.
Figurenliste

1 zeigt ein schematisches Hardware-Konfigurationsdiagramm eines Steuergeräts gemäß einer ersten Ausführungsform.
2 zeigt ein schematisches Funktionsblockdiagramm des Steuergeräts von 1.
3 zeigt ein schematisches Funktionsblockdiagramm zur Darstellung einer Ausführungsform des Steuergeräts.
4 zeigt ein schematisches Fließbild zur Darstellung einer Ausführungsform eines maschinellen Lernverfahrens.
5A zeigt ein Diagramm zur Beschreibung eines Neurons.
5B zeigt ein Diagramm zur Beschreibung eines neuronalen Netzes.
6 zeigt ein schematisches Funktionsblockdiagramm eines Steuergeräts gemäß einer zweiten Ausführungsform.
7 zeigt ein schematisches Funktionsblockdiagramm zur Darstellung einer Ausführungsform eines Steuergeräte enthaltenden Systems.
8 zeigt ein schematisches Funktionsblockdiagramm zur Darstellung einer weiteren Ausführungsform des Steuergeräte enthaltenden Systems.
9 zeigt ein schematisches Diagramm des Entgratens.
10 zeigt eine schematische Ansicht des Entgratens.
11 zeigt ein Beispiel von empfohlenen Werten von beim Entgraten nach dem Stand der Technik verwendeten Bearbeitungsbedingungen.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
1 zeigt ein schematisches Hardware-Konfigurationsdiagramm zur Darstellung eines Steuergeräts 1 gemäß einer ersten Ausführungsform und von Haupteinheiten einer vom Steuergerät 1 gesteuerten Industriemaschine.
Das Steuergerät 1 ist beispielsweise ein Steuergerät zum Steuern eines Industrieroboters, eines Bearbeitungszentrums o. Ä. (nachfolgend einfach als Roboter bezeichnet) zum Durchführen des Entgratens. Das Steuergerät 1 umfasst eine CPU 11, ein ROM 12, ein RAM 13, einen nichtflüchtigen Speicher 14, eine Schnittstelle 18, eine Schnittstelle 19, eine Schnittstelle 21, eine Schnittstelle 22, einen Bus 20, eine Achssteuerschaltung 30 und einen Servoverstärker 40. Ein Servomotor 50, eine Anlernbedienkonsole 60, ein Werkzeugwechsler 70 und eine Bildaufnahmevorrichtung 80 sind mit dem Steuergerät 1 verbunden.
Die CPU 11 ist ein Prozessor, der das Steuergerät 1 insgesamt steuert. Die CPU 11 liest durch die Schnittstelle 22 und den Bus 20 ein im ROM 12 gespeichertes Systemprogramm und steuert das gesamte Steuergerät 1 gemäß dem Systemprogramm.
Vorab speichert das ROM 12 das Systemprogramm (umfassend ein Systemprogramm zum Steuern der Interaktion mit einer nachfolgend beschriebenen maschinellen Lernvorrichtung 100) zum Ausführen verschiedener Steuervorgänge des Roboters u. Ä.
Das RAM 13 speichert vorübergehend temporäre Berechnungsdaten und Anzeigedaten, von einem Bediener durch die Anlernbedienkonsole 60 (nachfolgend beschrieben) eingegebene Daten u. Ä.
Der nichtflüchtige Speicher 14 weist beispielsweise eine Reserveversorgung durch eine Batterie (nicht dargestellt), auf und hält einen Speicherzustand, selbst wenn eine Stromversorgung des Steuergeräts 1 abgeschaltet wird. Der nichtflüchtige Speicher 14 speichert von der Anlernbedienkonsole 60 eingegebene Daten, durch eine Schnittstelle (nicht dargestellt) eingegebene Programme und Daten zum Steuern des Roboters u. Ä. Die im nichtflüchtigen Speicher 14 gespeicherten Programme und Daten können im RAM 13 zur Laufzeit und im Gebrauch entwickelt werden.
Die Achssteuerschaltung 30 steuert Achsen von Gelenken o. Ä. des Roboters. Die Achssteuerschaltung 30 empfängt eine Menge eines von der CPU 11 ausgegebenen Bewegungsbefehls einer Achse und gibt den Bewegungsbefehl der Achse an den Servoverstärker 40 aus.
Der Servoverstärker 40 empfängt einen von der Achssteuerschaltung 30 ausgegebenen Bewegungsbefehl einer Achse und treibt den Servomotor 50 an.
Der Servomotor 50 wird vom Servoverstärker 40 zum Bewegen der Achse des Roboters angetrieben. Ein Positions-/Geschwindigkeitsgeber ist typischerweise in den Servomotor 50 eingebaut. Da der Positions-/Geschwindigkeitsgeber ein Positions-/Geschwindigkeits-Rückmeldesignal ausgibt und dieses Signal an die Achssteuerschaltung 30 rückgemeldet wird, wird die Regelung der Position und Geschwindigkeit durchgeführt.
In 1 sind nur eine Achssteuerschaltung 30, ein Servoverstärker 40 und ein Servomotor 50 dargestellt; diese Elemente sind aber entsprechend der Zahl der Achsen der zu steuernden Werkzeugmaschine vorhanden. Wenn beispielsweise ein Roboter mit sechs Achsen gesteuert wird, sind sechs Sätze von Achssteuerschaltung 30, Servoverstärker 40 und Servomotor 50 entsprechend den jeweiligen Achsen insgesamt vorhanden.
Die Anlernbedienkonsole 60 ist eine manuelle Dateneingabevorrichtung mit einer Anzeige, einem Griff, einer Hardwaretaste u. Ä. Die Anlernbedienkonsole 60 zeigt von der CPU 11 durch die Schnittstelle 18 empfangene Informationen an der Anzeige an. Die Anlernbedienkonsole 60 liefert einen Impuls, einen Befehl, Daten u. Ä., eingegeben von einem Griff, einer Hardwaretaste o. Ä., zur CPU 11 durch die Schnittstelle 18.
Der Werkzeugwechsler 70 wechselt das am Ende des Arms des Roboters gestützte Werkzeug aus. Der Werkzeugwechsler 70 wechselt das Werkzeug auf der Basis eines von der CPU 11 durch die Schnittstelle 19 empfangenen Befehls aus.
Die Bildaufnahmevorrichtung 80 ist eine Vorrichtung zum Aufnehmen eines Bildes des Zustands des Grats eines Werkstücks und ist beispielsweise ein Sichtsensor. Die Bildaufnahmevorrichtung 80 erfasst den Zustand des Grats des Werkstücks als Reaktion auf einen von der CPU 11 durch die Schnittstelle 22 empfangenen Befehl. Die Bildaufnahmevorrichtung 80 liefert die Bilddaten an die CPU 11 durch die Schnittstelle 22.
Die Schnittstelle 21 ist eine Schnittstelle zum Verbinden des Steuergeräts 1 und der maschinellen Lernvorrichtung 100. Die maschinelle Lernvorrichtung 100 umfasst einen Prozessor 101, ein ROM 102, ein RAM 103 und einen nichtflüchtigen Speicher 104.
Der Prozessor 101 steuert im Wesentlichen die gesamte maschinelle Lernvorrichtung 100. Das ROM 102 speichert Systemprogramme u. Ä. Das RAM 103 speichert vorübergehend jeden Prozess in Bezug auf das maschinelle Lernen. Der nichtflüchtige Speicher 104 speichert ein Lernmodell u. Ä.
Die maschinelle Lernvorrichtung 100 beobachtet verschiedene Typen von Information, die vom Steuergerät 1 (Werkzeuginformationen im Gebrauch, eine Vorschubgeschwindigkeit eines Werkzeugs, eine Drehzahl des Werkzeugs, von der Bildaufnahmevorrichtung 80 aufgenommene Bilddaten, eine Form oder ein Material des Werkstücks u. Ä.) durch die Schnittstelle 21 erfassbar sind. Die maschinelle Lernvorrichtung 100 gibt einen Befehl zum Steuern des Servomotors 50 und des Werkzeugwechslers 70 an das Steuergerät 1 durch die Schnittstelle 21 aus. Das Steuergerät 1 empfängt einen Befehl von der maschinellen Lernvorrichtung 100 und korrigiert einen Steuerbefehl des Roboters u. Ä.
2 zeigt ein schematisches Funktionsblockdiagramm des Steuergeräts 1 und der maschinellen Lernvorrichtung 100 in der ersten Ausführungsform (1).
Die maschinelle Lernvorrichtung 100 umfasst eine Zustandsbeobachtungseinheit 106, eine Ermittlungsdaten-Erfassungseinheit 108 und eine Lerneinheit 110. Die Zustandsbeobachtungseinheit 106, die Ermittlungsdaten-Erfassungseinheit 108 und die Lerneinheit 110 können beispielsweise als eine Funktion des Prozessors 101 ausgeführt sein. Alternative kann die Zustandsbeobachtungseinheit 106 beispielsweise durch Ermöglichen dem Prozessor 101 zum Ausführen von im ROM 102 gespeicherter Software ausgeführt sein.
Die Zustandsbeobachtungseinheit 106 beobachtet eine Zustandsvariable S zum Darstellen des aktuellen Zustands einer Umgebung. Die Zustandsvariable S umfasst Werkstückinformationen S1 in Bezug auf eine Form oder ein Material eines Werkstücks, Gratinformationen S2 in Bezug auf eine Position und eine Form eines Grats, Werkzeuginformationen S zur Angabe eines Typs eines Werkzeugs, eine Vorschubgeschwindigkeit S4 des Werkzeugs und eine Drehzahl S5 des Werkzeugs.
Als die Werkstückinformationen S1 kann die Zustandsbeobachtungseinheit 106 Forminformationen (beispielsweise einen Identifizierer zur Angabe der Form eines Werkstücks) eines bearbeiteten Werkstücks oder/und Materialinformationen (beispielsweise einen Identifizierer zur Angabe eines Materials u. Ä.), die vom Steuergerät 1 gespeichert werden, erfassen.
Als die Gratinformationen S2 kann die Zustandsbeobachtungseinheit 106 Forminformationen (beispielsweise eine maximale Überhangmenge wie in der japanischen offengelegten Patentanmeldung Nr. 07-104829 offenbart) oder/und Positionsinformationen (beispielsweise einen Identifizierer zur Angabe einer Fläche, auf welcher der Grat erzeugt wird, o. Ä.) eines Grats, welche die CPU 11 durch Analysieren von von der Bildaufnahmevorrichtung 80 vor dem Entgraten erfassten Bilddaten erhält.
Als Werkzeuginformationen S3, die Vorschubgeschwindigkeit S4 des Werkzeugs und die Drehzahl S5 des Werkzeugs kann die Zustandsbeobachtungseinheit 106 vom Steuergerät 1 Werkzeuginformationen (beispielsweise einen Identifizierer zur Angabe des Typs des Werkzeugs u. Ä.), die Vorschubgeschwindigkeit des Werkzeugs und die Drehzahl des Werkzeugs, die während des Entgratens verwendet werden, erfassen.
Die Ermittlungsdaten-Erfassungseinheit 108 erfasst Ermittlungsdaten D, die ein Index zur Angabe des Ergebnisses des Durchführens der Steuerung des Roboters unter der Zustandsvariable S sind. Die Ermittlungsdaten D umfassen eine Entfernungsrate D1 eines Grats und eine Zykluszeit D2.
Als eine Entfernungsrate D1 des Grats kann die Ermittlungsdaten-Erfassungseinheit 108 einen Wert zur Angabe einer Änderungsmenge der Forminformationen des Grats vor und nach dem Entgraten verwenden. Beispielsweise erfasst die Ermittlungsdaten-Erfassungseinheit 108 die Forminformationen eines Grats, welche die CPU 11 durch Analysieren der von der Bildaufnahmevorrichtung 80 erfassten Bilddaten erhält, nach dem Durchführen des Entgratens durch Steuern des Roboters unter der Zustandsvariable S (einer maximalen Überhangmenge Ha). Die Ermittlungsdaten-Erfassungseinheit 108 kann eine Entfernungsrate D1 = (Ha - Hb)/Ha des Grats unter Verwendung der durch die Zustandsbeobachtungseinheit 106 vor dem Entgraten erfassten Forminformationen (als eine maximale Überhangmenge Hb bezeichnet) des Grats und der maximalen Überhangmenge Ha nach dem Entgraten berechnen.
Als die Zykluszeit D2 kann die Ermittlungsdaten-Erfassungseinheit 108 die Zykluszeit des Entgratens vom Steuergerät 1 erfassen.
Durch Verwenden der Zustandsvariable S und der Ermittlungsdaten D lernt die Lerneinheit 110 eine Korrelation zwischen einem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) und einer Bearbeitungsbedingung (Werkzeuginformationen S3, einer Vorschubgeschwindigkeit S4 und einer Drehzahl S5). Das heißt die Lerneinheit 110 erzeugt eine Modellstruktur zur Angabe einer Korrelation zwischen Komponenten S1, S2, S3, S4 und S5 der Zustandsvariable S.
Bezüglich des Lernzyklus in der Lerneinheit 110 basiert die an der Lerneinheit 110 eingegebene Zustandsvariable S auf Daten während eines vorhergehenden Lernzyklus, in dem die Ermittlungsdaten D erfasst werden. Während die maschinelle Lernvorrichtung 100 im Lernen fortschreitet, werden in der Umgebung

(1) das Erfassen von Werkstückinformationen S1 und Gratinformationen S2,
(2) das Festlegen von Werkzeuginformationen S3, der Vorschubgeschwindigkeit S4 und der Drehzahl S5, das heißt das Festlegen einer Bearbeitungsbedingung,
(3) das Ausführen der Steuerung des Roboters gemäß (1) und (2), und
(4) das Erfassen von Ermittlungsdaten D

S3

S4

S5

2

D

4

S3

S4

S5

Durch Wiederholen von solch einem Lernzyklus kann die Lerneinheit 110 automatisch Merkmale identifizieren unter Einbeziehung einer Korrelation zwischen einem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) und einer Bearbeitungsbedingung (Werkzeuginformationen S, Vorschubgeschwindigkeit S4 und Drehzahl S5). Bei Start eines Lernalgorithmus ist eine Korrelation zwischen einem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) und einer Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) im Wesentlichen unbekannt; die Lerneinheit 110 identifiziert aber schrittweise die Merkmale und interpretiert die Korrelation, während die Lerneinheit 110 mit dem Lernen fortfährt.
Sobald die Korrelation zwischen dem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) und der Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) zu einem zuverlässigen Grad in einem bestimmten Umfang interpretiert ist, können die Lernergebnisse, die wiederholt von der Lerneinheit 110 ausgegeben werden, zum Durchführen einer Wahl (Treffen einer Entscheidung) einer Aktion wie etwa, welcher Typ der Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) für den aktuellen Zustand festgelegt werden muss, das heißt einen Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2), verwendet werden. Das heißt die Lerneinheit 110 kann eine optimale Lösung einer Aktion entsprechend dem aktuellen Zustand ausgeben.
Die Zustandsvariable S wird mit Daten gebildet, die kaum von externen Störungen betroffen sind, etwa den Werkstückinformationen S1, den Gratinformationen S2, den Werkzeuginformationen S3, der Vorschubgeschwindigkeit S4 und der Drehzahl S5. Die Ermittlungsdaten D werden ausschließlich durch Erfassen des Analyseergebnisses der Bilddaten der Bildaufnahmevorrichtung 80 vom Steuergerät 1 und der Zykluszeit ermittelt. Somit kann gemäß der maschinellen Lernvorrichtung 100 durch Verwenden der Lernergebnisse der Lerneinheit 110 automatisch und genau eine optimale Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) für den aktuellen Zustand, das heißt einen Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2), ermittelt werden, entweder durch Berechnung oder eine grobe Schätzung. Das heißt es kann schnell eine optimale Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) lediglich durch Erkennen des aktuellen Zustands, das heißt des Werkstückzustands (Werkstückinformationen S1 und Gratinformationen S2) ermittelt werden. Somit können wirksam Bearbeitungsbedingungen beim Entgraten durch den Roboter festgelegt werden.
Als ein modifiziertes Beispiel der maschinellen Lernvorrichtung 100 unter Verwenden der Zustandsvariable S und der von jedem einer Vielzahl von den gleichen Vorgang durchführenden Robotern ermittelten Ermittlungsdaten D kann die Lerneinheit 110 geeignete Bearbeitungsbedingungen in den Robotern lernen. Gemäß dieser Konfiguration können, da die Zahl von Datensätzen umfassend die Zustandsvariable S und die Ermittlungsdaten D, ermittelt während einer festen Zeit, erhöht und mehr verschiedene Datensätze eingegeben werden können, eine Lerngeschwindigkeit und Zuverlässigkeit verbessert werden.
Der von der Lerneinheit 110 ausgeführte Lernalgorithmus ist nicht besonders darauf beschränkt und es kann ein Lernalgorithmus verwendet werden, als maschinelles Lernen bekannt ist. 3 zeigt eine Ausführungsform des in 1 dargestellten Steuergeräts 1 und zeigt eine solche Konfiguration, dass eine Lerneinheit 110 zum Ausführen von verstärkendem Lernen als ein Beispiel eines Lernalgorithmus vorhanden ist.
Das verstärkende Lernen ist ein Verfahren zum Lernen einer Strategie (Festlegen von Bearbeitungsbedingungen in dieser Ausführungsform) als eine optimale Lösung, die einen Zyklus des Beobachtens des aktuellen Zustands (das heißt einer Eingabe) der Umgebung, in der ein zu lernendes Objekt vorhanden ist, des Ausführens einer vorgegebenen Aktion (das heißt einer Ausgabe) im aktuellen Zustand und des Erteilens einer Belohnung für die Aktion durch Trial-and-Error auf solch eine Weise, dass die Gesamtmenge von Belohnungen maximiert wird, wiederholt.
In der im in 3 dargestellten Steuergerät 1 enthaltenen maschinellen Lernvorrichtung 100 umfasst die Lerneinheit 110 eine Belohnungsberechnungseinheit 112 und eine Wertfunktion-Aktualisierungseinheit 114.
Die Belohnungsberechnungseinheit 112 ermittelt eine Belohnung R in Bezug auf der Bewertungsergebnis (entsprechend den im nächsten Lernzyklus, in dem die Zustandsvariable S erfasst wird, zu verwendenden Ermittlungsdaten D) des Entgratens, wenn die Bearbeitungsbedingung auf der Basis der Zustandsvariable S festgelegt wird.
Unter Verwenden der Belohnung R aktualisiert die Wertfunktion-Aktualisierungseinheit 114 eine Funktion Q zum Darstellen eines Werts der Bearbeitungsbedingung. Da die Wertfunktion-Aktualisierungseinheit 114 das Aktualisieren der Funktion Q wiederholt, lernt die Lerneinheit 110 eine Korrelation zwischen einem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) und einer Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5).
Nachfolgend ist ein Beispiel eines von der Lerneinheit 110 Algorithmus zum verstärkenden Lernen beschrieben.
Der Algorithmus gemäß diesem Beispiel ist als Q-Lernen (Q-Lernen) bekannt und ist ein Verfahren zum Lernen einer Funktion Q(s, a) zur Darstellung eines Werts einer Aktion, wenn die Aktion a in einem Zustand s ausgewählt wird, unter Verwenden des Zustands s eines Aktionssubjekts und der vom Aktionssubjekt im Zustand s wählbaren Aktion a als unabhängige Variablen. Eine optimale Lösung besteht im Auswählen einer Aktion a, mit der eine Wertfunktion Q die höchste im Zustand s wird. Durch Wiederholen eines Zyklus des Startens des Q-Lernens in einem Zustand, in dem eine Korrelation zwischen dem Zustand s und der Aktion a unbekannt ist, und des Wählens verschiedener Aktionen a in einem beliebigen Zustand s durch Trial-and-Error wird die Wertfunktion Q wiederholt aktualisiert und der optimalen Lösung angenähert. Hier ist, wenn sich die Umgebung (das heißt der Zustand s) als ein Ergebnis des Wählens der Aktion a im Zustand s ändert, eine Belohnung (das heißt ein Gewicht der Aktion a) r entsprechend der Belohnung ausgebildet, erzielbar zu sein, und das Lernen wird zum Wählen einer Aktion a geführt, in der eine höhere Belohnung r erzielbar ist, so dass die Wertfunktion Q der optimalen Lösung in einer relativ kurzen Zeit angenähert werden kann.
Die Aktualisierungsgleichung der Wertfunktion Q kann allgemein durch die folgende Gleichung (1) dargestellt werden. In Gleichung (1) sind s_t und a_t jeweils ein Zustand und eine Aktion zum Zeitpunkt t und der Zustand ändert sich zu s_t+1 durch die Aktion a_t. r_t+1 ist eine durch Ändern des Zustands s_t zu s_t+1 erhaltene Belohnung. Der Begriff maxQ drückt Q in einem Fall aus, in dem eine Aktion a, durch die der maximale Wert Q zum Zeitpunkt t+1 (der zum Zeitpunkt t angenommen wird) erzielt wird, durchgeführt wird. α und y sind jeweils ein Lernkoeffizient und eine Abschlagsrate und werden optional auf 0 < α ≤ 1,0 < γ ≤ 1 festgelegt. $Q (s_{t}, a_{t}) \leftarrow Q (s_{t}, a_{t}) + α (r_{t + 1} + γ max_{a} Q (s_{t + 1}, a) - Q (s_{t}, a_{t}))$
Wenn die Lerneinheit 110 das Q-Lernen durchführt, entsprechen die von der Zustandsbeobachtungseinheit 106 beobachtete Zustandsvariable S und die von der Ermittlungsdaten-Erfassungseinheit 108 erfassten Ermittlungsdaten D einem Zustand s der Aktualisierungsgleichung und eine Aktion, wie die Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) in Bezug auf einen aktuellen Zustand, das heißt einen Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) ermittelt wird, entspricht der Aktion a der Aktualisierungsgleichung und die durch die Belohnungsberechnungseinheit 112 ermittelte Belohnung R entspricht der Belohnung r der Aktualisierungsgleichung. Somit aktualisiert die Wertfunktion-Aktualisierungseinheit 114 wiederholt die Funktion Q zum Darstellen eines Sollwerts einer Bearbeitungsbedingung in Bezug auf den aktuellen Zustand durch Q-Lernen unter Verwendung der Belohnung R.
Beispielsweise führt die Belohnungsberechnungseinheit 112 ein Entgraten auf der Basis der ermittelten Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) durch, und wenn das Bewertungsergebnis des Entgratungsprozesses als „geeignet“ ermittelt wird, kann die Belohnung R auf einen positiven Wert (Pluswert) festgelegt werden. Wenn hingegen das Bewertungsergebnis des Entgratens als „nicht geeignet“ ermittelt wird, kann die Belohnung auf einen negativen Wert (Minuswert) festgelegt werden. Die Absolutwerte der positiven und negativen Belohnungen R können gleich oder verschieden voneinander sein.
Wenn das Bewertungsergebnis des Entgratens „geeignet“ ist, kann beispielsweise ein Fall vorliegen, in dem die Entfernungsrate D1 des Grats größer gleich einem vorgegebenen Schwellenwert ist und die Zykluszeit D2 kleiner ist als ein vorgegebener Schwellenwert. Wenn hingegen das Bewertungsergebnis des Entgratens „nicht geeignet“ ist, kann beispielsweise ein Fall vorliegen, in dem die Entfernungsrate D1 des Grats kleiner gleich einem vorgegebenen Schwellenwert ist und die Zykluszeit D2 größer gleich einem vorgegebenen Schwellenwert ist. Die Belohnungsberechnungseinheit 112 kann ermitteln, ob das Bewertungsergebnis geeignet oder nicht geeignet ist, indem eine Mehrzahl von in den Ermittlungsdaten D enthaltenen Werten kombiniert wird.
Das Bewertungsergebnis des Entgratens kann auf eine Mehrzahl von Stufen sowie auf zwei Stufen mit einer Stufe „geeignet“ oder einer Stufe „nicht geeignet“ festgelegt werden. Beispielsweise ist die Belohnungsberechnungseinheit 112 ausgebildet, eine Belohnung R = 5 zu geben, wenn die Entfernungsrate D1 des Grats 0,8 < D1 ≤ 1 ist, sie gibt eine Belohnung R = 0, wenn 0,2 < D1 ≤ 0,8, und sie gibt eine Belohnung R = -5, wenn 0 ≤ D1 ≤ 0,2. Ebenso ist die Belohnungsberechnungseinheit 112 beispielsweise ausgebildet zum Geben einer Belohnung R = 5, wenn eine Beziehung zwischen der Zykluszeit D2 und einem Sollwert T ≤ D2 ist; sie gibt eine Belohnung R = 0, wenn 0,8 T ≤ D2 < T, und sie gibt eine Belohnung R = -5, wenn D2 < 0,8T.
Die Wertfunktion-Aktualisierungseinheit 114 kann eine durch Verknüpfen der Zustandsvariable S, der Ermittlungsdaten D und der Belohnung R mit dem Aktionswert (beispielsweise einem numerischen Wert), dargestellt durch die Funktion Q, organisierte Aktionswerttabelle aufweisen. In diesem Fall ist die Aktion des Aktualisierens der Funktion Q durch die Wertfunktion-Aktualisierungseinheit 114 gleichbedeutend mit der Aktion des Aktualisierens der Aktionswerttabelle durch die Wertfunktion-Aktualisierungseinheit 114. Da eine Korrelation zwischen einem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) und einer Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) beim Start des Q-Lernens unbekannt ist, werden in der Aktionswerttabelle eine Vielfalt von Zustandsvariablen S, Ermittlungsdaten D und Belohnungen R in einer Form in Verknüpfung mit zufällig bestimmten Werten des Aktionswerts (Funktion Q) bereitgestellt. Wenn die Ermittlungsdaten D bekannt sind, kann die Belohnungsberechnungseinheit 112 unmittelbar die entsprechende Belohnung R berechnen und der berechnete Wert R wird in die Aktionswerttabelle geschrieben.
Bei Fortschritt des Q-Lernens unter Verwendung der Belohnung R entsprechend dem Bewertungsergebnis des Entgratens wird das Lernen in einer Richtung des Wählens einer Aktion, in der eine höhere Belohnung R erzielbar ist, geführt, und die Aktionswerttabelle wird durch Umschreiben eines Werts (Funktion Q) des Aktionswerts für die im aktuellen Zustand durchzuführende Aktion gemäß einem Zustand der Umgebung, die sich als ein Ergebnis des Ausführens der gewählten Aktion im aktuellen Zustand ändert (das heißt der Zustandsvariable S und den Ermittlungsdaten D), aktualisiert. Durch Wiederholen dieser Aktualisierung kann der Wert (Funktion Q) des in der Aktionswerttabelle angezeigten Aktionswerts zu einem größeren Wert umgeschrieben werden, da die Aktion besser geeignet ist. Dadurch wird eine Korrelation zwischen einem unbekannten aktuellen Zustand der Umgebung, das heißt einem Werkstückzustand (den Werkstückinformationen S1 und den Gratinformationen S2), und einer Aktion entsprechend dem Werkstückzustand, das heißt einer festgelegten Bearbeitungsbedingung (den Werkzeuginformationen S3, der Vorschubgeschwindigkeit S4 und der Drehzahl S5) schrittweise klar gemacht. Das heißt durch Aktualisieren der Aktionswerttabelle nähert sich die Korrelation zwischen dem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) und der Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) schrittweise der optimalen Lösung.
Nachfolgend ist in Bezug auf 4 der Ablauf des von der Lerneinheit 110 ausgeführten Q-Lernens (das heißt einer Ausführungsform des maschinellen Lernverfahrens) näher beschrieben.
Schritt SA01: In Bezug auf die Aktionswerttabelle zu diesem Zeitpunkt wählt die Wertfunktion-Aktualisierungseinheit 114 zufällig eine Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) als eine im aktuellen Zustand durchzuführende Aktion, angegeben durch die von der Zustandsbeobachtungseinheit 106 beobachtete Zustandsvariable S.
Schritt SA02: Die Wertfunktion-Aktualisierungseinheit 114 ruft die Zustandsvariable S des von der Zustandsbeobachtungseinheit 106 beobachteten aktuellen Zustands ab.
Schritt SA03: Die Wertfunktion-Aktualisierungseinheit 114 ruft die von der Ermittlungsdaten-Erfassungseinheit 108 erfassten Ermittlungsdaten D des aktuellen Zustands ab.
Schritt SA04: Auf der Basis der Ermittlungsdaten D ermittelt die Wertfunktion-Aktualisierungseinheit 114, ob die Bearbeitungsbedingung (die Werkzeuginformationen S3, die Vorschubgeschwindigkeit S4 und die Drehzahl S3) geeignet oder nicht geeignet ist. Wenn die Bearbeitungsbedingung geeignet ist, fährt die Bearbeitung mit Schritt SA05 fort. Wenn die Bearbeitungsbedingung nicht geeignet ist, fährt die Bearbeitung mit Schritt SA07 fort.
Schritt SA05: Die Wertfunktion-Aktualisierungseinheit 114 wendet eine von der Belohnungsberechnungseinheit 112 ermittelte positive Belohnung R auf die Aktualisierungsgleichung der Funktion Q an.
Schritt SA06: Die Wertfunktion-Aktualisierungseinheit 114 aktualisiert die Aktionswerttabelle unter Verwenden der Zustandsvariable S und der Ermittlungsdaten D im aktuellen Zustand, der Belohnung R und des Werts des Aktionswerts (aktualisierte Funktion Q).
Schritt SA07: Die Wertfunktion-Aktualisierungseinheit 114 wendet eine von der Belohnungsberechnungseinheit 112 ermittelte negative Belohnung R auf die Aktualisierungsgleichung der Funktion Q an.
Die Lerneinheit 110 aktualisiert wiederholt die Aktionswerttabelle durch Wiederholen des Prozesses von Schritt SA01 bis SA07 und bewirkt das Fortschreiten des Lernens. Der Prozess zum Ermitteln der Belohnung R und der Prozess zum Aktualisieren der Wertfunktion vom Schritt SA04 bis zum Schritt SA07 werden an allen in den Ermittlungsdaten D enthaltenen Daten durchgeführt.
Bei fortschreitendem verstärkenden Lernen kann beispielsweise ein neuronales Netz statt dem Q-Lernen verwendet werden. 5A zeigt schematisch ein Neuronenmodell. 5B zeigt schematisch ein Modell eines durch Kombinieren der in 5A dargestellten Neuronen aufgebauten dreischichtigen neuronalen Netzes. Beispielsweise ist das neuronale Netz mit einer arithmetischen Vorrichtung zum Imitieren eines Modells eines Neurons, einer Speichervorrichtung o. Ä. konfigurierbar.
Das Neuron wie in 5A dargestellt gibt ein Ergebnis y für eine Mehrzahl von Eingaben x (hier Eingabe x₁ bis x₃ beispielsweise) aus. Jede der Eingaben x₁ bis x₃ wird mit Gewichten w (w₁ bis w₃ ) jeweils entsprechend dieser Eingabe x multipliziert. Somit gibt das Neuron das durch die folgende Gleichung (2) dargestellte Ergebnis y aus. In Gleichung (2) sind die Eingabe x, das Ergebnis y und das Gewicht w sämtlich Vektoren. Ferner ist θ eine Verzerrung und f_k ist eine Aktivierungsfunktion. $y = f_{k} (\sum_{i = 1}^{n} x_{i} w_{i} - θ)$
Im in 5B dargestellten dreischichtigen neuronalen Netz wird eine Mehrzahl von Eingaben x (hier Eingabe x1 bis x3 beispielsweise) von der linken Seite eingegeben und das Ergebnis y (hier das Ergebnis y1 bis y3 beispielsweise) wird von der rechten Seite ausgegeben. Im dargestellten Beispiel wird jede der Eingaben x1, x2 und x3 mit einem entsprechenden Gewicht (insgesamt als w1 dargestellt) multipliziert und jede der Eingaben x1, x2 und x3 wird an drei Neuronen N11, N12 und N13 eingegeben.
In 5B sind die Ausgaben von jedem der Neuronen N11 bis N13 insgesamt als z1 dargestellt. z1 kann als ein Merkmalsvektor betrachtet werden, von dem Merkmalsmengen von Eingabevektoren extrahiert werden. Im dargestellten Beispiel wird jedes der Elemente des Merkmalsvektors z1 mit einem entsprechenden Gewicht (insgesamt als w2 dargestellt) multipliziert und jedes der einzelnen Elemente des Merkmalsvektors z1 wird an zwei Neuronen N21 und N22 eingegeben. Der Merkmalsvektor z1 stellt ein Merkmal zwischen dem Gewicht W1 und dem Gewicht W2 dar.
Die Ausgaben der Neuronen N21 bis N22 sind wiederum insgesamt als z2 dargestellt. z2 kann als ein Merkmalsvektor betrachtet werden, von dem die Merkmalsmengen des Merkmalsvektor z1 extrahiert werden. Im dargestellten Beispiel wird jedes der Elemente der Merkmalsvektoren z2 mit einem entsprechenden Gewicht (insgesamt als w3 dargestellt) multipliziert und jedes der einzelnen Elemente des Merkmalsvektors z2 wird an drei Neuronen N31, N31 und N33 eingegeben. Der Merkmalsvektor z2 stellt ein Merkmal zwischen dem Gewicht W2 und dem Gewicht W3 dar. Schließlich geben die Neuronen N31 bis N33 jeweils Ergebnisse y1 bis y3 aus.
Es kann ebenfalls ein Deep-Learning-Verfahren unter Verwendung eines neuronalen Netzes mit drei oder mehr Schichten verwendet werden.
In der maschinellen Lernvorrichtung 100 führt unter Verwendung der Zustandsvariable S und der Ermittlungsdaten D als die Eingabe x die Lerneinheit 110 die Berechnung an einer mehrschichtigen Struktur gemäß dem neuronalen Netz durch, so dass die Bearbeitungsbedingung (die Werkzeuginformationen S3, die Vorschubgeschwindigkeit S4 und die Drehzahl S5) als das Ergebnis y ausgegeben werden kann. In der maschinellen Lernvorrichtung 100 wiederum führt unter Verwendung des neuronalen Netzes als eine Wertfunktion im verstärkenden Lernen und unter Verwendung der Zustandsvariable S und der Aktion a als die Eingabe x die Lerneinheit 110 eine Berechnung an einer mehrschichtigen Struktur gemäß einem neuronalen Netz durch, so dass ein Wert (Ergebnis y) einer bestimmten Aktion entsprechend einem bestimmten Zustand ausgegeben werden kann. Ein Betriebsmodus des neuronalen Netzes umfasst einen Lernmodus und einen Wertvorhersagemodus. Beispielsweise wird das Gewicht w unter Verwendung der Lerndatenmenge im Lernmodus gelernt und es kann ein Wert einer Aktion im Wertvorhersagemodus unter Verwendung des gelernten Gewichts w ermittelt werden. Im Wertvorhersagemodus können eine Erfassung, Klassifizierung, Inferenz u. Ä. durchgeführt werden.
Die Konfiguration des zuvor beschriebenen Steuergeräts 1 kann als ein vom Prozessor 101 ausgeführtes maschinelles Lernverfahren (oder Programm) beschrieben werden. Dieses maschinelle Lernverfahren ist ein maschinelles Lernverfahren zum Lernen von Bearbeitungsbedingungen (Werkzeuginformationen S3, eine Vorschubgeschwindigkeit S4 und eine Drehzahl S5) beim Entgraten und umfasst Schritte zum:

Beobachten eines Werkstückzustands (Werkstückinformationen S1 und Gratinformationen S2) als eine Zustandsvariable S zur Darstellung eines aktuellen Zustands einer Umgebung, in der das Entgraten durchgeführt wird, mit einer CPU oder einem Computer;
Ermitteln von Ermittlungsdaten D zur Angabe eines Bewertungsergebnisses des gemäß einer festgelegten Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) durchgeführten Entgratens, und
Durchführen des Lernens durch Verknüpfen eines Werkstückzustands (Werkstückinformationen S1 und Gratinformationen S2) mit Bearbeitungsbedingungen (Werkzeuginformation S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) unter Verwendung der Zustandsvariable S und der Ermittlungsdaten D.

6 zeigt ein Steuergerät 2 gemäß einer zweiten Ausführungsform. Das Steuergerät 2 umfasst eine maschinelle Lernvorrichtung 120 und eine Zustandsdaten-Erfassungseinheit 3.
Die Zustandsdaten-Erfassungseinheit 3 erfasst den Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) und die Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) als Zustandsdaten S0 und liefert die Zustandsdaten an die Zustandsbeobachtungseinheit 106. Beispielsweise kann die Zustandsdaten-Erfassungseinheit 3 die Zustandsdaten S0 von jeder Einheit des Steuergeräts 2, verschiedenen im Roboter angeordneten Sensoren, von der Anlernbedienkonsole 60 u. Ä. durch den Bediener eingegebenen Daten u. Ä. erfassen.
Die maschinelle Lernvorrichtung 120 umfasst eine Entscheidungsfindungseinheit 122 zusätzlich zur Zustandsbeobachtungseinheit 106, die Ermittlungsdaten-Erfassungseinheit 108 und die Lerneinheit 110. Beispielsweise kann die Entscheidungsfindungseinheit 122 als eine Funktion des Prozessors 101 ausgeführt sein oder kann vom die im ROM 102 gespeicherte Software ausführenden Prozessor 101 ausgeführt sein.
Zusätzlich zu Software (etwa einem Lernalgorithmus) und Hardware (etwa dem Prozessor 101) zum Lernen von Bearbeitungsbedingungen (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) beim Entgraten durch eigenes maschinelles Lernen umfasst die maschinelle Lernvorrichtung 120 Software (etwa einen arithmetischen Algorithmus) und Hardware (etwa den Prozessor 101) zum Ausgeben der Bearbeitungsbedingungen (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5), ermittelt auf der Basis des Lernergebnisses, als ein Befehl an das Steuergerät 2. Die maschinelle Lernvorrichtung 120 kann so ausgebildet sein, dass ein gemeinsamer Prozessor die gesamte Software, etwa den Lernalgorithmus und den arithmetischen Algorithmus, ausführt.
Auf der Basis des von der Lerneinheit 110 gelernten Ergebnisses erzeugt die Entscheidungsfindungseinheit 122 einen Befehlswert C umfassend einen Befehl zum Ermitteln der Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) entsprechend dem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2). Sobald die Entscheidungsfindungseinheit 122 den Befehlswert C an das Steuergerät 2 ausgibt, steuert das Steuergerät 2 den Roboter gemäß dem Befehlswert C. Auf diese Weise wird der Zustand der Umgebung geändert.
Die Zustandsbeobachtungseinheit 106 beobachtet die aufgrund des Ausgebens des Befehlswerts C an die Umgebung durch die Entscheidungsfindungseinheit 122 geänderte Zustandsvariable S im nächsten Lernzyklus. Beispielsweise lernt die Lerneinheit 110 die Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) beim Entgraten durch Aktualisieren der Wertfunktion Q (das heißt der Aktionswerttabelle) unter Verwendung der geänderten Zustandsvariable S. Zu diesem Zeitpunkt erfasst die Zustandsbeobachtungseinheit 106 keine Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) von den von der Zustandsdaten-Erfassungseinheit 3 erfassten Zustandsdaten S0, kann aber die Bearbeitungsbedingung vom RAM 103 der maschinellen Lernvorrichtung 120 wie in der ersten Ausführungsform beschrieben beobachten.
Anschließend gibt die Entscheidungsfindungseinheit 122 den Befehlswert C zum Befehlen der auf der Basis des Lernergebnisses ermittelten Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) erneut an das Steuergerät 2 aus. Durch Wiederholen dieses Lernzyklus setzt die maschinelle Lernvorrichtung 120 das Lernen fort und verbessert schrittweise die Zuverlässigkeit der von der maschinellen Lernvorrichtung 120 selbst ermittelten Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5).
Die maschinelle Lernvorrichtung 120 erzielt die gleiche Wirkung wie die maschinelle Lernvorrichtung 100 der ersten Ausführungsform. Zusätzlich kann die maschinelle Lernvorrichtung 120 den Zustand der Umgebung gemäß der Ausgabe der Entscheidungsfindungseinheit 122 ändern. In der maschinellen Lernvorrichtung 100 kann durch Bereitstellen einer externen Vorrichtung mit einer Funktion entsprechend der Entscheidungsfindungseinheit 122 das Lernergebnis der Lerneinheit 110 in der Umgebung reflektiert werden.
7 zeigt ein durch Hinzufügen einer Mehrzahl von Robotern zum Steuergerät 2 erhaltenes System 170.
Das System 170 umfasst eine Mehrzahl von Robotern 160 und Robotern 160'. Der Roboter 160 und der Roboter 160' weisen für einen Vorgang zum gleichen Zweck erforderliche Mechanismen auf und führen den gleichen Vorgang durch. Der Roboter 160 wiederum umfasst das Steuergerät 2, während der Roboter 160' das Steuergerät 2 nicht aufweist. Alle diese Roboter 160 und Roboter 160' sind durch ein verdrahtetes oder drahtloses Netzwerk 172 miteinander verbunden.
Unter Verwendung des Lernergebnisses der Lerneinheit 110 kann der Roboter 160 mit dem Steuergerät 2 automatisch und genau die Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) entsprechend dem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) entweder durch Berechnung oder eine grobe Schätzung ermitteln. Ebenfalls ist unter Verwendung der Zustandsvariable S und der von jedem der anderen Mehrzahl von Robotern 160 und Robotern 160' ermittelten Ermittlungsdaten D das Steuergerät 2 von wenigstens einem Roboter 160 ausgebildet zum Lernen einer Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) beim Entgraten, die gemeinsam für alle Roboter 160 und Roboter 160' ist, und zum Teilen des Lernergebnisses zwischen allen Robotern 160 und Robotern 160'. Gemäß dem System 170 können unter Verwendung von mehr verschiedenen Datenmengen (umfassend Zustandsvariablen S und Ermittlungsdaten D) als Eingaben die Zuverlässigkeit und Geschwindigkeit des Lernens von Bearbeitungsbedingungen (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) beim Entgraten verbessert werden.
8 zeigt ein System 170' umfassend eine Mehrzahl von Robotern 160'.
Dieses System 170' umfasst eine maschinelle Lernvorrichtung 120 (oder maschinelle Lernvorrichtung 100) und eine Mehrzahl von Robotern 160' mit der gleichen Maschinenkonfiguration. Die Mehrzahl von Robotern 160' und die maschinelle Lernvorrichtung 120 (oder die maschinelle Lernvorrichtung 100) sind durch ein verdrahtetes oder drahtloses Netzwerk 172 miteinander verbunden.
Die maschinelle Lernvorrichtung 120 (oder die maschinelle Lernvorrichtung 100) lernt Bearbeitungsbedingungen (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) beim Entgraten, die allen Robotern 160' gemeinsam sind, auf der Basis der Zustandsvariable S und der von jedem der Mehrzahl von Robotern 160' ermittelten Ermittlungsdaten D. Unter Verwendung des Lernergebnisses kann die maschinelle Lernvorrichtung 120 (oder die maschinelle Lernvorrichtung 100) automatisch und genau die Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) entsprechend dem Werkstückzustand (Werkstückinformationen S1 und Gratinformationen S2) entweder durch Berechnung oder eine grobe Schätzung ermitteln.
Die maschinelle Lernvorrichtung 120 (oder die maschinelle Lernvorrichtung 100) kann auf einem im Netzwerk 172 angeordneten Cloudserver u. Ä. vorhanden sein. Gemäß dieser Konfiguration kann die erforderliche Zahl von Robotern 160' bei Bedarf mit der maschinellen Lernvorrichtung 120 (oder der maschinellen Lernvorrichtung 100) verbunden werden, ungeachtet dessen, wo und wann jeder der Mehrzahl von Robotern 160' angeordnet ist.
Zu einem geeigneten Zeitpunkt nach dem Starten des Lernens durch die maschinelle Lernvorrichtung 120 (oder 100) kann der im System 170 (7) oder System 170' (8) beschäftigte Bediener ermitteln, ob ein Grad des Lernfortschritts (das heißt die Zuverlässigkeit der auszugebenden Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5)) der Bearbeitungsbedingung (Werkzeuginformationen S3, Vorschubgeschwindigkeit S4 und Drehzahl S5) durch die maschinelle Lernvorrichtung 120 (oder die maschinelle Lernvorrichtung 100) ein erforderliches Niveau erreicht hat.
Zuvor wurde die vorliegende Erfindung beschrieben; die Erfindung ist aber nicht ausschließlich auf Beispiele der zuvor beschriebenen Ausführungsformen beschränkt und kann auf verschiedene Weisen durch Vornehmen geeigneter Änderungen ausgeführt werden.
Beispielsweise sind der von der maschinellen Lernvorrichtung 100 und der maschinellen Lernvorrichtung 120 ausgeführte Lernalgorithmus, der von der maschinellen Lernvorrichtung 120 ausgeführte arithmetische Algorithmus, der vom Steuergerät 1 oder Steuergerät 2 ausgeführte Steueralgorithmus u. Ä. nicht auf die zuvor beschriebenen beschränkt und es sind verschiedene Algorithmen anpassbar.
Ebenso sind in den zuvor beschriebenen Ausführungsformen das Steuergerät 1 (oder das Steuergerät 2) und die maschinelle Lernvorrichtung 100 (oder die maschinelle Lernvorrichtung 120) als solche mit verschiedenen CPUs beschrieben; die maschinelle Lernvorrichtung 100 (oder die maschinelle Lernvorrichtung 120) können aber ausgebildet sein, von der im Steuergerät 1 (oder Steuergerät 2) angeordneten CPU 11 und vom im ROM 12 gespeicherten Systemprogramm ausgeführt zu werden.
Ebenfalls wird in den zuvor beschriebenen Ausführungsformen davon ausgegangen, dass das Steuergerät 1 (oder das Steuergerät 2) und die maschinelle Lernvorrichtung 100 (oder die maschinelle Lernvorrichtung 120) eine lokal installierte Informationsverarbeitungsvorrichtung sind; die Ausführungsformen sind aber nicht darauf beschränkt. Beispielsweise können das Steuergerät 1 (oder das Steuergerät 2) und die maschinelle Lernvorrichtung 100 (oder die maschinelle Lernvorrichtung 120) in einer Informationsverarbeitungsumgebung ausgeführt sein, die als Cloud-Computing, Fog-Computing, Edge-Computing u. Ä. bezeichnet wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 07104829 [0003, 0039]

Claims

Steuergerät zum Steuern eines Roboters, der ein Entgraten durch Entfernen eines Grats von einem Werkstück durchführt, umfassend: eine maschinelle Lernvorrichtung zum Lernen von Bearbeitungsbedingungen, wenn das Entgraten durchgeführt wird, wobei die maschinelle Lernvorrichtung umfasst eine Zustandsbeobachtungseinheit zum Beobachten von Werkstückinformationen zur Angabe einer Form oder eines Materials des Werkstücks, von Gratinformationen zur Angabe einer Form und/oder einer Position des Grats und Beobachtungsbedingungen umfassend Werkzeuginformationen zur Angabe eines Typs eines Werkzeugs, einer Vorschubgeschwindigkeit des Werkzeugs und einer Drehzahl des Werkzeugs als eine Zustandsvariable zur Darstellung eines aktuellen Zustands einer Umgebung, eine Ermittlungsdaten-Erfassungseinheit zum Erfassen von Ermittlungsdaten zur Angabe eines Bewertungsergebnisses des Entgratens, und eine Lerneinheit zum Durchführen eines Lernens durch Verknüpfen der Bearbeitungsbedingungen mit den Werkstückinformationen und den Gratinformationen unter Verwendung der Zustandsvariable und der Ermittlungsdaten.
Steuergerät nach Anspruch 1, wobei die Ermittlungsdaten eine Entfernungsrate des Grats oder eine Zykluszeit des Entgratens umfassen.
Steuergerät nach Anspruch 1 oder 2, wobei die Lerneinheit eine Belohnungsberechnungseinheit zum Erhalten einer Belohnung in Bezug auf das Bewertungsergebnis und eine Wertfunktion-Aktualisierungseinheit zum Aktualisieren einer Funktion zum Darstellen von Werten der Bearbeitungsbedingungen in Bezug auf die Werkstückinformationen und die Gratinformationen unter Verwendung der Belohnung umfasst.
Steuergerät nach einem der Ansprüche 1 bis 3, wobei die Lerneinheit die Zustandsvariable und die Ermittlungsdaten mit einer mehrschichtigen Struktur berechnet.
Steuergerät nach einem der Ansprüche 1 bis 4, ferner umfassend eine Entscheidungsfindungseinheit zum Ausgeben eines Befehlswerts basierend auf den Bearbeitungsbedingungen auf der Basis eines Lernergebnisses von der Lerneinheit.
Steuergerät nach einem der Ansprüche 1 bis 5, wobei die Lerneinheit die Bearbeitungsbedingungen unter Verwendung der Zustandsvariable und der Ermittlungsdaten, ermittelt von einer Mehrzahl der Roboter, lernt.
Steuergerät nach einem der Ansprüche 1 bis 6, wobei die maschinelle Lernvorrichtung durch eine Cloud-Computing-, Fog-Computing- und Edge-Computing-Umgebung ausgeführt wird.
Maschinelle Lernvorrichtung zum Lernen von Bearbeitungsbedingungen, wenn ein Roboter ein Entgraten zum Entfernen eines Grats von einem Werkstück durchführt, umfassend: eine Zustandsbeobachtungseinheit zum Beobachten von Werkstückinformationen zur Angabe einer Form oder eines Materials des Werkstücks, von Gratinformationen zur Angabe einer Form und/oder einer Position des Grats und Beobachtungsbedingungen umfassend Werkzeuginformationen zur Angabe eines Typs eines Werkzeugs, einer Vorschubgeschwindigkeit des Werkzeugs und einer Drehzahl des Werkzeugs als eine Zustandsvariable zur Darstellung eines aktuellen Zustands einer Umgebung; eine Ermittlungsdaten-Erfassungseinheit zum Erfassen von Ermittlungsdaten zur Angabe eines Bewertungsergebnisses des Entgratens; und eine Lerneinheit zum Durchführen eines Lernens durch Verknüpfen der Bearbeitungsbedingungen mit den Werkstückinformationen und den Gratinformationen unter Verwendung der Zustandsvariable und der Ermittlungsdaten.