DE102017002996A1

DE102017002996A1 - Maschinenlernvorrichtung, die ein lernen unter verwendung eines simulationsergebnisses durchführt, maschinensystem, herstellungssystem und maschinenlernverfahren

Info

Publication number: DE102017002996A1
Application number: DE102017002996.2A
Authority: DE
Inventors: Hiroshi Nakagawa; Takafumi KAJIYAMA
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2016-04-04
Filing date: 2017-03-28
Publication date: 2017-10-05
Anticipated expiration: 2037-03-29
Also published as: CN107263464B; JP2017185577A; CN107263464A; DE102017002996B4; US20170285584A1; US10317854B2; JP6457421B2

Abstract

Eine Maschinenlernvorrichtung 20, die einen Steuerbefehl für eine Maschine 14 durch Maschinenlernen lernt, umfassend eine Maschinenlerneinheit 21, die das Maschinenlernen durchführt, um den Steuerbefehl auszugeben; einen Simulator 22, der eine Simulation eines Arbeitsvorgangs der Maschine 14 auf Basis des Steuerbefehls durchführt; und eine erste Ermittlungseinheit 23, die den Steuerbefehl auf Basis eines Durchführungsergebnisses der Simulation durch den Simulator ermittelt.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Maschinenlernvorrichtung, die ein Lernen unter Verwendung eines Simulationsergebnisses durchführt, ein Maschinensystem, ein Herstellungssystem und ein Maschinenlernverfahren.
2. Beschreibung des verwandten Standes der Technik
In den letzten Jahren hat z. B. die Anwendung von Maschinenlernen auf eine Maschine wie z. B. einen Roboter Aufmerksamkeit erweckt und Forschung und Entwicklung zur praktischen Anwendung wurde bzw. wird durchgeführt. Beispielsweise bei einem System, das einen Steuerbefehl für eine Maschine lernt, ist es erforderlich, zu gewährleisten, dass der Steuerbefehl, der die Maschine steuert, kein Problem zeigt.
Unterdessen ist ein herkömmlicher Baugruppenroboter offenbart, der durch Schätzen eines Positionsfehlers über ein neuronales Netzwerk und Korrigieren von Daten eines Betriebsprogramms arbeitet (z. B. japanisches offengelegtes Patent mit der Veröffentlichungs-Nr. H09-319420 : Patentdokument 1).
Ferner ist eine herkömmliche Einrichtung offenbart, die einen nicht interferierenden optimalen Betrieb durch Lernen erfasst, indem ein Betriebsbefehlskandidat in Bezug auf ein virtuelles Systemmodell wiederholt eingegeben wird (z. B. japanisches Patent Nr. 5137537 : Patentdokument 2).
Wie oben beschrieben, gibt es diverse Vorschläge, bei denen ein Maschinenlernen auf eine Maschine angewandt wird, beim Patentdokument 1 beispielsweise besteht je nach erhaltenem Lernergebnis jedoch die Möglichkeit, dass der Steuerbefehl der Maschine eine Interferenz oder dergleichen mit der Maschine oder der Umgebung verursacht. Anders ausgedrückt ist beim Maschinenlernen die Sicherheit des Lernergebnisses nicht gewährleistet, so dass es z. B. beim Verhindern der Interferenz oder dergleichen zu Schwierigkeiten kommt, was beim Einführen des Maschinenlernens in eine Produktionslinie ein Hindernis darstellt.
Ferner ist es beispielsweise beim Patentdokument 2 erforderlich, da das Lernen unter Verwendung eines Beurteilungsergebnisses eines Systemmodells durchgeführt wird, dass das Systemmodell genau ist und eine Optimierung wird durch Bereitstellen einer Modellrekonfigurationseinheit ermöglicht, um die Genauigkeit des Systemmodells zu verbessern. Ein solcher Ansatz ist jedoch dahingehend nicht realistisch, dass die Genauigkeit des Optimierungsergebnisses von der Genauigkeit des Systemmodells abhängt, so dass eine Verbesserung des Systemmodells lange dauert.
Angesichts der oben erwähnten Probleme im Stand der Technik liegt ein Ziel der vorliegenden Erfindung in der Bereitstellung einer Maschinenlernvorrichtung, eines Maschinensystems, eines Herstellungssystems und eines Maschinenlernverfahrens, die die Sicherheit des Maschinenlernens gewährleisten können.
KURZDARSTELLUNG DER ERFINDUNG
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird eine Maschinenlernvorrichtung bereitgestellt, die einen Steuerbefehl für eine Maschine durch Maschinenlernen lernt, umfassend eine Maschinenlerneinheit, die das Maschinenlernen durchführt, um den Steuerbefehl auszugeben; einen Simulator, der eine Simulation eines Arbeitsvorgangs der Maschine auf Basis des Steuerbefehls durchführt; und eine erste Ermittlungseinheit, die den Steuerbefehl auf Basis eines Durchführungsergebnisses der Simulation durch den Simulator ermittelt.
Die erste Ermittlungseinheit kann ermitteln, dass der Steuerbefehl gültig ist, und führt eine Eingabe des Steuerbefehls in die Maschine durch, wenn im Durchführungsergebnis der Simulation kein Problem vorliegt, und kann ermitteln, dass der Steuerbefehl ungültig ist und stoppt die Eingabe des Steuerbefehls in die Maschine, wenn im Durchführungsergebnis der Simulation ein Problem vorliegt. Wenn ein Ermittlungsergebnis von der ersten Ermittlungseinheit ungültig ist, kann die Eingabe des Steuerbefehls in die Maschine gestoppt werden und kann ein Lernen durchgeführt werden, indem eine erste Ergebnismarkierung, die von der ersten Ermittlungseinheit erhalten wird, als Schulungsdaten an die Maschinenlerneinheit bereitgestellt wird. Wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit ungültig ist, kann das Lernen durchgeführt werden, indem eine erste Statusmenge, umfassend einen Teil der vom Simulator erhaltenen Berechnungsergebnisdaten oder all diese, gemeinsam mit der ersten Ergebnismarkierung an die Maschinenlerneinheit bereitgestellt werden.
Die Maschinenlernvorrichtung kann ferner eine zweite Ermittlungseinheit umfassen, die ein Arbeitsergebnis der Maschine durch den Steuerbefehl ermittelt, wobei, wenn ein Ermittlungsergebnis von der ersten Ermittlungseinheit gültig ist, eine Eingabe des Steuerbefehls in die Maschine durchgeführt werden kann, und ein Lernen durchgeführt werden kann, indem eine zweite Ergebnismarkierung, die von der zweiten Ermittlungseinheit erhalten wird, als Schulungsdaten an die Maschinenlerneinheit bereitgestellt wird. Wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit gültig ist, kann das Lernen durchgeführt werden, indem eine zweite Statusmenge, umfassend zumindest eines von Ausgabedaten eines Sensors, der einen Status der Maschine oder einer Umgebung erkennt, internen Daten einer Steuersoftware, die die Maschine steuert, und Berechnungsdaten, die auf Basis der Ausgabedaten des Sensors oder der internen Daten der Steuersoftware erhalten werden, gemeinsam mit der zweiten Ergebnismarkierung an die Maschinenlerneinheit bereitgestellt werden.
Ein Status der Maschinenlerneinheit kann als erster Status aufrechterhalten werden, regulär oder wenn eine vorab spezifizierte Bedingung erfüllt ist; und der Status der Maschinenlerneinheit kann in den ersten Status zurückgesetzt werden, wenn eine Häufigkeit, mit der das Ermittlungsergebnis von der ersten Ermittlungseinheit gültig wird, abnimmt. Wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit drei oder mehr Status annimmt, umfassend gültig und ungültig, kann eine Befehlsgeschwindigkeit der Maschine, die im Steuerbefehl umfasst ist, auf Basis des Status verändert werden. Die Maschinenlerneinheit kann eine Vergütungsberechnungseinheit umfassen, die eine Vergütung auf Basis eines Arbeitsstatus der Maschine berechnet; und eine Wertfunktionsaktualisierungseinheit mit einer Wertfunktion, die einen Wert für den Steuerbefehl ermittelt und die Wertfunktion auf Basis der Vergütung aktualisiert. Die Maschinenlernvorrichtung kann ein neuronales Netzwerk umfassen.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Maschinensystem bereitgestellt, das die Maschinenlernvorrichtung gemäß dem obigen ersten Aspekt und die Maschine umfasst, wobei das Maschinensystem eine Steuereinrichtung, die die Maschine steuert; und eine Rechnereinrichtung mit der Maschinenlernvorrichtung umfasst, die die Maschinenlerneinheit, den Simulator und die erste Ermittlungseinheit umfasst, wobei die Rechnereinrichtung und eine oder mehrere der Maschinen über ein Netzwerk verbunden sind.
Das Lernen der Maschinenlerneinheit kann sogar während einer tatsächlichen Produktionsarbeit durch die Maschine kontinuierlich durchgeführt werden oder kann vorab durchgeführt werden, jedoch nicht während der tatsächlichen Produktionsarbeit durch die Maschine durchgeführt werden.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Herstellungssystem bereitgestellt, das eine Mehrzahl der Maschinensysteme gemäß dem obigen zweiten Aspekt umfasst, wobei die Maschinenlernvorrichtung in jedem der Maschinensysteme bereitgestellt ist; und eine Mehrzahl der Maschinenlernvorrichtungen, die in der Mehrzahl der Maschinensysteme bereitgestellt sind, so konfiguriert ist, dass sie Daten über ein Kommunikationsmedium untereinander teilen oder austauschen. Die Maschinenlernvorrichtung kann auf einem Cloudserver liegen.
Gemäß einem vierten Aspekt der vorliegenden Erfindung wird ein Maschinenlernverfahren bereitgestellt, das einen Steuerbefehl für eine Maschine durch Maschinenlernen lernt, wobei das Maschinenlernverfahren das Durchführen des Maschinenlernens zur Ausgabe des Steuerbefehls; das Durchführen einer Simulation eines Arbeitsvorgangs der Maschine auf Basis des Steuerbefehls; das Ermitteln des Steuerbefehls auf Basis eines Ergebnisses der Durchführung der Simulation; das Ermitteln, dass der Steuerbefehl gültig ist, und das Durchführen einer Eingabe des Steuerbefehls in die Maschine, wenn im Durchführungsergebnis der Simulation kein Problem vorliegt; und das Ermitteln, dass der Steuerbefehl ungültig ist, und das Stoppen der Eingabe des Steuerbefehls in die Maschine, wenn im Durchführungsergebnis der Simulation ein Problem vorliegt, umfasst.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Erfindung ist unter Bezugnahme auf die beiliegenden Zeichnungen besser verständlich, in denen:
1 ein Schaubild ist, das ein Beispiel eines Maschinensystems schematisch veranschaulicht, auf das die vorliegende Erfindung angewandt wird;
2 ein Blockschaubild ist, das eine erste Ausführungsform der Maschinenlernvorrichtung gemäß der vorliegenden Erfindung veranschaulicht;
3 ein Schaubild ist, das ein Beispiel einer Verarbeitung in der in 2 veranschaulichten Maschinenlernvorrichtung erläutert;
4 ein Schaubild ist, das ein Beispiel eines Prozesses zum Ausschneiden eines Teilbildes aus dem in 3 veranschaulichten Gesamtbild erläutert;
5 ein Schaubild ist, das ein Konfigurationsbeispiel einer Eingabe und Ausgabe des neuronalen Netzwerks erläutert, das an die in 2 veranschaulichte Maschinenlernvorrichtung angewandt wird;
6 ein Blockschaubild ist, das eine zweite Ausführungsform der Maschinenlernvorrichtung gemäß der vorliegenden Erfindung veranschaulicht; und
7 ein Schaubild ist, das ein Beispiel einer Maschinenlerneinheit in der Maschinenlernvorrichtung einer Ausführungsform erläutert.
AUSFÜHRLICHE BESCHREIBUNG
Bevor eine Ausführungsform einer Maschinenlernvorrichtung, die ein Lernen unter Verwendung eines Simulationsergebnisses durchführt, eines Maschinensystems, eines Herstellungssystems und eines Maschinenlernverfahrens gemäß der vorliegenden Erfindung ausführlich beschrieben wird, werden ein Beispiel des Maschinensystems, auf das die vorliegende Erfindung angewandt wird, und dessen Probleme unter Bezugnahme auf 1 beschrieben.
1 ist ein Schaubild, das ein Beispiel des Maschinensystems schematisch veranschaulicht, auf das die vorliegende Erfindung angewandt wird, wobei eine Methode veranschaulicht wird, mit der ein Roboter 14 mit einem daran angebrachten Endeffektor 13 einen Vorgang zum Herausnehmen eines Werkstücks 12 aus einem Korb 11 durchführt. Wie in 1 veranschaulicht, ist bei einem Beispiel des Maschinensystems eine dreidimensionale Messvorrichtung 15 über dem Korb 11 bereitgestellt und wird ein Tiefenbild des Werkstücks 12 von der dreidimensionalen Messvorrichtung 15 aufgenommen. Ferner lernt der Roboter 14 auf Basis des von der dreidimensionalen Messvorrichtung 15 aufgenommenen Tiefenbilds (Bild 30) den Vorgang des Herausnehmens des Werkstücks 12. Der Roboter 14 ist z. B. ein 6-achsiger Gelenkroboter, und eine Antriebswelle für jeden der Roboters 14 und des Endeffektors 13 wird durch einen Steuerbefehl (Befehl) von einer Steuereinrichtung (Maschinenlernvorrichtung) gesteuert.
Unterdessen kann beim Lernen eines Befehls an den Roboter 14 über das Maschinenlernen eine Interferenz auftreten, je nach dem von einer Maschinenlernvorrichtung (20) erfassten Befehl. Beispielsweise wenn der Befehl an den Roboter 14 ungeeignet (ungültig) ist, insbesondere wenn der Endeffektor 13 auf Basis eines Befehls A in 1 dazu veranlasst wird, sich zu bewegen (arbeiten), wie durch einen Lokus 16 indiziert, kommt es tendenziell zu einer Interferenz zwischen dem Endeffektor 13 (Roboter 14) und dem Korb 11.
Anders ausgedrückt ist es erforderlich, dass der Befehl an den Roboter 14 geeignet (gültig) ist, ist es insbesondere erforderlich, dass der Roboter 14 eine Arbeit so ausführt, dass der Endeffektor 13 und der Korb 11 auf Basis eines Befehls B in 1 miteinander nicht interferieren, wie durch einen Lokus 17 des Endeffektors 13 indiziert; wenn beispielsweise der obige Befehl A in den Roboter 14 eingegeben wird, kann es jedoch zu einer Interferenz kommen, wodurch der Korb 11, der Endeffektor 13, der Roboter 14 und der Endeffektor 13 oder ein Peripheriegerät beschädigt wird. Insbesondere führt dies in einer tatsächlichen Produktionslinie zu einem Produktionsstopp, so dass es zu einem großen Problem kommt. Ferner kann es je nach Status der Werkstücke 12 im Korb 11 vorkommen, dass der Roboter 14 aufgrund einer Interaktion mit den anderen Werkstücken 12 nicht in der Lage ist, ein Werkstück 12 erfolgreich herauszunehmen. Auch in diesem Fall kommt es zu einem Problem, bei dem die Taktzeit der Arbeit verzögert wird.
Im Folgenden werden Ausführungsformen einer Maschinenlernvorrichtung, eines Maschinensystems, eines Herstellungssystems und eines Maschinenlernverfahrens, die ein Lernen unter Verwendung eines Simulationsergebnisses gemäß der vorliegenden Erfindung durchführen, unter Bezugnahme auf die beiliegenden Zeichnungen ausführlich beschrieben. Auch wenn in der vorliegenden Schrift ein industrieller Roboter, der von einer Steuereinrichtung gesteuert wird, beispielhaft als Maschine beschrieben wird, ist selbstverständlich, dass die vorliegende Erfindung auch z. B. auf eine Werkzeugmaschine, eine Schmiedepressenmaschine, eine Spritzgussmaschine, einen Wartungsroboter oder dergleichen angewandt werden kann, die von einer Steuereinrichtung gesteuert werden.
2 ist ein Blockschaubild, das ein erstes Beispiel der Maschinenlernvorrichtung gemäß der vorliegenden Erfindung veranschaulicht, die z. B. auf das Maschinensystem (Robotersystem) angewandt werden kann, das unter Bezugnahme auf 1 beschrieben ist. Die Maschinenlernvorrichtung 20 führt ein Maschinenlernen in Reaktion auf das Empfangen von Bildinformationen (Bild) 30 von der dreidimensionalen Messvorrichtung 15 durch und gibt einen Steuerbefehl (Befehl) an den Roboter (Maschine) 14 aus, wodurch der Arbeitsvorgang (Arbeit) gesteuert wird.
Wie in 2 veranschaulicht, umfasst die Maschinenlernvorrichtung 20: eine Maschinenlerneinheit 21, die ein Maschinenlernen durchführt und einen Steuerbefehl ausgibt; einen Simulator 22, der eine Simulation der Arbeit des Roboters 14 auf Basis des Steuerbefehls durchführt; eine erste Ermittlungseinheit 23, die den Steuerbefehl auf Basis eines Durchführungsergebnisses der Simulation durch den Simulator 22 ermittelt; und eine zweite Ermittlungseinheit 24, die ein Arbeitsergebnis des Roboters 14 durch den Steuerbefehl ermittelt.
Wenn im Durchführungsergebnis der Simulation durch den Simulator 22 kein Problem vorliegt, ermittelt die erste Ermittlungseinheit 23, dass der von der Maschinenlerneinheit 21 ausgegebene Steuerbefehl gültig ist, und gibt diesen in den Roboter 14 ein. Danach führt der Roboter 14 die Arbeit auf Basis des Steuerbefehls aus, dessen Ermittlungsergebnis von der ersten Ermittlungseinheit 23 gültig ist. Wenn unterdessen im Durchführungsergebnis der Simulation durch den Simulator 22 ein Problem vorliegt, ermittelt die erste Ermittlungseinheit 23, dass der ausgegebene Steuerbefehl ungültig ist, und stoppt die Eingabe des Steuerbefehls an den Roboter 14. Mehr im Detail wird der Steuerbefehl, dessen Ermittlungsergebnis von der ersten Ermittlungseinheit 23 ungültig ist, nicht in den Roboter 14 eingegeben, so dass der Roboter 14 veranlasst wird, eine Durchführung der Arbeit auf Basis des Steuerbefehls zu vermeiden, in Bezug auf welchen ein Problem im Durchführungsergebnis der Simulation durch den Simulator 22 ermittelt wurde.
Wenn das Ergebnis der Ermittlung von der ersten Ermittlungseinheit 23 ungültig ist, wird nicht nur die Eingabe des Steuerbefehls in den Roboter 14 gestoppt, sondern wird z. B. auch die erste Ergebnismarkierung 41, die von der ersten Ermittlungseinheit 23 erhalten wird, als Schulungsdaten an die Maschinenlerneinheit 21 bereitgestellt, so dass ein weiteres Lernen durchgeführt werden kann.
Gemäß der Maschinenlernvorrichtung 20 der ersten Ausführungsform wird daher, bevor der Roboter 14 tatsächlich betrieben wird, der Steuerbefehl vom Simulator 22 ausgeführt, so dass z. B. der Abstand zwischen dem Peripheriegerät und dem Roboter 14 und die Bewegung des Werkstücks 12 vorab simuliert werden, und die Möglichkeit des Auftretens einer Interferenz oder eines Scheiterns beim Herausnehmen des Werkstücks 12 von der ersten Ermittlungseinheit 23 ermittelt wird. Ferner wird die tatsächliche Maschine (der Roboter 14) auf Basis des Durchführungsergebnisses der Simulation durch den Simulator 22 nur betrieben, wenn beurteilt (ermittelt) wird, dass kein Problem vorliegt, wodurch es möglich ist, einen Schaden an der tatsächlichen Maschine, ein Scheitern der Arbeit oder dergleichen zu verhindern. Mehr im Detail ist es gemäß der ersten Ausführungsform möglich, die Sicherheit des Maschinenlernens zu gewährleisten, d. h. das Auftreten von Problemen wie z. B. Schaden der Maschine, Scheitern der Arbeit oder Schaden des Peripheriegeräts zu verhindern.
Ferner ermittelt die zweite Ermittlungseinheit 24 bei der Maschinenlernvorrichtung 20 der ersten Ausführungsform das Arbeitsergebnis des Roboters 14 durch den Steuerbefehl. Wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit 23 gültig ist, wird eine Eingabe des Steuerbefehls in den Roboter 14 durchgeführt und wird eine zweite Ergebnismarkierung 44, die von der zweiten Ermittlungseinheit 24 erhalten wird, als Schulungsdaten an die Maschinenlerneinheit 21 bereitgestellt, um ein Lernen durchzuführen.
Weiter im Detail wird der Steuerbefehl vom Simulator 22 beurteilt, wird der Beurteilungsergebnis vom Simulator von der ersten Ermittlungseinheit 23 ermittelt, und wenn das Ermittlungsergebnis gültig ist, wird eine Eingabe des Steuerbefehls in den Roboter 14 durchgeführt, um den Roboter 14 dazu zu veranlassen, einen tatsächlichen Vorgang auszuführen. Danach wird das Betriebsergebnis (Arbeitsergebnis) des Roboters 14 von der zweiten Ermittlungseinheit 24 beurteilt (ermittelt) und gibt die zweite Ermittlungseinheit 24 die zweite Ergebnismarkierung 44 aus. Die Maschinenlerneinheit 21 führt ein Lernen des Steuerbefehles (Maschinenlernen) auf Basis der zweiten Ergebnismarkierung 44, der ersten Ergebnismarkierung 41 von der ersten Ermittlungseinheit 23 und den Schulungsdaten vom Bild 30 durch.
Wenn unterdessen das Ermittlungsergebnis von der ersten Ermittlungseinheit 23 ungültig ist, wird eine Eingabe des Steuerbefehls in den Roboter 14 nicht durchgeführt und wird die erste Ergebnismarkierung 41 von der ersten Ermittlungseinheit 23 an die Maschinenlerneinheit 21 ausgegeben. Danach führt die Maschinenlerneinheit 21 ein Lernen des Steuerbefehls auf Basis der ersten Ergebnismarkierung 41 und der Schulungsdaten vom Bild 30 durch.
3 ist ein Schaubild, das ein Beispiel einer Verarbeitung in der in 2 veranschaulichten Maschinenlernvorrichtung erläutert, und 4 ist ein Schaubild, das ein Beispiel einer Verarbeitung zum Ausschneiden eines Teilbildes aus dem in 3 veranschaulichten Gesamtbild erläutert. Unter Bezugnahme auf die 3 und 4 folgt eine Beschreibung eines Beispiels eines Prozesses zum Bilden eines Teilbildes 32 durch Ausschneiden eines Teils des Bilds aus dem Gesamtbild 31, das von der dreidimensionalen Messeinheit 15 erfasst wurde, wie in 1 veranschaulicht Wie in 4 veranschaulicht, kann das Teilbild 32 durch Ausschneiden eines willkürlichen Abschnitts aus dem Gesamtbild 31 gebildet werden und für gewöhnlich wird der Ausschneideprozess wiederholt durchgeführt, bis der gesamte Bereich abgedeckt ist, während in regulären Intervallen versetzt wird. Beispielsweise wenn das Teilbild (32) mit horizontal 80 Pixeln und vertikal 80 Pixeln gebildet wird, während für jeweils 40 Pixeln sowohl vertikal als auch horizontal in Bezug auf das Gesamtbild 31 mit horizontal 320 Pixeln und vertikal 240 Pixeln versetzt wird, werden insbesondere solche Teilbilder erhalten, und zwar {(320 – 80)/40 + 1} × {(240 – 80)/40 + 1} = 7 × 5 = 35.
Das auf diese Weise gebildete Teilbild 32 wird in die Maschinenlerneinheit 25 eingegeben, die das neuronale Netzwerk verwendet, und eine Herausnahmeerfolgswahrscheinlichkeit 26 wird als Ausgabe der Maschinenlerneinheit 25 erhalten. Dies wird für alle Teilbilder wiederholt durchgeführt und ein Teilbild (32) mit der höchsten Herausnahmeerfolgswahrscheinlichkeit wird ausgewählt, um Positionsinformationen 27 (Informationen zur Position mit der höchsten Herausnahmeerfolgswahrscheinlichkeit) zu erfassen, woraus denen das Teilbild 32 ausgeschnitten wird.
Das neuronale Netzwerk (25) ist aus einer arithmetischen Einheit, die ein Neuronenmodell imitiert, einem Speicher und dergleichen zusammengesetzt und kann einen Universalrechner und einen Prozessor nutzen; eine Verarbeitung mit höherer Geschwindigkeit wird jedoch unter Anwendung von z. B. GPGPU (allgemeine Berechnung auf Graphikverarbeitungseinheiten), einem großskaligen PC-Cluster oder dergleichen darauf ermöglicht.
Die Positionsinformationen der Position 27 mit der höchsten Herausnahmeerfolgswahrscheinlichkeit wird in den Simulator 22 eingegeben, um den Betrieb des Roboters 14 (Simulation des Arbeitsvorgangs) durchzuführen. Beispielsweise ist es möglich, einen Lokus des Herausnahmevorgangs zu generieren, indem ein Vorgang wie z. B. das Transportieren des Werkstücks 12 von der Herausnahmeposition des Werkstücks 12 in eine Beförderungsposition durch eine Position unmittelbar über dem Korb 11 auf dem Simulator 22 vorab eingestellt wird.
Eine vereinfachte Form des Simulators 22 kann z. B. eine sein, die einen Herausnahmevorgang von der Herausnahmeposition generiert und Zeitreihendaten einer Roboterspitzenposition (Endeffektor 13) ausgibt. Die Zeitreihendaten werden an die erste Ermittlungseinheit 23 ausgegeben und durch Prüfen, ob die Roboterspitzenposition von dem vom Benutzer vorab spezifizierten Bereich abweicht, ist es möglich, das Auftreten/Nichtauftreten einer Interferenz zu prüfen, und somit ist es möglich, zu ermitteln, ob das Betriebsergebnis gültig oder ungültig ist, d. h., ob der Steuerbefehl gültig oder ungültig ist.
Ferner kann ein ausgeklügelterer Typ des Simulators 22 als Simulator konfiguriert sein, der eine sogenannte physikalische Simulation durchführt, bei der beispielsweise der Einfluss der Schwerkraft, die Interferenz zwischen den Werkstücken, die Last des mit dem Roboter verwendeten Motors und dergleichen Berechnungsobjekte sind, durch Modellieren, umfassend physikalische Werte wie z. B. Formmodell, Gewicht und dergleichen des Roboters 14, der Hand (Endeffektor 13), des Korbs 11, des Werkstücks 12, der Umgebung und dergleichen.
In diesem Fall wird es möglich, eine Simulation (Beurteilung) nicht nur in Bezug auf das Prüfen des Bereichs der Roboterspitzenposition durchzuführen, sondern auch in Bezug auf ein Scheitern des Herausnehmens durch gegenseitige Interferenz zwischen den Werkstücken oder einen überlastbedingten Fehlerstopp des Roboters. Ferner wird es möglich, eine noch höherebnige Ermittlung durch Auswählen und Kombinieren erforderlicher aus den Kriterien für die Gültig- oder Ungültig-Ermittlung durch die erste Ermittlungseinheit 23 durchzuführen, da das vom Simulator 22 erhaltene Beurteilungsergebnis weitreichende Elemente wie z. B. die Höhe des Schadens am Roboter 14 oder Werkstück 12 durch die Interferenz, den Spielraum der Interferenz und so weiter abdeckt.
Wie oben beschrieben, wird, wenn von der ersten Ermittlungseinheit 23 eine Ungültig-Ermittlung durchgeführt wird, der Steuerbefehl nicht in die tatsächlichen Roboter 14 (tatsächliche Maschine) eingegeben, sondern werden die erste Ergebnismarkierung 41 von der ersten Ermittlungseinheit 23 und die Schulungsdaten vom Teilbild 43, wie verwendet, in die Maschinenlerneinheit (neuronales Netzwerk) 25 eingegeben, um ein Lernen des Steuerbefehls durchzuführen. Auf diese Weise ist es z. B. möglich, eine Eingabe eines ungültigen (problematischen) Steuerbefehls in die tatsächliche Maschine zu vermeiden und die Maschinenlerneinheit 25 dazu zu veranlassen, ein Lernen durchzuführen, so dass der ungültige Steuerbefehl nicht ausgegeben wird.
5 ist ein Schaubild, das ein Konfigurationsbeispiel einer Eingabe und Ausgabe des neuronalen Netzwerks erläutert, das an die in 2 veranschauliche Maschinenlernvorrichtung angewandt wird. Wie in 5 veranschaulicht, empfängt das neuronale Netzwerk 25 das Teilbild 32 als Eingabe und gibt die Herausnahmeerfolgswahrscheinlichkeit 26 aus. Wenn ein Lernen durchgeführt wird, wird z. B. der Satz aus dem verwendeten Teilbild 43 und der ersten Ergebnismarkierung 41 als Schulungsdaten verwendet und wird der Steuerbefehl durch überwachtes Lernen durchgeführt.
Anders ausgedrückt wird ein Fehler zwischen der Herausnahmeerfolgswahrscheinlichkeit 26, die von dem verwendeten Teilbild 43 erhalten wird, und der ersten Ergebnismarkierung 41, die vom Simulator 22 erhalten wird, durch eine Fehlerberechnungseinheit 28 berechnet und wird der Fehler rückgeführt, so dass ein Lernen durch das neuronale Netzwerk 25 durchgeführt werden kann. Insbesondere wenn es so ausgelegt ist, dass die Herausnahmeerfolgswahrscheinlichkeit 26 einen numerischen Wert in einem Bereich von „0”, der ein Scheitern darstellt, bis „1”, der einen Erfolg darstellt, annimmt, nimmt die erste Ergebnismarkierung 41 je nach Ergebnis des Erfolges/Scheitern des Herausnehmens den Wert „0” oder „1” an, so dass der Fehler durch das Ziehen der Differenz zwischen den zweien berechnet werden kann.
Wenn von der ersten Ermittlungseinheit 23 eine Gültig-Ermittlung (korrekt) durchgeführt wird, bedeutet dies, dass ein problemloser Betrieb (Arbeit) des Roboters 14 (tatsächliche Maschine) unabhängig von einem in diesen eingegebenen Steuersignal sichergestellt ist. Folglich wird ein Steuerbefehl eingegeben, um die tatsächliche Maschine (Roboter 14) dazu zu veranlassen, tatsächlich zu arbeiten. Danach wird das Ergebnis von einem Sensor wie z. B. einer Kamera beobachtet und ermittelt die zweite Ermittlungseinheit 24, ob das Ergebnis tatsächlich gültig wurde.
Das Gültig- oder Ungültig-Ergebnis (korrekt/falsch) wird als zweite Ergebnismarkierung 44 von der zweiten Ermittlungseinheit 24 an das neuronale Netzwerk 25 ausgegeben. Anders ausgedrückt empfängt das neuronale Netzwerk 25 die Schulungsdaten, die aus der zweiten Ergebnismarkierung 44 und dem verwendeten Teilbild 43 zusammengesetzt sind, und führt ein Lernen durch. Dieses Lernverfahren ähnelt dem oben beschriebenen Lernen in dem Fall, dass die erste Ergebnismarkierung 41 verwendet wird, die vom Simulator 22 erhalten wird.
Auch wenn die erste Ermittlungseinheit 23 und die zweite Ermittlungseinheit 24 eine Gültig/Ungültig-Ermittlung durchführen, muss das von jeder Ermittlungseinheit ausgegebene Ergebnis nicht notwendigerweise binär („0” oder „1”) sein. Beispielsweise kann eine Ermittlung durchgeführt werden, bei der eine Dreifach-Klassifizierung unter Bereitstellung von Schwellenwerten in zwei Schritten vorgenommen wird, d. h. „gültig”, „passabel” und „mangelhaft”. Dies ist darauf zurückzuführen, dass z. B. wenn der Roboter 14 an einem Hindernis wie z. B. dem Korb 11 vorbeikommt, es je nach Genauigkeit des Simulators 22 zu einer Situation kommt, in der eine Interferenz potenziell erwartet wird.
Beispielsweise wenn eine potenzielle Interferenz erwartet wird, ist es möglich, den Steuerbefehl genauer zu steuern, indem eine solche Konfiguration vorgenommen wird, dass die Ermittlung durch die erste Ermittlungseinheit 23 eine Ermittlung in einer dreifachen Form ist, zusätzlich umfassend „passabel (mittelmäßig)”, oder in einer Mehrfachwertform anstatt einer binären Form von „Gültig (korrekt)” und „ungültig (falsch)”. Anders ausgedrückt kann, wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit 23 drei oder mehr Status (Mehrfachwerte) annimmt, umfassend gültig und ungültig, eine Steuerung auf Basis des Status durchgeführt werden, so dass der Roboter 14 durch Ändern der Befehlsgeschwindigkeit des Roboters 14, die im Steuerbefehl umfasst ist, betrieben wird, insbesondere durch Verringern der Befehlsgeschwindigkeit, wenn eine Interferenz potenzial stark erwartet wird.
Auf diese Weise ist es z. B. sogar dann möglich, einen Schaden des Roboters 14 oder eines Peripheriegeräts zu minimieren, wenn vom Roboter 14 eine Inferenz verursacht wird. Außerdem ist es möglich, mit dem Risiko einer Interferenz spezifischer umzugehen, indem die Anzahl der Schwellenwertstufen auf 3, 4 und so weiter erhöht und die Befehlsgeschwindigkeit für jede Stufe verändert wird.
Die Maschinenlernvorrichtung 20, die unter Bezugnahme auf 2 beschrieben ist, kann in der Steuervorrichtung des Roboters 14 bereitgestellt werden, es stellt sich jedoch heraus, dass die Gerätschaft übermäßig teuer wird, wenn z. B. berücksichtigt wird, dass der Roboter 14 auch für Arbeiten verwendet wird, bei denen kein Maschinenlernen durchgeführt wird. Daher kann die Rechnereinrichtung (Maschinenlernvorrichtung 20), die das Maschinenlernen durchführt, von der Steuervorrichtung des Roboters 14 getrennt bereitgestellt werden. Bei einer solchen Hardwarekonfiguration ist es lediglich erforderlich, eine Schnittstelle zum Empfangen eines Steuerbefehls auf Seite der Steuervorrichtung des Roboters 14 bereitzustellen und somit können die Kosten der Steuervorrichtung des Roboters 14 verringert werden. Außerdem ist es vorteilhafterweise auch möglich, die Leistung der Maschinenlerneinheit 21 oder des Simulators 22 auf einfache Weise zu verbessern, indem nur die Rechnereinrichtung ersetzt wird, in der die Maschinenlernvorrichtung 20 bereitgestellt wird.
Ferner wird es, da die Rechnereinrichtung, in der die Maschinenlernvorrichtung 20 bereitgestellt ist, und die Steuervorrichtung des Roboters 14 über ein Netzwerk verbunden sind, möglich, die Rechnereinrichtung mit einer Mehrzahl der Roboter 14 (Steuervorrichtungen) zu verbinden, und wird es außerdem möglich, ein Lernen in vielen (allen) der Roboter 14 mit der einzelnen Rechnereinrichtung durchzuführen, indem die jeweiligen der Roboter 14, die das Lernen durchführen, entsprechend gewechselt und verbunden werden. Anders ausgedrückt umfasst ein Robotersystem (Maschinensystem), das die Maschinenlernvorrichtung 20 und den Roboter 14 umfasst: die Steuervorrichtung, die den Roboter 14 steuert; und die Rechnereinrichtung mit der Maschinenlernvorrichtung 20, die die Maschinenlerneinheit 21, den Simulator 22 und die erste Ermittlungseinheit 23 umfasst, wobei die Rechnereinrichtung und einer oder mehrere Roboter 14 über ein Netzwerk verbunden werden können.
Bei einem Maschinensystem, das eine Produktion tatsächlich durchführt, gibt es den Fall, dass eine Verbesserung des Betriebs durch Lernen unter fortgesetzter Produktion gewünscht ist. Da das Maschinenlernen viele Schulungsdaten zum Lernen erfordert, ist es insbesondere bevorzugt, ein Lernen unter Verwendung der Daten durchzuführen, die tatsächlich für die Produktion verwendet werden, um die Lernwirkung durch Erhöhen der Häufigkeit der Durchführung eines Lernens (der Anzahl der Daten) zu verbessern.
In diesem Fall besteht das Problem, dass manchmal ggf. nicht gewährleistet werden kann, dass der Betrieb durch ein Lernen immer verbessert wird, und die Erfolgsrate des Betriebs kann im Gegenteil abnehmen. Dieses Problem kann gemeinsam mit dem Interferenzproblem auch zu einem Hindernis werden, wenn die Lernfunktion auf die tatsächliche Produktionslinie angewandt wird. Somit kann, wenn die Erfolgsrate des Betriebs abnimmt, eine solche Konfiguration vorgenommen werden, dass das Lernen nicht durchgeführt wird, wenn es an ein Maschinensystem angewandt wird, das eine tatsächliche Produktion durchführt. Anders ausgedrückt kann eine solche Konfiguration vorgenommen werden, dass das Lernen durch die Maschinenlerneinheit 21 kontinuierlich durchgeführt wird, z. B. sogar während des tatsächlichen Produktionsbetriebs durch den Roboter 14, oder alternativ kann es vorab und nicht während des tatsächlichen Produktionsbetriebs durch den Roboter 14 durchgeführt werden.
Ferner wird der Status der Maschinenlerneinheit 21 in einem Zeitpunkt aufrechterhalten, der vorab spezifiziert wurde, wie z. B. in der tatsächlichen Produktionslinieneingabestufe oder regulär, und wenn die Wahrscheinlichkeit erhöht ist, dass das Ermittlungsergebnis von der ersten Ermittlungseinheit 23 ungültig wird, wird die Maschinenlerneinheit 21 in den vorherigen Status zurückgebracht, so dass die Leistung der Maschinenlerneinheit 21 wiederhergestellt ist, wodurch es möglich wird, die Effizienz durch Lernen weiter zu verbessern. Anders ausgedrückt kann auch eine solche Konfiguration vorgenommen werden, dass der Status der Maschinenlerneinheit 21 als erster Status aufrechterhalten wird, regulär oder wenn eine vorab spezifizierte Bedingung eintritt, und wenn die Häufigkeit, mit der das Ermittlungsergebnis von der ersten Ermittlungseinheit 23 gültig wird, abnimmt, wird der Status der Maschinenlerneinheit 21 in den ersten Status zurückgebracht. Auch wenn in der oben beschriebenen ersten Ausführungsform ein Beispiel veranschaulicht ist, bei dem ein „überwachtes Lernen” angewandt wird, können auch andere Lernmethoden wie z. B. „Verstärkungslernen” angewandt werden.
6 ist ein Blockschaubild, das eine zweite Ausführungsform der Maschinenlernvorrichtung gemäß der vorliegenden Erfindung veranschaulicht, wobei ein Beispiel der Maschinenlernvorrichtung veranschaulicht ist, auf die ein Durchsetzungslernen angewandt wird. Unterdessen veranschaulicht 6 ein Beispiel, bei dem ein Lokus eines Herausnahmevorgangs des Roboters 14 unter der Annahme gelernt wird, dass eine Herausnahmeposition bereits ermittelt wurde. Bei der in 6 veranschaulichten zweiten Ausführungsform wird der Betriebslokus des Roboters 14 durch eine Maschinenlerneinheit 55 generiert und in einen Simulator 52 eingegeben. Im Simulator 52 wird der Betrieb des Roboters 14 beurteilt und wird von der ersten Ermittlungseinheit 53 ermittelt, ob der Betrieb gültig oder ungültig (korrekt/falsch) ist.
Wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit 53 gültig ist, wird eine Eingabe eines Steuerbefehls an den Roboter 14 durchgeführt und arbeitet der Roboter 14. Das Betriebsergebnis des Roboters 14 wird von der zweiten Ermittlungseinheit 54 ermittelt und das Ermittlungsergebnis wird als zweite Ergebnismarkierung 64 an die Maschinenlerneinheit 55 gesendet, während gleichzeitig eine zweite Statusmenge 65, umfassend zumindest eines von den Daten, die den Status des Roboters 14 oder der Umgebung darstellen, internen Daten einer Steuersoftware, die den Roboter 14 steuert und Berechnungsdaten, die auf Basis einer oder beider Daten erhalten werden, an die Maschinenlerneinheit 55 gesendet wird. Anders ausgedrückt wird, wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit 53 gültig ist, das Lernen durchgeführt, indem eine zweite Statusmenge 65, umfassend zumindest eines von Ausgabedatum eines Sensors, der den Status des Roboters 14 oder einer Umgebung erkennt, internen Daten der Steuersoftware, die den Roboter 14 steuert, und Berechnungsdaten, die auf Basis der Ausgabedaten des Sensors und der internen Daten der Steuersoftware erhalten werden, gemeinsam mit der zweiten Ergebnismarkierung 64 an die Maschinenlerneinheit 55 bereitgestellt wird.
Wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit 53 ungültig ist, wird der Steuerbefehl nicht in den Roboter 14 eingegeben und werden die erste Ergebnismarkierung 61, die aus der Ermittlung von der ersten Ermittlungseinheit 53 stammt, und eine erste Statusmenge 62, die aus internen Daten des Simulators 52 zusammengesetzt ist, an die Maschinenlerneinheit 55 gesendet. Anders ausgedrückt wird, wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit 53 ungültig ist, ein Lernen durchgeführt, indem die erste Statusmenge 62, umfassend einen Teil der vom Simulator 52 erhaltenen Berechnungsergebnisdaten oder all diese, gemeinsam mit der ersten Ergebnismarkierung 61 an die Maschinenlerneinheit 55 bereitgestellt werden.
Danach wird der von der Maschinenlerneinheit 55 generierte Betriebslokus generiert, z. B. durch kurze Schritte eines gewissen Zeitraums oder einer gewissen Distanz, werden eine Simulation und Ermittlung jedes Mal durchgeführt und wird schließlich der gesamte Betriebslokus durch Wiederholen davon generiert.
Die Maschinenlerneinheit 55, die die erste Ergebnismarkierung 61 und die erste Statusmenge 62 oder die zweite Ergebnismarkierung 64 und die zweite Statusmenge 65 empfängt, führt z. B. ein „Verstärkungslernen” durch. Insbesondere wird ein Fall beschrieben, bei dem ein Lernen durch Anwendung von „Q-Learning” durchgeführt wird.
Das Q-Learning ist eine Methode zum Lernen eines Werts Q(s, a) zum Auswählen einer Aktion a unter einem gewissen Umgebungsstatus s. Anders ausgedrückt kann eine Aktion a mit dem höchsten Wert Q(s, a) unter einem gewissen Status als optimale Aktion ausgewählt werden. Am Anfang ist ein korrekter Wert des Werts Q(s, a) für die Kombination von Status s und Aktion a jedoch überhaupt nicht bekannt. Daher wählt ein Agent (Aktionsentität) diverse Aktionen a unter einem gewissen Status s aus und wird eine Vergütung zu diesem Zeitpunkt an die Aktion a vergeben. Auf diese Weise fährt der Agent fort, um die Auswahl einer besseren Aktion, d. h. eines korrekten Werts Q(s, a) zu lernen.
Bei der Maschinenlernvorrichtung der zweiten Ausführungsform ist, wenn ein Lernen durch Anwendung von Q-Learning durchgeführt wird, die Statusmenge s aus der ersten Ergebnismarkierung 61, die von der ersten Ermittlungseinheit 53 ausgegeben wird, und der ersten Statusmenge 62, die vom Simulator 52 ausgegeben wird, oder der zweiten Ergebnismarkierung 64, die von der zweiten Ermittlungseinheit 54 ausgegeben wird, und der zweiten Statusmenge 65, die vom Roboter 14, dem Peripheriegerät oder dergleichen ausgegeben wird, zusammengesetzt.
Die erste Ergebnismarkierung 61 und die zweite Ergebnismarkierung 64 umfassen z. B. das Auftreten/Nichtauftreten einer Interferenz, die Taktzeit, den Abstand zur Endposition, den Erfolg/das Scheiterns in Bezug auf das Ergreifen des Werkstücks 12 und dergleichen. Die Aktion a ist ein Steuerbefehl für den Roboter 14 und kann z. B. eine Bewegungsrichtung und eine Bewegungsgeschwindigkeit der Spitzenposition (Endeffektor 13) des Roboters 14 sein.
7 ist ein Schaubild, das ein Beispiel einer Maschinenlerneinheit in der Maschinenlernvorrichtung einer Ausführungsform erläutert, wobei ein Beispiel eines Falls veranschaulicht wird, in dem ein „Verstärkungslernen (Q-Learning)” angewandt wird. Wie in 7 veranschaulicht, umfasst die Lerneinheit 55 eine Vergütungsberechnungseinheit 71 und eine Wertfunktionsaktualisierungseinheit 72. Die Vergütungsberechnungseinheit 71 berechnet eine Vergütung, z. B. einen Punktewert, beispielsweise auf Basis der ersten Ergebnismarkierung 61 und der ersten Statusmenge 62 oder der zweiten Ergebnismarkierung 64 und der zweiten Statusmenge 65.
Die Vergütung wird z. B. so eingestellt, dass sie in Bezug auf einen Erfolg des Vorgangs höher ist und in Bezug auf ein Scheitern des Vorgangs niedriger ist. Die Vergütung kann auch berechnet werden, z. B. auf Basis der Taktzeit des Vorgangs. In Hinblick auf die Vergütung kann ferner z. B. die Vergütung gemäß jedem Schritt berechnet werden, wie z. B. Erfolg in Bezug auf das Greifen des Handteils (Endeffektor 13) oder Erfolg in Bezug auf das Transportieren mit dem Handteil. Ferner wird z. B. wenn ermittelt wird, dass eine Interferenz verursacht wird, eine derartige Einstellung vorgenommen, dass die Vergütung verringert wird, und wird ein Prozess durchgeführt, bei dem der Vorgang zu diesem Zeitpunkt unterbrochen und von der Anfangsposition aus neu begonnen wird, wodurch es möglich wird, mit dem Lernen fortzufahren, z. B. ohne dass ein Status mit einem Problem verursacht oder dieser aufrechterhalten wird.
Danach hat die Wertfunktionsaktualisierungseinheit 72 z. B. eine Wertfunktion Q(s, a), die den Wert einer Aktion ermittelt, und aktualisiert die Wertfunktion je nach der oben beschriebenen Vergütung durch die Vergütungsberechnungseinheit 71. Der Steuerbefehl (Betriebslokus) wird auf Basis der aktualisierten Wertfunktion generiert und an den Simulator 52 ausgegeben, um den oben beschriebenen Prozess durchzuführen und den Roboter 14 (Maschine) zu steuern. Auf diese Weise ist es möglich, die Maschine mit dem Steuerbefehl zu steuern, dessen Sicherheit in Bezug auf das Maschinenlernen gewährleistet ist (das Auftreten eines Problems wie z. B. Schaden der Maschine, Scheitern des Vorgangs oder Schaden des Peripheriegeräts wird verhindert).
Nicht nur das oben beschriebene „überwachte Lernen” und „Verstärkungslernen (Q-Learning)”, sondern auch diverse Techniken wie z. B. die diversen bekannten Maschinenlerntechniken (z. B. „überwachtes Lernen”, „unüberwachtes Lernen” und Verstärkungslernen”) oder „tiefes Lernen”, das die Extraktion eines Merkmalswert per Steuereinrichtung lernt, um diese Techniken umzusetzen, können umfassend an die Maschinenlernvorrichtung gemäß der vorliegenden Erfindung angewandt werden. Ferner ist es selbstverständlich, dass die Anwendung der Maschinenlernvorrichtung gemäß der vorliegenden Erfindung nicht auf den oben beschriebenen industriellen Roboter beschränkt ist, sondern dass die Maschinenlernvorrichtung auch z. B. auf eine Werkzeugmaschine, eine Schmiedepressenmaschine, eine Spritzgussmaschine, einen Wartungsroboter oder dergleichen, wie durch eine Steuereinrichtung gesteuert, angewandt werden kann.
Im Obigen kann, wenn ein Herstellungssystem betrachtet wird, das eine Mehrzahl von Maschinensystemen umfasst, umfassend eine Maschinenlernvorrichtung und eine Maschine (Roboter), z. B. eine solche Konfiguration vorgenommen werden, dass die Maschinenlernvorrichtung in jedem der Maschinensysteme bereitgestellt wird und die Mehrzahl von Maschinenlernvorrichtungen, die in der Mehrzahl von Maschinensystemen bereitgestellt ist, Daten durch ein Kommunikationsmedium untereinander nutzen und austauschen. Ferner ist es auch möglich, eine solche Konfiguration vorzunehmen, dass die Maschinenlernvorrichtung auf einem Cloudserver liegt, z. B. durch ein Kommunikationsmedium wie z. B. das Internet.
Gemäß der Maschinenlernvorrichtung, dem Maschinensystem, dem Herstellungssystem und dem Maschinenlernverfahren, die die vorliegende Erfindung bilden, ist es möglich, den Vorteil bereitzustellen, dass die Gewährleistung der Sicherheit des Maschinenlernens möglich ist.
Alle Beispiele und sämtliche konditionale Sprache, wie hierin bereitgestellt, sollen pädagogischen Zwecken dienen, um dem Leser das Verstehen der Erfindung und der Konzepte, die der Erfinder beiträgt, um das Gebiet voranzubringen, zu erleichtern, und sollen nicht als Einschränkungen auf diese spezifisch genannten Beispiele und Bedingungen ausgelegt werden, und die Organisation dieser Beispiele in der Schrift zeigt auch keine Überlegenheit und Unterlegenheit der Erfindung. Auch wenn eine oder mehrere Ausführungsformen der vorliegenden Erfindung ausführlich beschrieben wurden, sei verstanden, dass diverse Modifikationen, Substitutionen und Änderungen an diesen vorgenommen werden können, ohne sich vom Geist und Umfang der Erfindung zu entfernen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 09-319420 [0003]
JP 5137537 [0004]

Claims

Maschinenlernvorrichtung (20), die einen Steuerbefehl für eine Maschine (14) durch Maschinenlernen lernt, umfassend: eine Maschinenlerneinheit (21, 25, 55), die das Maschinenlernen durchführt, um den Steuerbefehl auszugeben; einen Simulator (22, 52), der eine Simulation eines Arbeitsvorgangs der Maschine (14) auf Basis des Steuerbefehls durchführt; und eine erste Ermittlungseinheit (23, 53), die den Steuerbefehl auf Basis eines Durchführungsergebnisses der Simulation durch den Simulator (22, 52) ermittelt.
Maschinenlernvorrichtung nach Anspruch 1, wobei die erste Ermittlungseinheit (23, 53): ermittelt, dass der Steuerbefehl gültig ist, und eine Eingabe des Steuerbefehls in die Maschine (14) durchführt, wenn im Durchführungsergebnis der Simulation kein Problem vorliegt, und ermittelt, dass der Steuerbefehl ungültig ist, und die Eingabe des Steuerbefehls in die Maschine (14) stoppt, wenn im Durchführungsergebnis der Simulation ein Problem vorliegt.
Maschinenlernvorrichtung nach Anspruch 2, wobei dann, wenn ein Ermittlungsergebnis von der ersten Ermittlungseinheit (23, 53) ungültig ist, die Eingabe des Steuerbefehls in die Maschine (14) gestoppt wird, und ein Lernen durchgeführt wird, indem eine erste Ergebnismarkierung (41, 61), die von der ersten Ermittlungseinheit (23, 53) erhalten wird, als Schulungsdaten an die Maschinenlerneinheit (21, 25, 55) bereitgestellt wird.
Maschinenlernvorrichtung nach Anspruch 3, wobei dann, wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit (23) ungültig ist, das Lernen durchgeführt wird, indem eine erste Statusmenge (62), umfassend einen Teil oder alle der vom Simulator (52) erhaltenen Berechnungsergebnisdaten, gemeinsam mit der ersten Ergebnismarkierung (61) an die Maschinenlerneinheit (55) bereitgestellt werden.
Maschinenlernvorrichtung nach einem der Ansprüche 2 bis 4, die ferner eine zweite Ermittlungseinheit (24, 54) umfasst, die ein Arbeitsergebnis der Maschine (14) durch den Steuerbefehl ermittelt, wobei dann, wenn ein Ermittlungsergebnis von der ersten Ermittlungseinheit (23) gültig ist, eine Eingabe des Steuerbefehls in die Maschine (14) durchgeführt wird, und ein Lernen durchgeführt wird, indem eine zweite Ergebnismarkierung (44, 64), die von der zweiten Ermittlungseinheit (24, 54) erhalten wird, als Schulungsdaten an die Maschinenlerneinheit (21, 25, 55) bereitgestellt wird.
Maschinenlernvorrichtung nach Anspruch 5, wobei dann, wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit (53) gültig ist, das Lernen durchgeführt wird, indem eine zweite Statusmenge (65), umfassend zumindest eines von Ausgabedaten eines Sensors, der einen Status der Maschine (14) oder einer Umgebung erkennt, internen Daten einer Steuersoftware, die die Maschine (14) steuert, und Berechnungsdaten, die auf Basis der Ausgabedaten des Sensors oder der internen Daten der Steuersoftware erhalten werden, gemeinsam mit der zweiten Ergebnismarkierung (64) an die Maschinenlerneinheit (55) bereitgestellt werden.
Maschinenlernvorrichtung nach einem der Ansprüche 2 bis 6, wobei: ein Status der Maschinenlerneinheit (21) als erster Status aufrechterhalten wird, regulär oder wenn eine vorab spezifizierte Bedingung erfüllt ist; und der Status der Maschinenlerneinheit (21) in den ersten Status zurückgebracht wird, wenn eine Häufigkeit, mit der das Ermittlungsergebnis von der ersten Ermittlungseinheit (23) gültig wird, abnimmt.
Maschinenlernvorrichtung nach einem der Ansprüche 2 bis 7, wobei dann, wenn das Ermittlungsergebnis von der ersten Ermittlungseinheit (23) drei oder mehr Status annimmt, umfassend gültig und ungültig, eine Befehlsgeschwindigkeit der Maschine (14), die im Steuerbefehl umfasst ist, auf Basis des Status verändert wird.
Maschinenlernvorrichtung nach einem der Ansprüche 2 bis 8, wobei die Maschinenlerneinheit (55) umfasst: eine Vergütungsberechnungseinheit (71), die eine Vergütung auf Basis eines Arbeitsstatus der Maschine (14) berechnet; und eine Wertfunktionsaktualisierungseinheit (72) mit einer Wertfunktion, die einen Wert für den Steuerbefehl ermittelt und die Wertfunktion auf Basis der Vergütung aktualisiert.
Maschinenlernvorrichtung nach einem der Ansprüche 1 bis 9, wobei die Maschinenlernvorrichtung (20) ein neuronales Netzwerk umfasst.
Maschinensystem, das die Maschinenlernvorrichtung (20) nach einem der Ansprüche 1 bis 10 und die Maschine (14) umfasst, wobei das Maschinensystem umfasst: eine Steuereinrichtung, die die Maschine (14) steuert; und eine Rechnereinrichtung mit der Maschinenlernvorrichtung (20), umfassend die Maschinenlerneinheit (21), den Simulator (22) und die erste Ermittlungseinheit (23), wobei die Rechnereinrichtung und eine oder mehrere der Maschinen (14) über ein Netzwerk verbunden sind.
Maschinensystem nach Anspruch 11, wobei das Lernen der Maschinenlerneinheit (21): sogar während einer tatsächlichen Produktionsarbeit durch die Maschine (14) kontinuierlich durchgeführt wird, oder vorab durchgeführt wird, aber nicht während der tatsächlichen Produktionsarbeit durch die Maschine (14) durchgeführt wird.
Herstellungssystem, das eine Mehrzahl der Maschinensysteme nach Anspruch 11 oder 12 umfasst, wobei: die Maschinenlernvorrichtung (20) in jedem der Maschinensysteme bereitgestellt ist; und eine Mehrzahl der Maschinenlernvorrichtungen (20), die in der Mehrzahl der Maschinensysteme bereitgestellt ist, so konfiguriert ist, dass sie Daten über ein Kommunikationsmedium untereinander teilen oder austauschen.
Herstellungssystem nach Anspruch 13, wobei die Maschinenlernvorrichtung (20) auf einem Cloudserver liegt.
Maschinenlernverfahren, das einen Steuerbefehl für eine Maschine (14) durch Maschinenlernen lernt, wobei das Maschinenlernverfahren umfasst: Durchführen des Maschinenlernens zum Ausgeben des Steuerbefehls; Durchführen einer Simulation eines Arbeitsvorgangs der Maschine (14) auf Basis des Steuerbefehls; Ermitteln des Steuerbefehls auf Basis eines Ergebnisses der Durchführung der Simulation; Ermitteln, dass der Steuerbefehl gültig ist, und Durchführen einer Eingabe des Steuerbefehls in die Maschine (14), wenn im Durchführungsergebnis der Simulation kein Problem vorliegt; und Ermitteln, dass der Steuerbefehl ungültig ist, und Stoppen der Eingabe des Steuerbefehls in die Maschine (14), wenn im Durchführungsergebnis der Simulation ein Problem vorliegt.