DE102017000770A1

DE102017000770A1 - Maschinelle lernvorrichtung, numerische steuerung, werkzeugmaschinensystem, herstellungssystem und maschinelles lernverfahren zum erlernen der anzeige eines bedienungsmenüs

Info

Publication number: DE102017000770A1
Application number: DE102017000770.5A
Authority: DE
Inventors: Yuuki KUROKAWA
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2016-02-05
Filing date: 2017-01-27
Publication date: 2017-08-10
Also published as: CN107045293B; CN107045293A; US20170228644A1; JP2017138881A; US10949740B2

Abstract

Eine maschinelle Lernvorrichtung, die einen Bediener 6 erfasst, mit einer Datenbank 5, die Informationen über den Bediener 6 registriert, kommuniziert und die Anzeige eines Bedienungsmenüs anhand der Informationen über den Bediener 6 erlernt, umfasst eine Zustandsbeobachtung 21, die eine Funktionshistorie des Bedienungsmenüs beobachtet; und eine Lerneinheit 22, die die Anzeige des Bedienungsmenüs anhand der Funktionshistorie des Bedienungsmenüs, die von der Zustandsbeobachtungseinheit 21 erkannt wird, erlernt.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine maschinelle Lernvorrichtung, eine numerische Steuerung, ein Werkzeugmaschinensystem, ein Herstellungssystem und ein maschinelles Lernverfahren zum Erlernen der Anzeige eines Bedienungsmenüs.
2. Beschreibung des Standes der Technik
Herkömmlicherweise weist beispielsweise eine NC(Numerische Steuerungs)-Vorrichtung, die eine Werkzeugmaschine steuert, ein Bedienungsmenü auf, das von einer Vielzahl von Personen (Bedienern) verwendet wird. Beispiele für Bediener umfassen Personen, die verschiedene Rollen und Berechtigungsebenen aufweisen, wie zum Beispiel ein Entwickler und eine von einem MTB (Werkzeugmaschinenhersteller) beauftragte Person, einen Bediener (Benutzer) und einen Außendiensttechniker.
In der vorliegenden Beschreibung umfasst die NC-Vorrichtung auch beispielsweise eine CNC(computernumerische Steuerungs-)-Vorrichtung. Ein Bedienungsmenü für die NC-Vorrichtung wird auf einer Anzeigevorrichtung angezeigt, wie beispielsweise einer Flüssigkristalltafel mit einer Berührungs-(Positionseingabe-)Funktion, und ist konfiguriert, um sich entsprechend den auf der Anzeigevorrichtung angezeigten Informationen zu verändern. Eine Anzeigevorrichtung, die ein Bedienungsmenü anzeigt, kann beispielsweise einstückig mit der NC-Vorrichtung vorgesehen sein, aber sie kann sich auch an einer von der NC-Vorrichtung entfernten Position in einer drahtgebundenen oder drahtlosen Konfiguration befinden, oder ein Bedienungsmenü auf einer Anzeigevorrichtung kann sogar beispielsweise in der Nähe einer Werkzeugmaschine betätigt werden.
Herkömmlicherweise wurde beispielsweise ein Vorschlag unterbreitet, Funktionsicons in einer Matrix als Zellen anzuordnen und die Funktionsicons dann in einer von dem Benutzer gewünschten Anordnung entsprechend der Häufigkeit der Verwendung der Icons anzuordnen (z. B. offengelegte japanische Patentveröffentlichung Nr. 2009-181501 ). Ein weiterer Vorschlag wurde vorgelegt, Menübefehle in einer für die aktuelle Benutzersituation geeigneten Reihenfolge anzuordnen, ohne Beeinträchtigung des Benutzers, wenn ein Menü für eine Navigationsvorrichtung angezeigt wird (z. B. offengelegte japanische Patentveröffentlichung Nr. 2010-127814 ). Es ist ebenfalls möglich, beispielsweise eine Berechtigungsebene für einen Bediener festzulegen, der eine Werkzeugmaschine bedient, und das Bedienungsmenü entsprechend der Berechtigungsebene zu verändern (z. B. offengelegte japanische Patentveröffentlichung Nr. 2009-086964 ).
Wie oben beschrieben, kann die einfache Durchführung einer Anordnung gemäß der Häufigkeit der Verwendung von Menüs beispielsweise zu einem schlechten Zugriff auf ein Menü führen, das bei Bedienung durch eine andere Person als einem Bediener, der üblicherweise die Maschine bedient, wie beispielsweise ein Außendiensttechniker, verwendet werden soll. Ein Verfahren zur Erkennung eines Bedieners und beispielsweise zur Neuanordnung der Menüs gemäß der Häufigkeit ihrer Verwendung für jeden Bediener kann möglich sein, aber in diesem Fall kann der Bediener, um einen für den Benutzer einfach zu bedienenden Menübildschirm zu erhalten, die Maschine vorzugsweise in einem gewissen Umfang bedienen, damit die Maschine einen Lernvorgang ausführt.
Wird vorab eine Tabelle zur Festlegung der Reihenfolge der Anzeige von Menübefehlen aus Parametern erstellt, um ein für die jeweiligen Umstände entsprechendes Menü anzuzeigen, da Veränderungen aus angenommenen Umständen nicht dynamisch verarbeitet werden können, kann es besser sein, eine Tabelle jedes Mal erneut manuell zu erzeugen, wenn die Rolle oder die Berechtigungsebene einer Bedienungsperson sich erhöht.
Unter Berücksichtigung der oben beschriebenen Probleme der herkömmlichen Techniken ist es eine Aufgabe der vorliegenden Erfindung, eine maschinelle Lernvorrichtung, eine numerische Steuerung, ein Werkzeugmaschinensystem, ein Herstellungssystem und ein maschinelles Lernverfahren bereitzustellen, das ein für jeden Bediener optimales Bedienungsmenü anzeigen kann.
KURZDARSTELLUNG DER ERFINDUNG
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird eine maschinelle Lernvorrichtung bereitgestellt, die einen Bediener erkennt, mit einer Datenbank kommuniziert, welche Informationen über den Bediener registriert und die Anzeige eines Bedienungsmenüs anhand der Informationen über den Bediener erlernt, wobei die Vorrichtung eine Zustandsbeobachtungseinheit umfasst, die eine Funktionshistorie des Bedienungsmenüs erkennt; und eine Lerneinheit, die die Anzeige des Bedienungsmenüs anhand der Funktionshistorie des Bedienungsmenüs, die von der Zustandsbeobachtungseinheit erkannt wird, erlernt.
Die Funktionshistorie des Bedienungsmenüs kann eine Zugriffszählung auf das Bedienungsmenü und Übergangsinformationen des Bedienungsmenüs umfassen. Diese Zustandsbeobachtungseinheit kann ferner mindestens eines aus Informationen über ein gegenwärtig ausgewähltes Bedienungsmenü, Informationen zur Angabe, ob eine Werkzeugmaschine sich im Verarbeitungsbetrieb befindet, Alarminformationen einer numerischen Steuerung und der Werkzeugmaschine und Informationen zur Angabe, ob derzeit eine Programmeditierung stattfindet, umfassen. Die maschinelle Lernvorrichtung kann ferner eine Entscheidungseinheit umfassen, die über eine Position und eine Reihenfolge eines Bedienungsmenüs, das auf einer Anzeigevorrichtung angezeigt werden soll, entscheidet, indem auf die Anzeige des von der Lerneinheit erlernten Bedienungsmenüs Bezug genommen wird.
Die Lerneinheit kann eine Belohnungsberechnungseinheit umfassen, die anhand einer Ausgabe von der Zustandsbeobachtungseinheit eine Belohnung berechnet; und eine Wertefunktion-Aktualisierungseinheit, die eine Wertefunktion zur Ermittlung eines Wertes einer Position und einer Reihenfolge in einem Bedienungsmenü, das auf einer Anzeigevorrichtung angezeigt werden soll, gemäß der Belohnung anhand von Ausgaben von der Zustandsbeobachtungseinheit und der Belohnungsberechnungseinheit aktualisiert. Die Belohnungsberechnungseinheit kann eine positive Belohnung bereitstellen, wenn eine Funktion aus einem Menü des Bedienungsmenüs ausgeführt wird, welches in einer leicht zugänglichen Position und Reihenfolge angeordnet ist, und kann eine negative Belohnung bereitstellen, wenn eine Funktion aus einem Menü des Bedienungsmenüs ausgeführt wird, welches in einer schwer zugänglichen Position und Reihenfolge angeordnet ist.
Die Lerneinheit kann eine Fehlerberechnungseinheit umfassen, die anhand von eingegebenen Lehrerdaten und einer Ausgabe von der Zustandsbeobachtungseinheit einen Fehler berechnet; und eine Lernmodell-Aktualisierungseinheit, die ein Lernmodell zur Ermittlung eines Fehlers einer Position und einer Reihenfolge in einem Bedienungsmenü, das auf einer Anzeigevorrichtung angezeigt werden soll, anhand von Ausgaben von der Zustandsbeobachtungseinheit und der Fehlerberechnungseinheit aktualisiert. Die maschinelle Lernvorrichtung kann ferner ein neuronales Netz umfassen. Die Informationen über den Bediener können Informationen betreffend eines aus einer Rolle und einer Ermächtigungsebene des Bedieners umfassen und das Bedienungsmenü, das auf den Informationen über den Bediener basiert, kann sich aufgrund der Informationen betreffend eines aus der Rolle und der Ermächtigungsebene des Bedieners verändern.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine numerische Steuerung, die eine Erfassungseinheit umfasst, die den Bediener erfasst; eine Kommunikationseinheit, die mit einer Datenbank kommuniziert, welche Informationen über den Bediener registriert; die maschinelle Lernvorrichtung gemäß dem oben beschriebenen ersten Aspekt; und eine Anzeigevorrichtung, die ein Bedienungsmenü anzeigt, welches von der maschinellen Lernvorrichtung erlernt wird, bereitgestellt.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Werkzeugmaschinensystem, das eine numerische Steuerung umfasst; eine Werkzeugmaschine, die von der numerischen Steuerung gesteuert wird; und die maschinelle Lernvorrichtung gemäß dem oben beschriebenen ersten Aspekt bereitgestellt.
Gemäß einem vierten Aspekt der vorliegenden Erfindung wird ein Herstellungssystem bereitgestellt, das eine Vielzahl von Werkzeugmaschinensystemen gemäß dem oben beschriebenen dritten Aspekt umfasst, wobei die maschinelle Lernvorrichtung in jedem der Werkzeugmaschinensysteme montiert wird und die Vielzahl der maschinellen Lernvorrichtungen, die in der Vielzahl der Werkzeugmaschinensysteme montiert sind, konfiguriert ist, um Daten über ein Kommunikationsmedium miteinander zu teilen oder auszutauschen. Die maschinelle Lernvorrichtung kann sich auf einem Cloud Server befinden.
Gemäß einem fünften Aspekt der vorliegenden Erfindung wird eine maschinelle Lernvorrichtung bereitgestellt zur Erfassung eines Bedieners, zur Kommunikation mit einer Datenbank, die Informationen über den Bediener registriert, und zum Erlernen der Anzeige eines Bedienungsmenüs anhand der Informationen über den Bediener, wobei das Verfahren die Beobachtung einer Funktionshistorie des Bedienungsmenüs; und das Erlernen der Anzeige des Bedienungsmenüs anhand der beobachteten Funktionshistorie des Bedienungsmenüs umfasst. Die Funktionshistorie des Bedienungsmenüs kann eine Zugriffszählung auf das Bedienungsmenü und Übergangsinformationen des Bedienungsmenüs umfassen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Erfindung wird leichter verständlich durch Bezug auf die beigefügten Zeichnungen, bei denen:
1 ein Blockdiagramm ist, das schematisch eine Ausführungsform eines Werkzeugmaschinensystems gemäß der vorliegenden Erfindung veranschaulicht;
2 ein Blockdiagramm ist, das eine Ausführungsform einer numerischen Steuerung gemäß der vorliegenden Erfindung veranschaulicht;
3 ein Diagramm ist, das schematisch ein Modell für ein Neuron darstellt;
4 ein Diagramm ist, das schematisch ein dreischichtiges neuronales Netz darstellt, welches durch die Kombination von Neuronen, wie in 3 veranschaulicht, gebildet wird;
5 ein Ablaufdiagramm ist, das eine beispielhafte Funktion einer maschinellen Lernvorrichtung, die als 1 veranschaulicht ist, veranschaulicht;
6A und 6B Diagramme (1) zur Erläuterung einer Anzeige eines Bedienungsmenüs sind, welche von der in 5 veranschaulichten maschinellen Lernvorrichtung erlernt wird;
7A und 7B Diagramme (2) zur Erläuterung der Anzeige des Bedienungsmenüs sind, welche von der in 5 veranschaulichten maschinellen Lernvorrichtung erlernt wird;
8A und 8B Diagramme (3) zur Erläuterung der Anzeige des Bedienungsmenüs sind, welche von der in 5 veranschaulichten maschinellen Lernvorrichtung erlernt wird; und
9 ein Blockdiagramm ist, das schematisch eine weitere Ausführungsform eines Werkzeugmaschinensystems gemäß der vorliegenden Erfindung veranschaulicht.
AUSFÜHRLICHE BESCHREIBUNG
Eine Ausführungsform einer maschinellen Lernvorrichtung, einer numerischen Steuerung, eines Werkzeugmaschinensystems, eines Herstellungssystems und ein maschinelles Lernverfahren gemäß der vorliegenden Erfindung werden unten mit Bezug auf die beigefügten Zeichnungen ausführlich beschrieben. 1 ist ein Blockdiagramm, das schematisch eine Ausführungsform eines Werkzeugmaschinensystems gemäß der vorliegenden Erfindung veranschaulicht.
Das Werkzeugmaschinensystem umfasst eine Werkzeugmaschine 1, eine maschinelle Lernvorrichtung 2 und eine numerische Steuerung (NC- oder CNC-Vorrichtung) 3, wie in 1 veranschaulicht. Die Werkzeugmaschine 1 umfasst beispielsweise eine Drehmaschine, eine Fräsmaschine, eine Ständerbohrmaschine, eine Schleifmaschine, eine Verzahn-/Zahnradfeinbearbeitungsmaschine, ein Bearbeitungszentrum, eine Funkenerosionsmaschine, eine Stanzpresse, eine Laserbearbeitungsmaschine, eine Fördervorrichtung und eine Kunststoff-Spritzgießmaschine und wird von der numerischen Steuerung 3 gesteuert. Es wird Bezug genommen auf 1, in der die maschinelle Lernvorrichtung 2 unabhängig von der numerischen Steuerung 3 bereitgestellt wird, jedoch auch als Teil der numerischen Steuerung 3 bereitgestellt werden kann. Eine Anzeigevorrichtung 30 wird beispielsweise als Flüssigkristalltafel implementiert, welche eine Berührungsfunktion aufweist und ein Bedienungsmenü für die numerische Steuerung 3 anzeigt. Die Anzeigevorrichtung 30 kann einstückig mit der numerischen Steuerung 3 bereitgestellt werden, sie kann sich jedoch in einer drahtgebundenen oder drahtlosen Konfiguration an einer von der numerischen Steuerung 3 entfernten Position befinden.
Die maschinelle Lernvorrichtung 2 ist konfiguriert, um beispielsweise die Anzeige eines Bedienungsmenüs auf der Anzeigevorrichtung 30 zu erlernen, und umfasst eine Zustandsbeobachtungseinheit 21, eine Lerneinheit 22 und eine Entscheidungseinheit 25. Die Zustandsbeobachtungseinheit 21 beobachtet Zustandsvariablen, welche die Funktionshistorie des Bedienungsmenüs umfassen, wie beispielsweise die Zugriffszählung auf das Bedienungsmenü und Übergangsinformationen des Bedienungsmenüs. Diese Zustandsbeobachtungseinheit 21 kann ferner als Zustandsvariablen mindestens eines von Informationen über ein gegenwärtig ausgewähltes Bedienungsmenü, Informationen zur Angabe, ob eine Werkzeugmaschine sich im Verarbeitungsbetrieb befindet, Alarminformationen einer numerischen Steuerung und der Werkzeugmaschine und Informationen zur Angabe, ob derzeit eine Programmeditierung stattfindet, beobachten.
Die Zustandsbeobachtungseinheit 21 kann von der numerischen Steuerung 3 beispielsweise die Zugriffszählung auf das Bedienungsmenü, Übergangsinformationen des Bedienungsmenüs, Informationen über ein aktuell ausgewähltes Bedienungsmenü, Informationen zur Angabe, ob die Werkzeugmaschine 1 im Verarbeitungsbetrieb befindet, Alarminformationen der numerischen Steuerung 3 und Informationen zur Angabe, ob derzeit eine Programmeditierung stattfindet, empfangen. Die Zustandsbeobachtungseinheit 21 kann ferner von der Werkzeugmaschine 1 beispielsweise Informationen zur Angabe, ob die Werkzeugmaschine 1 sich im Verarbeitungsbetrieb befindet, sowie Alarminformationen der Werkzeugmaschine empfangen.
Die Lerneinheit 22 ist konfiguriert, um die Anzeige eines Bedienungsmenüs aufgrund der von der Zustandsbeobachtungseinheit 21 beobachteten Zustandsvariablen zu erlernen und umfasst eine Belohnungsberechnungseinheit 23 und eine Wertefunktions-Aktualisierungseinheit 24. Die Belohnungsberechnungseinheit 23 berechnet anhand einer Ausgabe von der Zustandsbeobachtungseinheit 21 eine Belohnung und die Wertefunktion-Aktualisierungseinheit 24 aktualisiert eine Wertefunktion zur Ermittlung des Wertes der Position und der Reihenfolge in einem Bedienungsmenü, das auf der Anzeigevorrichtung 30 angezeigt werden soll, gemäß der Belohnung anhand von Ausgaben von der Zustandsbeobachtungseinheit 21 und der Belohnungsberechnungseinheit 21. Es ist anzumerken, dass die Belohnungsberechnungseinheit 23 beispielsweise eine positive Belohnung bereitstellt, wenn eine Funktion aus einem Menü des Bedienungsmenüs ausgeführt wird, welches in einer leicht zugänglichen Position und Reihenfolge angeordnet ist, und eine negative Belohnung bereitstellt, wenn eine Funktion aus einem Menü des Bedienungsmenüs ausgeführt wird, welches in einer schwer zugänglichen Position und Reihenfolge angeordnet ist. Diese Funktion wird später mit Bezug auf 5 beschrieben.
2 ist ein Blockdiagramm zur Veranschaulichung einer Ausführungsform einer numerischen Steuerung gemäß der vorliegenden Erfindung und veranschaulicht ein Beispiel der in 1 veranschaulichten maschinellen Lernvorrichtung 2, die in der numerischen Steuerung 3 montiert ist. 2 veranschaulicht ebenfalls, wie eine Vielzahl von maschinellen Lernvorrichtungen 2 (21, 22, ..., 2n) Daten über ein Kommunikationsmedium miteinander teilen oder austauschen.
Die numerische Steuerung 3 umfasst die oben genannte Anzeigevorrichtung 30, die das Bedienungsmenü anzeigt, eine Erfassungseinheit 31, eine Kommunikationseinheit 32 und eine maschinelle Lernvorrichtung 2 (21), wie in 2 dargestellt. Die Erfassungseinheit 31 erfasst einem Bediener 6 anhand einer vorgegebenen Betätigung durch den Bediener 6, beispielsweise anhand einer Eingabe eines vorgegebenen Codes durch den Bediener 6 oder des Lesens einer IC-Karte, die von dem Bediener 6 über die Erfassungseinheit 31 gehalten wird. Die Kommunikationseinheit 32 kommuniziert anhand einer Ausgabe von der Erfassungseinheit 31 mit einer Datenbank 5, die sich beispielsweise außerhalb der numerischen Steuerung 3 befindet.
Die Datenbank 5 registriert vorab Informationen über den Bediener 6, wie beispielsweise die Rolle oder die Ermächtigungsebene des Bedieners 6. Anders gesagt umfassen von der Kommunikationseinheit 32 an die maschinelle Lernvorrichtung 2 ausgegebene Daten D1 Informationen über den Bediener 6, der beispielsweise dem von der Erfassungseinheit 31 erfassten Bediener 6 entspricht, Informationen über verschiedene Rollen und Ermächtigungsebenen, zum Beispiel, ob der Bediener 6 ein Entwickler oder eine von dem Werkzeugmaschinenhersteller beauftragte Person, ein Bediener (Benutzer) oder ein Außendiensttechniker ist.
Die Erfassungseinheit 31 ist nicht auf eine Tastatur, die von dem Bediener 6 bedient wird, und einen IC-Kartenleser beschränkt, und verschiedene bekannte Eingabevorrichtungen oder Sensoren können beispielsweise ebenfalls verwendet werden, solange sie den Bediener 6 erfassen können. Im vorliegenden Beispiel verändert sich das Bedienungsmenü beispielsweise vorzugsweise anhand von Informationen über den Bediener 6, welche die Rolle oder die Ermächtigungsebene des erfassten Bedieners 6 umfassen. Anders gesagt erlernt die maschinelle Lernvorrichtung 2 vorzugsweise ein Bedienungsmenü, das optimal für die Rolle oder die Ermächtigungsebene eines Bedieners ist, anhand der Rolle oder der Ermächtigungsebene des Bedieners und zeigt es auf der Anzeigevorrichtung 30 an.
Die Vielzahl von maschinellen Lernvorrichtungen 2 (21 bis 2n) kann konfiguriert werden, um Daten über ein Kommunikationsmedium miteinander zu teilen oder auszutauschen, wie in 2 dargestellt. Beispielsweise kann bei einer Werkzeugmaschinenfabrik, die eine Vielzahl von Werkzeugmaschinen 1 umfasst, von denen jede von der numerischen Steuerung 3 gesteuert wird, d. h. in einem Herstellungssystem, das eine Vielzahl von Werkzeugmaschinensystemen (1 und 2) umfasst, die maschinelle Lernvorrichtung 2 (21 bis 2n) jedes Werkzeugmaschinensystems Daten über ein Kommunikationsmedium miteinander teilen oder austauschen. Eine maschinelle Lernvorrichtung 2 (21 bis 2n) kann sich beispielsweise auf einem Cloud Server befinden statt in jeder numerischen Steuerung 3 montiert zu sein.
Wie mit Bezug auf 1 beschrieben, empfängt die maschinelle Lernvorrichtung 2 (Zustandsbeobachtungseinheit 21) beispielsweise die Funktionshistorie des Bedienungsmenüs (Zustandsvariablen: beispielsweise die Zugriffszählung auf das Bedienungsmenü und Übergangsinformationen des Bedienungsmenüs) als Daten D2, die von der Anzeigevorrichtung 30 ausgegeben werden, führt ein maschinelles Lernen (z. B. unterstütztes Lernen) aus und steuert Veränderungsdaten D3 (manipulierte Variablen: z. B. die Reihenfolge eines anzuzeigenden Menüs und die Position des anzuzeigenden Menüs) zur Steuerung eines Bedienungsmenüs, das auf der Anzeigevorrichtung 30 angezeigt werden soll. Es ist anzumerken, dass 2 nur ein Beispiel ist und verschiedene Modifikationen und Änderungen möglich sind.
Gemäß der vorliegenden Ausführungsform, wenn beispielsweise der Bediener eine Maschine (Werkzeugmaschinensystem) zum ersten Mal bedient, kann die maschinelle Lernvorrichtung 2 von Beginn an in einem gewissen Umfang eine geeignete Menüanzeige darstellen, so lange die Funktionshistorie einer Person in einer Rolle oder einer Ermächtigungsebene, die derjenigen des Bediener ähnlich ist, erlernt wurde. Ferner wird es nach und nach möglich, eine geeignete Menüanzeige darzustellen, ohne jedes Mal, wenn die Rolle oder die Ermächtigungsebene einer Bedienungsperson sich erhöht, eine dedizierte Tabelle zu erstellen.
Die maschinelle Lernvorrichtung 2 weist die Funktion auf, beispielsweise eine sinnvolle Regel, eine Wissensdarstellung und ein Erfassungskriterium durch Analyse aus einer Gruppe von in die Vorrichtung eingegebenen Daten zu extrahieren, die Erfassungsergebnisse auszugeben und Wissen zu erlernen (maschinelles Lernen). Verschiedene maschinelle Lerntechniken sind vorhanden, die grob eingeteilt werden in beispielsweise „Betreutes Lernen”, „Unbetreutes Lernen” und „Unterstütztes Lernen”. Um diese Techniken zu implementieren, steht eine andere Technik, das so genannte „Vertiefte Lernen” zur Verfügung, bei dem die Extraktion von Merkmalswerten erlernt wird.
Die in 2 veranschaulichte maschinelle Lernvorrichtung verwendet „Unterstütztes Lernen (Q-Lernen) und eine maschinelle Lernvorrichtung 4 (die später mit Bezug auf 9 beschrieben wird) verwendet „Betreutes Lernen”. Auch wenn diese Arten des maschinellen Lernens (maschinelle Lernvorrichtungen 2 und 4) einen Allzweckcomputer oder -prozessor verwenden, ermöglicht die Verwendung beispielsweise von GPGPU (General-Purpose computing an Graphics Processing Units) oder großen PC-Clustern eine Verarbeitung mit höherer Geschwindigkeit.
Bei dem betreuten Lernen wird zunächst eine große Anzahl von Gruppen von Lehrerdaten, d. h. Daten von bestimmten Eingaben und Ergebnissen (Label) einer maschinellen Lernvorrichtung zugeführt, um Merkmale zu erlernen, die in diesen Datensätzen ersichtlich sind und um induktiv ein Modell (Fehlermodell) zur Bewertung des Ergebnisses aus der Eingabe, d. h. ihre Beziehung, zu erhalten. Betreutes Lernen kann unter Verwendung eines Algorithmus, wie beispielsweise einem neuronalen Netz (das später beschrieben wird), implementiert werden.
Bei dem unbetreuten Lernen werden nur Eingabedaten einer maschinellen Lernvorrichtung in großen Mengen zugeführt, um die Verteilung der Eingabedaten zu erlernen, um beispielsweise die Eingabedaten ohne entsprechende Lehrerausgabedaten zu komprimieren, zu klassifizieren und zu gestalten. Dies ermöglicht beispielsweise die Clusterbildung von Merkmalen, die aus diesen Datensätzen ersichtlich sind, in ähnliche Merkmale Das erhaltene Ergebnis kann verwendet werden, um Normen zu definieren und Ausgaben zwecks Optimierung zuzuweisen und somit eine Ausgabe vorherzusagen.
Es ist ebenfalls eine zwischengeschaltete Problemstellung zwischen unbetreutem Lernen und betreutem Lernen, das so genannte „Halbbetreute Lernen”, möglich, das dann angewendet wird, wenn beispielsweise nur einige Daten als Datensätze von Eingaben und Ausgaben dienen und die restlichen Daten nur Eingaben umfassen. In der vorliegenden Ausführungsform kann das Lernen effizient durch die Anwendung von Daten (z. B. Bilddaten oder Simulationsdaten), die auch ohne tatsächliche Bewegung des Werkzeugmaschinensystems (Werkzeugmaschine 1 und numerische Steuerung 3) zu unbetreutem Lernen erhalten werden können, ausgeführt werden.
Im Folgenden wird das unterstützte Lernen beschrieben. Die Problemstellung des unterstützten Lernens wird wie folgt betrachtet:

• Ein Werkzeugmaschinensystem (d. h. eine Werkzeugmaschine und eine numerische Steuerung: im Folgenden zur Vereinfachung auch als numerische Steuerung bezeichnet) beobachtet den Umweltzustand, um über seine Aktionen zu entscheiden;
• Die Umgebung kann sich entsprechend einer beliebigen Regel verändern und das Werkzeugmaschinensystem kann die Umgebung durch seine eigenen Aktionen verändern;
• Jedes Mal, wenn eine Aktion ausgelöst wird, wird ein Belohnungssignal zurückgesendet;
• Die Summe der zukünftigen (Rabatt-)Belohnungen sollte maximiert werden;
• Das Lernen beginnt in dem Zustand, in dem ein durch die Aktion erzieltes Ergebnis vollkommen unbekannt oder nur unvollständig bekannt ist. Anders gesagt kann die numerische Steuerung das Ergebnis der Aktion nur nach tatsächlicher Durchführung einer Aktion als Daten erhalten. Dies bedeutet, dass eine optimale Aktion vorzugsweise durch Versuch und Irrtum gesucht werden kann; und
• Das Lernen kann an einem guten Startpunkt begonnen werden unter der Annahme, dass der Zustand, in dem das Lernen vorab durchgeführt wurde, um menschliches Verhalten zu imitieren (eine Technik wie beispielsweise das oben genannte betreute Lernen oder das umgekehrte unterstützte Lernen), der Ausgangszustand ist.

Bei dem unterstützten Lernen wird zusätzlich zu der Ermittlung und der Klassifizierung eine Aktion erlernt, um ein Verfahren zum Erlernen einer geeigneten Aktion unter Berücksichtigung von Interaktionen, die durch die Aktion auf die Umgebung ausgeübt werden, d. h. Lernen zur Maximierung der zukünftig zu erhaltenen Belohnung, zu erhalten. Auch wenn in der vorliegenden Beschreibung ein Beispiel des Q-Lernens folgt, ist die vorliegende Erfindung nicht auf Q-Lernen beschränkt.
Bei dem Q-Lernen wird ein Wert (s, a) der Auswahl einer Aktion a in einem speziellen Umgebungszustand erlernt. Anders gesagt kann eine Aktion a mit dem höchsten Wert Q(s, a) in dem speziellen Zustand s vorzugsweise als optimale Aktion ausgewählt werden. Ein richtiger Wert des Wertes Q(s, a) ist jedoch zunächst für ein Paar des Zustandes s und der Aktion a vollkommen unbekannt. Der Agent (der Gegenstand einer Aktion) wählt verschiedene Aktionen a in dem speziellen Zustand s aus und für die Aktionen a werden Belohnungen angeboten. Mit dieser Operation lernt der Agent, eine bessere Aktion auszuwählen, d. h. einen richtigen Wert Q(s, a).
Um die Summe der als Ergebnis der Aktionen zukünftig zu erhaltenden Belohnungen zu maximieren, muss Q(s, a) = E[Σ(γ^t)r_t] am Ende erfüllt sein. Es ist anzumerken, dass der erwartete Wert als Reaktion auf eine Veränderung des Zustands nach einer optimalen Aktion angenommen wird und ein unbekannter Wert ist, was durch eine Suche erlernt wird. Ein aktualisierter Ausdruck eines derartigen Wertes Q(s, a) ist beispielsweise gegeben durch:
wobei s_t den Umgebungszustand zum Zeitpunkt T und a_t die Aktion zum Zeitpunkt t bezeichnet. Mit der Aktion a_t verändert sich der Zustand und wird zu s_t+1. r_t+1 ist die nach einer Veränderung des Zustandes empfangene Belohnung. Der mit max verknüpfte Term ist das Produkt des Q-Wertes multipliziert mit γ, wenn eine Aktion a mit dem höchsten, in dem Zustand s_t+1 bekannten Q-Wert ausgewählt wird. γ ist ein Parameter, der Rabattfaktor genannt wird, der 0 < γ ≤ 1 erfüllt. α ist ein Lernfaktor, der 0 < α ≤ 1 erfüllt.
Der Ausdruck (1) stellt ein Verfahren zur Aktualisierung des Bewertungswertes Q(s_t, a_t) der Aktion a_t in dem Zustand s_t anhand der Belohnung r_t+1 dar, die als Ergebnis des Versuchs at rückgemeldet wird. Wenn insbesondere die Summe der Belohnung r_t+1 und der Bewertungswert Q(s_t+1, max a_t+1) der besten Aktion max a in dem Zustand nach dem Zustand s bei der Aktion a größer ist als der Bewertungswert Q(s_t, a_t) der Aktion a in dem Zustand s, erhöht sich Q(s_t, a_t); ansonsten sinkt Q(s_t, a_t). Anders gesagt wird der Wert einer bestimmten Aktion in einem bestimmten Zustand der als Ergebnis unmittelbar zurückgeführten Belohnung und dem Wert der besten Aktion im darauffolgenden Zustand nach der bestimmten Aktion angenähert.
Verfahren zur Darstellung von Q(s, a) auf dem Computer umfassen ein Verfahren zum Halten der numerischen Werte sämtlicher Zustands-Aktionspaare (s, a) in Form einer Tabelle und ein Verfahren zur Bereitstellung einer Funktion zur Annäherung von Q(s, a). Mit dem letzteren Verfahren kann der oben genannte Ausdruck (1) durch Einstellung des Parameters einer Näherungsfunktion unter Verwendung einer Technik, wie zum Beispiel dem stochastischen Gradientenabstiegsverfahren, implementiert werden. Ein später zu beschreibendes neuronales Netz kann als Näherungsfunktion verwendet werden.
Neuronale Netze können auch als Näherungsalgorithmen für Wertefunktionen beim unterstützten Lernen verwendet werden. 3 ist ein Diagramm, das schematisch ein Modell für ein Neuron darstellt; und 4 ist ein Diagramm, das schematisch ein dreischichtiges neuronales Netz darstellt, welches durch die Kombination von Neuronen, wie in 3 veranschaulicht, gebildet wird.
Das neuronale Netz wird insbesondere beispielsweise durch eine arithmetische Vorrichtung implementiert, welches ein Modell für ein Neuron, wie beispielsweise in 3 veranschaulicht, imitiert, und einen Speicher implementiert.
Wie in 3 veranschaulicht, dienen die Neuronen dazu, eine Ausgabe (Ergebnis) y für eine Vielzahl von Eingaben x (3 veranschaulicht als Beispiel Eingaben x1 bis x3) auszugeben. Jede Eingabe x (x1, x2, x3) wird mit einem Gewicht w (w1, w2, w3), die der Eingabe x entspricht, multipliziert. Durch diese Operation geben die Neuronen Ergebnisse y aus, die dargestellt werden durch: y = f_k(Σ n / i=1x_iw_i – θ) (2) wobei θ die Vorspannung und f_k die Aktivierungsfunktion ist. Es ist anzumerken, dass die Gesamtheit der Eingabe x, des Ergebnisses y und des Gewichts w Vektoren sind.
Ein dreischichtiges neuronales Netz, welches durch die Kombination von Neuronen, wie in 3 veranschaulicht, gebildet wird, wird unten mit Bezug auf 4 beschrieben. Eine Vielzahl von Eingaben x (Eingaben x1 bis x3 dienen hier als Beispiel) wird von der linken Seite des neuronalen Netzes eingegeben und Ergebnisse y (Ergebnisse y1 bis y3 dienen hier als Beispiel) werden von der rechten Seite dieses Netzes ausgegeben, wie in 4 veranschaulicht. Insbesondere werden die Eingaben x1, x2 und x3 mit einem Gewicht, das jedem von ihnen entspricht, multipliziert und in drei Neuronen N11 bis N13 eingegeben. Die Gewichte, die verwendet werden, um diese Eingaben zu multiplizieren, werden hier insgesamt als W1 bezeichnet.
Die Neuronen N11 bis N13 geben jeweils z11 bis z13 aus. Es wird Bezug genommen auf 4, in der z11 bis z13 insgesamt als Merkmalsvektoren Z1 bezeichnet werden und als Vektoren betrachtet werden können, die durch Extraktion der Merkmalswerte von Eingabevektoren erhalten werden. Die Merkmalsvektoren Z1 werden zwischen den Gewichten W1 und W2 definiert. Z11 bis Z13 werden mit einem Gewicht multipliziert, das jedem von ihnen entspricht und in zwei Neuronen N21 und N22 eingegeben. Die Gewichte, die verwendet werden, um diese Merkmalsvektoren zu multiplizieren, werden hier insgesamt als W2 bezeichnet.
Die Neuronen N21 und N22 geben z21 beziehungsweise z22 aus. Es wird Bezug genommen auf 4, in der z21 und z22 insgesamt als Merkmalsvektoren Z2 bezeichnet werden. Die Merkmalsvektoren Z2 werden zwischen den Gewichten W2 und W3 definiert. z21 bis z22 werden mit einem Gewicht multipliziert, das jedem von ihnen entspricht und in drei Neuronen N31 und N33 eingegeben. Die Gewichte, die verwendet werden, um diese Merkmalsvektoren zu multiplizieren, werden hier insgesamt als W3 bezeichnet.
Schließlich geben die Neuronen N31 bis N33 jeweilige Ergebnisse y1 bis y3 aus. Die Funktion des neuronalen Netzes umfasst einen Lernmodus und einen Wertevorhersagemodus. Das Gewicht W wird beispielsweise unter Verwendung einer Lerndatengruppe in dem Lernmodus erlernt, und die Aktion einer numerischen Steuerung wird unter Verwendung des Parameters in dem Vorhersagemodus ermittelt. Auch wenn „Vorhersage” oben der Einfachheit halber verwendet wurde, ist natürlich eine Vielzahl von Aufgaben, wie beispielsweise Erfassung, Klassifizierung und Schlussfolgerung, möglich.
Daten, die durch die tatsächliche Betätigung der numerischen Steuerung im Vorhersagemodus erhalten werden, können unmittelbar erlernt und in der nachfolgenden Aktion (Online-Lernen) reflektiert werden, oder eine Gruppe von Daten, die vorab erfasst wurden, kann verwendet werden, um kollektives Lernen auszuführen und somit kann der Erfassungsmodus unter Verwendung derselben Parameter ausgeführt werden (Stapellernen). Als ein weiterer, zwischengeschalteter Ansatz kann der Lernmodus jedes Mal, wenn sich eine bestimmte Datenmenge angesammelt hat, eingeschoben werden.
Die Gewichte W1 bis W3 können durch das Fehlerrückrechnungsverfahren erlernt werden. Die Informationen über Fehler kommen von rechts und fließen nach links. Das Fehlerrückrechnungsverfahren wird verwendet, um jedes Gewicht anzupassen (zu erlernen), um für jedes Neuron die Differenz zwischen der tatsächlichen Ausgabe y (Lehrer) und der Ausgabe y zu verringern, wenn die Eingabe x eingegeben wird. Ein derartiges neuronales Netz kann mehr als drei Schichten aufweisen (so genanntes vertieftes Lernen). Es ist möglich, Merkmale der Eingabe schrittweise zu extrahieren, um automatisch eine arithmetische Vorrichtung zu erhalten, die nur aus Lehrerdaten ein Ergebnis liefert.
In Anbetracht dessen umfasst die maschinelle Lernvorrichtung 2 gemäß dem vorliegenden Beispiel beispielsweise eine Zustandsbeobachtungseinheit 21, eine Lerneinheit 22 und eine Entscheidungseinheit 25, um Q-Lernen, wie oben beschrieben, auszuführen. Das in der vorliegenden Erfindung angewandte maschinelle Lernverfahren ist jedoch nicht auf das Q-Lernen beschränkt. Maschinelles Lernen (maschinelle Lernvorrichtung 2) kann durch Aufnahme beispielsweise von GPGPU oder großen PC-Clustern, wie vorher erwähnt, implementiert werden.
5 ist ein Ablaufdiagramm, das einen beispielhaften Betrieb einer maschinellen Lernvorrichtung, die in 1 veranschaulicht ist, veranschaulicht. Wie in 5 veranschaulicht, wird, wenn das maschinelle Lernen gestartet wird (beim Starten des Lernens), die Rolle oder die Ermächtigungsebene eines Bedieners in Schritt ST1 erhalten und der Prozess rückt zu Schritt ST2 vor. In Schritt ST2 wird eine Funktionshistorie erhalten und der Prozess rückt zu Schritt ST3 vor. Der Funktionshistorie umfasst beispielsweise die Zugriffszählung auf das Menü und Übergangsinformationen des Menüs.
Menüs werden in Schritt ST3 angezeigt, der Bediener wählt in Schritt ST4 ein Menü aus und in Schritt ST5 wird festgestellt, ob eine Funktion aus einem Menü an einer leicht zu bedienenden Position ausgeführt wird. Wenn festgestellt wird, dass eine Funktion aus einem Menü an einer schwer zu bedienenden Position ausgeführt wird, rückt der Prozess zu Schritt ST8 vor, in welchem eine negative Belohnung festgesetzt wird; Oder, wenn festgestellt wird, dass eine Operation aus einem Menü an einer leicht zu bedienenden Position ausgeführt wird, rückt der Prozess zu Schritt ST6 vor, in welchem eine positive Belohnung festgesetzt wird.
Auf diese Weise werden die in Schritt ST6 und ST8 festgelegten Belohnungen durch Belohnungsberechnung in Schritt ST7 summiert und der Prozess rückt zu Schritt ST9 vor, in welchem die Aktionswertetabelle aufgrund der in Schritt ST7 berechneten Belohnung aktualisiert wird.
Anders gesagt aktualisiert die Wertefunktionsaktualisierungseinheit 24 die Wertefunktion (Aktionswertetabelle). Dann entscheidet beispielsweise die Entscheidungseinheit 25 über die Position und die Reihenfolge eines auf der Anzeigevorrichtung 30 anzuzeigenden Bedienungsmenüs gemäß der Wertefunktion, die von der Wertefunktionsaktualisierungseinheit 24 aktualisiert wird. Ist der Prozess in Schritt ST9 beendet, kehrt der Prozess zu Schritt ST1 zurück, in welchem dieselben Prozesse wiederholt werden. Auf diese Weise kann gemäß der vorliegenden Ausführungsform ein für jeden Bediener optimales Bedienungsmenü angezeigt werden.
6A und 8B sind Diagramme zur Erläuterung einer Anzeige eines Bedienungsmenüs, welches von der in 5 veranschaulichten maschinellen Lernvorrichtung erlernt wird. 6A und 6B sind Diagramme zur Erläuterung, wie das Bedienungsmenü aufgrund der Zugriffszählung des Bedienungsmenüs (Zustandsvariable) aktualisiert (erlernt) wird, und 7A und 8B sind Diagramme zur Erläuterung, wie ein Bedienungsmenü aufgrund von Übergangsinformationen des Bedienungsmenüs (Zustandsvariable) erlernt wird. Der Einfachheit halber werden in jeder Zeichnung (ein Anzeigebildschirm 300 der Anzeigevorrichtung 30, die ein Bedienungsmenü anzeigt) leicht zu bedienende Positionen in dem Bedienungsmenü beispielsweise auf der oberen und der linken Seite und schwer zu bedienende Positionen in dem Bedienungsmenü auf der unteren und der rechten Seite definiert.
6A veranschaulicht ein anfängliches Bedienungsmenü (Startseite) und 6B veranschaulicht ein Beispiel, bei dem ein bestimmter Bediener (beispielsweise eine von einem MTB (Werkzeugmaschinenhersteller)) beauftragte Person darauf zugreift. Die Referenzzeichen P1 bis P6 bezeichnen die Positionen jeweiliger Icons in dem Bedienungsmenü, das auf dem Anzeigebildschirm 300 der Anzeigevorrichtung 30 angezeigt wird. Wie in 6A veranschaulicht, wird in dem anfänglichen Bedienungsmenü ein Icon „Browser” an der Position P1 des Anzeigebildschirms 300 angezeigt, ein Icon „Anmerkung” wird an Position P2 angezeigt und ein Icon „Handbuch” wird an Position P3 angezeigt. Ein Icon „NC-Bedienung” wird an Position P4 des Anzeigebildschirms 13 angezeigt, ein Icon „Wartung” wird an Position P5 angezeigt und ein Icon „Einstellung” wird an Position P angezeigt.
Das Icon „Browser” wird als Verweis auf das Internet verwendet, das Icon „Anmerkung” wird zur Anzeige eines Anmerkungsbildschirms verwendet und das Icon „Handbuch” wird als Verweis auf ein Handbuch verwendet. Diese Icons „Browser”, „Anmerkung” und „Handbuch” sind in der Zeilenrichtung angeordnet und bilden [Kategorie A]. Das Icon „NC-Bedienung” wird beispielsweise zur Erzeugung eines Verarbeitungsprogramms und zur Überprüfung des Verarbeitungszustands verwendet, das Icon „Wartung” wird beispielsweise zur Überprüfung von Alarminformationen der Maschine verwendet und das Icon „Einstellung” wird beispielsweise zur Einstellung von Parametern verwendet. Diese Icons „NC-Bedienung”, „Wartung” und „Einstellung” sind in der Zeilenrichtung angeordnet und bilden [Kategorie B].
Wie in 6B veranschaulicht, wenn beispielsweise eine vom MTB beauftragte Person auf das Bedienungsmenü (Anzeigebildschirm 300) als Bediener 6 zugreift und jedes Icon mit der folgenden Häufigkeit betätigt wurde: das Icon „Browser” wurde zweimal betätigt; das Icon „Anmerkung” wurde einmal betätigt; das Icon „Handbuch” wurde dreimal betätigt; das Icon „NC-Bedienung” wurde fünfmal betätigt; das Icon „Wartung” wurde einmal betätigt; und das Icon „Einstellung” wurde 10 Mal betätigt, die [Kategorie A} bildenden Icons wurden insgesamt sechsmal betätigt und die [Kategorie B] bildenden Icons wurden insgesamt 16 mal betätigt, sodass [Kategorie B] in die obere Reihe versetzt wird, die einfacher zu bedienen ist als [Kategorie A].
In jeder von [Kategorie A] und [Kategorie B] sind die Icons in absteigender Reihenfolge der Häufigkeit ihrer Betätigung von der leicht zu bedienenden linken Seite angeordnet. Anders gesagt wird das Icon „Einstellung” an Position P1 angezeigt, Das Icon „NC-Bedienung” wird an Position P2 angezeigt und das Icon „Wartung” wird an Position P3 angezeigt. Das Icon „Handbuch” wird an Position P4 angezeigt, das Icon „Browser” wird an Position P5 angezeigt und das Icon „Anmerkung „wird an Position P6 angezeigt.
7A und 7B veranschaulichen ein beispielhaftes Bedienungsmenü, das auf dem Anzeigebildschirm 300 angezeigt wird, nachdem beispielsweise eine von dem MTB beauftragte Person (beispielsweise durch einen Berührungsvorgang) das in 6A veranschaulichte Icon „Einstellung” als Bediener 6 betätigt hat, und zwei Anzeigebildschirme (Bedienungsmenüs) von <Erste Seite> und <Zweite Seite> können unter Verwendung der Icons „Nächste Seite” und „Vorherige Seite” ausgewählt werden. Die Referenzzeichen P11 bis P15 und P21 bis P25 bezeichnen die Positionen jeweiliger Icons in den Bedienungsmenüs von <Erste Seite> und <Zweite Seite>, die auf dem Anzeigebildschirm 300 der Anzeigevorrichtung 30 angezeigt werden. Das Icon „Nächste Seite” auf dem Anzeigebildschirm von <Erste Seite> befindet sich fest an Position P15 und das Icon „Vorherige Seite” auf dem Anzeigebildschirm von <Zweite Seite> befindet sich fest an Position P25.
Die maschinelle Lernvorrichtung 2 führt das maschinelle Lernen aufgrund der Häufigkeit durch, mit der die Icons „A” bis „ H” von einer vom MTB beauftragten Person als Bediener 6 in der Vergangenheit betätigt wurden und Bedienungsmenüs, wie beispielsweise in 8A und 8B dargestellt, werden angezeigt. Wenn beispielsweise jeweilige Icons „A” bis „H” mit der folgenden Häufigkeit betätigt wurden: das Icon „A” wurde 10 Mal betätigt; das Icon „B” wurde achtmal betätigt; das Icon „C” wurde siebenmal betätigt; das Icon „D” wurde fünfmal betätigt; das Icon „E” wurde sechsmal betätigt; das Icon „F” wurde neunmal betätigt; das Icon „G” wurde viermal betätigt; das Icon „H” wurde dreimal betätigt, sind die Icons in absteigender Reihenfolge der Häufigkeit ihrer Betätigung von links nach rechts von <Erste Seite>, die leicht zu bedienen ist, wie folgt angeordnet: „A” an Position P11, „F” an P12, „B” an P13, „C” an P14 und „Nächste Seite” an P15, wie in 8A dargestellt, und die Icons werden in absteigender Reihenfolge der Häufigkeit ihrer Betätigung von links nach rechts von <Zweite Seite> wie folgt angeordnet: „E” an Position P21, „D” an P22, „G” an P23, „H” an P24 und „Vorherige Seite” an P25, wie in 8B dargestellt.
Zwar wird in der vorstehenden Beschreibung die Funktionshistorie (die Zugriffszählung auf das Bedienungsmenü und Übergangsinformationen des Bedienungsmenüs) und das Bedienungsmenü vereinfacht dargestellt, jedoch sind natürlich verschiedene Modifikationen und Veränderungen beispielsweise bei den Zustandsvariablen (z B. der Funktionshistorie), die in die maschinelle Lernvorrichtung 2 eingegeben werden, den manipulierten Variablen (z. B. dem erlernten Bedienungsmenü), die von der maschinellen Lernvorrichtung 2 ausgegeben werden, und der Rolle und der Ermächtigungsebene des Bedieners 6 möglich.
9 ist ein Blockdiagramm, das schematisch eine weitere Ausführungsform eines Werkzeugmaschinensystems gemäß der vorliegenden Erfindung veranschaulicht, und veranschaulicht ein Werkzeugmaschinensystem, das betreutes Lernen verwendet. Wie aus einem Vergleich von 9 mit der vorher erwähnten 1 ersichtlich ist, werden einem Werkzeugmaschinensystem, das betreutes Lernen verwendet, wie in 9 veranschaulicht, Lehrerdaten (Ergebnis-(Label)-Daten) betreffend das Werkzeugmaschinensystem, das Q-Lernen (vertieftes Lernen), das in 1 veranschaulicht ist, bereitgestellt.
Eine maschinelle Lernvorrichtung 4 in dem Werkzeugmaschinensystem, das betreutes Lernen verwendet, umfasst eine Zustandsbeobachtungseinheit 41, eine Lerneinheit 42 und eine Entscheidungseinheit 45, wie in 9 veranschaulicht. Die Lerneinheit 42 umfasst eine Fehlerberechnungseinheit 43 und eine Lernmodellaktualisierungseinheit (Fehlermodellaktualisierungseinheit) 44. In dem Werkzeugmaschinensystem gemäß der vorliegenden Ausführungsform erlernt die maschinelle Lernvorrichtung 4 ebenfalls die Anzeige eines Bedienungsmenüs anhand der Funktionshistorie des Bedienungsmenüs.
Anders gesagt beobachtet die Zustandsbeobachtungseinheit 41 Zustandsvariablen, welche die Funktionshistorie des Bedienungsmenüs umfassen, wie beispielsweise die Zugriffszählung auf das Bedienungsmenü und Übergangsinformationen des Bedienungsmenüs, wie die in 1 veranschaulichte Zustandsbeobachtungseinheit 21. Diese Zustandsbeobachtungseinheit 41 kann ferner als Zustandsvariablen mindestens eines aus Informationen über ein gegenwärtig ausgewähltes Bedienungsmenü, Informationen zur Angabe, ob eine Werkzeugmaschine sich im Verarbeitungsbetrieb befindet, Alarminformationen einer numerischen Steuerung und der Werkzeugmaschine und Informationen zur Angabe, ob derzeit eine Programmeditierung stattfindet, beobachten.
Wie in 9 veranschaulicht, umfasst die Lerneinheit 42 eine Fehlerberechnungseinheit 43 und eine Lernmodellaktualisierungseinheit 44, die der Belohnungsberechnungseinheit 23 beziehungsweise der Wertefunktionsaktualisierungseinheit 24 in dem Werkzeugmaschinensystem, das das in 1 veranschaulichte Q-Lernen anwendet, entsprechen. Es ist jedoch anzumerken, dass die Fehlerberechnungseinheit 43 in der vorliegenden Ausführungsform sich von der mit Bezug auf 1 beschriebenen Konfiguration beispielsweise in einer Konfiguration unterscheidet, die externe Lehrerdaten empfängt und die Lernmodellaktualisierungseinheit 44 verwendet, um das Lernmodell (Fehlermodell) zu aktualisieren, um den Unterschied zwischen den Lehrerdaten und dem Lernmodell zu reduzieren.
Anders gesagt empfängt die Fehlerberechnungseinheit A 43 Lehrerdaten und Ausgaben von der Zustandsbeobachtungseinheit 41 und berechnet den Fehler zwischen den Ergebnis-(Label)-Daten und dem in der Lerneinheit 42 implementierten Lernmodell. Ebenso wie die Lehrerdaten können, wenn beispielsweise die gleiche Aufgabe von demselben Werkzeugmaschinensystem ausgeführt wird, Labeldaten, die an dem Tag vor einem vorgegebenen Tag, an dem die Aufgabe tatsächlich ausgeführt wird, erhalten werden, gehalten werden und der Fehlerberechnungseinheit 43 als Lehrerdaten an dem vorgegebenen Tag bereitgestellt werden.
Alternativ können Daten, die beispielsweise über eine Simulation, die außerhalb des Werkzeugmaschinensystems erfolgt (beispielsweise der numerischen Steuerung oder der Werkzeugmaschine) oder Labeldaten, die von einem anderen Werkzeugmaschinensystem erhalten werden, der Fehlerberechnungseinheit 43 des Werkzeugmaschinensystems über eine Speicherkarte oder eine Kommunikationsleitung bereitgestellt werden. Die Lehrerdaten (Labeldaten) können beispielsweise sogar in einem nichtflüchtigen Speicher, wie beispielsweise einem in die Lerneinheit 42 eingebauten Flash-Speicher, gehalten werden und die in dem nichtflüchtigen Speicher gehaltenen Labeldaten können direkt in der Lerneinheit 42 verwendet werden.
In der vorstehenden Beschreibung wird, unter der Annahme, dass ein Herstellungssystem eine Vielzahl von Werkzeugmaschinensystemen umfasst, die maschinelle Lernvorrichtung 2 (4) in jedem Werkzeugmaschinensystem eingebaut, und die Vielzahl der maschinellen Lernvorrichtungen 2 (4), die in der Vielzahl von Werkzeugmaschinensystemen eingebaut sind, können Daten miteinander über ein Kommunikationsmedium teilen oder austauschen. Die maschinelle Lernvorrichtung 2 (4) kann sich auch auf einem Cloud Server befinden.
Auf diese Weise kann die maschinelle Lernvorrichtung gemäß der vorliegenden Erfindung nicht nur „vertieftes Lernen” anwenden, sondern auch eine Vielzahl von maschinellen Lerntechniken, wie beispielsweise „Betreutes Lernen”, „Unbetreutes Lernen” oder „Halbbetreutes Lernen”.
Mit der maschinellen Lernvorrichtung, der numerischen Steuerung, dem Werkzeugmaschinensystem, dem Herstellungssystem und dem maschinellen Lernverfahren gemäß der vorliegenden Erfindung kann ein für jeden Bediener optimales Bedienungsmenü angezeigt werden.
Alle hier bereitgestellten Beispiele und Formulierungen dienen nur dem pädagogischen Zweck, den Leser beim Verständnis der Erfindung und der Konzepte, die der Erfinder zur Weiterentwicklung des Stands der Technik beiträgt, zu unterstützen und sie sollen nicht als Beschränkungen für derartige, speziell beschriebene Beispiele ausgelegt werden. Ebenso wenig gilt die Organisation derartiger Beispiele in der Beschreibung als eine Darlegung der Überlegenheit und Unterlegenheit der Erfindung. Obwohl eine oder mehrere Ausführungsformen der vorliegenden Erfindung ausführlich beschrieben wurden, versteht sich, dass verschiedene Änderungen, Ersetzungen und Abwandlungen erfolgen können, ohne von dem Gedanken und der Lehre der Erfindung abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009-181501 [0004]
JP 2010-127814 [0004]
JP 2009-086964 [0004]

Claims

Maschinelle Lernvorrichtung (2, 4) die einen Bediener (6) erfasst, mit einer Datenbank (5), die Informationen über den Bediener (6) registriert, kommuniziert und die Anzeige eines Bedienungsmenüs anhand der Informationen über den Bediener (6) erlernt, wobei die Vorrichtung Folgendes umfasst: eine Zustandsbeobachtungseinheit (21, 41), die eine Funktionshistorie des Bedienungsmenüs erkennt; und eine Lerneinheit (22, 42), die die Anzeige des Bedienungsmenüs anhand der Funktionshistorie des Bedienungsmenüs, die von der Zustandsbeobachtungseinheit (21, 41) erkannt wird, erlernt.
Maschinelle Lernvorrichtung nach Anspruch 1, wobei die Funktionshistorie des Bedienungsmenüs eine Zugriffszählung auf das Bedienungsmenü und Übergangsinformationen des Bedienungsmenüs umfasst.
Maschinelle Lernvorrichtung nach Anspruch 1 oder 2, wobei die Zustandsbeobachtungseinheit (21, 41) ferner mindestens eines aus Informationen über ein gegenwärtig ausgewähltes Bedienungsmenü, Informationen zur Angabe, ob eine Werkzeugmaschine (1) sich im Verarbeitungsbetrieb befindet, Alarminformationen einer numerischen Steuerung (3) und der Werkzeugmaschine (1) und Informationen zur Angabe, ob derzeit eine Programmeditierung stattfindet, umfasst.
Maschinelle Lernvorrichtung nach einem der Ansprüche 1 bis 3, die ferner eine Entscheidungseinheit (25, 45) umfasst, die über eine Position und eine Reihenfolge eines Bedienungsmenüs, das auf einer Anzeigevorrichtung angezeigt werden soll, entscheidet, indem auf die Anzeige des von der Lerneinheit (22, 42) erlernten Bedienungsmenüs Bezug genommen wird.
Maschinelle Lernvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Lerneinheit (22) Folgendes umfasst: eine Belohnungsberechnungseinheit (23), die anhand einer Ausgabe von der Zustandsbeobachtungseinheit (21) eine Belohnung berechnet; und eine Wertefunktions-Aktualisierungseinheit (24), die eine Wertefunktion zur Ermittlung eines Wertes einer Position und einer Reihenfolge in einem Bedienungsmenü, das auf einer Anzeigevorrichtung (30) angezeigt werden soll, gemäß der Belohnung anhand von Ausgaben von der Zustandsbeobachtungseinheit (21) und der Belohnungsberechnungseinheit (23) aktualisiert.
Maschinelle Lernvorrichtung nach Anspruch 5, wobei die Belohnungsberechnungseinheit (24) eine positive Belohnung bereitstellt, wenn eine Funktion aus einem Menü des Bedienungsmenüs ausgeführt wird, welches in einer leicht zugänglichen Position und Reihenfolge angeordnet ist, und eine negative Belohnung bereitstellt, wenn eine Funktion aus einem Menü des Bedienungsmenüs ausgeführt wird, welches in einer schwer zugänglichen Position und Reihenfolge angeordnet ist.
Maschinelle Lernvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Lerneinheit (42) Folgendes umfasst: eine Fehlerberechnungseinheit (43), die anhand von eingegebenen Lehrerdaten und einer Ausgabe von der Zustandsbeobachtungseinheit (41) einen Fehler berechnet; und eine Lernmodell-Aktualisierungseinheit (44), die ein Lernmodell zur Ermittlung eines Fehlers einer Position und einer Reihenfolge in einem Bedienungsmenü, das auf einer Anzeigevorrichtung (30) angezeigt werden soll, anhand von Ausgaben von der Zustandsbeobachtungseinheit (41) und der Fehlerberechnungseinheit (43) aktualisiert.
Maschinelle Lernvorrichtung nach einem der Ansprüche 1 bis 7, wobei die maschinelle Lernvorrichtung (2, 4) ferner ein neuronales Netz umfasst.
Maschinelle Lernvorrichtung nach einem der Ansprüche 1 bis 8, wobei die Informationen über den Bediener (6) Informationen über eines aus einer Rolle und einer Ermächtigungsebene des Bedieners (6) umfassen, und das Bedienungsmenü anhand der Informationen über den Bediener (6) sich anhand der Informationen über das eine aus der Rolle und der Ermächtigungsebene des Bedieners (6) verändert.
Numerische Steuerung, umfassend: eine Erfassungseinheit (31), die den Bediener (6) erfasst; eine Kommunikationseinheit (32), die mit einer Datenbank (5) kommuniziert, welche Informationen über den Bediener (6) registriert; die maschinelle Lernvorrichtung (2, 4) nach einem der Ansprüche 1 bis 9; und eine Anzeigevorrichtung (30), die ein Bedienungsmenü anzeigt, welches von der maschinellen Lernvorrichtung (2, 4) erlernt wird.
Werkzeugmaschinensystem, umfassend: eine numerische Steuerung (3); eine Werkzeugmaschine (1), die von der numerischen Steuerung (3) gesteuert wird; und die maschinelle Lernvorrichtung (2, 4) nach einem der Ansprüche 1 bis 9.
Herstellungsverfahren, umfassend eine Vielzahl von Werkzeugmaschinensystemen nach Anspruch 11, wobei die maschinelle Lernvorrichtung in jedem der Werkzeugmaschinensysteme montiert wird und die Vielzahl der maschinellen Lernvorrichtungen (2, 4), die in der Vielzahl von Werkzeugmaschinensystemen montiert ist, konfiguriert ist, um Daten über ein Kommunikationsmedium miteinander zu teilen oder auszutauschen.
Herstellungssystem nach Anspruch 12, wobei die maschinelle Lernvorrichtung (2, 4) sich auf einem Cloud Server befindet.
Maschinelle Lernvorrichtung zur Erfassung eines Bedieners (6), zur Kommunikation mit einer Datenbank (5), die Informationen über den Bediener (6) registriert, und zum Erlernen einer Anzeige eines Bedienungsmenüs anhand der Informationen über den Bediener (6), wobei das Verfahren Folgendes umfasst: Beobachtung einer Funktionshistorie des Bedienungsmenüs; und Erlernen der Anzeige des Bedienungsmenüs anhand der beobachteten Funktionshistorie des Bedienungsmenüs.
Maschinelles Lernverfahren nach Anspruch 14, wobei die Funktionshistorie des Bedienungsmenüs eine Zugriffszählung auf das Bedienungsmenü und Übergangsinformationen des Bedienungsmenüs umfasst.