-
Hintergrund der Erfindung
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft ein Arbeitsverwaltungssystem für Arbeiter und im Besonderen ein Arbeitsverwaltungssystem mit wenigstens einem Sensor und einer Maschinenlerneinheit.
-
2. Beschreibung des zugehörigen Standes der Technik
-
Verkaufsautomaten, die anzuzeigende Waren basierend auf dem Alter und Gesichtsausdruck von Nutzern aktiv ändern, haben sich in den letzten Jahren weit verbreitet. Diese als ”Human Vision” (menschliche Betrachtung) bezeichnete Technik, die einen Menschen erfasst und Informationen über den Menschen verwendet, wurde in den letzten Jahren aktiv untersucht und entwickelt.
-
Es wird beispielsweise ein Verfahren beschrieben, bei dem ein physiologischer Zustand und eine Tätigkeit eines Nutzers bestimmt werden und eine Umgebung des Standorts des Nutzers gesteuert und verwaltet wird, um eine Erholung des Nutzers von Ermüdungszuständen und eine Verbesserung der Arbeitseffizienz zu ermöglichen (z. B. ungeprüfte
japanische Patentveröffentlichung (Kokai) Nr. 2007-151933 , nachstehend als ”Patentschrift 1” bezeichnet). In Patentschrift 1 besteht das Problem, dass die Bestimmungsergebnisse abhängig von den eingestellten Referenzwerten eine hohe Schwankungsbreite haben, da gemessene Werte der Tätigkeit und/oder des physiologischen Zustands des Nutzers mit beliebigen Referenzwerten verglichen werden.
-
Es wird auch ein Verfahren zum genauen Messen der Ermüdung eines Nutzers beim Eintippen eines Textes in einen Computer beschrieben (z. B. ungeprüfte
japanische Patentveröffentlichung (Kokai) Nr. 2005-71250 , nachstehend als ”Patentschrift 2” bezeichnet). In Patentschrift 2 kann, da der Ermüdungsgrad beim Tippvorgang subjektiv eingegeben wird, ein Ermüdungszustand nicht objektiv bestimmt werden.
-
Es wird außerdem ein Verfahren beschrieben, bei dem der Grad der Ermüdung eines Arbeiters unter Widerspiegelung der Unterschiede einzelner Arbeiter objektiv quantifiziert wird, um einen Unfall und eine Verschlechterung der Arbeitsqualität aufgrund von Ermüdung zu verhindern (z. B. ungeprüfte
japanische Patentveröffentlichung (Kokai) Nr. 2009-226057 , nachstehend als ”Patentschrift 3” bezeichnet). In Patentschrift 3 müssen, da Arbeitsprofildaten jedes Arbeiters auf individueller Basis erhalten werden, die Profildaten jedes Mal neu erhalten werden, wenn sich der Arbeiter ändert, so dass Mannstunden erforderlich sind. Außerdem erreichen die Daten eine enorme Größe, weshalb es nötig ist, ein kostspieliges Datenverarbeitungssystem zu konfigurieren, um die enorme Datenmenge zu verwalten.
-
Zusammenfassung der Erfindung
-
Die vorliegende Erfindung zielt darauf ab, ein Arbeitsverwaltungssystem bereitzustellen, das eine Verringerung der Produktivität aufgrund von Ermüdung, aufgrund von Beschlagenheitsunterschieden oder aufgrund von vermindertem Interesse an der Arbeit verhindern kann.
-
Ein Arbeitsverwaltungssystem gemäß einer Ausführungsform der vorliegenden Erfindung umfasst wenigstens einen Sensor zum Erhalten von Daten über wenigstens einen Arbeiter, der an einer Mehrzahl Werkstücke Arbeiten durchführt, und eine Zellensteuereinrichtung, die kommunikationsfähig mit dem Sensor verbunden ist. Die Zellensteuereinrichtung umfasst eine Sensorverwaltungseinheit zum Zusammenführen und Verwalten empfangener Informationen bei Empfang der Informationen vom Sensor, eine Arbeiterüberwachungseinheit zum Überwachen des Bewegungsbetrags und/oder des Zustandsbetrags des Arbeiters, die in den durch die Sensorverwaltungseinheit vom Sensor empfangenen Informationen enthalten sind, eine Lerneinheit zum Lernen des Ermüdungsgrads, des Beschlagenheitsgrads und/oder des Interessegrads des Arbeiters basierend auf dem Bewegungsbetrag und dem Zustandsbetrag, und eine Meldungsverwaltungseinheit, die bei Empfang einer Zustandsmeldeanfrage von einer Hostverwaltungseinheit Zustandsinformationen, die den Ermüdungsgrad, den Beschlagenheitsgrad und/oder den Interessegrad jedes Arbeiters umfassen, an die Hostverwaltungseinheit sendet, und die bei Empfang einer Arbeitsdetailänderungsmeldung von der Hostverwaltungseinheit die Arbeitsdetailänderungsmeldung an den Arbeiter weiterleitet, oder die bei Empfang einer Zustandsmeldeanfrage vom Arbeiter die Zustandsinformationen, die den Ermüdungsgrad, den Beschlagenheitsgrad und/oder den Interessegrad des Arbeiters umfassen, an den Arbeiter sendet.
-
Kurzbeschreibung der Zeichnungen
-
Die Ziele, Merkmale und Vorteile der vorliegenden Erfindung gehen aus der folgenden genauen Beschreibung der Ausführungsformen in Verbindung mit den zugehörigen Zeichnungen genauer hervor. In den zugehörigen Zeichnungen ist:
-
1 eine Konfigurationsdarstellung eines Arbeitsverwaltungssystems gemäß einer Ausführungsform der vorliegenden Erfindung;
-
2 ein Blockdiagramm einer Ausführungsform einer Lerneinheit (unüberwacht), die in dem Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung enthalten ist;
-
3 ein Blockdiagramm einer anderen Ausführungsform der Lerneinheit (überwacht), die in dem Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung enthalten ist;
-
4 eine schematische Darstellung eines Modells eines Neurons;
-
5 eine schematische Darstellung eines dreischichtigen neuronalen Netzes, das aus einer Kombination der in 4 gezeigten Neuronen besteht;
-
6 ein Flussdiagramm, das ein Beispiel für den Betrieb der Lerneinheit (unüberwacht) in dem Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung erläutert; und
-
7 ein Flussdiagramm, das ein Beispiel einer Meldung an einen Arbeiter und einen den Zustand des Arbeiters überwachenden Vorarbeiter unter Verwendung eines Lernergebnisses in dem Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung erläutert.
-
Genaue Beschreibung der Erfindung
-
Zunächst wird ein Arbeitsverwaltungssystem gemäß einer Ausführungsform der vorliegenden Erfindung beschrieben. 1 ist eine Konfigurationsdarstellung des Arbeitsverwaltungssystems gemäß der Ausführungsform der vorliegenden Erfindung. Ein Arbeitsverwaltungssystem 100 gemäß einer ersten Ausführungsform der vorliegenden Erfindung weist zumindest einen Sensor (1a, 1b) und eine Zellensteuereinrichtung 2 auf.
-
Der Sensor (1a, 1b) erhält Daten über wenigstens einen Arbeiter (A, B), der an einer Mehrzahl Werkstücke (31 bis 34) Arbeiten durchführt. 1 zeigt ein Beispiel, bei dem das Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung auf zwei Arbeiter A und B angewandt wird. Die Anzahl der Arbeiter ist jedoch nicht darauf beschränkt, es kann sich auch um einen, drei oder mehr Arbeiter handeln. Des Weiteren zeigt 1 ein Beispiel für die Bereitstellung eines Sensors für einen Arbeiter. Ein Sensor kann jedoch auch eine Mehrzahl Arbeiter überwachen oder eine Mehrzahl Sensoren kann einen Arbeiter überwachen, ohne auf dieses Beispiel beschränkt zu sein.
-
Bei dem Beispiel von 1 erfasst ein erster Sensor 1a Daten über den Arbeiter A, während ein zweiter Sensor 1b Daten über den Arbeiter B erfasst. Bei dieser Ausführungsform führen die Arbeiter A und B an den auf einem Förderband 40 beförderten Werkstücken 31 bis 34 Arbeiten durch. Die Arbeiten sind jedoch nicht darauf beschränkt und die Arbeiter A und B können auch andere Arbeiten durchführen.
-
Der Sensor (1a, 1b) erfasst bevorzugt die Körperbewegung, eine Haltungsänderung, den Gesichtsausdruck und dergleichen des Arbeiters. Der Sensor (1a, 1b) hat bevorzugt die Funktion, eine Arbeitszeit ab dem Beginn bis zum Ende der aufeinanderfolgenden Arbeitsvorgänge zu messen, die wiederholt durch den Arbeiter durchgeführt werden. Der Sensor (1a, 1b) hat bevorzugt die Funktion, den Verrichtungsgrad der durch den Arbeiter durchgeführten Arbeiten zu messen. Der Sensor (1a, 1b) hat bevorzugt die Funktion, die Anzahl fehlerhafter Werkstücke zu zählen, die durch die durch den Arbeiter durchgeführten Arbeiten produziert wurde. Wenn die Mehrzahl Arbeiter anwesend ist, hat der Sensor (1a, 1b) bevorzugt die Funktion, die Differenz eines Arbeitsbetrags zwischen den Arbeitern zu messen. Der Sensor (1a, 1b) hat bevorzugt außerdem die Funktion, den Bewegungsbetrag des Arbeiters zu messen.
-
Die Zellensteuereinrichtung 2 ist kommunikationsfähig mit dem Sensor (1a, 1b) verbunden. Die Zellensteuereinrichtung 2 ist drahtgebunden oder drahtlos mit dem Sensor (1a, 1b) verbunden. Die Zellensteuereinrichtung 2 umfasst eine Sensorverwaltungseinheit 3, eine Arbeiterüberwachungseinheit 4, eine Lerneinheit (Maschinenlerneinheit) 5 und eine Meldungsverwaltungseinheit 6.
-
Die Sensorverwaltungseinheit 3 empfängt Informationen vom Sensor (1a, 1b) und führt die empfangenen Informationen zusammen und verwaltet sie.
-
Die Arbeiterüberwachungseinheit 4 überwacht den Bewegungsbetrag und/oder den Zustandsbetrag des Arbeiters (A, B), die in den durch die Sensorverwaltungseinheit 3 vom Sensor (1a, 1b) empfangenen Informationen enthalten sind. Der ”Bewegungsbetrag” des Arbeiters bezieht sich auf Informationen, in denen beispielsweise die Körperbewegung des Arbeiters, der an dem Werkstück den spezifischen Arbeitsvorgang durchführt, quantifiziert ist. Der ”Zustandsbetrag” des Arbeiters bezieht sich auf Informationen, in denen beispielsweise die körperliche Verfassung, die geistige Verfassung, der Konzentrationsgrad bei der Arbeit oder dergleichen des Arbeiters, die/der anhand des Gesichtsausdrucks des Arbeiters geschätzt wird, quantifiziert ist. Die Arbeiterüberwachungseinheit 4 kann eine Arbeitszeit ab dem Beginn bis zum Ende der aufeinanderfolgenden Arbeitsvorgänge überwachen, die wiederholt durch den wenigstens einen Arbeiter (A, B) durchgeführt werden. Die Arbeiterüberwachungseinheit 4 kann den Verrichtungsgrad der durch den Arbeiter (A, B) durchgeführten Arbeiten überwachen. Die Arbeiterüberwachungseinheit 4 kann die Anzahl fehlerhafter Werkstücke überwachen, die durch die durch den Arbeiter (A, B) durchgeführten Arbeiten produziert wurde. Wenn die Mehrzahl Arbeiter anwesend ist, kann die Arbeiterüberwachungseinheit 4 die Differenz des Arbeitsbetrags zwischen den Arbeitern überwachen. Die Arbeiterüberwachungseinheit 4 kann den Bewegungsbetrag des Arbeiters überwachen. Wie vorstehend beschrieben, überwacht die Arbeiterüberwachungseinheit 4 bevorzugt die Arbeitszeit, den Verrichtungsgrad der Arbeiten, die Anzahl fehlerhafter Werkstücke, die Differenz des Arbeitsbetrags und/oder den Bewegungsbetrag.
-
Die Lerneinheit (Maschinenlerneinheit) 5 lernt den Ermüdungsgrad, den Beschlagenheitsgrad und/oder den Interessegrad des Arbeiters basierend auf dem Bewegungsbetrag und dem Zustandsbetrag des Arbeiters. Die Konfiguration der Lerneinheit 5 ist später beschrieben. Die Beziehung zwischen dem Bewegungsbetrag und dem Zustandsbetrag des Arbeiters und dem Ermüdungsgrad, dem Beschlagenheitsgrad und dem Interessegrad des Arbeiters wird nun kurz beschrieben. Wenn beispielsweise der Bewegungsbetrag und der Zustandsbetrag des Arbeiters im Verlauf der Arbeitszeit abnehmen, wird der Ermüdungsgrad des Arbeiters als zunehmend eingeschätzt. Wenn der Arbeitsbetrag eines bestimmten Arbeiters pro Zeiteinheit größer ist als die Arbeitsbeträge der anderen Arbeiter und wenn der Bewegungsbetrag des Arbeiters größer ist als die Bewegungsbeträge der anderen Arbeiter, wird der Beschlagenheitsgrad des Arbeiters als hoch eingeschätzt. Wenn der Bewegungsbetrag eines bestimmten Arbeiters vom Beginn der Arbeiten an hoch bleibt, wird der Interessegrad des Arbeiters an der Arbeit als hoch eingeschätzt.
-
Bei Empfang einer Zustandsmeldeanfrage von einer Hostverwaltungseinheit 7, sendet die Meldungsverwaltungseinheit 6 Zustandsinformationen, die den Ermüdungsgrad, den Beschlagenheitsgrad und/oder den Interessegrad jedes Arbeiters (A, B) umfassen, an die Hostverwaltungseinheit 7. Bei Empfang einer Arbeitsdetailänderungsmeldung von der Hostverwaltungseinheit 7 leitet die Meldungsverwaltungseinheit 6 die Arbeitsdetailänderungsmeldung an wenigstens einen der Arbeiter (A und B) weiter. Bei Empfang einer Zustandsmeldeanfrage von wenigstens einem der Arbeiter (A und B) sendet die Meldungsverwaltungseinheit 6 Zustandsinformationen, die den Ermüdungsgrad, den Beschlagenheitsgrad und/oder den Interessegrad des Arbeiters umfassen, an den Arbeiter.
-
Beispielsweise erhält die Zellensteuereinrichtung 2 sequentiell die Zustandsbeträge der Arbeiter (A und B) und die Lerneinheit 5 der Zellensteuereinrichtung 2 extrahiert Informationen (den Ermüdungsgrad, den Beschlagenheitsgrad und den Interessegrad) aus den erhaltenen Informationen, ohne dass sich die Arbeiter (A und B) dessen bewusst sind. Die Zellensteuereinrichtung 2 meldet der Hostverwaltungseinheit 7 die extrahierten Informationen.
-
Wenn ein Arbeiter mit einem hohen Ermüdungsgrad ermittelt wird, sendet die Hostverwaltungseinheit 7 eine Arbeitsdetailänderungsmeldung an die Zellensteuereinrichtung 2, ihm/ihr eine Pause einzuräumen und einen anderen Arbeiter einzusetzen. Die Zellensteuereinrichtung 2 stellt die empfangene Arbeitsdetailänderungsmeldung für die Arbeiter und einen Vorarbeiter bereit.
-
Wenn ein Arbeiter mit einem niedrigen Beschlagenheitsgrad ermittelt wird, sendet die Hostverwaltungseinheit 7 eine Arbeitsdetailänderungsmeldung an die Zellensteuereinrichtung 2, ihn/sie durch einen anderen Arbeiter mit einem hohen Beschlagenheitsgrad zu ersetzen. Die Zellensteuereinrichtung 2 stellt die empfangene Arbeitsdetailänderungsmeldung für die Arbeiter und den Vorarbeiter bereit.
-
Wenn ein Arbeiter mit einem niedrigen Interessegrad ermittelt wird, sendet die Hostverwaltungseinheit 7 eine Arbeitsdetailänderungsmeldung an die Zellensteuereinrichtung 2, ihn/sie durch einen anderen Arbeiter mit einem hohen Interessegrad zu ersetzen. Die Zellensteuereinrichtung 2 stellt die empfangene Arbeitsdetailänderungsmeldung für die Arbeiter und den Vorarbeiter bereit.
-
Als Nächstes wird ein unüberwachtes Lernen durch die Lerneinheit des Arbeitsverwaltungssystems gemäß der Ausführungsform der vorliegenden Erfindung beschrieben. 2 ist ein Blockdiagramm einer Ausführungsform der Zellensteuereinrichtung 2, die in dem Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung enthalten ist. In 2 wird auf die Zellensteuereinrichtung 2 ”bestärkendes Lernen (Q-Lernen)” angewandt. Zum Durchführen des Q-Lernens umfasst die Zellensteuereinrichtung 2 gemäß der Ausführungsform die Sensorverwaltungseinheit 3, die Arbeiterüberwachungseinheit 4, die Lerneinheit 5 und die Meldungsverwaltungseinheit 6. Der auf die vorliegende Erfindung angewandte Maschinenlernalgorithmus ist jedoch nicht auf das Q-Lernen beschränkt.
-
Wie in 2 gezeigt, umfasst die Lerneinheit 5 eine Belohnungsberechnungseinheit 8 und eine Wertfunktionsaktualisierungseinheit 9. Die Arbeiterüberwachungseinheit 4 überwacht den Zustandsbetrag wenigstens eines der Arbeiter (A und B). Genauer gesagt, wird beispielsweise wenigstens einer der folgenden Punkte (1) bis (5) überwacht:
- (1) eine Arbeitszeit ab dem Beginn bis zum Ende aufeinanderfolgender Arbeitsvorgänge, die wiederholt durch den Arbeiter (A oder B) durchgeführt werden;
- (2) den durch den Arbeiter (A oder B) durchgeführten Verrichtungsgrad;
- (3) die Anzahl fehlerhafter Werkstücke, die durch die durch den Arbeiter (A oder B) durchgeführten Arbeiten produziert wurde;
- (4) die Differenz eines Arbeitsbetrags zwischen Arbeitern, wenn die Anzahl der Arbeiter zwei oder mehr beträgt;
- (5) den Bewegungsbetrag des Arbeiters.
-
Die Belohnungsberechnungseinheit 8 berechnet basierend auf einem Ausgang der Arbeiterüberwachungseinheit 4 eine Belohnung. Wenn beispielsweise der Bewegungsbetrag des Arbeiters nicht zugenommen hat, verringert sich die Belohnung (negative Belohnung). Wenn der Bewegungsbetrag des Arbeiters zugenommen und die Arbeitszeit abgenommen hat, steigt die Belohnung (positive Belohnung). Wenn der Bewegungsbetrag des Arbeiters zugenommen und die Arbeitszeit nicht abgenommen hat, wird keine Belohnung vergeben.
-
Die Wertfunktionsaktualisierungseinheit 9 aktualisiert basierend auf einem Ausgang der Arbeiterüberwachungseinheit 4 und einem Ausgang der Belohnungsberechnungseinheit 8 gemäß der Belohnung eine Wertfunktion, die die Werte des Ermüdungsgrads, des Beschlagenheitsgrads und des Interessegrads des Arbeiters (A oder B) bestimmt.
-
Der Ermüdungsgrad, der Beschlagenheitsgrad und der Interessegrad des Arbeiters (A oder B) können basierend auf der Arbeitszeit, dem Verrichtungsgrad, der Anzahl fehlerhafter Werkstücke, der Differenz des Arbeitsbetrags, dem Bewegungsbetrag und dergleichen des Arbeiters erfasst werden, die von der Sensorverwaltungseinheit 3 eingegeben werden.
-
Der Verrichtungsgrad der durch den Arbeiter (A oder B) durchgeführten Arbeiten ist beispielsweise das Verhältnis zwischen der Anzahl bearbeiteter Werkstücke und der Zielzahl der durch den Arbeiter zu bearbeitenden Werkstücke.
-
Als Nächstes wird ein überwachtes Lernen durch die Lerneinheit des Arbeitsverwaltungssystems gemäß der Ausführungsform der vorliegenden Erfindung beschrieben. 3 ist Blockdiagramm einer anderen Ausführungsform der Zellensteuereinrichtung 2, die in dem Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung enthalten ist und auf die überwachtes Lernen angewandt wird. Bei einem Vergleich der 2 und 3 besteht der Unterschied zwischen der Zellensteuereinrichtung 2 von 3, auf die überwachtes Lernen angewandt wird, und der Zellensteuereinrichtung 2 von 2, auf die Q-Lernen (bestärkendes Lernen) angewandt wird, darin, dass der Zellensteuereinrichtung 2 von 3 Trainingsdaten zugeführt werden.
-
Wie in 3 gezeigt, umfasst die Zellensteuereinrichtung 2, auf die überwachtes Lernen angewandt wird, die Sensorverwaltungseinheit 3, die Arbeiterüberwachungseinheit 4, die Lerneinheit 5 und die Meldungsverwaltungseinheit 6. Die Lerneinheit 5 umfasst eine Fehlerberechnungseinheit 10 und eine Lernmodellaktualisierungseinheit 11. Die Fehlerberechnungseinheit 10 berechnet einen Fehler basierend auf einem Ausgang der Arbeiterüberwachungseinheit 4 und eingegebenen Trainingsdaten. Die Lernmodellaktualisierungseinheit 11 aktualisiert basierend auf dem Ausgang der Arbeiterüberwachungseinheit 4 und einem Ausgang der Fehlerberechnungseinheit 10 ein Lernmodell, das einen Fehler des Ermüdungsgrads, des Beschlagenheitsgrads und des Interessegrads wenigstens eines Arbeiters bestimmt.
-
Die Fehlerberechnungseinheit 10 und die Lernmodellaktualisierungseinheit 11 entsprechen der Belohnungsberechnungseinheit 8 bzw. der Wertfunktionsaktualisierungseinheit 9 der Zellensteuereinrichtung 2 von 2, auf die Q-Lernen angewandt wird. Die Trainingsdaten werden jedoch von außen in die Fehlerberechnungseinheit 10 dieser Ausführungsform eingegeben. Die Lernmodellaktualisierungseinheit 11 aktualisiert das Lernmodell, um den Unterschied zwischen den Trainingsdaten und dem Lernmodell (Fehlermodell) zu verringern.
-
Mit anderen Worten, bei Empfang des Ausgangs der Arbeiterüberwachungseinheit 4 und der Trainingsdaten berechnet die Fehlerberechnungseinheit 10 einen Fehler zwischen Ergebnisdaten (mit Labeln versehenen Daten) und dem in der Lerneinheit 5 enthaltenen Lernmodell. Wenn beispielsweise derselbe Arbeiter dieselben Arbeiten durchführt, können mit Labeln versehene Daten, die bis zu dem Tag vor einem bestimmten Tag erhalten werden, an dem die Arbeiten tatsächlich durchgeführt werden, gespeichert werden und die mit Labeln versehenen Daten an dem bestimmten Tag als Trainingsdaten der Fehlerberechnungseinheit 10 zugeführt werden.
-
Der Fehlerberechnungseinheit 10 der Zellensteuereinrichtung 2 können Daten, die durch eine außerhalb des Arbeitsverwaltungssystems durchgeführte Simulation oder dergleichen erhalten werden, oder mit Labeln versehene Daten eines anderen Arbeitsverwaltungssystems über eine Speicherkarte oder eine Kommunikationsleitung als Trainingsdaten zugeführt werden. Des Weiteren können die Trainingsdaten (mit Labeln versehenen Daten) beispielsweise in einem in der Lerneinheit 5 enthaltenen nichtflüchtigen Speicher (nicht gezeigt), wie etwa einem Flash-Speicher, gespeichert werden und die im nichtflüchtigen Speicher gespeicherten, mit Labeln versehenen Daten in der Lerneinheit 5 verwendet werden.
-
Als Nächstes wird bestärkendes Lernen beschrieben. Es folgt eine Problemstellung des bestärkenden Lernens.
- – Die Zellensteuereinrichtung überwacht einen Umgebungszustand und bestimmt eine Aktion.
- – Eine Umgebung ändert sich gemäß einer Regel und die Aktion selbst kann eine Änderung der Umgebung bewirken.
- – Ein Belohnungssignal wird jedes Mal zurückgeführt, wenn die Aktion ausgeführt wird.
- – Es ist die Summe von in Zukunft zu erwartenden diskontierten Belohnungen, die maximiert werden soll.
- – Das Lernen beginnt in einem Zustand, in dem das Ergebnis der Aktion überhaupt nicht oder unvollständig bekannt ist. Mit anderen Worten, die Zellensteuereinrichtung kann das Ergebnis nur als Daten erhalten, nachdem die Aktion praktisch ausgeführt wurde. Demgemäß es ist notwendig, durch Versuch und Irrtum nach einer optimalen Aktion zu suchen.
- – Durch Einstellen eines Prä-Lernzustands (durch den vorstehend beschriebenen überwachten Lernalgorithmus oder einen inversen bestärkenden Lernalgorithmus) als Anfangszustand, kann das Lernen an einem geeigneten Ausgangspunkt begonnen werden, etwa der Aktion eines Menschen.
-
Bestärkendes Lernen bezieht sich auf das Lernen einer geeigneten Aktion basierend auf einer Wechselwirkung der Aktion mit der Umgebung durch Lernen der Aktion sowie eine Bestimmung und Klassifizierung, mit anderen Worten, ein Lernen zum Maximieren einer in Zukunft zu erhaltenden Belohnung. Im Folgenden ist das Q-Lernen beispielhaft beschrieben, wobei das bestärkende Lernen jedoch nicht auf das Q-Lernen beschränkt ist.
-
Das Q-Lernen ist ein Algorithmus zum Lernen des Werts Q(s, a) zum Auswählen einer Aktion ”a” in einem bestimmten Umgebungszustand s. Mit anderen Worten, in dem bestimmten Umgebungszustand s wird die Aktion ”a” mit dem höchsten Wert Q(s, a) als optimale Aktion ausgewählt. Zunächst ist der korrekte Wert Q(s, a) hinsichtlich einer Kombination des Zustands s und der Aktion ”a” jedoch völlig unbekannt. Daher wählt ein Agent (Aktionssubjekt) verschiedene Aktionen a in dem bestimmten Umgebungszustand s aus und erhält Belohnungen für die Aktionen a. Dadurch lernt der Agent, eine bessere Aktion auszuwählen, d. h. den korrekten Wert Q(s, a).
-
Ferner soll das Q-Lernen am Ende Q(s, a) = E[Σ(γt)rt] aufweisen, um die Summe in Zukunft erhaltener Belohnungen als Ergebnis der Aktionen zu maximieren. Da ein erwarteter Wert, der auftritt, wenn sich ein Zustand durch eine optimale Aktion ändert, nicht bekannt ist, wird das Lernen während der Suche durchgeführt. Die Aktualisierung des Werts Q(s, a) wird beispielsweise durch die folgende Gleichung (1) ausgedrückt: Q(st, at) ≤ Q(st, at) + α(rt+1 + γmax aQ(st+1, a) – Q(st, at)) (1)
-
In der obigen Gleichung (1) stellt st einen Umgebungszustand zu einem Zeitpunkt t und at eine Aktion zum Zeitpunkt t dar. Durch Vornehmen der Aktion at ändert sich der Zustand in st+1·rt+1 stellt eine Belohnung dar, die nach der Änderung des Zustands zu diesem Zeitpunkt erhalten wird. Ein Term, der max aufweist, ist das Produkt eines Q-Werts, wenn eine Aktion ”a” mit dem höchsten Q-Wert ausgewählt wird, der zu diesem Zeitpunkt im Zustand st+1 bekannt bekannt ist, und γ·γ ist ein Parameter von 0 < γ ≤ 1, der als Diskontierungsrate bezeichnet wird. α ist ein Lernfaktor im Bereich 0 < α ≤ 1.
-
Die Gleichung (1) gibt einen Algorithmus zum Aktualisieren des Bewertungswerts Q(st, at) der Aktion at im Zustand st basierend auf der als Ergebnis des Versuchs at erhaltenen Belohnung rt+1 an. Mit anderen Worten, Q(st, at) wird erhöht, wenn der Bewertungswert Q(st+i, max at+1) einer optimalen Aktion max a im nächsten Zustand, der sich von der Belohnung rt+1 und der Aktion ”a” ableitet, höher ist als der Bewertungswert Q(st, at) der Aktion ”a” im Zustand s. Andererseits wird Q(st, at) verringert, wenn der Bewertungswert Q(st+i, max at+1) niedriger ist als der Bewertungswert Q(st, at). Tatsächlich wird der Wert einer Aktion in einem Zustand an den Wert der besten Aktion im nächsten Zustand angenähert, der durch eine unmittelbar als Ergebnis erhaltene Belohnung und die Aktion erzielt wird.
-
Zur Darstellung von Q(s, a) auf Computern können Q(s, a)-Werte jedes Aktionspaares (s, a) in Form einer Tabelle gespeichert werden oder es kann eine Funktion zum Annähern von Q(s, a) erstellt werden. In letzterem Fall wird die obige Gleichung (1) durch Einstellen von Parametern einer Näherungsfunktion durch ein stochastisches Gradientenabstiegsverfahren und dergleichen erhalten. Als Näherungsfunktion kann ein nachstehend beschriebenes neuronales Netz verwendet werden.
-
Als Näherungsalgorithmus einer Wertfunktion beim bestärkenden Lernen kann ein neuronales Netz verwendet werden. 4 ist eine schematische Darstellung eines Modells eines Neurons, und 5 ist eine schematische Darstellung eines dreischichtigen neuronalen Netzes, das aus einer Kombination der in 4 gezeigten Neuronen besteht. Das neuronale Netz besteht beispielsweise aus einer Recheneinrichtung, einem Speicher und dergleichen, die das Modell des in 4 gezeigten Neurons nachahmen.
-
Wie in 4 gezeigt, gibt das Neuron in Antwort auf eine Mehrzahl Eingänge x (in 4 beispielsweise die Eingänge x1 bis x3) einen Ausgang (Ergebnis) y aus. Jeder Eingang x (x1, x2 oder x3) wird mit einem dem Eingang x entsprechenden Gewicht w (w1, w2 oder w3) multipliziert. Dadurch gibt das Neuron das Ergebnis y aus, das durch die folgende Gleichung (2) ausgedrückt wird. Es wird darauf hingewiesen, dass der Eingang x, das Ergebnis y und das Gewicht w allesamt Vektoren sind. In der folgenden Gleichung (2) ist θ eine systematische Messabweichung und fk eine Aktivierungsfunktion. y = fk(Σ n / i=1 xiw1 – θ) (2)
-
Bezug nehmend auf 5 wird das dreischichtige neuronale Netz beschrieben, das aus einer Kombination der in 4 gezeigten Neuronen besteht. Eine Mehrzahl Eingänge x (z. B. Eingänge x1 bis x3) wird auf der linken Seite des neuronalen Netzes eingegeben und Ergebnisse y (z. B. Ergebnisse y1 bis y3) werden auf dessen rechter Seite ausgegeben. Spezifischer werden die Eingänge x1 bis x3 in jedes von drei Neuronen N11 bis N13 eingegeben und dabei mit entsprechenden Gewichten multipliziert. Die auf die Eingänge angewandten Gewichte sind kollektiv durch W1 angegeben.
-
Die Neuronen N11 bis N13 geben jeweils z11 bis z13 aus. In 5 sind z11 bis z13 kollektiv durch einen Merkmalsvektor Z1 angegeben, der als Vektor betrachtet wird, der einen Merkmalsbetrag aus dem Eingangsvektor extrahiert. Der Merkmalsvektor Z1 befindet sich zwischen dem Gewicht W1 und einem Gewicht W2. Die Vektoren z11 bis z13 werden in jedes von zwei Neuronen N21 und N22 eingegeben und dabei mit entsprechenden Gewichten multipliziert. Die auf die Merkmalsvektoren angewandten Gewichte sind kollektiv durch W2 angegeben.
-
Die Neuronen N21 und N22 geben jeweils z21 und z22 aus. In 5 sind z21 und z22 kollektiv durch einen Merkmalsvektor Z2 angegeben. Der Merkmalsvektor Z2 befindet sich zwischen dem Gewicht W2 und einem Gewicht W3. Die Vektoren z21 und z22 werden in jedes von drei Neuronen N31 bis N33 eingegeben und dabei mit entsprechenden Gewichten multipliziert. Die auf die Merkmalsvektoren angewandten Gewichte sind kollektiv durch W3 angegeben.
-
Schließlich geben die Neuronen N31 bis N33 jeweils die Ergebnisse y1 bis y3 aus. Der Betrieb des neuronalen Netzes umfasst einen Lernmodus und einen Wertvorhersagemodus. Im Lernmodus wird beispielsweise das Gewicht W unter Verwendung eines Lerndatensatzes gelernt. Im Wertvorhersagemodus wird unter Verwendung der im Lernmodus gelernten Parameter eine Aktion der numerischen Steuereinrichtung bestimmt. Der Begriff ”Vorhersage” wird der Einfachheit halber verwendet, es können jedoch selbstverständlich verschiedene Aufgaben ausgeführt werden, die eine Erfassung, Klassifizierung, Inferenz und dergleichen umfassen.
-
Im Vorhersagemodus kann der Agent durch einen tatsächlichen Betrieb der Zellensteuereinrichtung erhaltene Daten unverzüglich lernen und das Lernergebnis in der nächsten Aktion reflektieren (Online-Lernen). Der Agent kann eine vorab gesammelte Datengruppe kollektiv lernen und danach unter Verwendung der Parameter mit der Durchführung eines Erfassungsmodus fortfahren (Batch-Lernen). Als Zwischenmaßnahme kann der Agent den Lernmodus immer dann durchführen, wenn sich eine bestimmte Datenmenge angesammelt hat.
-
Die Gewichte W1 bis W3 können unter Verwendung eines Error-Backpropagation-Algorithmus (Fehlerrückführungsalgorithmus) (Backpropagation-Algorithmus/Rückwärtspropagierungsalgorithmus) gelernt werden. Fehlerinformationen werden von rechts eingegeben und breiten sich nach links aus. Beim Error-Backpropagation-Algorithmus werden in Antwort auf einen Eingang x die Gewichte jedes Neurons eingestellt (gelernt), um die Differenz zwischen einem Ausgang y und einem tatsächlichen Ausgang y (Supervisor/Lehrer) zu minimieren. Das neuronale Netz kann auch eine größere Anzahl Schichten, z. B. mehr als drei Schichten aufweisen (als tiefes Lernen bezeichnet). Eine Recheneinheit, die stufenweise eine Eingangsmerkmalextraktion und eine Regression eines Ergebnisses durchführt, kann automatisch nur anhand der Lehrerdaten erhalten werden.
-
Als Nächstes wird der Betrieb der Zellensteuereinrichtung gemäß der Ausführungsform der vorliegenden Erfindung beschrieben. 6 ist ein Flussdiagramm, das ein Beispiel für den Betrieb der Lerneinheit (unüberwacht) in dem Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung erläutert. Beispielsweise erhält die Arbeiterüberwachungseinheit 4 Informationen über eine Arbeitszeit, die Anzahl fehlerhafter Werkstücke, eine Differenz eines Arbeitsbetrags, einen Bewegungsbetrag und dergleichen von der Sensorverwaltungseinheit 3. Wie in 6 gezeigt, erhält die Arbeiterüberwachungseinheit 4 nach dem Start des Lernens in Schritt S101 Daten über eine Arbeitszeit, die Anzahl fehlerhafter Werkstücke und dergleichen eines Arbeiters von der Sensorverwaltungseinheit 3.
-
Als Nächstes bestimmt die Arbeiterüberwachungseinheit 4 in Schritt S102, ob der Bewegungsbetrag des Arbeiters zugenommen hat. Wenn bestimmt wird, dass der Bewegungsbetrag des Arbeiters zugenommen hat, wird in Schritt S103 bestimmt, ob die Arbeitszeit abgenommen hat.
-
Wenn hingegen bestimmt wird, dass der Bewegungsbetrag des Arbeiters gleich geblieben ist oder abgenommen hat, legt die Belohnungsberechnungseinheit 8 in Schritt S104 eine negative Belohnung fest. Der Grund dafür, warum eine negative Belohnung festgelegt wird, besteht darin, dass davon ausgegangen wird, dass der Verbleib oder die Abnahme des Bewegungsbetrags des Arbeiters durch eine Verringerung der Arbeitseffizienz des Arbeiters verursacht wird.
-
Wenn in Schritt S103 bestimmt wird, dass die Arbeitszeit abgenommen hat, legt die Belohnungsberechnungseinheit 8 in Schritt S105 eine positive Belohnung fest. Wenn hingegen bestimmt wird, dass die Arbeitszeit nicht abgenommen hat, legt die Belohnungsberechnungseinheit 8 in Schritt S106 keine Belohnung (Belohnung null) fest. In Schritt S107 berechnet die Belohnungsberechnungseinheit 8 basierend auf dem Ergebnis ”negative Belohnung”, ”positive Belohnung” oder ”keine Belohnung” aus Schritt S104, S105 oder S106 eine Belohnung. Als Nächstes aktualisiert die Wertfunktionsaktualisierungseinheit 9 in Schritt S108 eine Aktionswerttabelle. Danach kehrt der Betrieb zu Schritt S101 zurück, um denselben Betrieb zu wiederholen. Somit kann die Arbeitseffizienz wenigstens eines Arbeiters optimiert werden.
-
In den Schritten S104, S105 und S106 werden die Werte (Beträge) von ”negative Belohnung”, ”positive Belohnung” und ”keine Belohnung” selbstverständlich gemäß verschiedenen Zuständen geeignet bestimmt.
-
Als Nächstes wird der Betrieb des Arbeitsverwaltungssystems gemäß der Ausführungsform der vorliegenden Erfindung beschrieben. 7 ist ein Flussdiagramm, das ein Beispiel einer Meldung an einen Arbeiter und einen den Zustand des Arbeiters überwachenden Vorarbeiter unter Verwendung eines Maschinenlernergebnisses im Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung erläutert. Zunächst erfasst ein Sensor (1a, 1b) den Bewegungsbetrag und den Zustandsbetrag eines Arbeiters (A, B) in Schritt S201 (siehe 1).
-
Als Nächstes quantifiziert die Meldungsverwaltungseinheit 6 in Schritt S202 den Zustand des Arbeiters basierend auf einem Lernergebnis. Zu quantifizieren ist der Ermüdungsgrad, der Beschlagenheitsgrad, der Interessegrad und dergleichen des Arbeiters, diese stellen jedoch nur Beispiele dar, ohne darauf beschränkt zu sein.
-
Die Quantifizierung und Optimierung des Ermüdungsgrads, des Beschlagenheitsgrads, des Interessegrads und dergleichen werden gemäß dem in 6 gezeigten Flussdiagramm durchgeführt. Nachdem der Ermüdungsgrad, der Beschlagenheitsgrad und der Interessegrad, die die Arbeitseffizienz des Arbeiters optimieren können, als Lernergebnis bestimmt worden sind, meldet die Lerneinheit 5 diese Werte der Meldungsverwaltungseinheit 6.
-
Als Nächstes meldet die Meldungsverwaltungseinheit 6 in Schritt S203 dem Arbeiter und einem Vorarbeiter eine Änderung von Arbeitsdetails. Die Zellensteuereinrichtung 2 sendet Daten über den Arbeiter an die Hostverwaltungseinheit 7. Die Zellensteuereinrichtung 2 empfängt eine Arbeitsdetailänderungsmeldung von der Hostverwaltungseinheit 7 und leitet die Arbeitsdetailänderungsmeldung an den Arbeiter und den Vorarbeiter weiter. Die Zellensteuereinrichtung 2 kann jedoch, ohne auf dieses Beispiel beschränkt zu sein, Arbeitsdetails ändern und die Details an den Arbeiter oder den Vorarbeiter senden. Wenn die von der Zellensteuereinrichtung 2 an die Hostverwaltungseinheit 7 zu sendenden Daten einen großen Umfang haben, muss die Zellensteuereinrichtung 2 lange warten, um die Arbeitsdetailänderungsmeldung von der Hostverwaltungseinheit 7 zu empfangen. Daher hat die Zellensteuereinrichtung 2 bevorzugt die Funktion, Arbeitsdetails zu ändern.
-
Wie vorstehend beschrieben, sammelt das Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung Arbeitszeiten, Körperbewegungen, Gesichtsausdrücke und dergleichen, ohne dass sich die Arbeiter dessen bewusst sind. Daher ist es möglich, einen Zustand zu erfassen, in dem sich der Arbeiter, obwohl er/sie bei guter Gesundheit ist, nicht auf eine Arbeit konzentrieren kann, beispielsweise aufgrund von Aufregung.
-
Obgleich Gesundheitsdaten dazu neigen, von Person zu Person relativ stark zu variieren, lassen sich Arbeitszeiten, Körperbewegungen, Gesichtsausdrücke und dergleichen, mit denen sich das Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung befasst, eher objektiv einschätzen und sind abhängig von individuellen Unterschieden unanfällig für Bestimmungsfehler.
-
Das Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung meldet nicht nur der Hostverwaltungseinheit, sondern auch dem Arbeiter Informationen, um die Informationen zur Verbesserung von Arbeitsdetails zu nutzen.
-
Wie vorstehend beschrieben, misst das Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung unter Verwendung der Sensoren Körperbewegungen, Haltungsänderungen, Gesichtsausdrücke und dergleichen von in einer Fabrik arbeitenden Arbeitern und erhält die Daten sequentiell durch die Zellensteuereinrichtung. Das Arbeitsverwaltungssystem quantifiziert mittels eines Maschinenlernalgorithmus Informationen (den Ermüdungsgrad, den Beschlagenheitsgrad und den Interessegrad), ohne dass sich die Arbeiter dessen bewusst sind, und verwendet die Informationen dazu, die Produktivität zu steigern.
-
Das Arbeitsverwaltungssystem gemäß der Ausführungsform der vorliegenden Erfindung ermöglicht die Bereitstellung eines Arbeitsverwaltungssystems, das eine Verringerung der Produktivität aufgrund von Ermüdung, aufgrund von Beschlagenheitsunterschieden oder aufgrund von vermindertem Interesse an der Arbeit verhindern kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2007-151933 [0003]
- JP 2005-71250 [0004]
- JP 2009-226057 [0005]