DE102018125594B4

DE102018125594B4 - Sortiersystem

Info

Publication number: DE102018125594B4
Application number: DE102018125594.2A
Authority: DE
Inventors: Yasuhiro SHIBASAKI
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-10-23
Filing date: 2018-10-16
Publication date: 2021-09-30
Anticipated expiration: 2038-10-17
Also published as: US10835930B2; CN109692821B; JP2019076819A; CN109692821A; US20190118226A1; DE102018125594A1; JP6595555B2

Abstract

Sortiersystem (1), konfiguriert, um Steuerinformationen zu generieren, die ein zu sortierendes Objekt, basierend auf Messdaten, die durch Messen eines Zustands des zu sortierenden Objekts mit einer Messvorrichtung erhalten werden, sortieren, wobei das Sortiersystem (1) umfasst:eine Eingabevorrichtung (50), die konfiguriert ist, um durch einen Arbeiter Sortierungsdaten einzugeben, die ein Ergebnis der Sortierung des zu sortierenden Objekts angeben;eine Vorrichtung zum maschinellen Lernen (100), die konfiguriert ist, um die Sortierungsdaten zu erlernen, die den Messdaten entsprechen;eine Einheit zur Bestimmung der Eignung des Lernergebnisses (30), die konfiguriert ist, um eine Eignung des Ergebnisses des Lernens der Vorrichtung zum maschinellen Lernen (100) zu bestimmen, basierend auf dem Ergebnis des Sortierens des zu sortierenden Objekts, das mittels der Eingabevorrichtung (50) eingegeben wird, und einem Ergebnis der Sortierung des zu sortierenden Objekts, das unter Verwendung des Lernergebnisses der Vorrichtung zum maschinellen Lernen (100) bestimmt wird;eine Sortierungssteuerungs-Umschalteinheit (32), die konfiguriert ist, um den Modus des Sortierungsbetriebs für das zu sortierende Objekt umzuschalten, basierend auf dem Ergebnis der Bestimmung durch die Einheit zur Bestimmung der Eignung des Lernergebnisses (30); undeine Steuereinheit (34), die konfiguriert ist, um Steuerung der Informationen zur Sortierung des zu sortierenden Objekts zu generieren, wobeidie Sortierungssteuerungs-Umschalteinheit (32) den Betrieb der Steuereinheit (34) umschaltet, so dass automatisches Sortieren des zu sortierenden Objekts durchgeführt wird, wenn die Eignung des Lernergebnisses durch die Vorrichtung zum maschinellen Lernen (100) mit einem zuvor spezifizierten Kriterium kompatibel ist, unddie Sortierungssteuerungs-Umschalteinheit (32) den Betrieb der Steuereinheit (34) umschaltet, so dass nicht das automatische Sortieren des zu sortierenden Objekts durchgeführt wird, wenn die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen (100) nicht mit dem zuvor spezifizierten Kriterium kompatibel ist, dadurch gekennzeichnet, dass die Einheit zur Bestimmung der Eignung des Lernergebnisses (30) die Vorrichtung zum maschinellen Lernen (100) anweist, den Lernprozess zu stoppen, wenn das Ergebnis der statistischen Verarbeitung basierend auf dem Ergebnis der Sortierung des zu sortierenden Objekts, das durch die Eingabevorrichtung (50) eingegeben wird, und dem Lernergebnis der Vorrichtung zum maschinellen Lernen (100) nicht unter einem vorbestimmten dritten Kriterium liegt.

Description

HINTERGRUND DER ERFINDUNG
GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft ein Sortiersystem, und insbesondere ein Sortiersystem, das in der Lage ist, schrittweise Arbeitsstunden in einem Sortierverfahren durch maschinelles Lernen zu reduzieren.
BESCHREIBUNG DES STANDES DER TECHNIK
Es besteht ein Bedarf an einer Automatisierung von Sortierung (d. h. der Klassifizierung zwischen fehlerfrei und fehlerhaft) von Werkstücken (oder Produkten), basierend auf der visuellen Wahrnehmung von Menschen. Um diesen Bedarf zu decken, wurde ein Sortiersystem entwickelt, in dem Bilder der Werkstücke und physikalische Eigenschaften wie das Gewicht für das Sortieren des Werkstücks gemessen werden, und die Bestimmung in fehlerfrei/fehlerhaft wird basierend auf dem Ergebnis der Messung vorgenommen.
In einer Veröffentlichung, die in der JP 2011 - 158 373 A offenbart wurde, werden als Beispiel für den Stand der Technik in Bezug auf das Sortieren von Werkstücken Lehrerdaten zum automatischen Klassifizieren von Mängeln eines Substrats erstellt, indem die Merkmalmenge der erfassten fehlerhaften Bilddaten berechnet und stufenweise die Klassifizierung unter Verwendung eines euklidischen Abstands von einem Lehrerbild eingestellt wird.
Des Weiteren offenbart die JP 2015 - 137 919 A eine Veröffentlichung, in der die Genauigkeiten der Klassifizierung von Mängeln und die Bestimmung der Qualität mit der Verwendung einer Vorrichtung verbessert werden, bei der der Arbeiter dazu gebracht wird, die Qualität eines bildlich erfassten fehlerhaften Prüfstücks einzugeben, so dass die Grenzwerte für die Klassifizierung basierend auf der Merkmalmenge des fehlerhaften Prüfstücks aktualisiert werden, wenn die Qualität des fehlerhaften Prüfstücks unbestimmt ist.
Es sollte zunächst ein Lerner erstellt werden, um maschinelles Lernen als Sortierungsverfahren für ein Werkstück zu verwenden, wie es im oben genannten Stand der Technik beschrieben wird. Um unter den vorliegenden Umständen den Lerner zu erstellen, ist es erforderlich, eine große Menge physikalischer Informationen wie Bilder und Gewichte für jede Sortierungskategorie zusammenzutragen und eine Annotation durchzuführen (Anweisungen zu Kategorien, zu denen Werkstücke gehören), wodurch die Lerndaten vorbereitet werden.
7 zeigt ein konzeptionelles Diagramm der Erstellung von Lerndaten. Um einen solchen Lernprozess durchzuführen, um zu ermöglichen, dass die Werkstücke akkurat in Faktoren oder erstellte Kategorien sortiert werden, wie in 7 gezeigt, ist eine wesentliche Menge von Proben für jede Kategorie vorzubereiten, und die tatsächliche Ausführung des automatischen Sortierens weist eine große Hürde auf. Entsprechend besteht das Problem, dass es schwierig ist, das maschinelle Lernen am Ort der Sortierung zu verwenden.
Um dieses Problem zu lösen, wird nach den Veröffentlichungen, die in JP 2011 - 158 373 A und JP 2015 - 137 919 A offenbart werden, eine Sichtprüfung des Arbeiters in ein automatisches Sortierungsverfahren eingebunden, und es wird erwartet, dass das Ergebnis der Bewertung neu gelernt wird. In den Veröffentlichungen, die in diesen Patentschriften veröffentlicht werden, werden die Ergebnisse im Lerner ausgehend von einem ersten Verfahren des Sortierens verwendet, und die Genauigkeit des Ergebnisses der Klassifizierung wird visuell bestätigt. In diesem Verfahren wird eine große Anzahl von Werkstücken, die im ersten Verfahren oder Ähnlichem falsch sortiert werden, bei dem die Genauigkeit des Lerners nicht ausreichend ist, zu einer erneuten Sortierung zurückgeführt, so dass der Sortierungsprozess nicht effizient weiterentwickelt werden kann.
Eine Sortiersystem gemäß dem Oberbegriff des Anspruches 1 ist aus der JP 2017 - 109 197 A bekannt.
KURZDARSTELLUNG DER ERFINDUNG
Entsprechend ist es ein Ziel der vorliegenden Erfindung, ein Sortierungssystem zur effizienten und akkuraten Umsetzung einer automatischen Sortierungsarbeit bereitzustellen.
Ein Sortierungssystem nach der vorliegenden Erfindung erfasst das Ergebnis einer manuellen Klassifizierung durch einen Arbeiter, basierend auf einem Eingangsbild eines zu sortierenden Objekts und physikalischen Informationen wie Gewicht, assoziiert das Ergebnis der Klassifizierung mit dem Eingangsbild und den physikalischen Informationen, verbessert das maschinelle Lernen parallel zu der manuellen Arbeit des Arbeiters unter Verwendung der assoziierten Teile von Informationen zu dem Klassifizierungsergebnis und dem Eingangsbild und den physikalischen Informationen, führt gegebenenfalls eine temporäre Klassifizierung unter Verwendung des Lernergebnisses durch und vergleicht das Ergebnis der temporären Klassifizierung mit dem Ergebnis der manuellen Klassifizierung des Arbeiters. Basierend auf dem Ergebnis des Vergleichs wird der Arbeiter über ein Ende der manuellen Arbeit benachrichtigt, wenn ein vorbestimmter Schwellenwert der Übereinstimmungsrate zwischen dem Ergebnis der manuellen Klassifizierung des Arbeiters und dem Ergebnis der Klassifizierung durch eine Vorrichtung zum maschinellen Lernen oder die Häufigkeit kontinuierlicher Treffer überschritten wird, und danach wird eine automatische Sortierung durch die Vorrichtung zum maschinellen Lernen durchgeführt.
Ein Sortiersystem nach der vorliegenden Erfindung ist konfiguriert, um Steuerinformationen zu generieren, die ein zu sortierendes Objekt basierend auf Messdaten, die durch das Messen eines Zustands des zu sortierenden Objekts mit einer Messvorrichtung erhalten werden, sortieren, und umfasst eine Eingabevorrichtung, die konfiguriert ist, um durch einen Arbeiter Sortierungsdaten einzugeben, die das Ergebnis einer Sortierung des zu sortierenden Objekts angeben, eine Vorrichtung zum maschinellen Lernen, die konfiguriert ist, um die Sortierungsdaten zu erlernen, die den Messdaten entsprechen, eine Einheit zur Bestimmung der Eignung des Lernergebnisses, die konfiguriert ist, um die Eignung des Lernergebnisses durch die Vorrichtung zum maschinellen Lernen zu bestimmen, basierend auf dem Ergebnis des Sortierens des zu sortierenden Objekts, das mittels der Eingabevorrichtung eingegeben wird, und dem Ergebnis der Sortierung des zu sortierenden Objekts, das unter Verwendung des Lernergebnisses der Vorrichtung zum maschinellen Lernen bestimmt wird, eine Sortierungssteuerungs-Umschalteinheit, die konfiguriert ist, um den Modus des Arbeitsschritts des Sortierens für das zu sortierende Objekt umzuschalten, basierend auf dem Ergebnis der Bestimmung durch die Einheit zur Bestimmung der Eignung des Lernergebnisses, und eine Steuereinheit, die konfiguriert ist, um Steuerinformationen zum Sortieren des zu sortierenden Objekts zu erzeugen. Die Sortierungssteuerungs-Umschalteinheit schaltet den Betrieb der Steuereinheit um, so dass automatisches Sortieren des zu sortierenden Objekts durchgeführt wird, wenn die Eignung des Lernergebnisses durch die Vorrichtung zum maschinellen Lernen mit einem zuvor spezifizierten Kriterium kompatibel ist, und schaltet den Betrieb der Steuereinheit um, so dass nicht das automatische Sortieren des zu sortierenden Objekts durchgeführt wird, wenn die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen nicht mit dem zuvor spezifizierten Kriterium kompatibel ist. Ferner ist das Sortiersystem dadurch gekennzeichnet, dass die Einheit zur Bestimmung der Eignung des Lernergebnisses die Vorrichtung zum maschinellen Lernen anweist, den Lernprozess zu stoppen, wenn das Ergebnis der statistischen Verarbeitung basierend auf dem Ergebnis der Sortierung des zu sortierenden Objekts, das durch die Eingabevorrichtung eingegeben wird, und dem Lernergebnis der Vorrichtung zum maschinellen Lernen nicht unter einem vorbestimmten dritten Kriterium liegt
Die Einheit zur Bestimmung der Eignung des Lernergebnisses kann ferner bestimmen, dass die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen mit dem zuvor spezifizierten Kriterium kompatibel ist, wenn das Ergebnis der statistischen Verarbeitung basierend auf der Eingabe des Ergebnisses der Sortierung des zu sortierenden Objekts mittels der Eingabevorrichtung und dem Lernergebnis der Vorrichtung zum maschinellen Lernen nicht unter einem vorbestimmten ersten Kriterium liegt.
Die Einheit zur Bestimmung der Eignung des Lernergebnisses kann ferner der Vorrichtung zum maschinellen Lernen befehlen, das bisher erhaltene Lernergebnis zu verwerfen und den Lernprozess neu zu starten, wenn das Ergebnis der statistischen Verarbeitung basierend auf der Eingabe des Ergebnisses der Sortierung des zu sortierenden Objekts durch die Eingabevorrichtung und dem Lernergebnis der Vorrichtung zum maschinellen Lernen nicht über einem vorbestimmten fünften Kriterium liegt.
Die Vorrichtung zum maschinellen Lernen kann in der Lage sein, ferner die Sortierung betreffende Informationen zu beobachten, um die Sortierung des zu sortierenden Objekts zusätzlich zu den Messdaten zu ergänzen und kann die Sortierungsdaten lernen, die sowohl den Messdaten und den die Sortierung betreffenden Informationen entsprechen.
Ein Sortierungsverfahren, das nach der vorlegenden Erfindung auf diese Weise angeordnet ist, kann automatisiert werden, um Arbeitsstunden bei der manuellen Sortierung zu reduzieren, ohne dass die Geschwindigkeit oder die Genauigkeit der Sortierung beeinträchtigt werden, indem die manuelle Sortierung in der ersten Stufe ausgeführt wird und das Modelllernen basierend auf dem Ergebnis der Sortierung verbessert wird, während die Produktion durchgeführt wird.
Figurenliste
Das oben genannte und andere Ziele und Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsformen mit Bezugnahme auf die beigefügten Zeichnungen ersichtlich, wobei:

1 ein schematisches Hardware-Konfigurationsdiagramm ist, das die wichtigsten Teile eines Sortiersystems nach einer Ausführungsform zeigt;
2 ein schematisches funktionales Blockdiagramm des Sortiersystems nach der einen Ausführungsform ist;
3 ein schematisches funktionales Blockdiagramm ist, das eine Konfiguration des Sortiersystems zeigt;
4A ein Diagramm ist, das ein Neuron zeigt;
4B ein Diagramm ist, das ein neuronales Netzwerk zeigt;
5 ein Diagramm ist, das ein Betriebsbeispiel des Sortiersystems zeigt;
6 ein Diagramm ist, das ein weiteres Betriebsbeispiel des Sortiersystems zeigt; und
7 ein konzeptionelles Diagramm zum Erstellen von Lerndaten ist.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Es folgt eine Beschreibung einer Ausführungsform eines Sortiersystems zum Umsetzen der vorliegenden Erfindung.
1 ist ein schematisches Hardware-Konfigurationsdiagramm, das die wichtigsten Teile eines Sortiersystems nach einer ersten Ausführungsform zeigt. Ein Sortiersystem 1 der vorliegenden Ausführungsform umfasst mindestens eine Eingabevorrichtung 50, eine Messvorrichtung 60, eine Sortierungsvorrichtung 70, eine Steuervorrichtung 2, und eine Vorrichtung zum maschinellen Lernen 100. Die Eingabevorrichtung 50 wird verwendet, um durch einen Arbeiter die Ergebnisse der Sortierung von zu sortierenden Objekten wie Früchten oder Gemüse oder anderen unregelmäßig geformten Objekten und maschinell bearbeiteten Werkstücken einzugeben. Die Messvorrichtung 60 erfasst Bilder oder andere physikalische Mengen, wie das Gewicht, die Starrheit, die Größe oder Temperatur der zu sortierenden Objekte. Die Sortierungsvorrichtung 70 dient dazu, die Objekte zu sortieren. Die Steuervorrichtung 2 steuert die Sortierungsvorrichtung 70.
Die Sortierungsvorrichtung 70 kann jede Form aufweisen, vorausgesetzt, sie ist wie eine Vorrichtung zu Sortieren von zu sortierenden Objekten, die beispielsweise auf einem Förderband strömen, an einer Verteilerweiche davon konfiguriert, oder als ein Roboter, der die zu sortierenden Objekte auf einem Förderband, der Verarbeitungsmaschine oder einer Plattform hält und sortiert, um die zu sortierenden Objekte zu sortieren. Die Steuervorrichtung 2 wird mit einer erforderlichen Struktur zum Steuern dieser Sortierungsvorrichtung 70 bereitgestellt, so dass die zu sortierenden Objekte basierend auf einer vorbestimmten Klassifizierung sortiert werden.
Eine CPU (zentrale Prozessoreinheit) 11 der Steuervorrichtung 2 nach der vorliegenden Ausführungsform ist ein Prozessor, um allgemein die Steuervorrichtung 2 zu steuern. Die CPU 11 liest ein Systemprogramm, das in einem ROM (Festwertspeicher) 12 gespeichert ist, durch einen Bus 20 und steuert die gesamte Steuervorrichtung 2 nach diesem Systemprogramm. In einem RAM (Arbeitsspeicher) 13 werden temporär Daten gespeichert, wie temporäre Berechnungsdaten, Eingaben durch den Arbeiter der Sortierungsergebnisdaten zu den zu sortierenden Objekten mittels der Eingabevorrichtung 50 (oder automatischer Eingabe), und Messdaten zu den zu sortierenden Objekten, die durch die Messvorrichtung 60 gemessen werden.
Ein nichtflüchtiger Speicher 14 ist als ein Speicher konstruiert, der beispielsweise batteriegestützt ist (nicht gezeigt), so dass der Speicherstatus auch dann aufrechterhalten werden kann, wenn die Steuervorrichtung 2 abgeschaltet wird. Auf dem nichtflüchtigen Speicher 14 werden voreingestellte Einstellungsdaten zu der Sortierungsvorrichtung 70, Steuerprogramme, die durch eine Schnittstelle (nicht gezeigt) eingegeben werden, und so weiter gespeichert. Die Programme und verschiedene Daten, die in dem nichtflüchtigen Speicher 14 gespeichert sind, können in dem RAM 13 zum Zeitpunkt der Ausführung oder Verwendung erweitert werden. Des Weiteren werden Systemprogramme zuvor in den ROM 12 geschrieben. Diese Systemprogramme umfassen allgemein bekannte Analyseprogramme zum Analysieren der Messdaten, die durch die Messvorrichtung 60 gemessen werden, und Systemprogramme zum Steuern des Austauschs mit der Vorrichtung zum maschinellen Lernen 100 (später beschrieben).
Die Eingabevorrichtung 50 ist eine Vorrichtung zur Eingabe des Ergebnisses der Sortierung der zu sortierenden Objekte. Das Sortierungsergebnis der zu sortierenden Objekte, das durch die Eingabevorrichtung 50 eingegeben wird, kann das Ergebnis der Sortierung in zwei Kategorien sein, z. B. das Sortieren der Objekte in fehlerhafte und fehlerfreie Produkte, oder das Ergebnis der Sortierung der Objekte in drei oder mehr Kategorien, z. B., fehlerfrei/erneut maschinell zu bearbeiten/auszumustern oder A/B/C/D. Die Eingabevorrichtung 50 kann eine Tastatur, Zeigevorrichtung, ein Bedienfeld oder eine andere Eingabevorrichtung sein, durch die der Arbeiter das Ergebnis der Sortierung der zu sortierenden Objekte eingibt. Des Weiteren kann die Eingabevorrichtung 50 eine Vorrichtung sein, die konfiguriert ist, um automatisch zu erfassen, dass die zu sortierenden Objekte durch den Arbeiter in vorbestimmte Kategorien sortiert werden, die zuvor bereitgestellt wurden.
Wenn die Eingabevorrichtung 50 die Vorrichtung ist, die automatisch das Sortierungsergebnis der zu sortierenden Objekte erfasst, kann sie konfiguriert sein, um Identifizierungsinformationen für jede Kategorie zu erkennen, wie Etiketten oder Markierungen, die durch den Arbeiter an den zu sortierenden Objekten angebracht wurden, oder um die Sortierung in aufgeteilte Bereiche in jeder Kategorie zu erkennen. Die Eingabevorrichtung 50 liefert die Daten zu den Sortierungsergebnissen durch eine Schnittstelle 17 an die CPU 11.
Die Messvorrichtung 60 ist eine Vorrichtung, die die Messdaten erfasst, die physikalische Mengen wie Form, Farbe und Gewicht angeben, die verwendet werden, um die Objekte zu sortieren. Beispielsweise kann die Messvorrichtung 60 eine Bildgebungsvorrichtung sein, die konfiguriert ist, um das äußere Erscheinungsbild der zu sortierenden Objekte anzugeben, oder ein Sensor, der konfiguriert ist, um physikalische Mengen wie Gewicht, Stärke und Temperatur der zu sortierenden Objekte zu messen, oder eine Vorrichtung zum Messen von Komponenten oder Faktoren wie Zuckergehalt, Reifegrad, Säuregrad, Lycopin, Fett, Aminosäuren, andere Proteine, Stärkegehalt und Glukosegehalt. Des Weiteren kann die Messvorrichtung 60 eine Kombination aus der oben genannten Bildgebungsvorrichtung und einer Vielzahl verschiedener Sensoren sein, die beispielsweise das Gewicht messen können, während ein Bild erfasst wird. Die Messvorrichtung 60 sendet die gemessenen Messdaten durch eine Schnittstelle 18 an die CPU 11.
Ein Steuerschaltkreis 19 empfängt einen Befehl von der CPU 11 und steuert den Arbeitsschritt des Sortierens der Sortierungsvorrichtung 70. Die Steuerung des Arbeitsschritts des Sortierens der Sortierungsvorrichtung 70 durch den Steuerschaltkreis 19 variiert abhängig von der Art der Sortierungsvorrichtung 70. Wenn beispielsweise die Sortierungsvorrichtung 70 eine Vorrichtung ist, die konfiguriert ist, um nur die Ergebnisse der Sortierung auszugeben, steuert der Steuerschaltkreis 19 den Arbeitsschritt des Sortierens gemäß dem Befehl von der CPU 11, so dass das Sortierungsergebnis durch eine Displayanzeige, ein Licht, ein akustisches Signal usw. mitgeteilt wird. Wenn die Sortierungsvorrichtung 70 eine Vorrichtung ist, die konfiguriert ist, um die zu sortierenden Objekte auf dem Förderband an der Verteilerweiche zu sortieren, steuert der Steuerschaltkreis 19 das Ziel des Objekts an der Verteilerweiche gemäß dem Befehl von der CPU 11. Wenn die Sortierungsvorrichtung 70 ein Roboter ist, der die zu sortierenden Objekte hält und dann sortiert, steuert der Steuerschaltkreis 19 den Transport der Objekte durch den Roboter gemäß dem Befehl von der CPU 11.
Des Weiteren führt der Steuerschaltkreis 19 eine Steuerung zum Umschalten zwischen der Sortierungsarbeit durch den Arbeiter und dem automatischen Sortieren durch die Sortierungsvorrichtung 70 aus. Der Inhalt der Steuerung zum Umschalten zwischen der Sortierungsarbeit durch den Arbeiter und dem automatischen Sortieren durch die Sortierungsvorrichtung 70 variiert abhängig von dem Typ der Sortierungsvorrichtung 70. Wenn beispielsweise die Sortierungsvorrichtung 70 die Vorrichtung ist, die konfiguriert ist, um die zu sortierenden Objekte auf dem Förderband an der Verteilerweiche zu sortieren, kann die Steuerung so ausgeführt werden, dass der Arbeitsschritt des automatischen Sortierens an der Verteilerweiche deaktiviert ist, nachdem die Geschwindigkeit des Förderbandes während der Sortierarbeit durch den Arbeiter reduziert wurde. Im Gegensatz dazu kann während dem Arbeitsschritt des automatischen Sortierens durch die Sortierungsvorrichtung 70 der Arbeitsschritt des automatischen Sortierens an der Verteilerweiche durch Erhöhen der Förderbandgeschwindigkeit gesteuert werden.
Eine Schnittstelle 21 ist eine Schnittstelle, die die Steuervorrichtung 2 mit der Vorrichtung zum maschinellen Lernen 100 verbindet. Die Vorrichtung zum maschinellen Lernen 100 umfasst einen Prozessor 101, der die gesamte Vorrichtung zum maschinellen Lernen 100 steuert, einen ROM 102, auf dem Systemprogramme und Ähnliches gespeichert sind, einen RAM 103 zum temporären Speichern bei jedem Schritt der Verarbeitung, der sich auf maschinelles Lernen bezieht, und einen nichtflüchtigen Speicher 104, der verwendet wird, um ein Lernmodell und Ähnliches zu speichern. Die Vorrichtung zum maschinellen Lernen 100 kann verschiedene Teile von Informationen beobachten (Sortierungsergebnisdaten zu den zu sortierenden Objekten, die durch die Eingabevorrichtung 50 eingegeben werden, Messdaten, die durch die Messvorrichtung 60 gemessen werden, etc.), die durch die Steuervorrichtung 2 über die Schnittstelle 21 erfasst werden.
Ferner sendet die Steuervorrichtung 2 einen Befehl zur Steuerung der Sortierung der zu sortierenden Objekte durch die Sortierungsvorrichtung 70, wobei dieser Befehl von der Vorrichtung zum maschinellen Lernen 100 ausgegeben wird, an die CPU 11.
2 ist ein schematisches funktionales Blockdiagramm, das Hauptteile eines Sortiersystems nach einer Ausführungsform der vorliegenden Erfindung zeigt. Funktionale Blöcke, die in 2 gezeigt werden, werden so umgesetzt, dass die CPU 11 in der Steuervorrichtung 2, die in 1 gezeigt wird, und der Prozessor 101 in der Vorrichtung zum maschinellen Lernen 100 ihre jeweiligen Systemprogramme ausführen, wodurch die Arbeitsschritte der verschiedenen Teile der Steuervorrichtung 2 und der Vorrichtung zum maschinellen Lernen 100 gesteuert werden. Die Steuervorrichtung 2, die das Sortiersystem 1 der vorliegenden Ausführungsform darstellt, umfasst eine Einheit zur Bestimmung der Eignung des Lernergebnisses 30, eine Sortierungssteuerungs-Umschalteinheit 32, und eine Steuereinheit 34.
Die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 ist ein funktionales Instrument, das konfiguriert ist, um die Eignung des Ergebnisses des Lernprozesses durch die Vorrichtung zum maschinellen Lernen 100 zu bestimmen, basierend auf dem Ergebnis des Vergleichs des Ergebnisses der Sortierung der zu sortierenden Objekte, das durch die Eingabevorrichtung 50 eingegeben wird, und des Ergebnisses des Sortierens, das für die zu sortierenden Objekte durch die Vorrichtung zum maschinellen Lernen 100 bestimmt wurde, und um das Ergebnis der Bestimmung an die Sortierungssteuerungs-Umschalteinheit 32 auszugeben. Die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 führt eine statistische Verarbeitung basierend auf dem Ergebnis der Sortierung der zu sortierenden Objekte, das durch die Eingabevorrichtung 50 in Bezug auf die zu sortierenden Objekte eingegeben wurde, und den Sortierungsergebnissen, die für die zu sortierenden Objekte durch die Vorrichtung zum maschinellen Lernen 100 bestimmt wurden, durch. Wenn das Ergebnis der statistischen Verarbeitung nicht unter einem vorbestimmten ersten Kriterium liegt, bestimmt die Einheit zur Bestimmung der Eignung des Lernergebnisses 30, dass die Eignung des Ergebnisses des Lernprozesses der Vorrichtung zum maschinellen Lernen 100 mit einem zuvor spezifizierten Kriterium kompatibel ist. Wenn das Ergebnis unterschiedlich ist, wird bestimmt, dass die Eignung des Ergebnisses des Lernprozesses der Vorrichtung zum maschinellen Lernen 100 nicht mit dem zuvor spezifizierten Kriterium kompatibel ist. Ferner kann eine Nachricht gemäß der oben aufgeführten Bestimmung an die Sortierungssteuerungs-Umschalteinheit 32 ausgegeben werden. Für dieses vorbestimmte Kriterium kann beispielsweise erwartet werden, dass die Anzahl der Male, die diese zwei Sortierungsergebnisse kontinuierlich übereinstimmend sind, nicht unter einer vorbestimmten ersten Häufigkeit liegt. Es kann erwartet werden, dass die Übereinstimmungsrate der beiden Sortierungsergebnisse zu einer vorbestimmten Zahl früherer zu sortierender Objekte über einer vorherbestimmten ersten Rate liegt. Alternativ kann ein anderes statistisches Verfahren als vorbestimmtes Kriterium verwendet werden.
Die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 kann beispielsweise konfiguriert sein, so dass sie dazu übergeht, die Bestimmung, dass die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen 100 mit dem zuvor spezifizierten Kriterium kompatibel ist, direkt auszugeben, nachdem einmal bestimmt wurde, dass die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen 100 mit dem zuvor spezifizierten Kriterium kompatibel geworden ist. Ferner kann die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 beispielsweise konfiguriert sein, so dass sie eine ähnliche Eignungsbestimmung stichprobenartig zu jedem von dem Arbeiter gewünschten Zeitpunkt durchführt, auch wenn einmal bestimmt wurde, dass die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen 100 kompatibel geworden ist. Des Weiteren kann die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 konfiguriert sein, um die Bestimmung, dass die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen 100 nicht mehr mit dem zuvor spezifizierten Kriterium kompatibel ist, auszugeben, wenn ein vorbestimmtes zweites Kriterium (z. B. ein Kriterium, das einen Level angibt, der unter dem ersten Kriterium liegt) nicht erreicht wird.
Die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 kann beispielsweise konfiguriert sein, um die Vorrichtung zum maschinellen Lernen 100 anzuweisen, das maschinelle Lernen zu stoppen, wenn das Ergebnis der Eignungsbestimmung des Lernergebnisses nicht unter einem vorbestimmten dritten Kriterium liegt (z. B. ein Kriterium, das einen Level angibt, der nicht unter dem ersten Kriterium liegt), nachdem bestimmt wurde, dass die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen 100 kompatibel mit dem zuvor spezifizierten Kriterium ist. Die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 kann konfiguriert sein, um die Vorrichtung zum maschinellen Lernen 100 anzuweisen, das maschinelle Lernen erneut zu starten, wenn das Ergebnis der Eignungsbestimmung des durchgeführten Lernergebnisses, das stichprobenartig zu einer vom Arbeiter gewünschten Zeit durchgeführt wird, danach unter ein vorbestimmtes viertes Kriterium gefallen ist (z. B. ein Kriterium, das ein Level angibt, das unter dem dritten Kriterium liegt).
Ferner kann die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 beispielsweise konfiguriert sein, um die Vorrichtung zum maschinellen Lernen 100 anzuweisen, das bislang erhaltene Lernergebnis zu verwerfen und den Lernprozess neu zu beginnen, wenn das Ergebnis der Eignungsbestimmung des Lernergebnisses der Vorrichtung zum maschinellen Lernen 100 nicht höher als ein vorbestimmtes fünftes Kriterium ist (z. B. ein Kriterium, das einen Level angibt, der nicht unter dem ersten Kriterium liegt).
Die Sortierungssteuerungs-Umschalteinheit 32 ist ein funktionales Instrument, das konfiguriert ist, um den Sortierungsmodus der zu sortierenden Objekte zwischen dem automatischen Sortieren durch die Sortierungsvorrichtung 70 und dem manuellen Sortieren durch den Arbeiter umzuschalten, basierend auf der Eignungsbestimmung des Lernergebnisses des maschinelles Lernens in der Vorrichtung zum maschinellen Lernen 100, die von der Einheit zur Bestimmung der Eignung des Lernergebnisses 30 ausgegeben wird. Die Sortierungssteuerungs-Umschalteinheit 32 weist die Steuereinheit 34 an, nicht das automatische Sortieren der zu sortierenden Objekte durch die Sortierungsvorrichtung 70 durchzuführen, wenn bestimmt wird, dass die Eignung des Lernergebnisses des maschinellen Lernens in der Vorrichtung zum maschinellen Lernen 100 nicht mit dem zuvor spezifizierten Kriterium kompatibel ist. Im Gegensatz dazu weist die Sortierungssteuerungs-Umschalteinheit 32 die Steuereinheit 34 an, das automatische Sortieren der zu sortierenden Objekte durch die Sortierungsvorrichtung 70 durchzuführen, wenn bestimmt wird, dass die Eignung des Lernergebnisses des maschinellen Lernens in der Vorrichtung zum maschinellen Lernen 10, das von der Einheit zur Bestimmung der Eignung des Lernergebnisses 30 ausgegeben wird, mit dem zuvor spezifizierten Kriterium kompatibel ist.
Die Sortierungssteuerungs-Umschalteinheit 32 kann konfiguriert sein, um den Arbeiter über die erfolgte Umschaltung unter Verwendung einer Anzeigevorrichtung (nicht gezeigt), Licht auf einem Bedienfeld oder eine Audioausgabe zu informieren, wenn der automatische oder manuelle Sortiermodus der zu sortierenden Objekte umgeschaltet wird.
Die Eignungsbestimmung zu dem Lernergebnis durch die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 und das Umschalten des automatischen Sortierens durch die Sortierungssteuerungs-Umschalteinheit 32 wie oben beschrieben kann wie folgt eingeteilt sein.

• Hervorragende Eignung (nicht unter dem dritten Kriterium): Das automatische Sortieren wird (danach) durchgeführt. Jedoch wird der Lernprozess in der Vorrichtung zum maschinellen Lernen nicht durchgeführt (z. B. in einem Fall, in dem die Sortierung mit ausreichender Genauigkeit abgeschlossen wird).
• Gute Eignung (nicht unter dem ersten Kriterium): Das automatische Sortieren wird (danach) durchgeführt. Der Lernprozess in der Vorrichtung zum maschinellen Lernen wird nachfolgend durchgeführt (um eine hervorragende Eignung zu erreichen).
• Ausstehende Eignung (Zustand zum Zeitpunkt, zu dem das System hochgefahren wird): Das automatische Sortieren wird nicht (danach) durchgeführt. Der Lernprozess in der Vorrichtung zum maschinellen Lernen wird durchgeführt (um eine gute Eignung zu erreichen).
• Schlechte Eignung (nicht über dem fünften Kriterium): Das automatische Sortieren wird nicht (danach) durchgeführt. Der Lernprozess in der Vorrichtung zum maschinellen Lernen wird danach durchgeführt (die bestehenden Lernergebnisse werden verworfen und das erneute Lernen wird neu gestartet, beispielsweise in einem Fall, in dem die Ergebnisse der Sortierung unter Verwendung der Lernergebnisse irrelevant sind).

Die Steuereinheit 34 ist ein funktionales Instrument, das konfiguriert ist, um die Sortierungsvorrichtung 70 zu steuern und Steuerinformationen für das automatische Sortieren der zu sortierenden Objekte zu generieren, wenn die Sortierung der zu sortierenden Objekte durch die Sortierungssteuerungs-Umschalteinheit 32 angewiesen wird. Während die Steuerung des Arbeitsschritts des Sortierens durch die Sortierungsvorrichtung 70 durch die Steuereinheit 34 abhängig von der Art der Sortierungsvorrichtung 70 variiert, werden die Ausgangssteuerung des Sortierungsergebnisses, die Abzweigungssteuerung an der Verteilerweiche des Förderbandes, der Transport durch den Roboter und Ähnliches wie oben beschrieben beispielhaft dargestellt.
Im Gegensatz dazu umfasst die Vorrichtung zum maschinellen Lernen 100, die das Sortiersystem 1 der vorliegenden Ausführungsform darstellt, eine Zustandbeobachtungseinheit 106 und eine Labeldaten-Erfassungseinheit 108. Die Zustandbeobachtungseinheit 106 beobachtet die Zustandsvariablen S, die jeweils den aktuellen Zustand der Umgebungen darstellen und die Messdaten S1 einschließen, die Informationen zu dem Zustand der zu sortierenden Objekte angeben, die durch die Messvorrichtung 60 gemessen werden. Die Labeldaten-Erfassungseinheit 108 erfasst Labeldaten L, einschließlich der Sortierungsergebnisdaten L1, die das Ergebnis der Sortierung der zu sortierenden Objekte angeben, das durch die Eingabevorrichtung 50 eingegeben wird. Die Vorrichtung zum maschinellen Lernen 100 umfasst ferner eine Lerneinheit 110, die konfiguriert ist, um die Sortierungsergebnisdaten L1 in Assoziation mit dem jeweiligen Zustand der zu sortierenden Objekte zu lernen, unter Verwendung der Zustandsvariablen S und der Labeldaten L und einer Ergebnisbestimmungs-Ausgabeeinheit 12, die konfiguriert ist, um das Ergebnis der Bestimmung unter Verwendung eines zuvor trainierten Modells zu bestimmen, basierend auf dem jeweiligen Zustand der zu sortierenden Objekte.
Unter den Zustandsvariablen S, die von der Zustandbeobachtungseinheit 106 in der Vorrichtung zum maschinellen Lernen 100 beobachtet werden, können die Messdaten S1 als ein Set von Informationsteilen erfasst werden, die sich auf den jeweiligen Zustand der zu sortierenden Objekte beziehen, der von der Messvorrichtung 60 gemessen wird. Die Informationsteile, die sich jeweils auf den Zustand der zu sortierenden Objekte beziehen, der von der Messvorrichtung 60 gemessen wird, schließen beispielsweise Form, Farbe, und Mängel ein, die aus Bildern erfasst werden, die das äußere Erscheinungsbild der zu sortierenden Objekte angeben, das Gewicht und die Starrheit der zu sortierenden Objekte, Beschädigungen oder Zersetzung, und Anhaften von Abfall oder Fremdkörpern, wie Erde, Stängel und Blätter. Jedoch kann jeder andere Wert als Informationsteil erfasst werden, der sich auf den jeweiligen Zustand der zu sortierenden Objekte bezieht, unter der Voraussetzung, dass er als Bewertungskriterium für die Sortierung der zu sortierenden Objekte dient.
Die Labeldaten-Erfassungseinheit 108 kann die Sortierungsergebnisdaten L1, die das Ergebnis der Sortierung der zu sortierenden Objekte angeben, das durch die Eingabevorrichtung 50 eingegeben wird, als Labeldaten L verwenden. Mögliche Werte für die Sortierungsergebnisdaten L1 variieren abhängig von dem Zweck der Sortierung. Bei einer Aufteilung in fehlerfreie und fehlerhafte Produkte können beispielsweise zwei Werte genommen werden, ein Label, das das fehlerfreie Produkt angibt, und ein Label, das das fehlerhafte Produkt angibt. Bei der Klassifizierung von Produkten in drei oder mehr Kategorien können Labelwerte (mehrere Werte), die die einzelnen Kategorien angeben, genommen werden. Die Sortierungsergebnisdaten L1 sind ein Index, der das Ergebnis der Bestimmung durch den Arbeiter in Bezug auf die Zustandsvariablen S angibt, die zu den zu sortierenden Objekten erhalten werden.
Die Lerneinheit 110 lernt die Labeldaten L (Sortierungsergebnisdaten L1, die das Ergebnis der Sortierung der zu sortierenden Objekte angeben) in Bezug auf die Zustandsvariablen S (Messdaten S1, die die Information zu dem jeweiligen Zustand der zu sortierenden Objekte angeben) gemäß eines beliebigen Lernalgorithmus, was kollektiv als maschinelles Lernen bezeichnet wird. Die Lerneinheit 110 kann die Korrelation zwischen beispielsweise Bildaufnahmedaten (Bildern), die durch Bilderfassung der zu sortierenden Objekte erhalten werden, deren Zustand in den Zustandsvariablen S eingeschlossen ist, und dem Ergebnis der Sortierung der zu sortierenden Objekte lernen, das in den Labeldaten L eingeschlossen ist.
Die Lerneinheit 110 kann wiederholt den Lernprozess basierend auf dem oben genannten Datenset, das die Zustandsvariablen S und die Labeldaten L einschließt, durchführen. Die Lerneinheit 110 kann automatisch Eigenschaften identifizieren, die die Korrelation zwischen den Informationen (Messdaten S1) zu dem jeweiligen Zustand der zu sortierenden Objekte und dem Ergebnis der Sortierung (Sortierungsergebnisdaten L1) der zu sortierenden Objekte nahelegen, indem ein Lernzyklus wiederholt wird. Auch wenn die Korrelation zwischen den Messdaten S1 und den Sortierungsergebnisdaten L1 zu Beginn des Lernalgorithmus praktisch unbestimmt ist, interpretiert die Lerneinheit 110 die Korrelation durch stufenweises Identifizieren der Eigenschaften mit dem Lernfortschritt. Wenn die Korrelation zwischen den Messdaten S1 und den Sortierungsergebnisdaten L1 zu einem zuverlässigen Level interpretiert wurde, können die Lernergebnisse, die wiederholt durch die Lerneinheit 110 ausgegeben werden, verwendet werden, um zu bestimmen, wie die zu sortierenden Objekte zu sortieren sind, basierend auf dem vorliegenden Zustand (d. h., dem jeweiligen Zustand der zu sortierenden Objekte). Somit kann die Lerneinheit 110 stufenweise die Korrelation zwischen dem jeweiligen Zustand der zu sortierenden Objekte und der Bestimmung der Sortierung der zu sortierenden Objekte mit dem Fortschritt des Lernalgorithmus zu einer optimalen Lösung annähern. Die Lerneinheit 110 kann konfiguriert sein, um die Ausführung des maschinellen Lernens zu stoppen, wenn die Vorrichtung zum maschinellen Lernen 100 durch die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 angewiesen wird, den Lernprozess zu stoppen.
Die Ergebnisbestimmungs-Ausgabeeinheit 122 führt die Bestimmung der Sortierung der zu sortierenden Objekte in Bezug auf ihren Zustand durch, basierend auf dem Ergebnis des Lernprozesses durch die Lerneinheit 110, und gibt das Ergebnis der Bestimmung an die Einheit zur Bestimmung der Eignung des Lernergebnisses 30 aus. Mögliche Werte für das Ergebnis der Bestimmung der Sortierung der zu sortierenden Objekte, die von der Ergebnisbestimmungs-Ausgabeeinheit 122 ausgegeben werden, schwanken abhängig von dem Zweck der Sortierung. Bei der Aufteilung in fehlerfreie und fehlerhafte Produkte kann beispielsweise ein Label ein fehlerfreies Produkt angeben und ein Label ein fehlerhaftes Produkt angeben. Bei der Klassifizierung von Produkten in drei oder mehr Kategorien können Labelwerte (mehrere Werte) ausgegeben werden, die die individuellen Kategorien angeben. Das Ergebnis der Bestimmung durch die Ergebnisbestimmungs-Ausgabeeinheit 122 kann beispielsweise an eine Anzeigevorrichtung (nicht gezeigt) für die Sortierungsvorrichtung 70 oder eine Anzeigevorrichtung (nicht gezeigt) für die Steuervorrichtung 2 ausgegeben werden, ungeachtet der Eignungsbestimmung zum Lernergebnis durch die Einheit zur Bestimmung der Eignung des Lernergebnisses 30. Dabei wird die Anzeige bevorzugt so erstellt, dass sie von der Anzeige für das automatische Sortieren durch die Steuereinheit 34 klar zu unterscheiden ist.
Als eine Modifikation der Vorrichtung zum maschinellen Lernen 100 in dem Sortiersystem 1 kann die Zustandbeobachtungseinheit 106 konfiguriert sein, um mit dem Sortieren verbundene Informationen S2 zu beobachten, die zusätzliche Informationen zur Sortierung angeben, zusätzlich zu den Messdaten S1. Beispielsweise können die mit dem Sortieren verbundenen Informationen S2 ein Wert sein, der einen Teil eines Bildbereichs angibt, der als Basis für die Sortierung dient, in einem Fall, in dem die Messdaten S1 Bildaufnahmedaten sind.
Alternativ können die mit dem Sortieren verbundene Informationen S2 ein Wert sein, der die Temperatur einer externen Umgebung wie der Plattform oder der Außenluft angibt, in einem Fall, in dem die Messdaten S1 Temperaturdaten sind. Es kann erwartet werden, dass die mit dem Sortieren verbundenen Informationen S2 durch Analysieren der Messdaten erhalten werden, die durch die Messvorrichtung 60 gemessen werden, oder manuell durch die Eingabevorrichtung 50 eingegeben werden.
Nach der oben aufgeführten Modifizierung kann die Vorrichtung zum maschinellen Lernen 100 die Korrelation der Sortierungsergebnisdaten L1 mit den Messdaten S1 und den mit dem Sortieren verbundenen Informationen S2 lernen, die zusätzliche Informationen zur Sortierung angeben, so dass ein Sortierungsbestimmungsergebnis mit höherer Genauigkeit ausgegeben werden kann.
In der Vorrichtung zum maschinellen Lernen 100, die die oben genannte Struktur aufweist, ist der Lernalgorithmus, der durch die Lerneinheit 110 ausgeführt wird, nicht besonders eingeschränkt, und ein konventioneller Lernalgorithmus kann für das maschinelle Lernen verwendet werden.
3 zeigt eine Struktur, die auf einer anderen Ausführungsform des Sortiersystems 1 basiert, die in 2 gezeigt wird, worin die Lerneinheit 110 überwachtes Lernen als ein weiteres Beispiel des Lernalgorithmus ausführt. Das überwachte Lernen ist ein Verfahren, in dem bekannte Datensets (Lehrerdaten genannt), die diese entsprechenden Eingaben und Ausgaben einschließen, gegeben sind, und Eigenschaften, die die Korrelationen zwischen den Eingaben und den Ausgaben suggerieren, werden durch diese Lehrerdaten identifiziert, wodurch ein Korrelationsmodell zum Schätzen einer für eine neue Eingabe erforderliche Ausgabe erlernt wird.
In der Vorrichtung zum maschinellen Lernen 100 des Sortiersystems 1, die in 3 gezeigt wird, umfasst die Lerneinheit 110 eine Fehlerberechnungseinheit 112 und eine Modellaktualisierungseinheit 114. Die Fehlerberechnungseinheit 112 berechnet Fehler E zwischen einem Korrelationsmodell M, das die Sortierung der zu sortierenden Objekte nach ihrem jeweiligen Zustand bestimmt, basierend auf den Zustandsvariablen S und einer Korrelationseigenschaft, die durch Lehrerdaten T identifiziert wird, die aus dem Ergebnis der Sortierung durch den Arbeiter der zu sortierenden Objekts erhalten werden. Die Modellaktualisierungseinheit 114 aktualisiert das Korrelationsmodell M, so dass der Fehler E reduziert wird. Die Lerneinheit 110 erlernt die Bestimmung der Sortierung der zu sortierenden Objekte in Bezug auf ihren jeweiligen Zustand, wodurch veranlasst wird, dass die Modellaktualisierungseinheit 114 die Aktualisierung des Korrelationsmodells M wiederholt.
Ein ursprünglicher Wert des Korrelationsmodells M wird beispielsweise als eine vereinfachte Darstellung (z. B. lineare Funktion) der Korrelationen zwischen den Zustandsvariablen S und dem Ergebnis der Sortierung der zu sortierenden Objekte der Lerneinheit 110 vor dem Beginn des überwachten Lernens angegeben. In der vorliegenden Erfindung können die Lehrerdaten T aus Erfahrungswerten zusammengesetzt sein, die aus dem Ergebnis der Sortierung des Arbeiters der zu sortierenden Objekte erhalten werden, und werden der Lerneinheit 110 gegebenenfalls in einem frühen Stadium des Arbeitsschritts angegeben. Die Fehlerberechnungseinheit 112 identifiziert die Korrelationseigenschaften, die die Korrelation zwischen dem jeweiligen Zustand der zu sortierenden Objekte und dem Ergebnis ihrer Sortierung suggerieren, aus den Lehrerdaten T, die der Lerneinheit 110 nach Erfordernis angegeben werden. Dann erhält die Fehlerberechnungseinheit 112 die Fehler E zwischen den Korrelationseigenschaften und dem Korrelationsmodell M, das den Zustandsvariablen S in dem aktuellen Zustand und den Labeldaten L entspricht. Die Modellaktualisierungseinheit 114 aktualisiert das Korrelationsmodell M, so dass die Fehler E beispielsweise gemäß einer vorbestimmten Aktualisierungsregel aktualisiert werden.
In dem nächsten Lernzyklus bestimmt die Fehlerberechnungseinheit 112 die Sortierung der zu sortierenden Objekte unter Verwendung der Zustandsvariablen S gemäß dem aktualisierten Korrelationsmodell M und erhält die Fehler E zwischen dem Ergebnis dieser Bestimmung und den tatsächlich erhaltenen Labeldaten L. Dann aktualisiert die Modellaktualisierungseinheit 114 das Korrelationsmodell M erneut. Auf diese Weise wird die Korrelation zwischen dem aktuellen Zustand der Umgebung, der bislang unbekannt war, und der Vorhersage davon stufenweise klarer.
Ein neuronales Netzwerk kann verwendet werden, um das oben aufgeführte überwachte Lernen zu verbessern.
4A zeigt schematisch ein Modell eines Neurons. 4B zeigt schematisch ein Modell eines dreischichtigen neuronalen Netzwerks, das durch Kombinieren der in 4A gezeigten Neuronen aufgebaut wurde. Das neuronale Netzwerk kann beispielsweise aus einer arithmetischen Einheit oder einer Speichervorrichtung bestehen, die das Neuronenmodell imitiert.
Das in 4A gezeigte Neuron gibt Ergebnisse y aus einer Vielzahl von Eingaben x (z. B. Eingaben x₁ bis x₃) an. Die Eingaben x₁ bis x₃ werden mit ihrem entsprechenden Gewicht w (w₁ bis w₃) multipliziert. So liefert das Neuron die Ausgaben y, die durch die folgende Formel dargestellt werden. Die Eingaben x, Ausgaben y und Gewichte w sind alle Vektoren. Der Buchstabe θ zeigt eine Tendenz an. Ferner zeigt f_k eine Aktivierungsfunktion an. $y = f_{k} (\sum_{i = 1}^{n} x_{i} w_{i} - θ)$
In dem dreischichtigen neuronalen Netzwerk, das in 4B gezeigt wird, wird eine Vielzahl von Eingaben x (z. B. Eingaben x1 bis x3) von der linken Seite eingegeben, und Ergebnisse y (z. B. Ergebnisse y1 bis y3) werden von der rechten Seite ausgegeben. In dem dargestellten Beispiel werden die individuellen Eingaben x1, x2 und x3 mit ihrem entsprechenden Gewicht (kollektiv dargestellt durch w1) multipliziert, und jedes davon wird in drei Neuronen N11, N12 und N13 eingegeben.
In 4B werden die jeweiligen Ausgaben der Neuronen N11 bis N13 kollektiv durch z1 dargestellt. Die Ausgaben z1 können als Merkmalvektoren angesehen werden, basierend auf der Extraktion der Merkmalsmenge der Eingangsvektoren. In dem dargestellten Beispiel werden die individuellen Merkmalvektoren z1 mit ihren entsprechenden Gewichten (kollektiv dargestellt durch w2) multipliziert, und jeder von ihnen wird in zwei Neuronen N21 und N22 eingegeben. Die Merkmalvektoren z1 stellen Merkmale zwischen den Gewichten w1 und w2 dar.
In 4B werden die jeweiligen Ausgaben der Neuronen N21 und N22 kollektiv durch z2 dargestellt. Die Ausgaben z2 können als Merkmalvektoren angesehen werden, basierend auf der Extraktion der Merkmalmenge der Merkmalvektoren z1. In dem dargestellten Beispiel werden die individuellen Merkmalvektoren z2 mit ihren entsprechenden Gewichten (kollektiv dargestellt durch w3) multipliziert, und jeder von ihnen wird in drei Neuronen N31, N32 und N33 eingegeben. Die Merkmalvektoren z2 stellen Merkmale zwischen den Gewichten w2 und w3 dar. Schließlich geben die Neuronen N31 bis N33 jeweils die Ergebnisse y1 bis y3 aus.
Das sogenannte Deep Learning-Verfahren kann basierend auf einem neuronalen Netzwerk aus drei oder mehr Schichten verwendet werden.
In der Vorrichtung zum maschinellen Lernen 100 in dem Sortiersystem 1 kann die Bestimmung der Sortierung (Ergebnisse y) für den jeweiligen Zustand der zu sortierenden Objekte ausgegeben werden, indem die Lerneinheit 110 veranlasst wird, eine Berechnung einer mehrschichtigen Struktur basierend auf dem oben genannten neuronalen Netzwerk mit den Zustandsvariablen S als den Eingaben x durchzuführen. Die Betriebsmodi des neuronalen Netzwerks schließen einen Lernmodus und einen Wertvorhersagemodus ein. Beispielsweise können die Gewichte w unter Verwendung eines Lerndatensets in dem Lernmodus erlernt werden, während der Wert eines Verhaltens in dem Wertvorhersagemodus unter Verwendung der erlernten Gewichte w bestimmt werden kann. Die Erfassung, Klassifizierung, Inferenz und Ähnliches kann ebenso in dem Wertvorhersagemodus durchgeführt werden.
Die oben genannte Struktur der Vorrichtung zum maschinellen Lernen 100 kann als Verfahren zum maschinellen Lernen (oder Software) verwendet werden, die durch den Prozessor 101 ausgeführt wird. Dieses Verfahren zum maschinellen Lernen ist ein Verfahren zum Erlernen der Bestimmung der Sortierung der zu sortierenden Objekte in Bezug auf ihren jeweiligen Zustand und umfasst einen Schritt, in dem der Prozessor 101 die Messdaten S1 beobachtet, die Informationen zu dem jeweiligen Zustand der zu sortierenden Objekte angeben, wie die Zustandsvariablen S, die den aktuellen Zustand darstellen, einen Schritt des Erfassens der Sortierungsergebnisdaten L1, die die Ergebnisse der Sortierung der zu sortierenden Objekte als die Labeldaten L angeben, und einen Schritt des Erlernens der Messdaten S1 und der Ergebnisse der Sortierung der zu sortierenden Objekte in Assoziation miteinander unter Verwendung der Zustandsvariablen S und der Labeldaten L.
Ein vortrainiertes Modell, das durch Erlernen durch die Lerneinheit 110 in der Vorrichtung zum maschinellen Lernen 100 erhalten wird, kann als Programmmodul verwendet werden, das ein Teil von Software ist, die sich auf das maschinelle Lernen bezieht. Das vortrainierte Modell nach der vorliegenden Erfindung kann in einem Computer verwendet werden, der mit einem Prozessor, wie einer CPU und einer GPU (Grafik-Prozessoreinheit), und einem Speicher bereitgestellt wird. Spezifischer arbeitet der Prozessor in dem Computer so, dass er die Berechnung mit dem jeweiligen Zustand der zu sortierenden Objekte als Eingaben durchführt, gemäß einem Befehl von dem vortrainierten Modell, das in dem Speicher gespeichert ist, und das Sortierungsergebnis der zu sortierenden Objekte in Bezug auf ihren jeweiligen Zustand basierend auf dem Ergebnis der Berechnung ausgibt. Das vortrainierte Modell nach der vorliegenden Erfindung kann kopiert und durch externe Speichermedien, Netzwerke und Ähnliches für andere Computer verwendet werden.
Ferner kann, wenn das vortrainierte Modell nach der vorliegenden Erfindung kopiert und für andere Computer in einer neuen Umgebung verwendet wird, es ebenso dazu veranlasst werden, einen weiteren Lernprozess basierend auf neuen Zustandsvariablen und Bestimmungsdaten durchzuführen, die es in dieser Umgebung erhält. Wenn dieser weitere Lernprozess erlernt wurde, kann das vortrainierte Modell (nachfolgend das abgeleitete Modell genannt), das von dem vortrainierten Modell aufgrund der Umgebung abgeleitet wurde, erhalten werden. Während das abgeleitete Modell der vorliegenden Erfindung dem originalen vortrainierten Modell dahingehend ähnelt, dass es des Bestimmungsergebnisses der Sortierung der zu sortierenden Objekte in Bezug auf ihren jeweiligen Zustand ausgibt, unterscheidet es sich von dem originalen vortrainierten Modell darin, dass es ein Ergebnis ausgibt, das mit einer neueren Umgebung (neueren zu sortierenden Objekten) kompatibel ist. Dieses abgeleitete Modell kann ebenso kopiert und für andere Computer über externe Speichermedien, Netzwerken und Ähnlichem verwendet werden.
Des Weiteren ist es ebenso möglich, ein vortrainiertes Modell (nachfolgend Destillationsmodell genannt) zu erstellen und zu verwenden, das dadurch erhalten wird, dass der Lernprozess in einer anderen Vorrichtung zum maschinellen Lernen von Anfang an gestartet wird, unter Verwendung einer(s) Ausgabe (-werts), die (das) für eine Eingabe (Bestimmung der Sortierung in dem vorbestimmten jeweiligen Zustand der zu sortierenden Objekte) in die Vorrichtung zum maschinellen Lernen erhalten wird, in der das vortrainierte Modell der vorliegenden Erfindung eingebunden ist (dieser Lernprozess wird als Destillation bezeichnet). In Verbindung mit der Destillation werden das ursprüngliche vortrainierte Modell und das neu erstellte Destillationsmodell ebenso jeweils als Lehrermodell und Schülermodell bezeichnet. Im Allgemeinen weist das Destillationsmodell eine kleinere Größe als das ursprüngliche vortrainierte Modell auf und kann dennoch eine Genauigkeit bereitstellen, die zu der des originalen vortrainierten Modells gleichwertig ist, so dass es besser für eine Verteilung auf Computer durch externe Speichermedien Netzwerke und Ähnliches geeignet ist.
5 zeigt eine Ausführungsform, in der ein Bild der zu sortierenden Objekte 80, die auf einer Plattform 82 platziert wurden, unter Verwendung eines visuellen Sensors als Messvorrichtung 60 erstellt wird, und das Ergebnis der Bestimmung, ob jedes der Objekte 80 ein fehlerfreies Produkt 80a oder ein fehlerhaftes Produkt 80b ist, wird auf der Anzeigevorrichtung als Sortierungsvorrichtung 70 angezeigt. Im ersten Stadium der Sortierarbeit nimmt der Arbeiter 86 ein Bild der Objekte 80 unter Verwendung der Messvorrichtung 60 auf und gibt ferner das Ergebnis ein, so dass die Objekte 80 in fehlerfreie Produkte 80a und fehlerhafte Produkte 80b sortiert werden, mittels der Eingabevorrichtung 50. Die Vorrichtung zum maschinellen Lernen 100 in der Steuervorrichtung 2 führt das maschinelle Lernen basierend auf den Bilderfassungsdaten (Messdaten S1) aus, die durch die Messvorrichtung 60 aufgenommen werden, und auf dem Ergebnis der Sortierung (Sortierungsergebnisdaten L1) der Objekte 80, das durch die Eingabevorrichtung 50 eingegeben wird. Wenn die Genauigkeit des Lernens erhöht wird, wird eine Nachricht, die besagt, dass die Sortierung von nun an automatisch durchgeführt wird, an der Sortierungsvorrichtung 70 angezeigt. Danach kann die Sortierungsvorrichtung 70 das Sortierungsergebnis anzeigen, ob jedes der Objekte 80 ein fehlerfreies Produkt 80a oder ein fehlerhaftes Produkt 80b ist oder nicht, wenn der Arbeiter 86 nur die Objekte 80 unter Verwendung der Messvorrichtung 60 misst.
In der in 5 gezeigten Ausführungsform kann der visuelle Sensor als Messvorrichtung 60 auf einem beweglichen Teil installiert sein, wie der Hand eines Roboters. Alternativ kann die Roboterhand oder ein anderes bewegliches Teil verwendet werden, jedes zu sortierende Objekt 80 zu halten und zu bewegen. Ferner können eine Vielzahl von Objekten 80 gleichzeitig angeordnet sein und Bilder davon aufgenommen werden. In diesem Fall sollte der Arbeiter nur Schnittstellen bereitstellen, durch die die Ergebnisse der Sortierung individuell für die Objekte 80 eingegeben werden, und die Steuervorrichtung 2 sollte getrennt jedes einzelne Objekt 80 aus einem erfassten Bild analysieren und das für jedes Objekt 80 bestimmte Sortierungsergebnis ausgeben. Des Weiteren kann das Eingangsbild, das durch den visuellen Sensor als Messvorrichtung 60 erfasst wird, ein zweidimensionales Farbbild sein, ein zweidimensionales Graustufenbild, ein Entfernungsbild, eine dreidimensionale Punktgruppe oder ein Video davon.
Ferner kann, nachdem die Eignung des Lernergebnisses als kompatibel mit dem zuvor spezifizierten Kriterium in dem Sortiersystem 1 bestimmt wurde, das in 5 bildlich dargestellt wird, der Roboter als Sortierungsvorrichtung 70 mit der Steuervorrichtung 2 verbunden sein, so dass die Sortierungsvorrichtung 70 (der Roboter) das automatische Sortieren unter der Steuerung der Steuervorrichtung 2 durchführen kann, wie in 6 gezeigt.
Während die Ausführungsform der vorliegenden Erfindung oben beschrieben wurde, ist die Erfindung nicht auf die oben beschriebene Ausführungsform beschränkt und kann auf geeignete Weise modifiziert und in verschiedenen Aspekten umgesetzt werden.
Beispielsweise sind der Lernalgorithmus, der durch die Vorrichtung zum maschinellen Lernen 100 ausgeführt wird, der Berechnungsalgorithmus, der durch die Vorrichtung zum maschinellen Lernen 100 ausgeführt wird, der Steueralgorithmus, der durch die Steuervorrichtung 2 durchgeführt wird, und Ähnliches nicht auf die oben beschriebenen beschränkt. Verschiedene andere Algorithmen können ebenso zu diesem Zweck verwendet werden.
Ferner werden in Verbindung mit der oben genannten Ausführungsform die Steuervorrichtung 2 und die Vorrichtung zum maschinellen Lernen 100 so beschrieben, dass sie unterschiedliche CPUs (Prozessoren) aufweisen. Alternativ kann jedoch die Vorrichtung zum maschinellen Lernen 100 basierend auf der CPU 11 in der Steuervorrichtung 2 und des Systemprogrammen, die in dem ROM 12 gespeichert sind, umgesetzt werden.
Des Weiteren wird in Verbindung mit der oben genannten Ausführungsform die Vorrichtung zum maschinellen Lernen 100 so bildlich dargestellt, dass sie auf der Steuervorrichtung 2 angeordnet ist. Alternativ kann die Vorrichtung zum maschinellen Lernen 100 jedoch so konfiguriert sein, dass sie sich in einem Cloud-Server oder Ähnlichem befindet, der in einem Netzwerk bereitgestellt wird. Ferner kann die vorliegende Erfindung ebenso umgesetzt werden, indem eine Selbstregelung oder ein Host-Controller mit den Funktionen der Einheit zur Bestimmung der Eignung des Lernergebnisses 30 und der Sortierungssteuerungs-Umschalteinheit 32 in der Steuervorrichtung 2 bereitgestellt und die Steuereinheit 34 auf der Sortierungsvorrichtung 70 oder einer Steuervorrichtung zum Steuern der Sortierungsvorrichtung 70 angeordnet wird.

Claims

Sortiersystem (1), konfiguriert, um Steuerinformationen zu generieren, die ein zu sortierendes Objekt, basierend auf Messdaten, die durch Messen eines Zustands des zu sortierenden Objekts mit einer Messvorrichtung erhalten werden, sortieren, wobei das Sortiersystem (1) umfasst: eine Eingabevorrichtung (50), die konfiguriert ist, um durch einen Arbeiter Sortierungsdaten einzugeben, die ein Ergebnis der Sortierung des zu sortierenden Objekts angeben; eine Vorrichtung zum maschinellen Lernen (100), die konfiguriert ist, um die Sortierungsdaten zu erlernen, die den Messdaten entsprechen; eine Einheit zur Bestimmung der Eignung des Lernergebnisses (30), die konfiguriert ist, um eine Eignung des Ergebnisses des Lernens der Vorrichtung zum maschinellen Lernen (100) zu bestimmen, basierend auf dem Ergebnis des Sortierens des zu sortierenden Objekts, das mittels der Eingabevorrichtung (50) eingegeben wird, und einem Ergebnis der Sortierung des zu sortierenden Objekts, das unter Verwendung des Lernergebnisses der Vorrichtung zum maschinellen Lernen (100) bestimmt wird; eine Sortierungssteuerungs-Umschalteinheit (32), die konfiguriert ist, um den Modus des Sortierungsbetriebs für das zu sortierende Objekt umzuschalten, basierend auf dem Ergebnis der Bestimmung durch die Einheit zur Bestimmung der Eignung des Lernergebnisses (30); und eine Steuereinheit (34), die konfiguriert ist, um Steuerung der Informationen zur Sortierung des zu sortierenden Objekts zu generieren, wobei die Sortierungssteuerungs-Umschalteinheit (32) den Betrieb der Steuereinheit (34) umschaltet, so dass automatisches Sortieren des zu sortierenden Objekts durchgeführt wird, wenn die Eignung des Lernergebnisses durch die Vorrichtung zum maschinellen Lernen (100) mit einem zuvor spezifizierten Kriterium kompatibel ist, und die Sortierungssteuerungs-Umschalteinheit (32) den Betrieb der Steuereinheit (34) umschaltet, so dass nicht das automatische Sortieren des zu sortierenden Objekts durchgeführt wird, wenn die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen (100) nicht mit dem zuvor spezifizierten Kriterium kompatibel ist, dadurch gekennzeichnet, dass die Einheit zur Bestimmung der Eignung des Lernergebnisses (30) die Vorrichtung zum maschinellen Lernen (100) anweist, den Lernprozess zu stoppen, wenn das Ergebnis der statistischen Verarbeitung basierend auf dem Ergebnis der Sortierung des zu sortierenden Objekts, das durch die Eingabevorrichtung (50) eingegeben wird, und dem Lernergebnis der Vorrichtung zum maschinellen Lernen (100) nicht unter einem vorbestimmten dritten Kriterium liegt.
Sortiersystem (1) nach Anspruch 1, wobei die Einheit zur Bestimmung der Eignung des Lernergebnisses bestimmt, dass die Eignung des Lernergebnisses der Vorrichtung zum maschinellen Lernen (100) mit dem zuvor spezifizierten Kriterium kompatibel ist, wenn das Ergebnis der statistischen Verarbeitung basierend auf dem Ergebnis der Sortierung des zu sortierenden Objekts, das durch die Eingabevorrichtung (50) eingegeben wird, und dem Lernergebnis der Vorrichtung zum maschinellen Lernen (100) nicht unter einem vorbestimmten ersten Kriterium liegt.
Sortiersystem (1) nach einem der Ansprüche 1 oder 2, wobei die Einheit zur Bestimmung der Eignung des Lernergebnisses (30) die Vorrichtung zum maschinellen Lernen (100) anweist, das bisher erhaltene Lernergebnis zu verwerfen und den Lernprozess neu zu starten, wenn das Ergebnis der statistischen Verarbeitung basierend auf dem Ergebnis der Sortierung des zu sortierenden Objekts, das durch die Eingabevorrichtung (50) eingegeben wird und dem Lernergebnis der Vorrichtung zum maschinellen Lernen (100) nicht über einem vorbestimmten fünften Kriterium liegt.
Sortiersystem (1) nach einem der Ansprüche 1 bis 3, wobei die Vorrichtung zum maschinellen Lernen (100) ferner in der Lage ist, mit der Sortierung verbundene Informationen zu berücksichtigen, die die Sortierung des zu sortierenden Objekts ergänzen, zusätzlich zu den Messdaten, und die Vorrichtung zum maschinellen Lernen (100) die Sortierungsdaten erlernt, die sowohl den Messdaten als auch den mit der Sortierung verbundenen Information entsprechen.