-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft eine maschinell lernende Vorrichtung und ein maschinell lernendes System.
-
HINTERGRUND
-
Üblicherweise wird in einem Robotersystem maschinelles Lernen unter Verwendung eines Lernenden, wie z. B. eines tiefen neuronalen Netzes, als Methode zur Erkennung und Untersuchung eines Objekts anhand von in einem Bild erfassten Merkmalen verwendet. In einem System, das ein solches maschinelles Lernen, wie oben beschrieben, verwendet, wird vor der Durchführung des Lernens eine Beschriftung durchgeführt, die anzeigt, ob es eine Anomalie in einem Bild gibt und ob beispielsweise eine Erkennungsposition korrekt ist, und die den Bilddaten zugeordnet wird. Die Beschriftung wird so durchgeführt, dass eine Person jedes Bild einzeln visuell überprüft, um festzustellen, ob ein Objekt im Bild eine Anomalie aufweist.
-
Hier ist zu beachten, dass ein Paar aus einem Bild und einem Etikett einen Teil der Lerndaten darstellt, und eine Sammlung solcher Lerndaten einen Lerndatensatz. Dann verwendet der Lernende alle oder einige der Lerndatensätze, um maschinelles Lernen durchzuführen (siehe z.B. Patentdokumente 1 und 2).
- Patentdokument 1: Ungeprüfte japanische Patentanmeldung, Veröffentlichung Nr. JP 2019-15654 A
- Patentdokument 2: Ungeprüfte japanische Patentanmeldung, Veröffentlichung Nr. JP 2018-151843 A
-
OFFENBARUNG DER ERFINDUNG
-
Durch die Erfindung zu lösende Probleme
-
Es ist hier zu beachten, dass es den Fall gibt, dass beim Lernen nur ein Teil einer Bilddatei verwendet wird. Wenn in einem solchen Fall bei jedem Lernvorgang alle Bilder gelesen werden, kann sich der Lernvorgang über einen längeren Zeitraum hinziehen. Außerdem kann das Beibehalten aller Bilder zu einer Vergrößerung des Lerndatensatzes führen. Es ist daher erforderlich, die Größe der Lerndaten zu reduzieren, um ein schnelles Lernen zu ermöglichen.
-
Mittel zur Lösung der Probleme
-
Eine Maschinenlernvorrichtung gemäß der vorliegenden Offenbarung beinhaltet: eine Maschinenlerneinheit, die so konfiguriert ist, dass sie ein Lernen von Lerndaten durchführt, die Bilder und den Bildern zugewiesene Kennzeichnungen enthalten; eine Bildverarbeitungseinheit, die so konfiguriert ist, dass sie eine Bildverarbeitung an den Bildern unter Verwendung eines Bildverarbeitungsprogramms durchführt; eine Erzeugungseinheit für Lerndaten kleiner Größe, die so konfiguriert ist, dass sie von jedem der Bilder ein Teilbild abschneidet, das für das Erlernen durch die Maschinenlerneinheit verwendet werden soll, und Lerndaten kleiner Größe erzeugt, die die Teilbilder enthalten; und eine Lerndatensteuereinheit, die so konfiguriert ist, dass sie die Lerndaten kleiner Größe in Verbindung mit dem Bildverarbeitungsprogramm speichert. Die Maschinenlerneinheit führt das Erlernen der Lerndaten oder der Lerndaten kleiner Größe durch.
-
Eine Vorrichtung zum Maschinenlernen gemäß der vorliegenden Offenbarung beinhaltet: eine Maschinenlerneinheit, die so konfiguriert ist, dass sie ein Lernen von Lerndaten durchführt, die Bilder und den Bildern zugewiesene Kennzeichnungen enthalten; eine Bildverarbeitungseinheit, die so konfiguriert ist, dass sie eine Bildverarbeitung an den Bildern unter Verwendung eines Bildverarbeitungsprogramms durchführt; eine Einheit zur Erzeugung von Lerndaten kleiner Größe, die so konfiguriert ist, dass sie von jedem der Bilder ein Teilbild abschneidet, das für das Lernen durch die Maschinenlerneinheit verwendet werden soll, und dass sie Lerndaten kleiner Größe erzeugt, die die Teilbilder enthalten; und eine Lerndaten-Steuereinheit, die so konfiguriert ist, dass sie ein Lernmodell, das zur Durchführung des Erlernens der Lerndaten verwendet wird, und ein Lernmodell kleiner Größe, das zur Durchführung des Lernens der Lerndaten kleiner Größe verwendet wird, in Verbindung miteinander speichert. Die Maschinenlerneinheit führt das Erlernen der Lerndaten oder der Lerndaten kleiner Größe durch.
-
Ein Maschinenlernsystem beinhaltet eine Vielzahl von Maschinenlernvorrichtungen gemäß der vorliegenden Offenbarung, wobei die Maschinenlerneinheiten, die jeweils die Vielzahl von Maschinenlernvorrichtungen beinhalten, ein gemeinsames Lernmodell verwenden und die Maschinenlerneinheiten, die jeweils die Vielzahl von Maschinenlernvorrichtungen beinhalten, das Lernen für das gemeinsame Lernmodell durchführen.
-
Ein Maschinenlernsystem enthält eine Vielzahl von Maschinenlernvorrichtungen gemäß der vorliegenden Offenbarung, in der die Maschinenlerneinheiten, die jeweils die Vielzahl von Maschinenlernvorrichtungen enthalten, Lerndaten kleiner Größe gemeinsam nutzen, und die Maschinenlerneinheiten, die jeweils die Vielzahl von Maschinenlernvorrichtungen enthalten, ein Lernen unter Verwendung der gemeinsam genutzten Lerndaten kleiner Größe durchführen.
-
Wirkungen der Erfindung
-
Gemäß der vorliegenden Erfindung ist es möglich, die Größe der Lerndaten zu reduzieren, um schnelles Lernen zu ermöglichen.
-
Figurenliste
-
- 1 ist eine Ansicht, die den Umriss eines Bildverarbeitungssystems zeigt, in dem eine Maschinenlernvorrichtung gemäß einer Ausführungsform eingesetzt wird;
- 2 ist eine Ansicht, die einen Umriss eines Robotersystems zeigt, auf das die Maschinenlernvorrichtung gemäß der vorliegenden Ausführungsform angewendet wird;
- 3 ist eine Ansicht, die eine Konfiguration der Maschinenlernvorrichtung zeigt;
- ist eine Ansicht, die ein Beispiel für die Zuweisung eines Etiketts zu einem Detektionsergebnis zeigt;
- 5 ist eine Ansicht, die ein Beispiel für die Extraktion eines Teilbildes zeigt; und
- 6 ist ein Flussdiagramm, das einen Fluss der Verarbeitung unter Verwendung kleiner Lerndaten in der Maschinenlernvorrichtung illustriert.
-
BEVORZUGTE AUSFÜHRUNGSFORM DER ERFINDUNG
-
Ein Beispiel für eine Ausführungsform der vorliegenden Erfindung wird nun hier beschrieben. 1 ist eine Ansicht, die einen Umriss eines Bildverarbeitungssystems 100 zeigt, auf das eine Maschinenlernvorrichtung 10 gemäß der vorliegenden Ausführungsform angewendet wird. Wie in 1 illustriert, beinhaltet das Bildverarbeitungssystem 100 eine Bildverarbeitungsvorrichtung 1, ein Objekt 2, einen visuellen Sensor 3 und eine Werkbank 4.
-
Das Bildverarbeitungssystem 100 ist so konfiguriert, dass der visuelle Sensor 3 ein Bild des auf der Werkbank 4 angeordneten Objekts 2 aufnehmen kann und die Bildverarbeitungsvorrichtung 1 die Daten des aufgenommen Bildes verarbeiten kann. Darüber hinaus enthält die Bildverarbeitungsvorrichtung 1 die Maschinenlernvorrichtung 10. Die Maschinenlernvorrichtung 10 ist so konfiguriert, dass sie ein Lernmodell verwendet, um das Lernen eines Lerndatensatzes durchzuführen, der einen oder mehrere Teile von Lerndaten enthält, die Bilder und Beschriftungen enthalten.
-
2 ist eine Ansicht, die einen Umriss eines Robotersystems 200 zeigt, auf das die Maschinenlernvorrichtung 10 gemäß der vorliegenden Ausführungsform angewendet wird. Wie in 2 dargestellt, umfasst das Robotersystem 200 die Bildverarbeitungsvorrichtung 1, das Objekt 2, den visuellen Sensor 3, die Werkbank 4, einen Roboter 20 und eine Robotersteuerungsvorrichtung 25.
-
An einem distalen Ende eines Arms 21 des Roboters 20 ist eine Hand oder ein Werkzeug angebracht. Unter der Kontrolle der Robotersteuerungsvorrichtung 25 führt der Roboter 20 eine Aufgabe, wie z.B. die Handhabung oder Bearbeitung des Objekts 2, aus. Außerdem ist der visuelle Sensor 3 am distalen Ende des Arms 21 des Roboters 20 angebracht. Es ist zu beachten, dass der visuelle Sensor 3 nicht am Roboter 20 angebracht sein muss, sondern z.B. fest an einer vorgegebenen Position installiert sein kann.
-
Unter der Steuerung der Bildverarbeitungsvorrichtung 1 nimmt der visuelle Sensor 3 ein Bild des Objekts 2 auf. Für den visuellen Sensor 3 kann z.B. eine zweidimensionale Kamera mit einem Bildelement, das aus einem CCD-Bildsensor (Charge coupled device) und einem optischen System mit Linsen besteht, oder eine Stereokamera für dreidimensionale Messungen verwendet werden.
-
Die Robotersteuerungsvorrichtung 25 ist so konfiguriert, dass sie ein Roboterprogramm für den Roboter 20 ausführt, um den Betrieb des Roboters 20 zu steuern. Zu diesem Zeitpunkt kompensiert die Robotersteuerungsvorrichtung 25 den Betrieb des Roboters 20 in Bezug auf eine Position des Objekts 2, die von der Bildverarbeitungsvorrichtung 1 erfasst wird, damit der Roboter 20 eine vorbestimmte Aufgabe ausführen kann.
-
Des Weiteren umfasst die Bildverarbeitungsvorrichtung 1, ähnlich wie in 1, die Vorrichtung für maschinelles Lernen 10. Die Maschinenlernvorrichtung 10 ist so konfiguriert, dass sie ein Lernmodell verwendet, um das Lernen eines Lerndatensatzes durchzuführen, der einen oder mehrere Teile von Lerndaten enthält, die Bilder und Beschriftungen enthalten.
-
3 ist eine Ansicht, die eine Konfiguration der Maschinenlernvorrichtung 10 zeigt. Die Maschinenlernvorrichtung 10 ist eine Vorrichtung zur Durchführung von maschinellem Lernen für den Roboter 20. Die Maschinenlernvorrichtung 10 umfasst eine Steuereinheit 11 und eine Speichereinheit 12.
-
Die Steuereinheit 11 ist ein Prozessor, z.B. eine Zentraleinheit (CPU), und ist so konfiguriert, dass sie in der Speichereinheit 12 gespeicherte Programme ausführt, um verschiedene Funktionen zu erreichen.
-
Die Steuereinheit 11 enthält eine Lehreinheit 111, eine Objektdetektionseinheit 112, eine Kennzeichnungszuweisungseinheit 113, eine Bildverarbeitungseinheit 114, eine Maschinenlerneinheit 115, eine Einheit zur Erzeugung von Lerndaten kleiner Größe 116, eine Lerndatensteuereinheit 117 und eine Anzeigesteuereinheit 118.
-
Die Speichereinheit 12 stellt eine Speichervorrichtung dar, die beispielsweise einen Festwertspeicher (ROM), der ein Betriebssystem (OS), Anwendungsprogramme und andere Programme speichert, einen Direktzugriffsspeicher (RAM) sowie ein Festplattenlaufwerk und ein Solid-State-Laufwerk (SSD) umfasst, die verschiedene Arten von Informationen speichern.
-
Die Speichereinheit 12 ist so konfiguriert, dass sie verschiedene Arten von Informationen wie Lernmodelle, Lerndaten und Roboterprogramme speichert.
-
Als nächstes wird nun das maschinelle Lernen beschrieben, das die Maschinenlernvorrichtung 10 gemäß der vorliegenden Ausführungsform durchführt. Die Lehreinheit 111 ist so konfiguriert, dass sie ein Modellmuster einlernt, das Merkmale in einem Bild des Objekts 2 darstellt. Das Objekt 2, das als Modellmuster eingelernt werden soll, ist innerhalb eines Sichtfelds eines visuellen Sensors 3 zur Aufnahme eines Bildes des Objekts 2 angeordnet. Es ist wünschenswert, dass ein Bild aufgenommen wird, während eine Positionsbeziehung zwischen dem visuellen Sensor 3 und dem Objekt 2 identisch mit derjenigen ist, wenn das Objekt 2 erkannt werden soll.
-
Die Lehreinheit 111 bezeichnet eine Region, die das Objekt 2 in dem aufgenommenen Bild enthält, als Modellmuster-Bezeichnungsbereich mit einer rechteckigen oder kreisförmigen Form. Die Lehreinheit 111 extrahiert als Merkmalspunkte Kantenpunkte innerhalb eines Bereichs des Modellmusterbestimmungsgebiets und erfasst physikalische Größen wie Positionen der Kantenpunkte, ihre Lagen (Richtungen des Helligkeitsgradienten) und Größen des Helligkeitsgradienten. Darüber hinaus definiert die Lehreinheit 111 ein Modellmuster-Koordinatensystem innerhalb des bezeichneten Bereichs und führt Umwandlungen der Positionen der Kantenpunkte und ihrer Lagen von Werten, die in einem Bildkoordinatensystem ausgedrückt sind, in Werte durch, die in dem Modellmuster-Koordinatensystem ausgedrückt sind.
-
Die physikalischen Größen der extrahierten Kantenpunkte werden in der Speichereinheit 12 als die Merkmalspunkte gespeichert, die ein Modellmuster bilden. Es ist zu beachten, dass, obwohl in der vorliegenden Ausführungsform Kantenpunkte als Merkmalspunkte verwendet werden, weithin bekannte Merkmalspunkte, die Scale Invariant Feature Transform (SIFT) genannt werden, verwendet werden können. Es ist anzumerken, dass für das Einlernen eines Modellmusters durch die Lehreinheit 111 beispielsweise ein Verfahren verwendet werden kann, wie es in der japanischen ungeprüften Patentanmeldung,
JP 2017-91079 A offenbart ist.
-
Die Objektdetektionseinheit 112 ist so konfiguriert, dass sie ein Modellmuster verwendet, um ein Bild eines Objekts W aus einem oder mehreren Eingangsbildern zu detektieren, die das Objekt 2 enthalten. Insbesondere werden zunächst ein oder mehrere Eingangsbilder, die ein Bild des Objekts 2 enthalten, vorbereitet. Dann verwendet die Objektdetektionseinheit 112 das Modellmuster, um ein Bild des Objekts W von jedem der ein oder mehreren Eingangsbilder, die das Objekt 2 enthalten, zu erkennen.
-
Es ist zu beachten, da es wünschenswert ist, dass sowohl korrekte als auch fehlerhafte Detektionen möglich sind, der Bereich der Detektionsparameter für die Durchführung von Detektionen erweitert werden sollte. Zu den Detektionsparametern können beispielsweise ein Bereich von Größen in Bezug auf ein Modell, ein Bereich von Scherverformungen, ein Bereich von zu erkennenden Positionen, ein Bereich von Winkeln, ein Prozentsatz von Übereinstimmungen zwischen Kanten in einem Modellmuster und Kanten in einem Bild, ein Schwellenwert für einen Abstand, nach dem die Kanten in dem Modellmuster und die Kanten in dem Bild als übereinstimmend angesehen werden, und ein Schwellenwert für den Kantenkontrast gehören.
-
Die Kennzeichnungszuweisungseinheit 113 ist so konfiguriert, dass sie auf der Grundlage einer Bestimmung eines Detektionsergebnisses des Objekts 2 durch den Benutzer dem Detektionsergebnis eine Kennzeichnung (eine Anmerkung) zuweist. Insbesondere wird das Detektionsergebnis des Objekts 2 auf einer mit der Maschinenlernvorrichtung 10 gekoppelten Anzeigevorrichtung 40 angezeigt. Der Benutzer prüft das Detektionsergebnis visuell und weist dem Detektionsergebnis eine Kennzeichnung zu, z. B. akzeptabel (OK) oder inakzeptabel (NG). Wenn eine Vielzahl von Objekten W aus einem Eingangsbild detektiert wird, wird dem einen Eingangsbild eine Vielzahl von Kennzeichnungen zugewiesen.
-
4 ist eine Ansicht, die ein Beispiel für die Zuweisung einer Kennzeichnung zu einem Detektionsergebnis zeigt. In dem Beispiel in 4 weist die Kennzeichnungseinheit 113 zwei Bildern G12 und G17 die Kennzeichnung „inakzeptabel“ (NG) zu und sechs Bildern G11, G13, G14, G15, G16 und G18 die Kennzeichnung „akzeptabel“ (OK).
-
Wenn zum Beispiel ein Detektionsergebnis anzeigt, dass eine fehlerhafte Detektion oder eine Anomalie vorliegt, weist der Benutzer die Kennzeichnung „inakzeptabel“ (NG) zu. Wenn ein Detektionsergebnis gleich oder größer als ein vorbestimmter Schwellenwert ist, kann der Benutzer die Kennzeichnung „akzeptabel“ (OK) zuweisen, und wenn ein Detektionsergebnis unter dem vorbestimmten Schwellenwert liegt, kann der Benutzer die Kennzeichnung „nicht akzeptabel“ (NG) zuweisen. Außerdem kann der Benutzer eine von der Maschinenlernvorrichtung 10 automatisch zugewiesene Kennzeichnung korrigieren. Es ist zu beachten, dass in der obigen Beschreibung zwar eine Klassifizierung mit zwei Klassen von akzeptabel (OK) und inakzeptabel (NG) als Kennzeichnungen verwendet wird, aber auch eine Klassifizierung mit drei oder mehr Klassen verwendet werden kann.
-
Die Bildverarbeitungseinheit 114 ist so konfiguriert, dass sie ein Bild mit einer dem Bild zugewiesenen Kennzeichnung verknüpft und das Bild und die Kennzeichnung als Lerndaten betrachtet. Dabei ist zu beachten, dass die als Kennzeichnung zu speichernden Daten zusätzlich zu den vom Benutzer zugewiesenen Kennzeichnungen für akzeptabel (OK) und inakzeptabel (NG) auch Daten enthalten können, die ein Detektionsergebnis enthält. Da in der vorliegenden Ausführungsform beispielsweise Informationen wie die Position, die Haltung und die Größe eines Objekts, die in einem Detektionsergebnis enthalten sind, zum Ausschneiden eines Objekts aus einem Eingangsbild verwendet werden, ist es erforderlich, diese Informationen als Kennzeichnungen zu speichern. Solche Informationen können unnötig sein, solange ein solches Bild bei der Erzeugung von Lerndaten ausgeschnitten wurde. Die Bildverarbeitungseinheit 114 speichert in einer Lerndatenspeichereinheit 121 eine Sammlung (einen Lerndatensatz) von Lerndaten, die Bilder und den Bildern zugewiesene Kennzeichnungen enthalten.
-
Die Maschinenlerneinheit 115 ist so konfiguriert, dass sie das Lernen eines Lerndatensatzes durchführt, der Bilder und den Bildern zugewiesene Kennzeichnungen enthält. Die Maschinenlerneinheit 115 gibt Pixelwerte der Bilder in das Lernmodell ein und berechnet den Grad der Übereinstimmung (eine Punktzahl). Dadurch ist die Maschinenlerneinheit 115 in der Lage zu bestimmen, ob eine Erkennung korrekt ist oder nicht.
-
Die Einheit zur Erzeugung Lerndaten kleiner Größe 116 ist so konfiguriert, dass sie aus jedem der Bilder in den Lerndaten ein Teilbild ausschneidet, das von der Maschinenlerneinheit 115 zum Lernen verwendet werden soll, und dass sie Lerndaten kleiner Größe erzeugt, die die Teilbilder enthalten. Insbesondere erwirbt die Einheit zur Erzeugung Lerndaten kleiner Größe 116 die Lerndaten von der Lerndatenspeichereinheit 121. Die Einheit zur Erzeugung von Lerndaten kleiner Größe 116 extrahiert aus jedem der Bilder in den Lerndaten unter Verwendung von Informationen wie einer Position, einer Haltung und einer Größe eines Objekts, die in einer Kennzeichnung enthalten sind, ein Teilbild, das das Objekt 2 enthält, ordnet das Teilbild der Kennzeichnung zu und erzeugt Lerndaten in kleiner Größe, die die Teilbilder und die Etiketten enthalten. Eine Kennzeichnung, die die Lerndaten kleiner Größe enthalten, darf keine Informationen enthalten, die zum Ausschneiden eines Teilbildes verwendet wurden.
-
Es kann vorkommen, dass mehrere Teilbilder von einem Bild abgeschnitten werden. Andererseits kann es vorkommen, dass kein Teilbild von einem Bild abgeschnitten wird. Ein Grund für diese Phänomene ist, dass zwar Bilder in einem Lerndatensatz gespeichert wurden, aber kein Objekt in den Bildern erkannt wurde, oder dass ein Benutzer, obwohl ein Objekt erkannt wurde, ausgewählt hatte, keine Kennzeichnung zuzuweisen.
-
5 ist eine Ansicht, die ein Beispiel für die Extraktion eines Teilbildes zeigt. In dem Beispiel in 5 extrahiert die Einheit zum Erzeugen von Lerndaten kleiner Größe 116 ein Teilbild G2 aus einem Bild G1. Dann verknüpft die Einheit 116 zur Erzeugung kleiner Lerndaten das extrahierte Teilbild mit einer von der Kennzeichnungszuweisungseinheit 113 zugewiesenen Kennzeichnung und betrachtet das Teilbild und die Kennzeichnung als Lerndaten.
-
Die Einheit zur Erzeugung von Lerndaten kleiner Größe 116 kann ferner eine Bildverarbeitung an dem extrahierten Teilbild durchführen und das bildverarbeitete, extrahierte Teilbild als Lerndaten kleiner Größe speichern. Wenn beispielsweise Daten eines Teilbildes kleiner Größe oder Daten von Merkmalen, die aus einem Teilbild extrahiert wurden, als Eingabe in die Maschinenlerneinheit 115 betrachtet werden, speichert die Einheit zur Erzeugung Lerndaten kleiner Größe 116 solche Daten, die einer Bildverarbeitung unterzogen wurden, als Lerndaten kleiner Größe. Dadurch ist die Einheit zur Erzeugung Lerndaten kleiner Größe 116 in der Lage, die Datengröße zu reduzieren und den Umfang der Berechnungen während des Lernens zu verringern.
-
Dann betrachtet die Einheit zur Erzeugung von Lerndaten kleiner Größe 116 eine Sammlung Stücken von Lerndaten kleiner Größe, die Teilbilder und Beschriftungen enthalten, als einen Lerndaten-Satz kleiner Größe.
-
Die Maschinenlerneinheit 115 gibt Pixelwerte jedes Teilbildes in ein Lernmodell ein und berechnet den Grad der Übereinstimmung (eine Punktzahl). Es ist hier zu beachten, dass der Grad der Übereinstimmung durch einen Wert zwischen 0 und 1 dargestellt wird.
-
Die Maschinenlerneinheit 115 setzt 1,0, wenn eine Kennzeichnung in einem Detektionsergebnis anzeigt, dass es korrekt ist, und setzt 0,0, wenn die Kennzeichnung anzeigt, dass es nicht korrekt ist, und berechnet dann einen Fehler aus dem berechneten Grad der Übereinstimmung (dem Rang). Die Maschinenlerneinheit 115 überträgt den Fehler zurück in das Lernmodell und aktualisiert einen Parameter (z.B. die Gewichtung) für das Lernmodell. Anschließend wiederholt die Maschinenlerneinheit 115 diese Verarbeitung so oft, wie die Anzahl der für das Lernen verwendeten Detektionsergebnisse (Anzahl N).
-
Die Lerndaten-Steuereinheit 117 ist so konfiguriert, dass sie in der Speichereinheit 12 die Lerndaten kleiner Größe speichert, die von der Einheit zur Erzeugung von Lerndaten kleiner Größe 116 in Verbindung mit dem Bildverarbeitungsprogramm erzeugt wurden. Insbesondere speichert die Lerndaten-Steuereinheit 117 die Lerndaten kleiner Größe in einer Datei, die das Bildverarbeitungsprogramm darstellt. Aufgrund ihrer geringeren Dateigröße ist es möglich, die Lerndaten kleiner Größe in einer Datei zu speichern, die das Bildverarbeitungsprogramm darstellt.
-
Darüber hinaus kann die Lerndaten-Steuereinheit 117 Lerndaten kleiner Größe als eine oder mehrere Dateien in der Speichereinheit für Lerndaten 122 kleiner Größe speichern und einen Dateipfad zu den Lerndaten kleiner Größe in einer Datei speichern, die ein Bildverarbeitungsprogramm darstellt.
-
Es ist hier zu beachten, dass die Bildverarbeitungseinheit 114 die Bilddaten mit Hilfe des Bildverarbeitungsprogramms verarbeitet. Das Bildverarbeitungsprogramm ist in der Speichereinheit 12 gespeichert. Das Bildverarbeitungsprogramm ist ein Programm, das der Benutzer zur Ausführung der gewünschten Bildverarbeitung verwendet. Beispielsweise kann das Bildverarbeitungsprogramm ein Modellmuster zur Erkennung des Objekts 2 verwenden, um festzustellen, ob ein erkannter Bereich eine korrekte Erkennung darstellt. Eine solche Verarbeitung unter Verwendung eines Bildverarbeitungsprogramms, wie oben beschrieben, ist beispielsweise in der japanischen ungeprüften Patentanmeldung,
JP 2018-151843 A (Patentdokument 2), offenbart.
-
Durch die Speicherung Lerndaten kleiner Größe in Verbindung mit einem Bildverarbeitungsprogramm ist die Lerndaten-Steuereinheit 117 in der Lage, ein Lernen unter Verwendung der Lerndaten kleiner Größe durchzuführen, wenn ein erneutes Lernen eines im Bildverarbeitungsprogramm gespeicherten Lernmodells oder ein zusätzliches Lernen durchgeführt wird. Bei der Durchführung von zusätzlichem Lernen verwendet die Maschinenlerneinheit 115 einen neuen Lerndatensatz und einen vorhandenen Lerndatensatz kleiner Größe für das Lernen. Ein Lerndatensatz kleiner Größe kann in Verbindung mit einem Lernmodell gespeichert werden.
-
Darüber hinaus löscht die Lerndaten-Steuereinheit 117 die Lerndaten aus der Lerndatenspeichereinheit 121, nachdem die Einheit zur Erzeugung von Lerndaten kleiner Größe 116 Lerndaten kleiner Größe erzeugt hat. Dadurch kann die Maschinenlernvorrichtung 10 einen Speicherbereich, der für das maschinelle Lernen benötigt wird, verkleinern. Darüber hinaus kann die Lerndaten-Steuereinheit 117 ein Bild, dem keine Kennzeichnung zugewiesen wurde, in den Lerndaten löschen, nachdem die Einheit zur Erzeugung von Lerndaten kleiner Größe 116 Lerndaten kleiner Größe erzeugt hat.
-
Darüber hinaus kann die Lerndaten-Steuereinheit 117, wenn ein kleinerer Speicherbereich in der Speichereinheit 12 verbleibt, einen Teil der Lerndaten in einem Lerndatensatz auswählen und den ausgewählten Teil der Lerndaten löschen. Für die Auswahl eines Teils der Lerndaten kann eine gewünschte Methode verwendet werden. Zum Beispiel kann die Lerndaten-Steuereinheit 117 ältere Lerndaten der Reihe nach löschen.
-
Selbst wenn ein Teil der Lerndaten gelöscht wird, sind immer noch Lerndaten kleiner Größe vorhanden, so dass ein erneutes Lernen unter Verwendung der kleinen Lerndaten möglich ist. Weiterhin kann die Einheit zur Erzeugung von Lerndaten kleiner Größe 116 zu dem Zeitpunkt, zu dem die Lerndaten-Steuereinheit 117 einen Teil der Lerndaten löscht, Lerndaten kleiner Größe erzeugen.
-
Die Anzeigesteuereinheit 118 ist so konfiguriert, dass die Anzeigevorrichtung 40 Lerndaten kleiner Größe anzeigen kann. Die Anzeige eines Teilbildes durch die Anzeigesteuereinheit 118 wird durch ein weithin bekanntes Verfahren erreicht (siehe z.B. die japanische ungeprüfte Patentanmeldung,
JP 2017-151813 A ). Durch die Verwendung von Lerndaten kleiner Größe kann die Anzeigesteuereinheit 118 ermöglichen, dass ein Teilbild in einem Lerndatensatz, der Lerndaten kleiner Größe enthält, sofort angezeigt wird.
-
6 ist ein Flussdiagramm, das einen Fluss der Verarbeitung unter Verwendung Lerndaten kleiner Größe in der Maschinenlernvorrichtung 10 veranschaulicht. In Schritt S1 erfasst die Einheit zur Erzeugung Lerndaten kleiner Größe 116 Lerndaten von der Lerndatenspeichereinheit 121.
-
In Schritt S2 extrahiert die Einheit zur Erzeugung von Lerndaten kleiner Größe 116 ein Teilbild, das das Objekt 2 enthält, aus jedem der Bilder in den Lerndaten. In Schritt S3 verknüpft die Einheit zur Erzeugung von Lerndaten kleiner Größe 116 das Teilbild mit einer Kennzeichnung und erzeugt Lerndaten kleiner Größe, die die Teilbilder und die Kennzeichnungen enthalten.
-
In Schritt S4 bestimmt die Einheit zur Erzeugung von Lerndaten kleiner Größe 116, ob aus allen Lerndaten in der Lerndatenspeichereinheit 121 Lerndaten kleiner Größe erzeugt worden sind. Wenn Lerndaten kleiner Größe aus allen Lerndaten erstellt wurden (JA), wird die Verarbeitung mit Schritt S5 fortgesetzt. Wenn andererseits noch nicht aus allen Lerndaten Lerndaten kleiner Größe erstellt wurden (NEIN), schreitet die Verarbeitung zu Schritt S6 fort.
-
In Schritt S5 führt die Maschinenlerneinheit 115 ein Maschinenlernen unter Verwendung der Lerndaten kleiner Größe durch. In Schritt S6 speichert die Lerndaten-Steuereinheit 117 in der Speichereinheit 12 die Lerndaten kleiner Größe, die von der Einheit zur Erzeugung von Lerndaten kleiner Größe 116 in Verbindung mit dem Bildverarbeitungsprogramm erzeugt wurden.
-
Wie oben beschrieben, umfasst die Maschinenlernvorrichtung 10 gemäß der vorliegenden Ausführungsform: die Maschinenlerneinheit 115, die so konfiguriert ist, dass sie ein Lernen von Lerndaten durchführt, die Bilder und den Bildern zugewiesene Kennzeichnungen enthalten; die Bildverarbeitungseinheit 114, die so konfiguriert ist, dass sie eine Bildverarbeitung an den Bildern unter Verwendung eines Bildverarbeitungsprogramms durchführt; die Einheit zur Erzeugung von Lerndaten kleiner Größe 116, die so konfiguriert ist, dass sie von jedem der Bilder ein Teilbild abschneidet, das für das Lernen durch die Maschinenlerneinheit verwendet werden soll, und Lerndaten kleiner Größe erzeugt, die die Teilbilder enthalten; und die Lerndaten-Steuereinheit 117, die so konfiguriert ist, dass sie die Lerndaten kleiner Größe in Verbindung mit dem Bildverarbeitungsprogramm speichert. Die Maschinenlerneinheit 115 führt das Lernen der Lerndaten oder der Lerndaten kleiner Größe durch.
-
Durch die Verwendung von Lerndaten kleiner Größe bei der erneuten Durchführung von Lernvorgängen ist die Maschinenlernvorrichtung 10 nicht verpflichtet, ein Teilbild abzuschneiden, sondern kann das Lernen schnell durchführen. Darüber hinaus kann die Maschinenlernvorrichtung 10 durch das Speichern Lerndaten kleiner Größe den Umfang eines Lerndatensatzes, der in der Speichereinheit 12 zu speichern ist, reduzieren. Daher ist die Maschinenlernvorrichtung 10 in der Lage, die Größe der Lerndaten zu reduzieren und ein Lernen schnell durchzuführen.
-
Darüber hinaus löscht die Lerndaten-Steuereinheit 117 die Lerndaten, nachdem die Einheit zur Erzeugung Lerndaten kleiner Größe 116 Lerndaten kleiner Größe erzeugt hat. Dadurch kann die Maschinenlernvorrichtung 10 einen Speicherbereich, der für das maschinelle Lernen benötigt wird, verkleinern. Darüber hinaus löscht die Lerndaten-Steuereinheit 117 ein Bild, dem keine Kennzeichnung zugewiesen wurde, in den Lerndaten, nachdem die Einheit zur Erzeugung von Lerndaten kleiner Größe 116 Lerndaten kleiner Größe erzeugt hat. Dadurch kann die Maschinenlernvorrichtung 10 einen Speicherbereich, der für das maschinelle Lernen benötigt wird, verkleinern.
-
Darüber hinaus umfasst die Maschinenlernvorrichtung 10 auch die Anzeigesteuereinheit 118, die so konfiguriert ist, dass die Anzeigevorrichtung 40 Lerndaten kleiner Größe anzeigen kann. Durch die Verwendung von Lerndaten kleiner Größe, deren Größe reduziert wurde, ist die Maschinenlernvorrichtung 10 in der Lage, zu erlauben, dass ein Teilbild in einem Lerndatensatz, der Lerndaten kleiner Größe enthält, sofort angezeigt wird.
-
Darüber hinaus speichert die Lerndaten-Steuereinheit 117 Lerndaten kleiner Größe in einer Datei, die ein Bildverarbeitungsprogramm darstellt. Aufgrund der geringeren Dateigröße ist es möglich, Lerndaten kleiner Größe in einem Bildverarbeitungsprogramm zu speichern. Dadurch ist die Maschinenlernvorrichtung 10 in der Lage, einen Lerndatensatz in einer einzigen Datei, die ein Bildverarbeitungsprogramm enthält, zu verarbeiten, wodurch die Benutzerfreundlichkeit verbessert wird.
-
Darüber hinaus kann die Lerndaten-Steuereinheit 117 Lerndaten kleiner Größe als eine oder mehrere Dateien in der Speichereinheit für Lerndaten 122 kleiner Größe speichern und einen Dateipfad zu den Lerndaten kleiner Größe in einer Datei speichern, die ein Bildverarbeitungsprogramm darstellt. Dadurch ist die Maschinenlernvorrichtung 10 in der Lage, einen Datensatz kleiner Größe zu handhaben, wodurch es möglich ist, den Benutzerkomfort zu verbessern.
-
Es ist zu beachten, dass, obwohl in der oben beschriebenen Ausführungsform ein Fall beschrieben wurde, in dem es eine einzelne Maschinenlernvorrichtung 10 gibt, es ein Maschinenlernsystem geben kann, in dem es eine Vielzahl von Maschinenlernvorrichtungen 10 gibt. Wenn es eine Vielzahl von Maschinenlernvorrichtungen 10 gibt, kann ein Lernmodell, das eine der Maschinenlernvorrichtungen 10 gespeichert hat, von den anderen Maschinenlernvorrichtungen 10 gemeinsam genutzt werden. Dadurch, dass ein Lernmodell von mehreren Maschinenlernvorrichtungen 10 gemeinsam genutzt werden kann, ist es möglich, das Lernen in einer verteilten Weise unter den Maschinenlernvorrichtungen 10 durchzuführen, wodurch das Maschinenlernsystem die Effizienz des Lernens verbessern kann.
-
Wenn es eine Vielzahl von Maschinenlernvorrichtungen 10 gibt, kann ein Lerndatensatz, der kleine Lerndaten enthält, die eine der Maschinenlernvorrichtungen 10 gespeichert hat, von den anderen Maschinenlernvorrichtungen 10 gemeinsam genutzt werden. Durch die gemeinsame Nutzung Lerndaten kleiner Größe anstelle der gemeinsamen Nutzung von Lerndaten ist das maschinelle Lernsystem in der Lage, die Belastung eines Netzwerks zu reduzieren.
-
Es ist zu beachten, dass, obwohl in der oben beschriebenen Ausführungsform die Lerndaten-Steuereinheit 117 Lerndaten kleiner Größe in Verbindung mit einem Bildverarbeitungsprogramm speichert, die Lerndaten-Steuereinheit 117 ein Lernmodell, das zur Durchführung des Lernens von Lerndaten verwendet wird, in Verbindung mit einem Lernmodell speichern kann, das zur Durchführung des Lernens von Lerndaten kleiner Größe verwendet wird.
-
Obwohl die Ausführungsformen der vorliegenden Erfindung oben beschrieben wurden, ist es möglich, die oben beschriebene maschinell lernende Vorrichtung durch Hardware, Software oder eine Kombination davon zu realisieren. Darüber hinaus ist es möglich, ein Steuerungsverfahren zu erreichen, das durch die oben beschriebene Maschinenlernvorrichtung durch Hardware, Software oder eine Kombination davon implementiert werden soll. In diesem Fall bedeutet das Erreichen durch Software das Erreichen, wenn ein Computer ein Programm liest und ausführt.
-
Es ist möglich, ein nicht-transitorisches, computerlesbares Medium unterschiedlichen Typs zu verwenden, um das Programm zu speichern und es einem Computer zuzuführen. Beispiele für ein nicht transitorisches, computerlesbares Medium sind materielle Speichermedien unterschiedlichen Typs. Beispiele für nicht transitorische computerlesbare Medien sind magnetische Aufzeichnungsmedien (z. B. Festplattenlaufwerk), magneto-optische Aufzeichnungsmedien (z. B. magneto-optische Platten), Compact-Disc-Nur-Lese-Speicher (CD-ROM), Compact-Disc-Recordable (CD-R), Compact-Disc-Rewritable (CD-R/W), Halbleiterspeicher (z. B. Masken-ROM, programmierbares ROM (PROM), löschbares PROM (EPROM), Flash-ROM und Direktzugriffsspeicher (RAM)).
-
Obwohl die vorstehende Ausführungsform eine bevorzugte Ausführungsform der vorliegenden Erfindung darstellt, sollte der Umfang der vorliegenden Erfindung nicht nur auf die oben beschriebene Ausführungsform beschränkt werden. Ausführungsformen, die ohne Abweichung vom Kern der vorliegenden Erfindung vielfältig verändert wurden, sind ebenfalls realisierbar.
-
Bezugszeichenliste
-
- 1
- Bildverarbeitungsvorrichtung
- 2
- Objekt
- 3
- Visueller Sensor
- 4
- Werkbank
- 10
- Maschinenlernvorrichtung
- 20
- Roboter
- 25
- Roboter-Steuergerät
- 100
- Bildverarbeitungssystem
- 111
- Unterrichtseinheit
- 112
- Objektdetektionseinheit
- 113
- Kennzeichnungszuweisungseinheit
- 114
- Bildverarbeitungseinheit
- 115
- Maschinenlerneinheit
- 116
- Einheit zur Erzeugung von Lerndaten kleiner Größe
- 117
- Lerndaten-Steuereinheit
- 118
- Anzeigesteuereinheit
- 200
- Roboter-System
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 201915654 A [0003]
- JP 2018151843 A [0003, 0041]
- JP 201791079 A [0024]
- JP 2017151813 A [0046]
