DE102018215826B4

DE102018215826B4 - Robotersystem und Werkstückgreifverfahren

Info

Publication number: DE102018215826B4
Application number: DE102018215826.6A
Authority: DE
Inventors: Takashi Yamazaki; Daisuke Okanohara; Eiichi Matsumoto
Original assignee: Fanuc Corp; Preferred Networks Inc
Current assignee: Fanuc Corp; Preferred Networks Inc
Priority date: 2017-09-25
Filing date: 2018-09-18
Publication date: 2023-07-13
Anticipated expiration: 2038-09-19
Also published as: CN116423478A; JP6695843B2; US11845194B2; JP2019058960A; DE102018215826A1; CN109551459A; US20190091869A1; CN109551459B

Abstract

Eine Bildverarbeitungsvorrichtung (10a), die so konfiguriert ist, dass sie in der Lage ist zum:Erfassen einer Unterrichtung einer Position in einem Bild, das eine Vielzahl von Objekten (50) enthält, wobei die Unterrichtung zum Greifen von mindestens einem Objekt (50) aus der Vielzahl von Objekten (50) mit einem Roboter (30) dient;Verleihen eines Bewertungswerts, basierend auf der Unterrichtung und/oder einem Ergebnis des Greifens des mindestens einen Objekts (50) basierend auf der Unterrichtung, an Information des mindestens einen Objekts (50) an der unterrichteten Position; undLernen eines Lernmodells, das einen Bewertungswert auf die eingegebene Information ausgibt, durch Durchführen von Maschinenlernen unter Verwendung der Information des mindestens einen Objekts (50) und Verwenden des verliehenen Bewertungswerts als Kennzeichen.

Description

Die vorliegende Erfindung betrifft ein Robotersystem und ein Werkstückgreifverfahren zum Ausführen einer Verarbeitung zum Greifen (Aufnehmen) eines Werkstücks durch einen Roboter.
Konventionell wird ein Bereichsbild (Range-Bild) von Werkstücken, welches durch Messen durch eine einen Bereichsbildsensor umfassende dreidimensionale Messvorrichtung erhalten ist, zum Ausführen eines Unterrichten (Anweisen) verwendet, um eine Greifposition (Aufnahmeposition) eines Werkstücks zu detektieren. Beispielsweise wird ein Verfahren basierend auf einem CAD (computergestütztes Design) Abstimmen oder ein Verfahren zum Ausführen einer Suche basierend auf eingestellten Parametern im Allgemeinen als ein Verfahren zum Unterrichten unter Verwendung eines Bereichsbilds verwendet. Das Bereichsbild bedeutet hierin ein Bild, welches durch Messen von Oberflächen von zu messenden Objekten (Werkstücken) erhalten ist und in welchem jedes Pixel eines fotografierten Bilds eine aus der dreidimensionalen Messvorrichtung erhaltene Tiefeninformation aufweist. Das heißt, jedes Pixel des Bereichsbilds weist eine dreidimensionale Koordinateninformation in dem dreidimensionalen Koordinatensystem auf, welches in der dreidimensionalen Messvorrichtung umfasst ist.
In dem Verfahren basierend auf einem CAD Abstimmen werden zuerst zu der Form eines Werkstücks gehörige CAD Daten erzeugt. Dann wird eine Greifposition des Werkstücks, welches durch die Hand eines Roboters gegriffen werden kann, den CAD Daten beigebracht (unterrichtet). Eine mit den CAD Daten abgestimmte Position wird für in dem durch Messen des Werkstücks erhaltenen Bereichsbild gesucht. Dann wird die zu der Greifposition des Werkstücks, welche den CAD Daten beigebracht ist, gehörige Position in den abgestimmten Positionen ausgewählt. Die Hand des Roboters wird bei einem Greifen auf der Basis eines Auswahlergebnisses gesteuert, um dadurch das Greifen (Aufnehmen) des Werkstücks zu realisieren. Beispielsweise beschreibt Patentdokument 1 die Technik zum Greifen von Werkstücken in der Masse durch Unterrichten einer Greifposition eines Werkstücks unter Verwendung von solchen CAD Daten.
In dem Fall einer Suche basierend auf eingestellten Parametern wird ein Suchalgorithmus auf der Basis der Erfahrung der eine Unterrichtung ausführenden Person ausgewählt, um nach der Greifposition des Werkstücks zu suchen, welche durch die Hand des Roboters gegriffen werden kann, und ob das Werkstück auf dem tatsächlichen Bereichsbild detektiert ist oder nicht, wird überprüft, während die Parameter des ausgewählten Suchalgorithmus eingestellt werden, wodurch es ermöglicht wird das Greifen des Werkstücks zu realisieren. Siehe auch Patentdokumente 2-7.

Patentdokument 1: JP 2017 - 124 450 A
Patentdokument 2: DE 10 2016 009 030 A1
Patentdokument 3: DE 10 2013 012 068 B4
Patentdokument 4: EP 2 923 806 A1
Patentdokument 5: US 9 302 391 B2
Patentdokument 6: JP 2017 - 47 505 A
Patentdokument 7: JP 2013 - 52 490 A

Wie oben beschrieben, wird das Verfahren basierend auf dem CAD Daten-Abstimmen weithin verwendet. Allerdings ist es in dem Verfahren notwendig ein CAD Modell einer Vielzahl von Greifpositionen zu unterrichten (lehren), bei welchem die Werkstücke durch die Hand gegriffen werden können, und somit benötigt das Unterrichten der Positionen Zeit. Obwohl das Abstimmen ein CAD Modell benötigt, kann ein CAD Modell nicht für unregelmäßige Werkstücke tatsächlich erzeugt werden. Für den Fall, bei welchem ein zu greifendes Objekt ein Werkstück in Bearbeitung Verarbeitung ist, und kein vollendetes Produkt, ist es notwendig zusätzlich das CAD Modell des Werkstücks in Bearbeitung zu erzeugen, welches gegriffen werden soll.
Während in dem Fall einer Suche an einem Bereichsbild basierend auf Parametern ohne Verwendung von CAD Daten, ist es notwendig einen Suchalgorithmus unter Berücksichtigung der Beziehung zwischen dem Werkstück und der Hand auszuwählen, auf der Basis der Erfahrung der Personen, welche eine Unterrichtung durchführt, wie oben beschrieben. Entsprechend ist eine Position eines Werkstücks nicht einfach ausgewählt, bei solchen konventionellen Verfahren in einem Robotersystem.
Die Aufgabe der vorliegenden Erfindung ist es ein Robotersystem und ein Werkstückgreifverfahren zum Auswählen einer Greifposition eines Werkstücks in einem einfacheren Verfahren bereitzustellen.
Diese Aufgabe wird gelöst durch das Robotersteuersystem gemäß Patentanspruch 1. Die abhängigen Patenansprüche beziehen sich auf besondere Ausführungsarten der Erfindung.

(1) Ein Robotersteuersystem (beispielsweise ein nachstehend beschriebenes Robotersystem 1a) umfasst eine dreidimensionale Messvorrichtung (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise nachstehend beschriebene Werkstücke 50), einen Roboter (beispielsweise einen nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken, einen Anzeigeabschnitt (beispielsweise einen nachstehend beschriebenen Anzeigeabschnitt 12) zum Anzeigen des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds, und einen Empfangsabschnitt (beispielsweise einen nachstehend beschriebenen Bedienungsempfangsabschnitt 13) zum Empfangen einer Unterrichtung einer Greifposition zum Greifen durch die Hand auf dem angezeigten Bereichsbild. Der Roboter greift zumindest eines der Vielzahl von Werkstücken mit der Hand auf der Basis der gelernten Greifposition, in dem Robotersystem.
(2) In dem Robotersystem gemäß (1) kann der Anzeigeabschnitt die gelernte Greifposition auf dem angezeigten Bereichsbild einzeichnen.
(3) Das Robotersystem gemäß (1) oder (2) kann einen Greifpositionsauswahlabschnitt (beispielsweise einen nachstehend beschriebenen Auswahlverarbeitungsabschnitt 11) zum Auswählen einer neuen Greifposition, durch Speichern von dreidimensionalen Punktgruppeninformation der gelernten Greifposition und einer Peripherie der gelernten Greifposition als eine Information für eine Suche, und ein Durchsuchen des Bereichsbilds durch Verwenden der Information für eine Suche. Der Roboter kann jedes der Werkstücke mit der Hand bei der durch den Greifpositionsauswahlabschnitt ausgewählten neuen Greifposition greifen.
(4) Ein weiteres Robotersystem (beispielsweise ein nachstehend beschriebenes Robotersystem 1a) umfasst eine dreidimensionale Messvorrichtung (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise nachstehend beschriebene Werkstücken 50), einen Roboter (beispielsweise einen nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken, einem Anzeigeabschnitt (beispielsweise einen nachstehend beschriebenen Anzeigeabschnitt 12) zum Anzeigen des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds, und eine an dem Bereichsbild gelernte Greifposition, einen Empfangsabschnitt (beispielsweise einen nachstehend beschriebenen Bedienungsempfangsabschnitt 13) zum Empfangen eines Unterrichtens der Greifposition zum Greifen mit der Hand auf dem angezeigten Bereichsbild und einen Lernabschnitt (beispielsweise eine nachstehend beschriebenen Lernabschnitt 14) zum Ausführen eines Maschinenlernens, unter Verwendung der dreidimensionalen Punktgruppeninformation der gelernten Greifposition und einer Peripherie der gelernten Greifposition als Eingangsdaten, und Verwenden als eine Kennzeichnung zumindest einen Bewertungswert basierend auf dem Unterrichten der als die Eingangsdaten verwendeten dreidimensionalen Punktgruppeninformation und/oder einem Bewertungswert entsprechend einem Erfolg oder einem Versagen bei dem Greifen, und dadurch zum Bilden eines Lernmodells zum Ausgeben eines Bewertungswerts der als die Eingangsdaten eingegebenen dreidimensionalen Punktgruppeninformation. Der Roboter greift zumindest eines der Vielzahl von Werkstücken mit der Hand auf der Basis der gelernten Greifposition.
(5) ein anderes Robotersystem (beispielsweise ein nachstehend beschriebenes Robotersystem 1a) umfasst eine dreidimensionale Messvorrichtung (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise später beschriebene Werkstücke 50), einen Roboter (beispielsweise einen nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken, einem Anzeigeabschnitt (beispielsweise einen nachstehend beschriebenen Anzeigeabschnitt 12) zum Anzeigen des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds, und einer an dem Bereichsbild erlernten Greifposition, einen Empfangsabschnitt (beispielsweise einen nachstehend beschriebenen Bedienungsempfangsabschnitt 13) zum Empfangen eines Unterrichtens der Greifposition zum Greifen mit der Hand an dem angezeigten Bereichsbild, einen Lernabschnitt (beispielsweise einen nachstehend beschriebenen Lernabschnitt 14) zum Ausführen eines Maschinenlernens durch Verwenden von dreidimensionalen Punktgruppeninformationen der erlernten Greifposition und einer Peripherie der erlernten Greifposition als Eingangsdaten, und Verwenden als ein Kennzeichen von zumindest einem Bewertungswert basierend auf dem Lernen (Unterrichten) der als die Eingangsdaten verwendeten dreidimensionalen Punktgruppeninformation und/oder einem Bewertungswert gemäß einem Erfolg oder einem Versagen bei dem Greifen, und dadurch zum Bilden eines Lernmodells für ein Ausgeben eines Bewertungswerts der als die Eingangsdaten eingegebenen dreidimensionalen Punktgruppeninformation, und einen Greifpositionsauswahlabschnitt (beispielsweise einen später beschriebenen Auswahlverarbeitungsabschnitt 11) zum Ausschneiden eines vorbestimmten Regionsbereichsbilds aus dem Bereichsbild zum Eingeben von dreidimensionaler Punktgruppeninformation des ausgeschnittenen Bereichsbilds in dem Lernmodell als die Eingangsdaten, wodurch die Ausgabe des Bewertungswerts der dreidimensionalen Punktgruppeninformation erhalten wird, und zum Auswählen einer neuen Greifposition auf der Basis des Bewertungswerts. Der Roboter greift zumindest eines der Vielzahl von Werkstücken mit der Hand auf der Basis der erlernten Greifposition und greift jedes der Werkstücke mit der Hand bei der neuen Greifposition, welche durch den Greifpositionsauswahlabschnitt ausgewählt ist.
(6) Ein anderes Robotersystem (beispielsweise ein nachstehend beschriebenes Robotersystem 1b) umfasst eine dreidimensionale Messvorrichtung (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise nachstehend beschriebene Werkstücke 50), einen Roboter (beispielsweise einen nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken, einen Abschätzungsabschnitt (beispielsweise einen nachstehend beschriebenen Abschätzungsverarbeitungsabschnitt 143) zum Abschätzen einer Greifposition von zumindest einem der Vielzahl von durch die Hand zu greifenden Werkstücken, auf der Basis des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds, und dadurch zum Erzeugen und Ausgeben einer zumindest einen Bewertungswert umfassenden Bewertungswertkarte, und einen Positionsauswahlabschnitt (beispielsweise einen nachstehend beschriebenen Greifpositionsauswahlabschnitt 153) zum Auswählen einer Greifposition von zumindest einem der Vielzahl von durch die Hand zu greifenden Werkstücken auf der Basis der durch den Abschätzungsabschnitt ausgegebenen Bewertungswertkarte. Der Roboter greift das zumindest eine der Vielzahl von Werkstücken mit der Hand auf der Basis der durch den Positionsauswahlabschnitt ausgewählten Greifposition.
(7) Ein anderes Robotersystem (beispielsweise ein nachstehend beschriebenes Robotersystem 1b) umfasst eine dreidimensionale Messvorrichtungen (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise nachstehend beschriebenen Werkstücken 50), einen Roboter (beispielsweise einen nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken, einen Lehrerdatenspeicherabschnitt (beispielsweise einen nachstehend beschriebenen Lehrerdatenspeicherabschnitt 151) zum Speichern des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds als Lehrerdaten für ein Maschinenlernen, einen Anzeigeabschnitt (beispielsweise einen nachstehend beschriebenen Anzeigeabschnitt 12) zum Anzeigen des in dem Lehrerdatenspeicherabschnitt gespeicherten Bereichsbilds, einen Empfangsabschnitt (beispielsweise eine nachstehend beschriebenen Bedienungsempfangsabschnitt 13) zum Empfangen eines Unterrichtens von zumindest einer Lernposition basierend auf dem durch den Anzeigeabschnitt angezeigten Bereichsbild, einen Anmerkungsverarbeitungsabschnitt (beispielsweise einen nachstehend beschriebenen Anmerkungsverarbeitungsabschnitt 152) zum Erzeugen einer Kennzeichenkarte, welche die zumindest eine Lernposition angibt, auf der Basis der von dem Empfangsabschnitt empfangenen Lernposition, und zum Speichern der Kennzeichenkarte und des in dem Lehrerdatenspeicherabschnitt gespeicherten Bereichsbilds in Verknüpfung miteinander als einen Datensatz in dem Lehrerdatenspeicherabschnitt, einen Lernverarbeitungsabschnitt (beispielsweise eine nachstehend beschriebenen Lernverarbeitungsabschnitt 141) zum Ausführen eines Maschinenlernens unter Verwendung des in dem Lehrerdatenspeicherabschnitt gespeicherten Datensatzes als Eingabe, und dadurch zum Ausgeben eines gelernten Modells, einen Lernmodellspeicherabschnitt (beispielsweise einen nachstehend beschriebenen Lernmodellspeicherabschnitt 142) zum Speichern des durch den Lernverarbeitungsabschnitt ausgegebenen gelernten Modells, einen Abschätzungsabschnitt (beispielsweise einen nachstehend beschriebenen Abschätzungsverarbeitungsabschnitt 143) zum Abschätzen auf der Basis des in dem Lernmodellspeicherabschnitt gespeicherten gelernten Modells und eines Bereichsbilds einer Vielzahl von neuen Werkstücken, welches durch die dreidimensionale Messvorrichtung neu erzeugt ist, eine Greifposition von zumindest einem der Vielzahl von durch die Hand zu greifenden neuen Werkstücken, und dadurch zum Erzeugen und Ausgeben einer Bewertungswertkarte, welche zumindest einen Bewertungswert umfasst, und einen Positionsauswahlabschnitt (beispielsweise einen nachstehend beschriebenen Greifpositionsauswahlabschnitt 153) zum Auswählen einer Greifposition von zumindest einem der Vielzahl von durch die Hand zu greifenden neuen Werkstücken auf der Basis der durch den Bewertungsabschnitt ausgegebenen Bewertungswertkarte. Der Roboter greift zumindest eines der Vielzahl von neuen Werkstücken mit der Hand auf der Basis der durch den Positionsauswahlabschnitt ausgewählten Greifposition.
(8) Ein Werkstückgreifverfahren wird durch ein Robotersystem (beispielsweise ein nachstehend beschriebenes Robotersystem 1a) ausgeführt, welches eine dreidimensionale Messvorrichtung (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise nachstehend beschriebene Werkstücke 50) und einen Roboter (beispielsweise einen nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken umfasst. Das Werkstückgreifverfahren umfasst die Schritte zum Anzeigen des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds, und zum Empfangen einer Unterrichtung einer Greifposition zum Greifen mit der Hand auf dem angezeigten Bereichsbild. Der Roboter greift zumindest eines der Vielzahl von Werkstücken mit der Hand auf der Basis der gelernten Greifposition.
(9) Ein anderes Werkstückgreifverfahren wird durch ein Robotersystem (beispielsweise ein nachstehend beschriebenes Robotersystem 1a) ausgeführt, welches eine dreidimensionale Messvorrichtung (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise nachstehend beschriebene Werkstücke 50) und einen Roboter (beispielsweise eine nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken umfasst. Das Werkstückgreifverfahren umfasst die Schritte zum Anzeigen des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds und einer an dem Bereichsbild gelernten Greifposition, zum Empfangen einer Unterrichtung der Greifposition zum Greifen mit der Hand auf dem angezeigten Bereichsbild, und zum Ausführen eines Maschinenlernens unter Verwendung von dreidimensionaler Punktgruppeninformation der gelernten Greifposition und einer Peripherie der gelernten Greifposition als Eingangsdaten, und unter Verwendung als ein Kennzeichen von zumindest einem Bewertungswert basierend auf dem Lernen der dreidimensionalen Punktgruppeninformation, welche als die Eingangsdaten verwendet ist, und/oder einem Bewertungswert gemäß einem Erfolg oder einem Versagen bei dem Greifen, wodurch ein Lernmodell zum Ausgeben eines Bewertungswerts der als die Eingangsdaten eingegebenen dreidimensionalen Punktgruppeninformation gebildet wird. Der Roboter greift zumindest eines der Vielzahl von Werkstücken mit der Hand auf der Basis der gelernten Greifposition.
(10) Ein anderes Werkstückgreifverfahren wird durch ein Robotersystem (beispielsweise ein später beschriebenes Robotersystem 1a) ausgeführt, welches eine dreidimensionale Messvorrichtung (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise nachstehend beschriebene Werkstücke 50) und einen Roboter (beispielsweise einen nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken umfasst. Das Werkstückgreifverfahren umfasst einen Anzeigeschritt zum Anzeigen des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds und einer an dem Bereichsbild gelernten Greifposition, einen Empfangsschritt zum Empfangen eines Unterrichten einer Greifposition zum Greifen mit der Hand an dem angezeigten Bereichsbild, einen Lernschritt zum Ausführen eines Maschinenlernens unter Verwendung von dreidimensionalen Punktgruppeninformation der gelernten Greifposition und einer Peripherie der gelernten Greifposition als Eingangsdaten, und unter Verwendung als ein Kennzeichen zumindest einen Bewertungswert basierend auf dem Lernen der als die Eingangsdaten verwendeten dreidimensionalen Punktgruppeninformation und/oder einem Bewertungswert entsprechend einem Erfolg oder einem versagen bei dem Greifen, wodurch ein Lernmodell zum Ausgeben eines Bewertungswert der als die Eingangsdaten eingegebenen dreidimensionalen Punktgruppeninformation gebildet wird, und einen Greifpositionsauswahlschritt zum Ausschneiden eines Vorbestimmten-Region-Bereichsbilds aus dem Bereichsbild, zum Eingeben von dreidimensionaler Punktgruppeninformation des ausgeschnittenen Bereichsbilds in dem Lernmodell als die Eingangsdaten, wodurch der ausgegebene Bewertungswert der dreidimensionalen Punktgruppeninformation erhalten wird, und zum Auswählen einer neuen Greifposition auf der Basis des Bewertungswert. Der Roboter greift zumindest eines der Vielzahl von Werkstücken mit der Hand auf der Basis der gelernten Greifposition und greift jedes der Werkstücke mit der Hand bei der neuen in dem Greifpositionsauswahlschritt ausgewählten Greifposition.
(11) Ein anderes Werkstückgreifverfahren wird durch ein Robotersystem (beispielsweise ein nachstehend beschriebenes Robotersystem 1b) ausgeführt, welches eine dreidimensionale Messvorrichtung (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise nachstehend beschriebene Werkstücke 50) und einen Roboter (beispielsweise eine nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken. Das Werkstückgreifverfahren umfasst einen Abschätzungsschritt zum Abschätzen einer Greifposition von zumindest einem der Vielzahl von mit der Hand zu greifenden Werkstücken auf der Basis des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds, wodurch eine Bewertungswertkarte erzeugt und ausgegeben wird, welche zumindest einen Bewertungswert umfasst, und einen zum Auswählen einer Greifposition von zumindest einem der Vielzahl von mit der Hand zu greifenden Werkstücken auf der Basis der in dem Abschätzungsschritt ausgegebenen Bewertungswertkarte. Der Roboter greift zumindest eines der Vielzahl von Werkstücken mit der Hand auf der Basis der in dem Positionsauswahlschritt ausgewählten Greifposition.
(12) Ein anderes Werkstückgreifverfahren wird durch ein Robotersystem (beispielsweise ein nachstehend beschriebenes Robotersystem 1b) ausgeführt, welches eine dreidimensionale Messvorrichtung (beispielsweise eine nachstehend beschriebene dreidimensionale Messvorrichtung 40) zum Erzeugen eines Bereichsbilds einer Vielzahl von Werkstücken (beispielsweise nachstehend beschriebene Werkstücke 50) und einen Roboter (beispielsweise einen nachstehend beschriebenen Roboter 30) mit einer Hand zum Greifen von zumindest einem der Vielzahl von Werkstücken umfasst. Das Werkstückgreifverfahren umfasst einen Lehrerdatenspeicherschritt zum Speichern des durch die dreidimensionale Messvorrichtung erzeugten Bereichsbilds als Lehrerdaten für ein Maschinenlernen in einem Lehrerdatenspeicherabschnitt, einen Anzeigeschritt zum Anzeigen des in dem Lehrerdatenspeicherabschnitt gespeicherten Bereichsbilds, eines Empfangsschritt zum Empfangen einer Unterrichtung von zumindest einer Lernposition basierend auf dem in dem Anzeigeschritt angezeigten Bereichsbild, einen Anmerkungsverarbeitungsschritt zum Erzeugen einer Kennzeichenkarte, welche die zumindest eine Lernposition angibt, auf der Basis der in dem Empfangsschritt empfangen Lernposition, und Speichern der Kennzeichenkarte und des in dem Lehrerdatenspeicherabschnitt gespeicherten Bereichsbilds in Verknüpfung miteinander als ein Datensatz in dem Lehrerdatenspeicherabschnitt, einen Lernverarbeitungsschritt zum Ausführen eines Maschinenlernens unter Verwendung des in dem Lehrerdatenspeicherabschnitt gespeicherten Datensatzes als Eingabe, wodurch ein gelerntes Modell ausgegeben wird, einen Lernmodellspeicherschritt zum Speichern in einem Lernmodellspeicherabschnitt des in dem Lernverarbeitungsschritt ausgegebenen gelernten Modells, einen Abschätzungsschritt zum Abschätzen, auf der Basis des in dem Lernmodellspeicherabschnitt gespeicherten Lernmodells und eines Bereichs einer Vielzahl von neuen Werkstücken, welches durch die dreidimensionale Messvorrichtung neu erzeugt ist, einer Greifposition von zumindest einem der Vielzahl von neuen mit der Hand zu greifenden Werkstücken, wodurch eine Bewertungswertkarte erzeugt und ausgegeben wird, welche zumindest einen Bewertungswert umfasst, und einen Positionsauswahlschritt zum Auswählen einer Greifposition von zumindest einem der Vielzahl von neuen mit der Hand zu greifenden Werkstücken auf der Basis der in dem Bewertungsschritt ausgegebenen Bewertungswertkarte. Der Motor greift zumindest eines der Vielzahl von neuen Werkstücken mit der Hand auf der Basis der in dem Positionsauswahlschritt ausgewählten Greifposition.

Die vorliegende Erfindung ermöglicht ein Auswählen einer Greifposition eines Werkstücks in einem einfacheren Verfahren.

1 ist ein schematisches Diagramm, welches eine Gesamtkonfiguration einer jeden Ausführungsformen der vorliegenden Erfindung darstellt.
2 ist ein Blockdiagramm, welches funktionale Blöcke einer Bildverarbeitungsvorrichtung in einer ersten Ausführungsform der vorliegenden Erfindung darstellt.
3 ist ein schematisches Diagramm, welches Werkstücke in Masse darstellt, welche in jeder Ausführungsform der vorliegenden Erfindung zu greifen sind.
4 ist ein Diagramm, welches ein durch Messen der Werkstücke in Masse erzeugten Bereichsbild in jeder Ausführungsform der vorliegenden Erfindung darstellt.
5 ist ein Diagramm, welches das Bereichsbild darstellt, bei welchem gelernte Greifpositionen in jeder Ausführungsform der vorliegenden Erfindung eingezeichnet sind.
6 ist ein Diagramm, welches dreidimensionale Punktgruppeninformation der Peripherie der zu speichernden Zeichenposition in der ersten Ausführungsform der vorliegenden Erfindung darstellt.
7 ist ein Diagramm, welches das Ausschneiden darstellt, welches in der ersten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
8 ist ein Diagramm, welches das Abtasten darstellt, welches bei einem Ausschneiden in der ersten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
9A ist ein Flussdiagramm, welches den Betrieb in der ersten Ausführungsform der vorliegenden Erfindung angibt.
9B ist ein anderes Flussdiagramm, welches den Betrieb in der ersten Ausführungsform der vorliegenden Erfindung angibt.
10 ist ein Blockdiagramm, welches die funktionalen Blöcke einer Bildverarbeitungsvorrichtung in einer zweiten Ausführungsform der vorliegenden Erfindung darstellt.
11 ist ein Flussdiagramm, welches den Betrieb in der zweiten Ausführungsform der vorliegenden Erfindung angibt.

Detailbeschreibung der Erfindung
Manche Ausführungsformen der vorliegenden Erfindung werden genau mit Bezug zu den Figuren nachstehend beschrieben. Die nachstehende Beschreibung betrifft 2 Ausführungsformen einer ersten Ausführungsform und einer zweiten Ausführungsform. Die Konfiguration zum Auswählen einer Werkstückgreifposition ist den jeweiligen Ausführungsformen gemein. Allerdings unterscheidet sich die erste Ausführungsform von der zweiten Ausführungsform darin, dass eine Vorverarbeitung wie beispielsweise eine Bildabgleichverarbeitung und eine Bildausschnittverarbeitung in der ersten Ausführungsform ausgeführt wird, wohingegen eine solche Vorverarbeitung in der zweiten Ausführungsform ausgelassen ist. Die erste Ausführungsform wird zuerst genau beschrieben und danach wird die zweite Ausführungsform mit Bezug zu dem Unterschied zu der ersten Ausführungsform beschrieben.
Die Konfiguration eines Robotersystems 1a gemäß der ersten Ausführungsform wird mit Bezug zu 1 beschrieben. Das Robotersystem 1a umfasst eine Bildverarbeitungsvorrichtung 10a, eine Robotersteuereinheit 20, einen Roboter 30, eine dreidimensionale Messvorrichtung 40, eine Vielzahl von Werkstücken 50 und einen Behälter 60.
Die Bildverarbeitungsvorrichtung 10a ist mit der Robotersteuereinheit 20 und der dreidimensionalen Messvorrichtung 40 kommunikativ verbunden. Die Robotersteuereinheit 20 ist nicht nur mit der Bildverarbeitungsvorrichtung 10a sondern ebenso mit dem Roboter 30 kommunikativ verbunden.
Zuerst wird der Umriss des Robotersystems 1a beschrieben. In dem Robotersystem 1a wird ein Bereichsbild durch Messen der Vielzahl von in einem ungeordneten Zustand platzierten Werkstücken 50 erzeugt, welcher einen Massenzustand umfasst, durch die dreidimensionale Messvorrichtung 40.
Dann wird die Bildverarbeitungsvorrichtung 10a zum Ausführen eines Lernens zum Auswählen der Greifposition des Werkstücks 50 aus dem Bereichsbild verwendet. Das Lernen wird derart ausgeführt, dass ein Anwender die Greifposition des Werkstücks 50 mit Bezug zu dem Bereichsbild direkt lernt. Insbesondere veranlasst die Bildverarbeitungsvorrichtung 10a, dass ein Bildanzeigeabschnitt das Bereichsbilds beispielsweise in einer Graustufenabstufung, einer RGB Abstufung oder etwas Ähnlichem anzeigt, sodass ein Unterschied in einer Höhe aus jeweiligen in dem Bereichsbild umfassten Pixeln erfasst werden kann.
Wenn der Anwender, welcher auf das Bereichsbild Bezug nimmt, eine geeignete Position als beispielsweise eine Kandidatengreifposition beispielsweise durch Bedienung einer Maus auswählt, um die Position als eine Greifposition des Werkstücks 50 zu bestimmen, zeichnet die Bildverarbeitungsvorrichtung 10a die durch den Anwender gelernte (gelehrte) Greifposition (nachfolgend als „Lernposition“ bezeichnet) auf dem angezeigten Bereichsbild ein. Die Bildverarbeitungsvorrichtung 10a erfasst und speichert die Bereichsbilddaten der Peripherie der Greifposition (nachfolgend als „Lernposition-Peripherie-Bilddaten“ bezeichnet), welche von dem Anwender unterrichtet (angewiesen) sind. Es wird drauf hingewiesen, dass eine geeignete Position als eine Kandidatengreifposition hierin beispielsweise eine Position ist, bei welcher die Höhe von dessen dreidimensionalen Punkt hoch ist.
Falls die Greifposition des Werkstücks 50 danach ausgewählt wird, sucht die Bildverarbeitungsvorrichtung 10a das Bereichsbild nach dem mit den gespeicherten Lernposition-Peripherie-Bilddaten abgestimmten Bildbereich ab. Dann verwendet die Bildverarbeitungsvorrichtung 10a den abgestimmten Bildbereich als neue Lernposition-Peripherie-Bilddaten, um beispielsweise die Mittelposition der Bilddaten als eine neue Greifposition zu lernen. Wie oben beschrieben ist die Bildverarbeitungsvorrichtung 10a dazu geeignet eine neue Greifposition auszuwählen, auf der Basis der entsprechend der Unterrichtung durch den Anwender gespeicherten Lernposition-Peripherie-Bilddaten. Somit kann, selbst ohne einen Empfang einer neuen Unterrichtung von dem Anwender, die Bildverarbeitungsvorrichtung 10a die Greifposition des Werkstücks 50 Auswählen. Das Robotersystem 1a mit einer solchen Konfiguration ist dazu geeignet die Greifposition des Werkstücks 50 in einem einfacheren Verfahren als konventionelle Verfahren auszuwählen. Die Robotersteuereinheit 20 erzeugt ein Steuersignal zum Ausführen eines Greifens bei der Greifposition des Werkstücks 50, welche durch die Bildverarbeitungsvorrichtung 10a ausgewählt ist. Dann greift der Roboter 30 das Werkstück 50 auf der Basis des durch die Robotersteuereinheit 20 erzeugten Steuersignals. Das Robotersystem 1a mit einer solchen Konfiguration ist dazu geeignet das Werkstück 50 tatsächlich zugreifen, auf der Basis der ausgewählten Greifposition.
Die Bildverarbeitungsvorrichtung 10a führt weiter ein Maschinenlernen auf der Basis des Ergebnisses aus und bildet ein Lernmodell zum Auswählen der Greifposition des Werkstücks 50. Dann wählt die Bildverarbeitungsvorrichtung 10a eine neue Greifposition von dem Bereichsbild auf der Basis des gebildeten Lernmodells aus. Das Robotersystem 1a mit einer solchen Konfiguration ist dazu geeignet die Greifposition mit einer höheren Genauigkeit auszuwählen. Der Umriss des Robotersystems 1a wurde bis hierhin beschrieben. Die nachstehende Beschreibung betrifft jeweilige in dem Robotersystem 1a umfasste Vorrichtungen.
Die Bildverarbeitungsvorrichtung 10a ist eine Vorrichtung zum Ausführen eines Unterrichten und eines Maschinenlernens unter Verwendung eines Bildbereichs. Eine detaillierte Beschreibung der Bildverarbeitungsvorrichtung 10a wird später mit Bezug zu dem funktionalen Blockdiagramm aus 2 gegeben.
Die Robotersteuereinheit 20 ist eine Vorrichtung zum Steuern des Betriebs des Roboters 30. Die Robotersteuereinheit 20 erzeugt ein Steuersignal zum Steuern des Betriebs des Roboters 30 auf der Basis einer Information wie beispielsweise der Greifposition des Werkstücks 50, welche durch die Bildverarbeitungsvorrichtung 10a ausgewählt ist. Dann gibt die Robotersteuereinheit 20 das erzeugte Steuersignal an den Roboter 30 aus.
Es wird drauf hingewiesen, dass in der Bildverarbeitungsvorrichtung 10a die Robotersteuereinheit 20 ein Maschinenkoordinatensystem zum Steuern des Roboters 30 mit dem die Greifposition des Werkstücks 50 angebenden Kamerakoordinatensystem über die zuvor ausgeführte Kalibration verknüpft ist.
Der Roboter 30 ist ein Roboter, welcher unter der Steuerung der Robotersteuereinheit 20 betrieben wird. Der Roboter 30 umfasst einen Basisabschnitt, welcher um eine vertikale Achse rotiert, einen sich bewegenden und rotierenden Arm und eine an dem Arm angebrachte Hand, um die Werkstücke 50 zu greifen. Der Roboter 30 entsprechend dem durch die Robotersteuereinheit 20 ausgegebenen Steuersignal betreibt den Arm und die Hand zum Bewegen der Hand zu der Lernposition, greift zumindest eines der Werkstücke 50 in Masse und nimmt dieses aus dem Behälter 60. Es wird darauf hingewiesen, dass die Darstellung des Ziels, zu welchem das gegriffene Werkstück 50 transferiert wird, ausgelassen wird. Da die bestimmten Konfigurationen des Roboters 30 und der Hand dem Fachmann bekannt sind, wird eine Beschreibung davon ausgelassen.
Die dreidimensionale Messvorrichtung 40 erzeugt das Bereichsbild durch Messen der Werkstücke 50 in dem Behälter 60. Die dreidimensionale Messvorrichtung 40 kann durch beispielsweise eine einen Bereichsbildsensor umfassende Kamera, wie oben beschrieben, oder eine eine Stereokamera verwendende dreidimensionale Messvorrichtung realisiert werden. Die dreidimensionale Messvorrichtung 40 ist nicht auf eine einen Bereichssensor umfassende Kamera oder eine eine Stereokamera verwendende dreidimensionale Messvorrichtung beschränkt, und kann durch eine dreidimensionale Messvorrichtung in einem anderen System realisiert werden, solange diese dazu geeignet ist ein Bereichsbild einer dreidimensionalen Punktgruppe in dem Messprozess zu erzeugen. Das durch die dreidimensionale Messvorrichtung 40 erzeugte Bereichsbild wird an die Bildverarbeitungsvorrichtung 10a ausgegeben.
Die Werkstücke 50 werden in einem ungeordneten Zustand, umfassend einen Massenzustand, in dem Behälter 60 platziert. Jedes der Werkstücke 50 kann eine beliebige Form aufweisen und die Form oder etwas Ähnliches davon ist nicht besonders beschränkt, solange die Werkstücke 50 durch die an dem Arm des Roboters 30 angebrachte Hand gegriffen werden können.
Die nachstehende Beschreibung mit Bezug zu 2 betrifft in der Bildverarbeitungsvorrichtung 10a umfasste jeweilige funktionale Blöcke. Es wird darauf hingewiesen, dass in 2 Merkmale außer der Bildverarbeitungsvorrichtung 10a in dem Robotersystem 1a gesammelt als eine Umgebung 100 dargestellt sind.
Die Bildverarbeitungsvorrichtung 10a umfasst einen Auswahlverarbeitungsabschnitt 11, einen Anzeigeabschnitt 12, einen Bedienungsempfangsabschnitt 13 und einen Lernabschnitt 14.
Wie oben als der Umriss des Robotersystems 1a beschrieben, wählt der Auswahlverarbeitungsabschnitt 11 die Greifposition des Werkstücks 50 durch Ausführen von verschiedenen Typen einer Bildverarbeitung aus. Die durch den Auswahlverarbeitungsabschnitt 11 ausgeführte Bildverarbeitung ist grob in 2 Typen klassifiziert, und zwar „Abstimmungsverarbeitung“ und „Ausschnittverarbeitung“. Um diese Verarbeitungstypen auszuführen, umfasst der Auswahlverarbeitungsabschnitt 11 einen Auswahldatenspeicherabschnitt 111, einen Anmerkungsverarbeitungsabschnitt 112, einen Abstimmungsabschnitt 113 und einen Ausschnittabschnitt 114. Der Auswahldatenspeicherabschnitt 111 ist eine Einheit zum Speichern von verschiedenen Typen von Daten, welche durch die jeweiligen funktionalen Blöcke in dem Auswahlverarbeitungsabschnitt 11 zu verwenden sind. Der Anmerkungsverarbeitungsabschnitt 112 ist eine Einheit zum Ausführen einer Verarbeitung zum Empfangen eines Unterrichtens der Greifposition des Werkstücks 50 von dem Anwender. Der Abstimmungsabschnitt 113 ist eine Einheit zum Ausführen einer Abstimmungsverarbeitung. Der Ausschnittabschnitt 114 ist eine Einheit zum Ausführen einer Ausschnittverarbeitung. Später wird eine Beschreibung der Funktionen der jeweiligen funktionalen Blöcke, welche in dem Auswahlverarbeitungsabschnitt 11 umfasst sind, und der Inhalte der Abstimmungsverarbeitung und der Ausschnittverarbeitung gegeben.
Der Anzeigeabschnitt 12 ist eine Einheit zum Anzeigen der durch den Auswahlverarbeitungsabschnitt 11 ausgegebenen Bilder. Die durch den Auswahlverarbeitungsabschnitt 11 ausgegebenen Bilder sind beispielsweise das Bereichsbild, welches durch Messen der Werkstücke 50 durch die dreidimensionale Messvorrichtung 40 erzeugt ist, und das Bild, bei welchem die durch den Anwender unterrichtete Lernposition auf dem Bereichsbild eingezeichnet ist. Der Anzeigeabschnitt 12 wird beispielsweise durch eine Flüssigkristallanzeige oder eine organische EL Anzeige realisiert.
Der Bedienungsempfangsabschnitt 13 ist eine Einheit zum Empfangen einer Operation (Bedienung) von dem Anwender. Der Bedienungsempfangsabschnitt 13 empfängt beispielsweise eine Operation zum Bestimmen der Greifposition für ein Unterrichten der Greifposition des Werkstücks 50 von dem Anwender, welcher sich auf das auf dem Anzeigeabschnitt 12 angezeigte Bereichsbild bezieht. Der Bedienungsempfangsabschnitt 13 wird beispielsweise durch eine Maus, eine Tastatur oder etwas Ähnliches realisiert.
In einem Beispiel kann der Anwender eine Maus oder eine Tastatur verwenden, um den auf dem Anzeigeabschnitt 12 angezeigten Cursor zu der Greifposition zu verschieben (zu der die Greifposition angebenden Position auf dem Bild), wodurch die Greifposition bestimmt wird. Alternativ kann der Anzeigeabschnitt 12 und der Bedienungsempfangsabschnitt 13 integral durch ein Touchpanel realisiert werden, wodurch der Anwender auf die Greifposition tippt (die die Greifposition angebende Position auf dem Bild), um die Greifposition zu bestimmen, als ein Beispiel.
Der Lernabschnitt 14 ist eine Einheit zum Ausführen einer Verarbeitung betreffend ein Maschinenlernen. Der Lernabschnitt 14 umfasst einen Lernverarbeitungsabschnitt 141, einen Lernmodellspeicherabschnitt 142 und einen Abschätzungsverarbeitungsabschnitt 143. Der Lernverarbeitungsabschnitt 141, welcher eine Einheit zum Ausführen eines Maschinenlernens ist, führt ein Deep-Learning unter Verwendung beispielsweise eines neuronalen Faltungsnetzwerks aus. Der Lernmodellspeicherabschnitt 142 ist eine Einheit zum Speichern von Parametern eines Lernmodells in Bearbeitung zum Lernen durch den Lernverarbeitungsabschnitt 141 und von Parametern von Lernmodellen bei einem Maschinenlernen. Der Abschätzungsverarbeitungsabschnitt 143 führt eine Abschätzung unter Verwendung des in dem Lernmodellspeicherabschnitt 142 gespeicherten Lernmodells für die Auswahl der Greifposition durch den Auswahlverarbeitungsabschnitt 11 aus. Das durch diese jeweiligen Einheiten auszuführende Maschinenlernen wird genau in dem Abschnitt <Maschinenlernen> beschrieben.
Die in der Bildverarbeitungsvorrichtung 10a umfassten funktionalen Blöcke wurden bis hierhin beschrieben. Um diese Funktionenblöcke zu realisieren, umfasst die Bildverarbeitungsvorrichtung 10a eine arithmetische Verarbeitungseinheit wie beispielsweise eine CPU (zentrale Verarbeitungseinheit). Die Bildverarbeitungsvorrichtung 10a umfasst weiter eine Hilfsspeichervorrichtung wie beispielsweise eine HDD (Festplatte) zum Speichern von verschiedenen Steuerprogrammen wie beispielsweise Anwendungssoftware und ein OS (Betriebssystem) und eine Hauptspeichervorrichtung wie beispielsweise einen RAM (Arbeitsspeicher) zum zeitweisen Speichern von benötigten Daten, wenn die arithmetische Verarbeitungseinheit solch ein Programm ausführt.
In der Bildverarbeitungsvorrichtung 10a liest die arithmetische Verarbeitungseinheit solch eine Anwendungssoftware und OS aus der Hilfsspeichervorrichtung aus und führt eine arithmetische Verarbeitung basierend auf der Anwendungssoftware und dem OS aus, während die ausgelesenen Anwendungssoftware und OS in der Hauptspeichervorrichtung entwickelt wird. Verschiedene Typen von Hardware, welche in den jeweiligen Einheiten umfasst sind, werden auf der Basis des Ergebnisses der arithmetischen Verarbeitung gesteuert. In einer solchen Weise werden die Funksignalen Blöcke in der ersten Ausführungsform realisiert. Mit anderen Worten kann die erste Ausführungsform durch eine Zusammenarbeit von Hardware und Software realisiert werden.
In einem bestimmten Beispiel kann die Bildverarbeitungsvorrichtung 10a durch Integrieren einer Anwendungssoftware zum Realisieren der ersten Ausführungsform in einem Universal-Computer oder einem Server realisiert werden. Die Bildverarbeitungsvorrichtung 10a betrifft eine große Menge an mit dem durch den Lernabschnitt 14 ausgeführte Maschinenlernen verknüpfte Berechnung. Daher werden in einem Beispiel vorzugsweise eine GPU (graphische Verarbeitungseinheit), angebracht an einem Computer, und eine GPGPU (Universalzweckberechnung auf grafischen Verarbeitungseinheiten) genannte Technik für eine mit dem Maschinenlernen verknüpfte arithmetische Verarbeitung verwendet, wodurch eine hohe Geschwindigkeit bei der Verarbeitung ermöglicht wird. Alternativ wird vorzugsweise eine FPGA (feldprogrammierbare Gateanordnung), angebracht in einem Computer, für eine mit dem Maschinenlernen verknüpfte arithmetische Verarbeitung verwendet, wodurch eine hohe Geschwindigkeit bei der Verarbeitung ermöglicht wird.
Weiter kann, um eine Verarbeitung mit einer höheren Geschwindigkeit auszuführen, ein Computercluster unter Verwendung einer Vielzahl von mit solch einer GPU oder einem FPGA ausgestatteten Computern gebildet werden, sodass die Vielzahl von in dem Computercluster umfassten Computern eine parallele Verarbeitung ausführt.
Die durch den Auswahlverarbeitungsabschnitt 11 ausgeführte Verarbeitung wird genau nachstehend beschrieben. Wie oben beschrieben, führt der Auswahlverarbeitungsabschnitt 11 2 Typen von Verarbeitung aus, und zwar „Abstimmungsverarbeitung“ und „Ausschnittverarbeitung“. Zuerst wird die Abstimmungsverarbeitung mit Bezug zu 3 bis 6 beschrieben.
3 zeigt den Zustand, bei welchem die in dem Behälter 60 gestapelten Werkstücke 50 überschaut werden. Wie in 3 gezeigt, werden die Werkstücke 50 ungeordnet in Masse platziert. Somit ist es schwierig das Werkstück 50 mit der Hand des Roboters zugreifen und aufzunehmen, ohne ein Unterrichten über die Greifposition des Werkstücks 50 zu empfangen. Es wird darauf hingewiesen, dass in den Diagrammen zur Vereinfachung der Darstellung lediglich manche der Werkstücke 50 mit dem Bezugszeichen bezeichnet sind.
Die dreidimensionale Messvorrichtung 40 erzeugt ein Bereichsbild durch Messen der in Masse in dem Behälter 60 gestapelten Werkstücke 50. Die Messvorrichtung 40 überträgt das erzeugte Bereichsbild an den Auswahlverarbeitungsabschnitt 11 der Bildverarbeitungsvorrichtung 10a. Das durch den Auswahlverarbeitungsabschnitt 11 empfangene Bereichsbild wird in dem Auswahldatenspeicherabschnitt 111 gespeichert. Der Anmerkungsverarbeitungsabschnitt 112 erfasst das Bereichsbild aus dem Auswahldatenspeicherabschnitt 111, um das Unterrichten der Greifposition des Werkstücks 50 von dem Anwender zu empfangen. Dann gibt der Anmerkungsverarbeitungsabschnitt 112 das erfasste Bereichsbild an den Anzeigeabschnitt 12 aus. Der Anzeigeabschnitt 12 zeigt das in 4 gezeigte eingegebene Bereichsbild an. Es wird darauf hingewiesen, dass in dem Diagramm zur Vereinfachung der Darstellung lediglich manche der Werkstücke 50 mit dem Bezugszeichen bezeichnet sind.
Die dreidimensionale Messung wird ausgeführt, wodurch es ermöglicht wird das Bereichsbild zu erzeugen, bei welchem die Positionen von entsprechenden zweidimensionalen Pixeln eine Information aufweisen. Der Anmerkungsverarbeitungsabschnitt 112 veranlasst, dass das Bereichsbild angezeigt wird, sodass die Höheninformation der jeweiligen Pixel mit einer RGB Farbabstufung wiedergegeben wird, oder diese mit einer Dichte einer Graustufe wiedergegeben wird. Der eine Unterrichtung ausführende Anwender ist dazu fähig die Tiefeninformation zu erkennen, durch Bezugnahme auf das durch solch ein Wiedergabeverfahren wiedergegebene Bereichsbild.
Entsprechend Einschränkungen der Darstellung in den Patentdiagrammen, wird eine Höheninformation von entsprechenden Pixeln in 4 durch eine Schraffur wiedergegeben. Die Wiedergabe ist nicht darauf beschränkt. In einem Beispiel kann die Höheninformation von entsprechenden Pixeln durch eine Farbabstufung, eine Abstufung oder etwas Ähnliches wiedergegeben werden. In 4 wird ein Objekt, welches in einem geringeren Abstand von der dreidimensionale Messvorrichtung 40 positioniert ist (das heißt die Höhe eines Objekts von dem Boden ist höher) wird weißer wiedergegeben, während ein Objekt, welches in einem längeren Abstand von der dreidimensionalen Messvorrichtung 40 positioniert ist (das heißt die Höhe eines Objekts von dem Boden ist geringer) wird in einem dunkleren schwarz wiedergegeben.
In einem Beispiel ist ein Werkstück 50a bei einer höheren Position als ein Werkstück 50b von dem Boden positioniert, und somit ist das Werkstück 50a derart schraffiert, um weißer als das Werkstück 50b wiedergegeben zu werden. Der zu dem Werkstück 50b gehörige Bereich ist teilweise durch den zu dem Werkstück 50a gehörigen Bereich verdeckt. Der darauf bezugnehmende Anwender kann erkennen, dass das Werkstück 50a oberhalb des Werkstücks 50b gestapelt ist. In einem Beispiel schwankt der zu einem Werkstück 50c gehörige Bereich in der Höhe in Abhängigkeit von der Position. Der darauf bezugnehmende Anwender kann erkennen, dass das Werkstück 50c in einem geneigten Zustand gestapelt ist.
Der auf das auf dem Anzeigeabschnitt 12 angezeigte Bereichsbild bezugnehmen Anwender, wie oben beschrieben, bestimmt die Greifposition des Werkstücks 50 durch Verwenden des durch eine Maus oder ein Touchpanel realisierten Bedienungsempfangsabschnitts 13, wie oben beschrieben, wodurch die Greifposition des Werkstücks 50 unterrichtet wird. Der Bedienungsempfangsabschnitt 13 benachrichtigt den Anmerkungsverarbeitungsabschnitt 112 über die Lernposition, welches die gelernte Greifposition des Werkstücks 50 ist. Der Anmerkungsverarbeitungsabschnitt 112 zeichnet die gemeldete Lernposition mit Bezug zu der Lernposition auf dem Bereichsbild derart ein, dass der Anwender die Lernposition erkennen kann. Ein solches Zeichnen wird beispielsweise durch ein Verfahren ausgeführt, wobei das Verfahren die Pixel der Lernposition auf dem Bereichsbild unterschiedlich einfärbt, sodass der Anwender die Position einfach erkennen kann. 5 zeigt ein Anzeigebeispiel, bei welchem ein solches Zeichnen ausgeführt ist.
Der Anwender unterrichtet die Greifposition für jedes der Werkstücke 50, welche an zum Greifen geeigneten Positionen positioniert sind. Dann, wie als Lernpositionen 71 in dem Diagramm gezeigt, werden die Lernpositionen derart gezeichnet, dass die Lernpositionen, welche von dem Anwender unterrichtet sind, gegriffen werden können. Es wird darauf hingewiesen, dass in dem Diagramm zur Vereinfachung der Darstellung lediglich manche der Lernpositionen 71 mit dem Bezugszeichen bezeichnet sind.
Der Anmerkungsverarbeitungsabschnitt 112 erfasst die dreidimensionale Punktinformation der erlernten Position und die Lernposition-Peripherie-Bilddaten, welches die dreidimensionale Punktgruppeninformation eines vorbestimmten Peripheriebereichs der Lernposition ist, welche in der Mitte der Lernposition zentriert ist. Dann verknüpft der Anmerkungsverarbeitungsabschnitt 112 die erfasste dreidimensionale Punktinformation der Lernposition mit den erfassten Lernposition-Peripherie-Bilddaten und speichert diese in dem Auswahldatenspeicherabschnitt 111 als Punktgruppeninformation zum Abstimmen.
6 zeigt ein Beispiel der Punktgruppeninformation zum Abstimmen einer Punktgruppeninformation für ein Abstimmen 80. Obwohl ein Lernpunkt lediglich zur Erläuterung in dem Beispiel aus 6 eingezeichnet ist, umfassen die Lernposition-Peripherie-Bilddaten, welche in der Punktgruppeninformation zum Abstimmen 80 umfasst sind, keine gezeichnete Lernposition. In der nachstehenden Beschreibung wird die Angabe „80“, welches das der Punktgruppeninformation zum Abstimmen gegebene Bezugszeichen ist, ausgelassen.
Die Bereichsgröße der dreidimensionalen Punktgruppe, welche als Punktgruppeninformation zum Abstimmen zu erfassen ist, wird vorab auf der Basis der Größe der Werkstücke 50 oder etwas Ähnlichem eingestellt. Es wird drauf hingewiesen, dass die Punktgruppeninformation zum Abstimmen derart verwendet werden kann, dass die dreidimensionale Punktgruppeninformation mit einem etwas großen Bereich als Punktgruppeninformation zum Abstimmen gespeichert wird, und danach die Einstellung davon angepasst wird, sodass die Punktgruppeninformation zum Abstimmen in einer gewünschten Größe zugeschnitten und erfasst wird, wenn die gespeicherte Punktgruppeninformation zum Abstimmen in dem nachstehend beschriebenen Abstimmen verwendet wird.
Es wird darauf hingewiesen, dass der Anmerkungsverarbeitungsabschnitt 112 zusätzlich Information zu der Punktgruppeninformation zum Abstimmen hinzufügen kann. Beispielsweise kann eine die Merkmale der Punktgruppeninformation zum Abstimmen angebende Information hinzugefügt werden. Die Merkmale angebende Information ist hierin beispielsweise eine Information beispielsweise eine Durchschnittshöhe der dreidimensionalen Punkte der Vielzahl von in der Punktgruppeninformation zum Abstimmen umfassten Pixel, oder die Höhe der dreidimensionalen Punkte der zu der Lernposition gehörigen Pixel.
In der ersten Ausführungsform, da die Vielzahl von Werkstücken 50 in Masse gestapelt sind, werden die Vielzahl von Lernpositionen durch den Anwender unterrichtet, wie oben beschrieben, durch Verwenden eines Teils des Bereichsbilds, erhalten durch Messen der dreidimensionalen Messvorrichtung 40, wodurch das Unterrichten der Greifpositionen mit Bezug zu den möglichen jeweiligen Stellungen der Werkstücke 50 ermöglicht wird.
Bei dem Unterrichten mit einem als ein verwandter Stand der Technik beschriebenen CAD Modell wird angenommen, dass dreidimensionale Punkte gleichförmig mit Bezug zu Formen erfasst werden können. Allerdings, wenn Bilder tatsächlich fotografiert werden, können dreidimensionale Punkte nicht gleichförmig mit Bezug zu Formen erfasst werden, aufgrund von optischen Bedingungen und etwas Ähnlichem. Wie oben beschrieben, gibt es einen Unterschied in einer Erfassungsleichtigkeit der dreidimensionalen Punkte zwischen einer Annahme und einer tatsächlichen Abbildung, und somit kann ein solcher unterschied den Abstimmungsgrad in manchen Fällen beeinflussen.
Andererseits wird in der ersten Ausführungsform das Bereichsbild basierend auf den unter den tatsächlichen optischen Bedingungen erfassten dreidimensionalen Punkten als Eingabe erfasst, und somit kann die dreidimensionale Punktgruppeninformation der Peripherie der Zeichenposition gespeichert werden, wodurch verhindert werden kann, dass ein Problem, wie in dem Fall des Unterrichtens mit einem CAD Modell, die Lernposition des Werkstücks 50, welche zu der Lernposition bei dem CAD Modell gehört, nicht erfasst werden kann, aufgrund der optischen Bedingungen und etwas Ähnlichem.
Die nachstehende Beschreibung betrifft das Abstimmen unter Verwendung der Punktgruppeninformation zum Abstimmen, welche durch den Abstimmungsabschnitt 113 ausgeführt wird, um das Werkstück 50 zugreifen. Damit das Werkstück 50 gegriffen wird, erfasst der Abstimmungsabschnitt 113 das Bereichsbild der Werkstücke 50, welche in dem Behälter 60 in Masse gestapelt sind, aus der dreidimensionalen Messvorrichtung 40. Dann sucht der Abstimmungsabschnitt 113 das erfasste Bereichsbild auf der Basis der Lernposition-Peripherie-Bilddaten, welche in jedem Teil von Punktgruppeninformation umfasst sind, zum Abstimmen, gespeichert in dem Auswahldatenspeicherabschnitt 111, unter Verwendung eines Abstimmungsverfahrens von dreidimensionalen Punktgruppen beispielsweise ein ICP (Interaktives-Nächster-Punkt) Abstimmen. Dann wählt der Abstimmungsabschnitt 113 beispielsweise die Mittelposition des Bildbereichs mit einer hohen Bewertung zum Abstimmen in dem Bereichsbild aus, als die Greifposition des zu greifenden Werkstücks 50. Es wird darauf hingewiesen, dass der Abstimmungsabschnitt 113 die Vielzahl von Bildbereichen auswählt, deren Abstimmungsbewertungen höher als ein Schwellenwert sind, und kann den Bildbereich mit der höchsten Höhe von dem Boden aus der Vielzahl von Bildbereichen als die neuen Lernposition-Peripherie-Bilddaten verwenden.
Der Abstimmungsabschnitt 113 überträgt die ausgewählte Greifposition des Werkstücks 50 an die Robotersteuereinheit 20. Dann steuert die Robotersteuereinheit 20 den Roboter 30 auf der Basis der empfangenen Greifposition des Werkstücks 50, sodass ein Greifen des Werkstücks 50 versucht wird auszuführen.
Hierbei, obwohl die Punktgruppeninformation zum Abstimmen auf der Basis des Unterrichten durch den Anwender erzeugt wird, wie oben beschrieben, sind nicht alle Teile von Punktgruppeninformation zum Abstimmen geeignet. In einem Beispiel kann in manchen Fällen das Greifen erfolgreich sein, falls ein Bereich mit einer hohen Abstimmungsbewertung mit einem bestimmten Teil von Punktgruppeninformation zum Abstimmen als eine Greifposition eingestellt ist, aber kann fehlschlagen, falls ein Bereich mit einer hohen Abstimmungsbewertung mit einem anderen Teil von Punktgruppeninformation zum Abstimmen als eine Greifposition eingestellt ist. Wie oben beschrieben kann in manchen Fällen der Erfolg oder das Fehlschlagen von einem Teil der Punktgruppeninformation zum Abstimmen abhängen. Somit kann der Abstimmungsabschnitt 113 jeden Teil von Punktgruppeninformation zum Abstimmen bewerten, wodurch ein Bewertungswert jedem Teil von Punktgruppeninformation zum Abstimmen verliehen (zugewiesen) wird. Dann verwendet der Abstimmungsabschnitt 113 vorzugsweise die Punktgruppeninformation zum Abstimmen mit einem höheren Bewertungswert. Der Abstimmungsabschnitt 113 speichert die Punktgruppeninformation zum Abstimmen mit dem zugewiesenen Bewertungswert in dem Auswahldatenspeicherabschnitt 111, um die Punktgruppeninformation zum Abstimmen mit den zugewiesenen Bewertungswert als Lehrerdaten in dem später beschriebenen Maschinenlernen verwendet wird. Es wird darauf hingewiesen, dass die Punktgruppeninformation zum Abstimmen mit niedrigem Bewertungswert ebenso als Lehrerdaten (Fehlerdaten) für das Maschinenlernen notwendig ist. Daher speichert der Abstimmungsabschnitt 113 nicht nur die Punktgruppeninformation zum Abstimmen mit hohen Bewertungswerten sondern ebenso die Punktgruppeninformation zum Abstimmen mit niedrigen Bewertungswerten, als Lehrerdaten in dem Auswahldatenspeicherabschnitt 111.
Der Abstimmungsabschnitt 113 ist geeignet zum Verleihen von einem Bewertungswert in Abhängigkeit von dem Erfolg oder dem Versagen beim Greifen des Werkstücks 50. In einem Beispiel, falls ein Bereich mit einer hohen Abstimmungsbewertung mit einem bestimmten Teil von Punktgruppeninformation zum Abstimmen als eine Greifposition eingestellt ist, und weiter das Greifen des Werkstücks 50 erfolgreich ist verleiht der Abstimmungsabschnitt 113 einen höheren Bewertungswert im Vergleich zu dem Fall, bei welchem das Greifen fehlschlägt. In einem Beispiel verleiht der Abstimmungsabschnitt 113 einen ersten vorbestimmten Wert oder höher (beispielsweise 60 Punkte oder höher), falls das Greifen des Werkstücks 50 erfolgreich ist, und verleiht einen zweiten vorbestimmten Wert oder geringer (beispielsweise 50 Punkte oder weniger), falls das Greifen des Werkstücks 50 fehlschlägt. In einem Beispiel, falls das Greifen des Werkstücks 50 erfolgreich ist, kann der Abstimmungsabschnitt 113 einen Bewertungswert verleihen, welcher weiter unterschiedlich ist, in Abhängigkeit von der Zeit, welche zum Greifen benötigt wird. In einem Beispiel, wenn die zum Greifen des Werkstücks 50 benötigte Zeit kürzer ist, kann der Abstimmungsabschnitt 113 einen höheren Bewertungswert zuweisen. In einem anderen Beispiel, falls das Greifen des Werkstücks 50 fehlschlägt, kann der Abstimmungsabschnitt 113 einen Bewertungswert zuweisen, welcher unterschiedlich ist, in Abhängigkeit von dem Grad eines Fehlschlagens. In einem Beispiel, falls das Werkstück 50 gegriffen wurde, aber mitten bei dem Aufnehmen fällt, kann der Abstimmungsabschnitt 113 einen höheren Bewertungswert zuweisen, als für den Fall, bei welchem das Werkstück 50 nicht gegriffen wurde.
Der Abstimmungsabschnitt 113 führt ein abstimmen basierend auf jedem Teil von Punktgruppeninformation zum Abstimmen mit Bezug zu dem durch eine aktuelle Messung erfassten Bereichsbild aus. Der Abstimmungsabschnitt 113 versucht das Werkstück 50 bei jeder abgestimmten Position zugreifen, und weist einen Bewertungswert zu, wie oben beschrieben. Die Verarbeitung wird durch ein neues Erfassen des Bereichsbilds der Werkstücke 50 wiederholt, welche in dem Behälter 60 in Masse gestapelt sind, von der dreidimensionalen Messvorrichtung 40.
Auf diese Weise wiederholt derart Abstimmungsabschnitt 113 das Abstimmen und das Greifen des Werkstücks 50 durch Verwenden der Punktgruppeninformation zum Abstimmen und weist ebenso einen Bewertungswert in Abhängigkeit von dem Ergebnis des Greifen zu, wodurch ermöglicht wird, dass jeder Teil von Punktgruppeninformation zum Abstimmen bewertet wird. Dann wählt der Abstimmungsabschnitt 113 einen Teil von Punktgruppeninformation zum Abstimmen mit einem hohen Bewertungswert aus, wodurch ermöglicht wird, dass die Wahrscheinlichkeit eines erfolgreichen Greifens des Werkstücks 50 verbessert wird.
Der Abstimmungsabschnitt 113 kann die dreidimensionale Punktgruppeninformation mit dem selben Größenbereich wie die Punktgruppeninformation zum Abstimmen mit Bezug zu dem Bereich erfassen, bei welchem das Abstimmen in dem Bereichsbild erfolgreich ist, und kann die erfasste dreidimensionale Punktgruppeninformation als eine neue Punktgruppeninformation zum Abstimmen verwenden. Mit einem solchen Verfahren kann der Abstimmungsabschnitt 113 das Werkstück 50 mit Bezug zu der neuen Punktgruppeninformation zum Abstimmen greifen, welche auf der Basis des abgestimmten Bereichs erfasst ist, zusätzlich zu der Punktgruppeninformation zum Abstimmen, welche bei dem Abstimmen verwendet ist. Mit anderen Worten kann der Abstimmungsabschnitt 113 die Punktgruppeninformation zum Abstimmen automatisch erhöhen. Somit ist es möglich die Punktgruppeninformation zum Abstimmen mit höheren Bewertungswerten zu sammeln.
Wie oben beschrieben wiederholt in der ersten Ausführungsform der Abstimmungsabschnitt 113 das Abstimmen und das Greifen des Werkstücks 50 durch Verwenden der Punktgruppeninformation zum Abstimmen, und ebenso das Verleihen eines Bewertungswerts in Abhängigkeit von dem Ergebnis des Greifens, wodurch ermöglicht wird, dass die Greifposition des Werkstücks 50 ausgewählt wird. Der Abstimmungsabschnitt 113 ist dazu geeignet die Punktgruppeninformation zum Abstimmen automatisch zu erhöhen. Entsprechend ist es in der ersten Ausführungsform möglich, dass das Werkstück 50 auf der Basis der ausgewählten Greifposition gegriffen wird, ohne eine neue Unterrichtung von dem Anwender zu empfangen.
Es wird darauf hingewiesen, dass die erste Ausführungsform auf dem Unterrichten mit Bezug zu dem durch tatsächliches Messen der Werkstücke 50 durch die dreidimensionale Messvorrichtung 40 erfassten Bereichsbild basiert, im Gegensatz zu einem konventionell ausgeführten Unterrichten mit Bezug zu einem CAD Modell und etwas Ähnlichem. In einem solchen Fall, bei welchem das durch tatsächliches Messen der Werkstücke 50 erfasste Bereichsbild verwendet wird, wie oben beschrieben, schlägt ein Abstimmen einzurichten wahrscheinlich fehl, aufgrund einer Störung oder etwas Ähnlichem. Daher kann in manchen Fällen ein Schwellenwert mit Bezug zu dem Erfolg oder dem Fehlschlagen beim Abstimmen niedriger eingestellt werden, sodass das Abstimmen wahrscheinlicher eingerichtet wird. Allerdings verursacht ein solches Verfahren zum Einstellen eines niedrigeren Schwellenwerts das Problem, dass das Abstimmen eingerichtet wird, selbst bei den Positionen, welche tatsächlich nicht dazu geeignet sind als Greifpositionen detektiert zu werden. Um dieses Problem zu lösen, wenn das Abstimmen bei einer Position versucht wird, welche nicht durch ein Zeichnen unterrichtet ist, und falls das Abstimmen eingerichtet wird, bei einer solchen Position, welche nicht unterrichtet ist, kann die Position als ungeeignet als die Detektionsposition angenommen werden, und kann die Verarbeitung zum Ausschließen der Position aus den endgültig detektierten Positionen weiter zu der Verarbeitung in der oben beschriebenen ersten Ausführungsform hinzugefügt werden. Die Abstimmungsverarbeitung durch den Abstimmungsabschnitt 113 wurde bis hierhin beschrieben. Die oben beschriebene Abstimmungsverarbeitung ermöglicht es die Auswahl der Greifposition des Werkstücks 50 zu realisieren. Das Maschinenlernen durch den Lernabschnitt 14 und die Ausschnittverarbeitung durch den Ausschnittabschnitt 114 werden mit dieser Konfiguration kombiniert, wodurch es ermöglicht wird eine Genauigkeit bei einem Auswählen der Greifposition des Werkstücks 50 zu verbessern. Das Maschinenlernen durch den Lernabschnitt 14 wird nachfolgend beschrieben. Danach wird die Ausschnittverarbeitung durch den Ausschnittabschnitt 114 beschrieben.
Wie oben beschrieben wiederholt der Abstimmungsabschnitt 113 das Abstimmen und das Greifen des Werkstücks 50 durch Verwenden der Punktgruppeninformation zum Abstimmen, und ebenso das zuweisen eines Bewertungswert in Abhängigkeit von dem Ergebnis des greifest, wodurch die Punktgruppeninformation zum Abstimmen mit zugewiesenen Bewertungswerten erzeugt wird. Dann, wie oben beschrieben, speichert der Abstimmungsabschnitt 113 in dem Auswahldatenspeicherabschnitt 111 die Punktgruppeninformation zum Abstimmen mit den zugewiesenen Bewertungsdaten. Der Lernverarbeitungsabschnitt 141 des Lernabschnitts 14 führt ein überwachtes Maschinenlernen durch Verwenden als Lehrerdaten der Punktgruppeninformation zum Abstimmen mit den zugewiesenen Bewertungswerten aus, welche in dem Auswahldatenspeicherabschnitt 111 gespeichert sind. Der Lernverarbeitungsabschnitt 141 bildet ein Lernmodell zum Verbessern einer Genauigkeit beim Auswählen der Greifposition des Werkstücks 50 durch das überwachte Lernen. Dann speichert der Lernverarbeitungsabschnitt 141 das gebildete Lernmodell in dem Lernmodellspeicherabschnitt 142. Dann verwendet in der später beschriebenen Ausschnittverarbeitung der Abschätzungsverarbeitungsabschnitt 143 das in dem Lernmodellspeicherabschnitt 142 gespeichertes Lernmodell, wodurch ermöglicht wird, dass die Greifposition des Werkstücks 50 ausgewählt wird, ohne dass Abstimmen mit dem Bereichsbild auszuführen, welches durch eine Messung durch die dreidimensionale Messvorrichtung 40 erfasst ist. Der Lernverarbeitungsabschnitt 141 führt weiter das Maschinenlernen auf der Basis des Erfolgs oder des Fehlschlagen bei dem Greifen in der Ausschnittverarbeitung aus, wodurch ermöglicht wird, dass das Lernmodell weiter aktualisiert wird, welches einmal gebildet ist und in dem Lernmodellspeicherabschnitt 142 gespeichert ist.
Bilden des Lernmodells wird nachfolgend besonders beschrieben. Der Lernverarbeitungsabschnitt 141 führt das überwachte Lernen unter Verwendung als Eingabedaten der Lernposition Peripheriebilddaten, welche in der in dem Auswahldatenspeicherabschnitt 111 gespeicherten Punktgruppeninformation zum Abstimmen umfasst sind, und unter Verwendung als ein Kennzeichen des zu der Punktgruppeninformation zum Abstimmen zugewiesenen Bewertungswert aus. Als ein Verfahren für das überwachte Lernen führt der Lernverarbeitungsabschnitt 141 ein Deep-Learning unter Verwendung eines neuronalen Faltungsnetzwerks (CNN) aus, welches ein neuronales Netzwerk ist, welches zum Lernen mit Bezug zu Bilddaten geeignet ist. Das neuronale Faltungsnetzwerk wird für das Lernen vorbereitet, um drei oder mehr Schichten aufzuweisen, und umfasst zumindest einmal eine Bildfaltungsoperation. Allerdings ist das in der ersten Ausführungsform angewendete Maschinenlernen nicht gedacht, auf ein solches neuronales Faltungsnetzwerk beschränkt zu sein. Ein Maschinenlernen unter Verwendung eines Deep-Learning-Modells außer einem neuronalen Faltungsnetzwerk, einem linearen Modell oder etwas Ähnlichem kann in der ersten Ausführungsform angewendet werden.
Das neuronale Faltungsnetzwerk weist hierbei eine Struktur auf, welche eine Faltungsschicht, eine Zusammenführungsschicht, eine vollständig verbundene Schicht und eine Ausgabeschicht umfasst. Dies ist lediglich ein strukturelles Beispiel zur Erläuterung. Beispielsweise kann eine Zusammenführungsschicht ausgelassen werden, falls das Lernen durch Verwenden eines Bilds als ein Kennzeichen, wie oben beschrieben, ausgeführt wird, kann eine Entfaltungsschicht weiter vorgesehen sein.
In der Faltungsschicht wird die eingegebene dreidimensionale Punktgruppeninformation mit einem vorbestimmten Parameter gefiltert, damit eine Merkmalsentnahme wie beispielsweise eine Randentnahme ausgeführt wird. Der Parameter bei dem Filtern, welche zu einer Gewichtung eines allgemeinen neuronalen Netzwerks gehört, wird durch Wiederholen des Lernens gelernt.
In einem Beispiel ist in der Zusammenführungsschicht die Bildausgabe von der Faltungsschicht in kleine Fenster unterteilt, und die Merkmale der jeweiligen Fenster (beispielsweise die Maximalwerte in entsprechenden Fenstern) werden ausgegeben. Die Faltungsschicht und die Zusammenführungsschichten werden zusammengeführt, wodurch ermöglicht wird, dass eine Merkmalsgröße aus der dreidimensionalen Punktgruppeninformation entnommen wird.
In der vollständig verbundenen Schicht wird ein durch die Faltungsschicht und die Zusammenführungsschicht entnommenes Merkmal zu einem Knoten und der durch eine Aktivierungsfunktion umgewandelte Wert wird ausgegeben. Die Aktivierungsfunktion ist hierbei eine Funktion, bei welcher alle ausgegebenen Werte geringer als 0 zu 0 geändert werden, und wird verwendet, um lediglich einen Abschnitt mit einem bestimmten Schwellenwert oder höher als eine sinnvolle Information an die Ausgabeschicht zu senden.
Die Ausgabeschicht gibt einen Bewertungswert mit Bezug zu dem Greifen basierend auf der Punktgruppeninformation zum Abstimmen aus, welche als Eingangsdaten verwendet ist, auf der Basis der Ausgabe von der vollständig verbundenen Schicht. Dann wird der Fehler zwischen der Ausgabe von der Ausgabeschicht und dem Kennzeichen berechnet. Das Kennzeichen ist hierbei der der Punktgruppeninformation zum Abstimmen zugewiesene Bewertungswert, welche als Eingabedaten verwendet ist, wie oben beschrieben.
Beim Start des Lernens, da jeder in dem neuronalen Faltungsnetzwerk umfasste Parameter nicht geeignet gewichtet ist, kann der Fehler wahrscheinlich einen großen Wert aufweisen. Daher korrigiert der Lernverarbeitungsabschnitt 141 den Gewichtungswert, um den berechneten Fehler zu reduzieren. Insbesondere wird die Vorwärtsausbreitung oder Rückwärtsausbreitung genannte Verarbeitung wiederholt, um den Fehler zu reduzieren, wodurch ein Gewichtungswert eines jeden in dem neuronalen Faltungsnetzwerk umfassten Perzeptron geändert wird.
In einer solchen Weise lernt der Lernverarbeitungsabschnitt 141 die Merkmale der Lehrerdaten und erfasst induktiv das Lernmodell zum Ausgeben des Bewertungswert aus der Punktgruppeninformation zum Abstimmen, welche als Eingangsdaten verwendet ist. Der Lernverarbeitungsabschnitt 141 speichert das gebildete Lernmodell als ein Lernmodell in dem Lernmodellspeicherabschnitt 142.
Das oben beschriebene Lernen kann in der Form eines online Lernens ausgeführt werden oder kann in der Form eines überwachten Lernens in einem Stapellernen oder einem Ministapellernen ausgeführt werden. Das online Lernen ist hierbei ein Lernverfahren, bei welchem ein überwachtes Lernen unmittelbar jedes Mal ausgeführt wird, wenn die Lehrerdaten erzeugt werden. Das Stapellernen ist hierbei ein Lernverfahren, bei welchem Lehrerdaten wiederholt erzeugt werden, eine Vielzahl von Teilen von Lehrerdaten bei der Wiederholung gesammelt werden, wodurch ein überwachtes lernen durch Verwenden aller gesammelten Lehrerdaten ausgeführt wird. Das Ministapellernen ist hierbei ein Lernverfahren, welches zu dem unmittelbaren Lernverfahren zwischen dem online Lernen und dem Stapellernen gehört, bei welchem ein überwachtes lernen jedes Mal ausgeführt wird, wenn Lehrerdaten gesammelt werden, zu einem gewissen Grad. Bei dem Stapellernen oder dem Ministapellernen können die gesammelten Lehrerdaten in dem Auswahldatenspeicherabschnitt 111 gespeichert werden, bis das Lernen gestartet wird. Falls ein neuer Teil von Lehrerdaten erfasst wird, kann das Lernen unter Verwendung der Parameter des Lernmodells als ein Anfangswert ausgeführt werden, wodurch eine Genauigkeit bei der Abschätzung unter Verwendung des Lernmodells verbessert wird. Alternativ kann, falls ein neues Teil von Lehrerdaten erfasst wird, ein getrenntes Lernmodell neu gebildet werden, unbeachtlich des Lernmodells.
Die durch den Ausschnittabschnitt 114 ausgeführte Ausschnittverarbeitung wird nachstehend beschrieben. Der Ausschnittabschnitt 114 verwendet das durch den Lernverarbeitungsabschnitt 141 gebildete Lernmodell, um die Greifposition des Werkstücks 50 auszuwählen, ohne dass Abstimmen mit dem durch eine Messung durch die dreidimensionale Messvorrichtung 40 erfassten Bereichsbild auszuführen. Nachfolgend wird die Verarbeitung zum Auswählen der Greifposition ohne Ausführen des Abstimmens als „Ausschnittverarbeitung“ bezeichnet und eine Beschreibung davon wird nachstehend gegeben.
Bei der Ausschnittverarbeitung, wenn ein neues Bereichsbild während einer Greifarbeit erfasst wird, schneidet der Ausschnittabschnitt 114 das Bereichsbild in derselben Größe aus, wie in dem Lernmodell eingegeben (das heißt dieselbe Größe wie die Punktgruppeninformation zum Abstimmen), aus dem erfassten gesamten Bereichsbild. Dann erfasst der Ausschnittabschnitt 114 die dreidimensionale Punktgruppeninformation des ausgeschnittenen Abschnitts (nachfolgend als „Kandidatengreifposition“ bezeichnet).
Eine Entnahmeverarbeitung (Ausschnittverarbeitung) einer Kandidatengreifposition durch den Ausschnittabschnitt 114 wird mit Bezug zu 7 und 8 beschrieben. 7 zeigt einen Bereich, welcher als eine Kandidatengreifposition 90 auszuschneiden ist. Wie oben beschrieben, weist die Kandidatengreifposition 90 dieselbe Größe auf, wie in dem Lernmodell eingegeben (das heißt dieselbe Größe wie die Punktgruppeninformation zum Abstimmen).
Wie in 8 als ein Beispiel gezeigt, tastet der Ausschnittabschnitt 114 das gesamte Bild durch Verschieben eines Zielbereichs für die Kandidatengreifposition 90 jedes Mal um mehrere Pixel von dem oberen linken Abschnitt des Bilds ab, um ein Ausschneiden mit Bezug zu dem gesamten Bild auszuführen. Es wird darauf hingewiesen, dass obwohl das Abtasten in 8 lineare ausgeführt wird, kann das Abtasten in einer Rotation ausgeführt werden. Alternativ kann die Startposition des Abtastens oder die Abtasten Richtung beliebig eingestellt werden. Der Ausschnittabschnitt 114 erfasst weiter die Position (beispielsweise die Mittelposition der ausgeschnittenen Bilddaten) der Kandidatengreifposition 90 an dem Bereichsbild zum Zeitpunkt des Ausschneidens, und speichert diese in dem Auswahldatenspeicherabschnitt 111 in Verbindung mit der Kandidatengreifposition. Der Abschätzungsverarbeitungsabschnitt 143 erfasst von dem Auswahldatenspeicherabschnitt 111 entsprechende Teile der dreidimensionalen Punktgruppeninformation mit Bezug zu allen Kandidatengreifpositionen, welche auf diese Weise entnommen sind. Dann gibt der Abschätzungsverarbeitungsabschnitt 143 die jeweiligen Teile der dreidimensionalen Punktgruppeninformation aller erfassten Kandidatengreifpositionen in das Lernmodell ein, anstelle der oben beschriebenen Punktgruppeninformation für ein Abstimmen, und erfasst als Ausgaben die Bewertungswerte mit Bezug zu den jeweiligen Kandidatengreifpositionen. Der Abschätzung Verarbeitungsabschnitt 143 meldet diese Ausgaben dem Ausschnittabschnitt 114.
Der Ausschnittabschnitt 114 wählt eine Greifposition der in Verbindung mit dem ausgeschnittenen Bild gespeicherten Position mit einem hohen Bewertungswert, ausgegeben durch das Lernmodell, aus. Der Ausschnittabschnitt 114 überträgt die ausgewählte Greifposition an die Robotersteuereinheit 20. Dann steuert die Robotersteuereinheit 20 den Roboter 30 auf der Basis der empfangenen Greifposition, sodass ein Greifen des Werkstücks 50 versucht wird auszuführen.
Selbst falls ein Versuch zum Greifen des Werkstücks 50 auf der Basis der dreidimensionalen Punktgruppeninformation mit Bezug zu der Kandidatengreifposition ausgeführt wird, kann die Robotersteuereinheit 20 bei dem Greifen erfolgreich sein oder kann fehlschlagen, wie bei dem Fall eines Versuchs zum Greifen des Werkstücks 50 auf der Basis der Punktgruppeninformation zum Abstimmen. Daher weist der Ausschnittabschnitt 114 einen Bewertungswert ebenso der Kandidatengreifposition zu Unabhängigkeit von einem Erfolg oder einem fehlschlagen beim Greifen des Werkstücks 50, wie bei dem Fall der Punktgruppeninformation zum Abstimmen, zum Zeitpunkt der Abstimmungsverarbeitung. Der Ausschnittabschnitt 114 speichert die Kandidatengreifposition mit dem zugewiesenen Bewertungswert in dem Auswahldatenspeicherabschnitt 111. Der Lernverarbeitungsabschnitt 141 ist dazu geeignet die Kandidatengreifposition mit dem zugewiesenen Bewertungswert als neue Lehrerdaten zum Aktualisieren des Lernmodells zu verwenden.
Insbesondere führt der Lernverarbeitungsabschnitt 141 bevorzugt das online Lernen oder das Ministapellernen aus, welches oben beschrieben ist, unter Verwendung der dreidimensionalen Punktgruppendaten der Kandidatengreifposition als Eingangsdaten, und unter Verwendung als ein Kennzeichen des zu der Kandidatengreifposition zugewiesenen Bewertungswerts, als Eingangsdaten. Dies ermöglicht es, dass Lernmodell auf ein genaueres Lernmodell in Echtzeit zu aktualisieren, während die Greifoperation der Werkstücke 50 ausgeführt wird. Es wird darauf hingewiesen, dass das Lernen nicht auf das online Lernen oder das Ministapellernen beschränkt ist. Das Lernmodell kann über das Stapellernen aktualisiert werden.
Der Betrieb in der ersten Ausführungsform wird nachstehend mit Bezug zu den Flussdiagrammen aus 9A und 9B beschrieben. Es wird darauf hingewiesen, dass 9A ein Flussdiagramm der zu der oben beschriebenen Bestimmungsverarbeitung zugehörigen Operation ist, während 9B das Flussdiagramm der zu der oben beschriebenen Ausschnittverarbeitung gehörigen Operation ist.
In dem Schritt S11 erfasst der Anmerkungsverarbeitungsabschnitt 112 das Durchmessen der Werkstücke 50 in Masse erzeugte Bereichsbild, von der dreidimensionalen Messvorrichtung 40. Im Schritt S12 veranlasst der Anmerkungsverarbeitungsabschnitt 112, dass der Anzeigeabschnitt 12 das Bereichsbild anzeigt. Im Schritt S13 zeichnet der Anmerkungsverarbeitungsabschnitt 112 die Lernposition auf dem Bereichsbild ein, auf der Basis der Unterrichtung der Greifposition der Werkstücke 50, welche von dem Anwender durch den Bedienungsempfangsabschnitt 13 empfangen ist.
Im Schritt S14 stellt der Anmerkungsverarbeitungsabschnitt 112 die Größe der Punktgruppeninformation zum Abstimmen ein. Die Größe wird auf der Basis eines zuvor festgelegten Einstellwerts oder einer Anwenderbedienung eingestellt. Im Schritt S15 erzeugt der Anmerkungsverarbeitungsabschnitt 112 die Punktgruppeninformation zum Abstimmen, auf der Basis der im Schritt S14 ausgeführten Einstellung. Der Anmerkungsverarbeitungsabschnitt 112 speichert die erzeugte Punktgruppeninformation zum Abstimmen in dem Auswahldatenspeicherabschnitt 111. Im Schritt S16 teilt der Abstimmungsabschnitt 113 einen Bewertungswert der Punktgruppeninformation zum Abstimmen durch Ausführen des Abstimmens und das Greifen des Werkstücks 50 unter Verwendung der in dem Auswahldatenspeicherabschnitt 111 gespeicherten Punktgruppeninformation zum Abstimmen zu. Der Abstimmungsabschnitt 113 speichert die Punktgruppeninformation zum Abstimmen mit dem zugewiesenen Bewertungswert in dem Auswahldatenspeicherabschnitt 111.
Im Schritt S17 bestimmt der Abstimmungsabschnitt 113, ob die Punktgruppeninformation zum Abstimmen zusätzlich benötigt wird oder nicht. Falls eine forschende Anzahl oder mehr von Teilen von Punktgruppeninformation zum Abstimmen, welche jeweils einen vorbestimmten Bewertungswert oder mehr aufweisen, gespeichert sind, wird im Schritt S17 Nein bestimmt, und die Verarbeitung fährt mit dem Schritt S18 fort. Während, falls eine vorbestimmte Anzahl oder mehr von Teilen von Punktgruppeninformation zum Abstimmen, welche jeweils einen vorbestimmten Bewertungswert oder mehr aufweisen, nicht gespeichert sind, wird in dem Schritt S17 ja bestimmt, die Verarbeitung kehrt zum Schritt S11 zurück, sodass die Verarbeitung erneut wiederholt wird.
Im Schritt S18 führt der Lernverarbeitungsabschnitt 141 ein Lernen unter Verwendung als Eingangsdaten der Punktgruppeninformation zum Abstimmen, welche durch den Lernabschnitt 14 gespeichert ist, und unter Verwendung als ein Kennzeichen des zu der Punktgruppeninformation zum Abstimmen zugewiesenen Bewertungswert aus. Dies bildet ein Lernmodell und dies wird in dem Lernmodellspeicherabschnitt 142 gespeichert.
Die Operation in der Ausschnittverarbeitung wird nachstehend mit Bezug zu 9B beschrieben. Im Schritt S19 erfasst der Ausschnittabschnitt 114 das durch Messen der Werkstücke 50 in Masse erzeugte Bereichsbild, von der dreidimensionalen Messvorrichtung 40.
Im Schritt S20 schneidet der Ausschnittabschnitt 114 das Bereichsbild in derselben Größe aus, wie in dem Lernmodell eingegeben, das heißt dieselbe Größe wie die Punktgruppeninformation zum Abstimmen), aus dem erfassten gesamten Bereichsbild, als eine Kandidatengreifposition. Dann erfasst der Ausschnittabschnitt 114 die dreidimensionale Punktgruppeninformation der Kandidatengreifposition. Der Ausschnittabschnitt 114 speichert die erfasste dreidimensionale Punktgruppeninformation der Kandidatengreifposition in dem Auswahldatenspeicherabschnitt 111. Der Abschätzungsverarbeitungsabschnitt 143 gibt in dem Lernmodell die jeweiligen Teile der dreidimensionalen Punktgruppeninformation aller Kandidatengreifpositionen ein, welche in dem Auswahldatenspeicherabschnitt 111 gespeichert sind, und erfasst als Ausgaben die Bewertungswert 10 mit Bezug zu den jeweiligen Kandidatengreifpositionen. Der Abschätzungsverarbeitungsabschnitt 143 meldet die Ausgaben an den Ausschnittabschnitt 114.
Im Schritt S21 wählt der Ausschnittabschnitt 114 als eine Greifposition die in Verbindung mit dem ausgeschnittenen Bild mit einem durch das Lernmodell ausgegebenen hohen Bewertungswert gespeicherte Position. Der Ausschnittabschnitt 114 überträgt die ausgewählte Greifposition an die Robotersteuereinheit 20. Dann steuert die Robotersteuereinheit 20 den Roboter 30 auf der Basis der empfangenen Greifposition, sodass versucht wird ein Greifen des Werkstücks 50 auszuführen. Wie oben beschrieben, als ein Ergebnis des Versuchs zum Greifen des Werkstücks 50 kann das Greifen erfolgreich sein oder kann fehlschlagen. Daten weist der Ausschnittabschnitt 114 einen Bewertungswert der Kandidatengreifposition in Abhängigkeit von einem Erfolg oder einem Fehlschlag beim Greifen des Werkstücks 50 zu.
Im Schritt S22 bestimmt der Lernverarbeitungsabschnitt 141, ob das Lernmodell aktualisiert werden muss, durch Ausführen eines lernen unter Verwendung als Lehrerdaten der Kandidatengreifposition, welcher der Bewertungswert im Schritt S21 zugewiesen ist. Falls das Ministapellernen ausgeführt wird, und weiter falls eine vorbestimmte Anzahl von Teilen von Lehrerdaten gespeichert wurde oder falls eine bestimmte Zeitperiode verstrichen ist, seitdem vorherigen lernen, wird ja im Schritt S22 bestimmt, und die Verarbeitung fährt mit dem Schritt S23 fort, während, falls lediglich eine vorbestimmte Anzahl oder weniger von Teilen von Lerndaten aufgezeichnet wurde oder falls eine vorbestimmte Zeitperiode seit dem letzten Lernen nicht verstrichen ist, wird Nein im Schritt S22 bestimmt und die Verarbeitung fährt mit dem Schritt S24 fort. Es wird darauf hingewiesen, dass falls, das online Lernen ausgeführt wird, ja im Schritt S22 bestimmt wird und die Verarbeitung mit dem Schritt S23 fortfährt.
Im Schritt S23 führt der Lernverarbeitungsabschnitt 141 das oben beschriebene Lernen aus, unter Verwendung der dreidimensionalen Punktgruppendaten der Kandidatengreifposition als Eingangsdaten und unter Verwendung als ein Kennzeichen des der Kandidatengreifposition zugewiesenen Bewertungswert, welche als Eingangsdaten verwendet sind. Dies aktualisiert das in dem Lernmodellspeicherabschnitt 142 gespeicherte Lernmodell.
Im Schritt S24 bestimmt der Ausschnittabschnitt 114, ob das Greifen fortzuführen ist. Falls es manche Kandidatengreifpositionen gibt, welche jeweils den Bewertungswert aufweisen, und weiter falls das Greifen mit Bezug zu den Kandidatengreifpositionen nicht ausgeführt wird, wird angenommen, dass manche Werkstücke 50, welche nicht aufgenommen wurden, übrig sind, und somit wird im Schritt S24 ja bestimmt und die Verarbeitung fährt mit dem Schritt S19 fort, während, falls das Greifen ausgeführt wurde, mit Bezug zu allen Kandidatengreifpositionen, welche einen hohen Bewertungswert aufweisen, wird angenommen, dass alle Werkstücke 50 aufgenommen wurden, und somit wird Nein im Schritt S24 bestimmt und die Verarbeitung beendet.
Entsprechend der Abstimmungsverarbeitung in der ersten Ausführungsform, welche oben beschrieben ist, wird eine Suche durch Verwenden des Abstimmens mit dem durch gemessen durch die dreidimensionale Messvorrichtung 40 erfassten Bereichsbild ausgeführt, auf der Basis der gespeicherten Punktgruppeninformation zum Abstimmen (dreidimensionale. Information der Lernposition, und Lernposition Peripherie Blinddaten, welche um die Lernposition zentriert sind), ohne einen Empfang einer neuen Unterrichtung von dem Anwender, nach einem Empfang der Unterrichtung der Greifposition von dem Anwender im Schritt S13, wodurch ermöglicht wird, dass die Greifposition ausgewählt wird. Entsprechend der Abstimmungsverarbeitung in der ersten Ausführungsform unterrichtet der Anwender lediglich die Greifposition und muss keine Kenntnis basierend auf Erfahrung wie beispielsweise ein Auswählen eines Suchalgorithmus aufweisen. Entsprechend der Abstimmungsverarbeitung in der ersten Ausführungsform, da CAD Daten nicht verwendet werden, werden Arbeit und Zeit zum Vorbereiten von CAD Daten gespart. Mit anderen Worten ist entsprechend der Abstimmungsverarbeitung in der ersten Ausführungsform möglich die Greifposition des Werkstücks 50 in einem einfacheren Verfahren als konventionelle Verfahren auszuwählen.
Entsprechend der Ausschnittverarbeitung in der ersten Ausführungsform wird ein Lernmodell weiter auf der Basis der Punktgruppeninformation zum Abstimmen gebildet und die Greifposition kann aus den Bilddaten ausgewählt werden, welche automatisch aus dem Bereichsbild ausgeschnitten werden, auf der Basis des gebildeten Lernmodells, wodurch es ermöglicht wird die Greifposition mit höherer Genauigkeit effizienter auszuwählen. Weiter ist es entsprechend der Ausschnittverarbeitung in der ersten Ausführungsform möglich neue Lehrerdaten zu erfassen, wenn das Greifen andauert, wodurch es ermöglicht wird das gebildete Lernmodell in Echtzeit zu aktualisieren.
Die zweite Ausführungsform wird nachstehend genau beschrieben. Es versteht sich, dass die Basiskonfiguration der zweiten Ausführungsform und der ersten Ausführungsform gemeinsam ist. Beispielsweise ist die Gesamtkonfiguration eines Robotersystems 1b entsprechend der zweiten Ausführungsform äquivalent zu der Gesamtkonfiguration des Robotersystems 1a entsprechend der zweiten Ausführungsform, welche in 1 gezeigt ist. In der Konfiguration der zweiten Ausführungsform wird eine Bildverarbeitungsvorrichtung 10b, welches eine Bildverarbeitungsvorrichtung in der zweiten Ausführungsform ist, für die Bildverarbeitungsvorrichtung 10a ersetzt. In der nachstehenden Beschreibung, um eine sich überschneidende Beschreibung zu vermeiden, wird die Beschreibung von gemeinsamen Teilen in beiden Ausführungsformen ausgelassen und Unterschiede zwischen den Ausführungsformen werden genau beschrieben.
In der ersten Ausführungsform, bevor das Lernen ausgeführt wird, führt die Bildverarbeitungsvorrichtung 10a die Vorverarbeitung aus, bei welcher das Abstimmen mit Bezug zu dem von der dreidimensionalen Messvorrichtung 40 erfassten Bereichsbild ausgeführt wird, und die Punktgruppeninformation zum Abstimmen erzeugt wird. Dann bildet die Bildverarbeitungsvorrichtung 10a das Lernmodell durch das Maschinenlernen und wählt die Greifposition durch Verwenden des gebildeten Lernmodells unter Verwendung der Punktgruppeninformation zum Abstimmen als Eingangsdaten in dem Lernmodell und unter Verwendung des zu der Punktgruppeninformation zum Abstimmen zugewiesenen Bewertungswert als ein Kennzeichen aus.
Alternativ für den ersten Ausführungsform die Bildverarbeitungsvorrichtung 10a die Vorverarbeitung aus, bei welcher das Bereichsbild auf dieselbe Größe ausgeschnitten wird, wie in dem Lernmodell eingegeben (das heißt dieselbe Größe wie die Punktgruppeninformation zum Abstimmen), aus dem gesamten von der dreidimensionalen Messvorrichtung 40 erfassten Bereichsbild, als eine Kandidatengreifposition. Dann bildet die Bildverarbeitungsvorrichtung 10a das Lernmodell über das Maschinenlernen und wählt die Greifposition durch Verwenden des gebildeten Lernmodells unter Verwendung der dreidimensionalen Punktgruppeninformation der ausgeschiedenen Kandidatengreifposition als Eingangsdaten in dem Lernmodell und unter Verwendung des zu der dreidimensionalen Punktgruppeninformation zugewiesenen Bewertungswerts als ein Kennzeichen aus.
Andererseits wird in der zweiten Ausführungsform die Vorverarbeitung wie beispielsweise das Abstimmen und das Ausschneiden ausgelassen und das gesamte von der Messvorrichtung 40 erfasste Bereichsbild wird als Eingangsdaten in dem Lernmodell verwendet, wodurch das Lernmodell durch das Maschinenlernen gebildet wird, und Auswählen der Greifposition durch Verwendung des gebildeten Lernmodell.
In Abhängigkeit von der auf die zweite Ausführungsform angewendeten Umgebung ermöglicht es ein Auslassen der Vorverarbeitung, eine effiziente arithmetische Verarbeitung auszuführen und ein Anbringen in der zweiten Ausführungsform zu vereinfachen. In der zweiten Ausführungsform wird das gesamte Bereichsbild als Eingangsdaten in dem Lernmodell verwendet, wie oben beschrieben, wodurch ermöglicht wird, dass ein Einfluss aus Pixeln, welche weit voneinander in dem Bild entfernt sind, berücksichtigt wird.
Die nachstehende Beschreibung wird mit Bezug zu 10 gegeben wobei die funktionalen Blöcke in der Bildverarbeitungsvorrichtung 10b umfasst sind, sodass das gesamte Bereichsbild als Eingangsdaten in dem Lernmodell verwendet wird, ohne eine solche Vorverarbeitung. Es wird darauf hingewiesen, dass in 10, wie in 2, Merkmale außer der Bildverarbeitungsvorrichtung 10b in dem Robotersystem 1b gesammelt als die Umgebung 100 dargestellt sind.
Die Bildverarbeitungsvorrichtung 10b unterscheidet sich von der Bildverarbeitungsvorrichtung 10a darin, dass ein Auswahlverarbeitungsabschnitt 15 für den Auswahlverarbeitungsabschnitt 11 ersetzt ist, welcher in der Bildverarbeitungsvorrichtung 10a umfasst ist. Mit anderen Worten umfasst die Bildverarbeitungsvorrichtung 10b den Auswahlverarbeitungsabschnitt 15, den Anzeigeabschnitt 12, den Bedienungsempfangsabschnitt 13 und den Lernabschnitt 14. Der Auswahlverarbeitungsabschnitt 15 umfasst einen Lehrerdatenspeicherabschnitt 151, einen Anmerkungsverarbeitungsabschnitt 152 und einen Greifpositionsauswahlabschnitt 153.
Der Lehrerdatenspeicherabschnitt 151 ist eine Einheit zum Speichern von Lehrerdaten für das Maschinenlernen. Das durch die dreidimensionale Messvorrichtung 40 eingegebene Bereichsbild wird in dem Lehrerdatenspeicherabschnitt 151 als Eingangsdaten in den Lehrerdaten gespeichert. Das durch den Anmerkungsverarbeitungsabschnitt 152 gespeichert Kennzeichen wird in dem Lehrerdatenspeicherabschnitt 151 als Eingangsdaten in den Lehrerdaten gespeichert. Die Eingangsdaten und das Kennzeichen werden miteinander verknüpft, wenn der Anmerkungsverarbeitungsabschnitt 152 das Kennzeichen speichert.
Der Anmerkungsverarbeitungsabschnitt nur 52 ist eine Einheit zum Erzeugen des in den Lehrerdaten umfassten Kennzeichens. Der Anmerkungsverarbeitungsabschnitt 152 erfasst das Bereichsbild von dem Lehrerdatenspeicherabschnitt 151 zum Erzeugen des Kennzeichens. Der Anmerkungsverarbeitungsabschnitt 152 veranlasst, dass der Anzeigeabschnitt 12 das erfasste Bereichsbild anzeigt. Ein Anzeigebeispiel des Bereichsbilds ist, wie oben beschrieben, mit Bezug zu 4.
Der auf das angezeigte Bereichsbild bezugnehmende Anwender unterrichtet die Greifposition in derselben Weise wie in der ersten Ausführungsform. Insbesondere bestimmt der Anwender die Greifposition durch Verwenden des Bedienungsempfangsabschnitts 13, welche durch eine Maus oder ein Touchpanel realisiert ist, wodurch die Greifposition unterrichtet wird.
Der Bedienungsempfangsabschnitt 13 meldet die Lernposition dem Anmerkungsverarbeitungsabschnitt 152, welches die gelernte Greifposition ist. Der Anmerkungsverarbeitungsabschnitt 152 zeichnet die gemeldete Lernposition auf dem Bereichsbild ein, sodass der Anwender die Lernposition erkennen kann. Ein solches Einzeichnen wird durch ein Verfahren ausgeführt, beispielsweise ein Verfahren zum unterschiedlichen Einfärben der Pixel der Lernposition auf dem Bereichsbild, sodass der Anwender die Position einfach erkennen kann. Ein Anzeigebeispiel, bei welchem solch ein Einzeichnen ausgeführt ist, ist, wie oben beschrieben, mit Bezug zu 5.
In der ersten Ausführungsform unterrichtet der Anwender die Greifposition mit einem Punkt. Während in der zweiten Ausführungsform der Anwender die Greifposition als einen vorbestimmten Bereich unterrichtet. In einem Beispiel unterrichtet in der zweiten Ausführungsform der Anwender die Greifposition durch Einfärben eines Bereichs, welcher zum Greifen geeignet ist.
Der Anmerkungsverarbeitungsabschnitt 152 erzeugt auf der Basis der Unterrichtung durch den Anwender ein Bild, zu welchem ein Attribut zugeordnet ist, welches angibt, ob jedes in dem gesamten Bereichsbild umfasste Pixel zu der Greifposition (das heißt Lernposition) des Werkstücks 50 gehört (beispielsweise „1“ gibt die Greifposition des Werkstücks 50 an, und „0“ gibt eine Position außer der Greifposition des Werkstücks 50 an). Nachfolgend wird das Bild als eine „Kennzeichenkarte“ bezeichnet.
In der zweiten Ausführungsform wird die Kennzeichenkarte als ein Kennzeichen verwendet. Wenn die Kennzeichenkarte erzeugt wird, kann der Anmerkungsverarbeitungsabschnitt 152 zu jedem 1/s (s ist eine beliebige natürliche Zahl) Pixel ein Attribut zuordnen, welches angibt, ob das 1/s Pixel zu der Greifposition des Werkstücks 50 gehört oder nicht, durch weiter Erhöhen einer Auflösung bis zu 1/s, anstelle eines Zuordnens zu jedem Pixel eines Attributs, welches angibt, ob das Pixel zu der Greifposition des Werkstücks 50 gehört oder nicht. Da die dreidimensionale Punktgruppeninformation nicht als ein Kennzeichen notwendig ist, kann die in dem Bereichsbild umfasste dreidimensionale Punktgruppeninformation in der Kennzeichenkarte ausgelassen werden. Entsprechend ist die Kennzeichenkarte ein Bild, welches eine Information einer zweidimensionalen Koordinate eines jeden Pixels (oder jedes 1/s Pixels) und eine Information eines Attributs umfasst, welches angibt, ob jedes Pixel (oder jedes 1/s Pixel) zu der Greifposition des Werkstücks 50 in dem Bereichsbild gehört oder nicht.
Der Anmerkungsverarbeitungsabschnitt 152 erzeugt die Lehrerdaten durch Verwenden der erzeugten Kennzeichenkarte als ein Kennzeichen und unter Verwendung des für das Unterrichten von dem Anwender verwendete Bereichsbild als Eingangsdaten und Verknüpfen der beiden miteinander. Dann speichert der Anmerkungsverarbeitungsabschnitt 152 die erzeugten Lehrerdaten in dem Lehrerdatenspeicherabschnitt 151. Es wird darauf hingewiesen, dass der Anmerkungsverarbeitungsabschnitt 152 die Eingangsdaten und das Kennzeichen in dem Lehrerdatenspeicherabschnitt 151 getrennt speichert und die beiden verbindet, wodurch diese als Lehrerdaten verwendet werden, anstelle eines Speicherns der beiden in dem Lehrerdatenspeicherabschnitt 151 in Verbindung miteinander. Der Lernverarbeitungsabschnitt 151 in der zweiten Ausführungsform verwendet die in dem Lehrerdatenspeicherabschnitt 151 gespeicherten Lehrerdaten, wenn das Maschinenlernen ausgeführt wird. Insbesondere wird in der zweiten Ausführungsform, wenn das Bereichsbild als Eingabe verwendet wird, dass Lernmodell zum Ausgeben eines Bilds ähnlich zu der Kennzeichenkarte durch das Maschinenlernen durch den Lernverarbeitungsabschnitt 141 gebildet. Das heißt, solch ein Lernmodell wird gebildet zum Ausgeben eines Bilds, welches durch Segmentierung eines Bereichs erhalten wird, welcher zum Greifen geeignet ist.
Das Maschinenlernen kann beispielsweise durch ein Verfahren zum Eingeben eines Bilds und Ausführen von manchen Typen einer Abschätzung (beispielsweise eine Klassifikation) aller Pixel in dem Bild realisiert werden. Beispiele eines solchen Verfahrens umfassen eine semantische Segmentierung. Eine semantische Segmentierung, welches eine Technik ist, die auf eine Anwendung zum automatisierten Fahren von Fahrzeugen abzielt, ermöglicht ein Unterscheiden durch Farbe von jeweiligen Bereichen wie beispielsweise einem Fahrzeug und einem Fußgänger, durch Verwenden von Bilddaten beispielsweise einem Foto als Eingabe. In der zweiten Ausführungsform, wie oben beschrieben, wird das Maschinenlernen durch Verwenden eines Bereichsbilds als Eingabedaten und einer Anmerkung zu dem Bereichsbild (beispielsweise ein Bild, in welchem ein Mensch eine Position einfärbt, bei welchem das Werkstück 50 wahrscheinlich zu greifen ist) als ein Kennzeichen ausgeführt, wodurch ermöglicht wird, dass eine Abschätzung von Bewertungswerten für alle Pixel auf einmal ausgeführt wird. Entsprechend ist es möglich die Vorverarbeitung wie beispielsweise die Abstimmungsverarbeitung und die Ausschnittverarbeitung in der ersten Ausführungsform auszulassen.
Insbesondere kann ein Faltung-Encoder-Decoder, welcher beispielsweise in der nachstehenden Referenz beschrieben ist, zum Realisieren des Maschinenlernens in der zweiten Ausführungsform verwendet werden.
Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, „SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation,“ [online], August 10, 2016, [Searched on September 10, 2017], Website <URL:Https://arxiv.org/pdf/1511.00561.pdf>
Der Lernverarbeitungsabschnitt 141 bildet ein Lernmodell durch das Maschinenlernen. Dann speichert der Lernverarbeitungsabschnitt 141 das gebildete Lernmodell in dem Lernmodellspeicherabschnitt 142.
Der Greifpositionsauswahlabschnitt 153 ist eine Einheit zum Auswählen der Greifposition auf der Basis der durch den Abschätzungsverarbeitung Abschnitt 143 ausgegebenen Bewertungswertkarte. Die Beschreibung wird nachstehend gegeben, der Auswahl der Greifposition durch den Greifpositionsauswahlabschnitt 153, und Details der Bewertungswertkarte. Auf ein Erfassen des Bereichsbilds von der dreidimensionalen Messvorrichtung 40 zum Auswählen der Greifposition, gibt der Greifpositionsauswahlabschnitt 153 das erfasste Bereichsbild an den Abschätzungsverarbeitung Abschnitt 143 aus. Der Abschätzungsverarbeitungsabschnitt 143 gibt das eingegebene Bereichsbild als Eingangsdaten in dem in dem Lernmodellspeicherabschnitt 142 gespeicherten Lernmodell ein. In Reaktion auf die Eingabe wird ein durch Segmentierung eines zum Greifen geeigneten Bereichs erhaltenes Bild von dem Lernmodell ausgegeben. Das ausgegebene Bild wird eine „Bewertungswertkarte“ genannt.
Die Bewertungswertkarte, welches dieselbe Datenstruktur wie die der Kennzeichenkarte aufweist, ist ein Bild, welches eine Information einer zweidimensionalen Koordinate eines jeden Pixels (oder eines jeden 1/s Pixels) und eine Information eines Attributs umfasst, welches angibt, ob jedes Pixel (oder jedes 1/s Pixel) zu der Greifposition des Werkstücks 50 gehört oder nicht. Der Abschätzungsverarbeitungsabschnitt 143 gibt die Bewertungswertkarte an den Greifpositionsauswahlabschnitt 153 aus.
Der Greifpositionsauswahlabschnitt 153 wählt die Greifposition des Werkstücks 50 auf der Basis der Bewertungswertkarte aus. Insbesondere wird jedes als die Greifposition des Werkstücks 50 segementierte Segment als eine Kandidatengreifposition angenommen. Dann bestimmt der Greifpositionsauswahlabschnitt 153 10 zu der Kandidatengreifposition gehörigen Bereich auf dem Bereichsbild, welches als Eingangsdaten verwendet wird, auf der Basis der den Bereich der Kandidatengreifposition angebenden Koordinateninformationen. Dann wählt der Greifpositionsauswahlabschnitt 153 die Greifposition durch Ausführen einer bekannten Punktgruppenverarbeitung und/oder einer Bildverarbeitung mit Bezug zu dem bestimmten Bereich aus.
Der Greifpositionsauswahlabschnitt 153 gibt die ausgewählte Greifposition an die Robotersteuereinheit 20 aus. Danach, wie in der ersten Ausführungsform, erzeugt die Robotersteuereinheit 20 ein Steuersignal auf der Basis der Greifposition. Dann greift Roberta 30 das Werkstück 50 mit der Hand auf der Basis des Steuersignals.
In der zweiten Ausführungsform mit der oben beschriebenen Konfiguration wird die Vorverarbeitung wie beispielsweise das Abstimmen und das Ausschneiden ausgelassen und das von der dreidimensionalen Messvorrichtung 40 erfasste gesamte Bereichsbild wird als Eingangsdaten in dem Lernmodell verwendet, wodurch ermöglicht wird, ein Lernmodell durch das Maschinenlernen zu bilden und die Greifposition durch Verwenden des gebildeten Lernmodells auszuwählen.
Der Betrieb der zweiten Ausführungsform wird nachstehend mit Bezug zu dem Flussdiagramm aus 11 beschrieben. Im Schritt S31 speichert der Lehrerdatenspeicherabschnitt 151 das durch Messen der Werkstücke 50 Masse durch die dreidimensionale Messvorrichtung 40 erzeugte Bereichsbild. Im Schritt S32 veranlasst der Anmerkungsverarbeitungsabschnitt 152, dass der Anzeigeabschnitt 12 das in dem Lehrerdatenspeicherabschnitt 151 gespeicherten Bereichsbild. Im Schritt S33 zeichnet der Anmerkungsverarbeitungsabschnitt 152 die Position auf dem Bereichsbild auf der Basis des Unterrichtens der Greifposition ein, welche von dem Anwender durch den Bedienungsempfangsabschnitt 13 empfangen ist.
Im Schritt S34 erzeugt der Anmerkungsverarbeitungsabschnitt 152 die Kennzeichenkarte auf der Basis des Unterrichten von dem Anwender. Der Anmerkungsverarbeitungsabschnitt 152 speichert die Kennzeichenkarte und das Bereichsbild als Lehrerdaten in dem Lehrerdatenspeicherabschnitt 151.
In dem Schritt S35 führt der Lernverarbeitungsabschnitt 141 das Lernen durch Verwenden des Bereichsbilds als Eingangsdaten und der zu dem Bereichsbild gehörigen Kennzeichenkarte als ein Kennzeichen, gespeichert als die Daten in dem Lehrerdatenspeicherabschnitt 151. Im Ergebnis wird das Lernmodell gebildet und in dem Lernmodellspeicherabschnitt 142 gespeichert.
In Schritt S36 erfasst der Greifpositionsauswahlabschnitt 153 das Durchmessen der Werkstücke 50 in Masse erzeugte Bereichsbild aus der dreidimensionalen Messvorrichtung 40. Dann gibt der Greifpositionsauswahlabschnitt 153 das erfasste Bereichsbild an den Abschätzungsverarbeitungsabschnitt 143 aus.
Im Schritt S37 gibt der Abschätzungsverarbeitungsabschnitt 143 das eingegebene Bereichsbild in das in dem Lernmodellspeicherabschnitt 142 gespeicherte Lernmodell ein. Dann erfasst der Abschätzung Verarbeitungsabschnitt 143 die Bewertungswertkarte als eine Ausgabe von dem Lernmodell. Der Abschätzung Verarbeitungsabschnitt 143 gibt die erfasste Bewertungswertkarte an den Greifpositionsauswahlabschnitt 153 aus.
Im Schritt S38 wählt der Greifpositionsauswahlabschnitt 153 die Greifposition auf der Basis der Bewertungswertkarte aus. Der Greifpositionsauswahlabschnitt 153 überträgt die ausgewählte Greifposition an die Robotersteuereinheit 20.
Im Schritt S39 steuert die Robotersteuereinheit 20 den Roboter 30 auf der Basis der empfangenen Greifposition, sodass ein Greifen des Werkstücks 50 ausgeführt wird. Es wird darauf hingewiesen, dass, falls die Vielzahl von Werkstücken 50 zu greifen sind, kann die Vielzahl von Greifpositionen in dem Schritt S38 ausgewählt werden, und kann das Greifen für jedes der Vielzahl von Greifpositionen in dem Schritt S39 ausgeführt werden. Allerdings, da der Zustand der Werkstücke 50 in Masse verändert wird, auf das Greifen des Werkstücks 50, kann die Verarbeitung durch Zurückkehren zu dem Schritt S36 jedes Mal wiederholt werden, wenn das Werkstück 50 aufgenommen wird.
In der zweiten Ausführungsform mit der oben beschriebenen Konfiguration wird die Vorverarbeitung wie beispielsweise das Abstimmen und das Ausschneiden ausgelassen und das gesamte Bereichsbild, welches von der dreidimensionalen Messvorrichtung 40 erfasst ist, wird als Eingangsdaten in dem Lernmodell verwendet, wodurch ermöglicht wird, dass Lernmodell durch das Maschinenlernen zu bilden und die Greifposition durch Verwenden des gebildeten Lernmodells auszuwählen.
Es wird darauf hingewiesen, dass jede der in dem oben beschriebenen Robotersystem umfassten Vorrichtungen dazu geeignet ist, durch Hardware, Software oder eine Kombination davon realisiert zu werden. Das durch die Zusammenarbeit der jeweiligen in dem oben beschriebenen Robotersystem umfassten Vorrichtungen ausgeführte Maschinenlernverfahren ist ebenso dazu geeignet, durch Hardware, Software oder der Kombination davon realisiert zu werden. Eine Realisierung durch Software bedeutet hierbei, dass ein Computer ein Programm ausliest und ausführt, wodurch eine Realisierung ausgeführt wird.
Ein Programm kann durch Verwenden von verschiedenen Typen von nichtflüchtigen computerlesbaren Medien gespeichert und einem Computer zugeführt werden. Die nichtflüchtigen computerlesbaren Speichermedien umfassen hierbei verschiedene Typen von greifbaren Speichermedien. Beispiele der nichtflüchtigen computerlesbaren Medien umfassen ein magnetisches Speichermedium (beispielsweise eine flexible Diskette, ein Magnetband, eine Festplatte), ein magnetischoptisches Speichermedium (beispielsweise eine magnetischoptische Diskette), eine CD-ROM (Nurlesespeicher), eine CD-R, eine CD-R/W, einen Halbleiterspeicher (beispielsweise einen Masken ROM, einen PROM (programmierbaren ROM), einen EPROM (löschbarer PROM), einen Flash ROM und einen RAM (Arbeitsspeicher)). Das Programm kann einem Computer durch verschiedene Typen von flüchtigen computerlesbaren Medien zugeführt werden. Beispiele der flüchtigen computerlesbaren Medien umfassen ein elektrisches Signal, ein optisches Signal und eine elektromagnetische Welle. Ein flüchtiges computerlesbares Medium ist zum Zuführen eines Programms zu einem Computer über einen verkapselten Kommunikationspfad wie beispielsweise eine Leitung und eine optische Faser oder einen drahtlosen Kommunikationspfad geeignet.
Obwohl jede der oben beschriebenen Ausführungsformen eine bevorzugte Ausführungsform der vorliegenden Erfindung ist, ist der Schutzbereich der vorliegenden Erfindung nicht lediglich auf die oben beschriebenen Ausführungsformen beschränkt. Manche der Ausführungsformen können kombiniert werden und verschiedene Modifikationen innerhalb des Schutzbereichs sind verfügbar, ohne von dem Geist der vorliegenden Erfindung abzuweichen.
In jeder der oben beschriebenen Ausführungsformen sind die Bildverarbeitungsvorrichtung 10a oder die Bildverarbeitungsvorrichtung 10b und die Robotersteuereinheit 20 getrennt vorgesehen. Alternativ können diese integral vorgesehen sein.
In jeder der oben beschriebenen Ausführungsformen sind die Robotersteuereinheit 20 und die Bildverarbeitungsvorrichtung 10a oder die Bildverarbeitungsvorrichtung 10b derart dargestellt, um nahe beieinander positioniert zu sein. Alternativ können diese weit voneinander entfernt positioniert sein, über ein Netzwerk wie beispielsweise ein LAN (lokales Bereichsnetzwerk) oder das Internet.
Eine Einheit der Bildverarbeitungsvorrichtung 10a oder die Bildverarbeitungsvorrichtung 10b kann mit der Vielzahl von Steuereinheiten 20 verbunden sein. Dann kann die eine Einheit der Bildverarbeitungsvorrichtung 10a oder der Bildverarbeitungsvorrichtung 10b das Lernen auf der Basis der von jeder der Vielzahl von Roboter Steuereinheiten 20 erfassten Lehrerdaten ausführen.
In der Beschreibung einer jeden der oben beschriebenen Ausführungsformen ist die dreidimensionale Messvorrichtung 40 fest an einer vorbestimmten Position angeordnet. Alternativ kann die dreidimensionale Messvorrichtung 40 nicht notwendigerweise fest an einer vorbestimmten Position angebracht sein. Solange die dreidimensionale Messvorrichtung 40 die Position in dem Maschinenkoordinatensystem erfasst, um den Roboter 30 zu steuern, kann die eingestellte Position der dreidimensionalen Messvorrichtung 40 während eines Betriebs verschoben werden, beispielsweise falls die dreidimensionale Messvorrichtung 40 an dem Arm des Roboters 30 angebracht ist.
In der Annahme einer jeden der oben beschriebenen Ausführungsformen ist die Bildverarbeitungsvorrichtung 10a oder die Bildverarbeitungsvorrichtung 10b durch eine Einheit einer Vorrichtung realisiert. Alternativ kann ein verteiltes Verarbeitungssystem bereitgestellt werden, bei welchem jeweilige Funktionen der Bildverarbeitungsvorrichtung 10a oder der Bildverarbeitungsvorrichtung 10b geeignet auf eine Vielzahl von Vorrichtungen verteilt sein. In einem Beispiel kann solch ein verteiltes Verarbeitungssystem bereitgestellt werden, bei welchem die Funktion des Auswahlverarbeitungsabschnitts 11 der Bildverarbeitungsvorrichtung 10a oder die Funktion des Auswahlverarbeitungsabschnitts 15 der Bildverarbeitungsvorrichtung 10b und die Funktion des Lernabschnitts 14 geeignet auf eine Vielzahl von Vorrichtungen verteilt sind. In diesem Fall kann solch ein verteiltes Verarbeitungssystem bereitgestellt werden, bei welchem die in dem Lernabschnitt 14 umfassten jeweiligen Funktionen geeignet auf eine Blockeinheit auf eine Vielzahl von Vorrichtungen verteilt sind. Die Funktionen der Bildverarbeitungsvorrichtung 10a oder der Bildverarbeitungsvorrichtung 10b können durch Verwenden einer virtuellen Serverfunktion in der Cloud oder etwas Ähnlichem realisiert werden.
In der oben beschriebenen ersten Ausführungsform wird die Bestimmungsverarbeitung ausgeführt und dass Lernmodell wird auf der Basis des Erfolgs oder des Fehlschlagens des Ergebnisses des Greifens gebildet, welches bei der abgestimmten Position tatsächlich versucht wird. Danach wird die Ausschnittverarbeitung ausgeführt, durch Verwenden des Lernmodells, welches durch die Bestimmungsverarbeitung gebildet ist, wie oben beschrieben. Alternativ kann, falls die Ausschnittverarbeitung ausgeführt wird, das durch die Abstimmungsverarbeitung gebildete Lernmodell nicht notwendigerweise verwendet werden.
In diesem Fall bildet der Lernverarbeitungsabschnitt 141 das Lernmodell unter der Annahme, dass das Greifen bei dem Lernpunkt, welcher von dem Anwender unterrichtet ist, erfolgreich ist. Das heißt, der Lernabschnitt 14 erzeugt die Lehrerdaten durch Verwenden der Lehrposition-Peripherie-Bilddaten als Eingangsdaten und unter Verwendung als ein Kennzeichen des Bewertungswert, welche angibt, dass das Greifen erfolgreich war (angenommen ist erfolgreich zu sein). Dann bildet der Lernverarbeitungsabschnitt 141 das Lernmodell durch das Lernen basierend auf den Lehrerdaten.
Der Auswahlverarbeitungsabschnitts 11 ist dazu geeignet die Ausschnittverarbeitung auszuführen, durch Verwenden des in dieser Weise gebildeten Lernmodells. Entsprechend bildet der Auswahlverarbeitungsabschnitt 11 das Lernmodell, ohne die Abstimmungsverarbeitung oder das tatsächliche greifen auszuführen, wodurch ermöglicht wird, dass die Greifposition ausgewählt wird.
Es wird darauf hingewiesen, dass in diesem Fall der Lernverarbeitungsabschnitt 141 nicht-Lernposition-Peripherie-Bilddaten erfasst, welches für die Daten einer Position (nicht-Lernposition) sind, welche sich von der Lernposition von dem Anwender unterscheidet. Dann kann der Lernverarbeitungsabschnitt 141 die Lehrerdaten erzeugen, welche ein Fehlerbeispiel angeben, durch Verwenden der Nicht-Lernposition-Peripherie-Bilddaten als Eingangsdaten, und unter Verwendung als ein Kennzeichen des Bewertungswert, welche angibt, dass das Greifen fehlgeschlagen ist (angenommen ist fehlzuschlagen). Dann kann der Lernverarbeitungsabschnitt 141 das Lernen durch weiter Verwenden der Lehrerdaten ausführen, welche das Fehlerbeispiel angeben. In diesem Fall kann die nicht-Lernposition durch den Anwender ausgewählt werden, oder kann zufällig aus Positionen außer der Lernposition ausgewählt werden.
Bezugszeichenliste

1a, 1b: Robotersystem
10a, 10b: Bildverarbeitungsvorrichtung
11: Auswahlverarbeitungsabschnitt
111: Auswahldatenspeicherabschnitt
112: Anmerkungsverarbeitungsabschnitt
113: Abstimmungsabschnitt
114: Ausschnittabschnitt
12: Anzeigeabschnitt
13: Bedienungsempfangsabschnitt
14: Lernabschnitt
141: Lernverarbeitungsabschnitt
142: Lernmodellspeicherabschnitt
143: Abschätzungsverarbeitungsabschnitt
15: Auswahlverarbeitungsabschnitt
151: Lehrerdatenspeicherabschnitt
152: Anmerkungsverarbeitungsabschnitt
153: Greifpositionsauswahlabschnitt
20: Robotersteuereinheit
30: Roboter
40: Messvorrichtung
50: Werkstück
60: Behälter

Claims

Eine Bildverarbeitungsvorrichtung (10a), die so konfiguriert ist, dass sie in der Lage ist zum: Erfassen einer Unterrichtung einer Position in einem Bild, das eine Vielzahl von Objekten (50) enthält, wobei die Unterrichtung zum Greifen von mindestens einem Objekt (50) aus der Vielzahl von Objekten (50) mit einem Roboter (30) dient; Verleihen eines Bewertungswerts, basierend auf der Unterrichtung und/oder einem Ergebnis des Greifens des mindestens einen Objekts (50) basierend auf der Unterrichtung, an Information des mindestens einen Objekts (50) an der unterrichteten Position; und Lernen eines Lernmodells, das einen Bewertungswert auf die eingegebene Information ausgibt, durch Durchführen von Maschinenlernen unter Verwendung der Information des mindestens einen Objekts (50) und Verwenden des verliehenen Bewertungswerts als Kennzeichen.
Die Bildverarbeitungsvorrichtung (10a) nach Anspruch 1, wobei die Information des mindestens einen Objekts (50) eine Punktgruppeninformation des mindestens einen Objekts (50) ist.
Die Bildverarbeitungsvorrichtung (10a) nach Anspruch 2, wobei eine Bereichsgröße einer Punktgruppe, die in das Lernmodell eingegeben werden soll, im Voraus basierend auf einer Größe des mindestens einen, zu greifenden Objekts (50) eingestellt wird.
Die Bildverarbeitungsvorrichtung (10a) nach einem der Ansprüche 1 bis 3, wobei die Unterrichtung die Position durch einen Punkt oder einen Bereich angibt.
Die Bildverarbeitungsvorrichtung (10a) nach einem der Ansprüche 1 bis 4, wobei die Bildverarbeitungsvorrichtung (10a) bei einem fehlgeschlagenen Greifen einen niedrigeren Bewertungswert verleiht als bei einem gelungenen Greifen.
Die Bildverarbeitungsvorrichtung (10a) nach einem der Ansprüche 1 bis 5, wobei der von dem Lernmodell auszugebende Bewertungswert eine Information ist, die in der eingegebenen Information einen Bereich angibt, in dem ein Greifen möglich ist.
Die Bildverarbeitungsvorrichtung (10a) nach einem der Ansprüche 1 bis 6, wobei das Lernmodell ein neuronales Netzwerk ist.
Bildverarbeitungsvorrichtung (10a) nach einem der Ansprüche 1 bis 7, wobei das Ergebnis des Greifens des mindestens einen Objekts (50) basierend auf der Unterrichtung vom Roboter (30) erfasst wird, um zu versuchen, das mindestens eine Objekt (50) an der unterrichteten Position zu greifen.
Die Bildverarbeitungsvorrichtung (10a) nach einem der Ansprüche 1 bis 8, wobei der Bewertungswert der Information des mindestens einen Objekts (50) basierend auf dem Erfolg oder Misserfolg beim Greifen des mindestens einen Objekts (50) basierend auf der Unterrichtung verliehen wird.
Die Bildverarbeitungsvorrichtung (10a) nach einem der Ansprüche 1 bis 9, wobei die Bildverarbeitungsvorrichtung (10a) den Bewertungswert in Abhängigkeit von der für das Greifen benötigten Zeit verleiht.
Die Bildverarbeitungsvorrichtung (10a) nach einem der Ansprüche 1 bis 10, wobei das Lernmodell als Bewertungswert ein Bild ausgibt, das durch Segmentierung eines Bereichs erhalten wird, in dem ein Greifen möglich ist.
Robotersystem (1a), umfassend: einen Roboter (30); die Bildverarbeitungsvorrichtung (10a) nach einem der Ansprüche 1 bis 11; und eine Robotersteuerung (20), die einen Greifvorgang eines Objekts (50) durch den Roboter (30) basierend auf einem von einem Lernmodell der Bildverarbeitungsvorrichtung (10a) ausgegebenen Bewertungswert steuert.
Das Robotersystem (1a) nach Anspruch 12, wobei die Bildverarbeitungsvorrichtung (10a) eine Greifposition des Objekts (50) basierend auf dem von dem Lernmodell ausgegebenen Bewertungswert auswählt, und die Robotersteuerung (20) den Greifvorgang des Objekts (50) durch den Roboter (30) auf der Grundlage der gewählten Greifposition steuert.
Das Robotersystem (1a) nach Anspruch 12 oder 13, ferner umfassend: eine Messvorrichtung (40), die Informationen des Objekts erfasst.
Das Robotersystem (1a) nach Anspruch 14, wobei die Messvorrichtung (40) ein Bereichsbildsensor oder eine Stereokamera ist.
Das Robotersystem (1a) nach einem der Ansprüche 12 bis 15, wobei die Bildverarbeitungsvorrichtung (10a) und die Robotersteuerung (20) als eine einzige Vorrichtung konfiguriert sind.
Das Robotersystem (1a) nach Anspruch 14 oder 15, wobei die Messeinrichtung (40) an dem Roboter (30) angebracht ist.
Maschinenlernverfahren, das von einer Bildverarbeitungsvorrichtung (10a) durchgeführt wird, wobei das Verfahren umfasst: Erfassen einer Unterrichtung einer Position in einem Bild, das eine Vielzahl von Objekten (50) enthält, wobei die Unterrichtung zum Greifen von mindestens einem Objekt (50) aus der Vielzahl von Objekten (50) mit einem Roboter (30) dient; Verleihen eines Bewertungswerts, basierend auf der Unterrichtung und/oder einem Ergebnis des Greifens des mindestens einen Objekts (50) basierend auf der Unterrichtung, an Information des mindestens einen Objekts (50) an der unterrichteten Position; und Lernen eines Lernmodells, das einen Bewertungswert auf die eingegebene Information ausgibt, durch Durchführen von Maschinenlernen unter Verwendung der Information des mindestens einen Objekts (50) und Verwenden des verliehenen Bewertungswerts als Kennzeichen.
Ein Robotersystem (1a), umfassend: einen Roboter (30) zum Greifen von mindestens einem Objekt (50) aus einer Vielzahl von Objekten (50); einen Empfangsabschnitt, der ein von einer Messvorrichtung (40) erzeugtes Bild erfasst und eine Unterrichtung einer Greifposition zum Greifen durch den Roboter (30) empfängt, wie sie auf der Grundlage des Bildes bestimmt wird; und einen Greifpositionsauswahlabschnitt, der eine neue Greifposition auswählt durch Durchführen einer Suche auf der Grundlage von Punktgruppeninformationen an der unterrichteten Greifposition, wobei der Roboter (30) mindestens ein Objekt (50) aus der Vielzahl von Objekten (50) auf der Grundlage der neuen Greifposition greift.