DE102016013986B4

DE102016013986B4 - Vorrichtung zum messen von positionen und stellungen einer mehrzahl von artikeln sowie die vorrichtung aufweisendes robotersystem

Info

Publication number: DE102016013986B4
Application number: DE102016013986.2A
Authority: DE
Inventors: Taiga SATOU
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2015-11-30
Filing date: 2016-11-23
Publication date: 2019-01-31
Anticipated expiration: 2036-11-24
Also published as: CN106826809A; DE102016013986A1; JP2017101946A; CN106826809B; US20170154397A1; JP6117901B1; US10055805B2

Abstract

Positions-/Stellungs-Messvorrichtung (22) zum Messen von Positionen/Stellungen einer Mehrzahl von in einem Messbereich positionierten Artikeln (16), die umfasst:ein Modelldaten-Speicherteil (38), das Merkmalsinformationen des Artikels als Modelldaten speichert;ein Sensorteil (20, 46), das innerhalb des Messbereichs misst, um Szenedaten zu erlangen, die die Artikel beinhalten;ein Positions-/Stellungs-Berechnungsteil (40), das die Positionen/Stellungen der Artikel durch Vergleichen der Modelldaten mit den Szenedaten berechnet, undein Kombinations-Auswertungsteil (42), das eine Mehrzahl von Kombinationen der Positionen/Stellungen auswählt, die von dem Positions-/Stellungs-Berechnungsteil berechnet werden, Auswertungswerte in Bezug auf die jeweiligen ausgewählten Kombinationen der Positionen/Stellungen berechnet und die Kombination der Positionen/Stellungen mit dem maximalen Auswertungswert als eine korrekte Kombination der Positionen/Stellungen der Artikel ausgibt.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Positions-/Stellungs-Messvorrichtung zum Messen von Positionen und Stellungen einer Mehrzahl von Artikeln und ein die Positions-/Stellungs-Messvorrichtung aufweisendes Robotersystem sowie einen Roboter zum Durchführen eines Vorgangs in Bezug auf die Artikel.
Beschreibung der verwandten Technik
Bei einem Robotersystem zum Durchführen eines Vorgangs wie beispielsweise einer Entnahme durch Verwenden eines Roboters in Bezug auf eine Mehrzahl von Artikeln, die in einem vorgegebenen Bereich wie beispielsweise einem Behälter oder einer Palette positioniert sind, werden die Position und Stellung (hier im Folgenden auch als „Position/Stellung“ bezeichnet) des Artikels vor dem Vorgang gemessen. Im Stand der Technik wurden verschiedene Verfahren oder Vorrichtungen zum Messen der Position/Stellung der zu handhabenden Artikel vorgeschlagen.
Zum Beispiel offenbart die JP 2010-210511 A eine Erkennungsvorrichtung für dreidimensionale Positionen/Stellungen, bei der ein Objekt durch Vergleichen von dreidimensionalen Positions- /Stellungsdaten einer Gruppe der Objekte und dreidimensionalen Positions-/Stellungs-Modelldaten des Objekts nach einem Ändern der Position/Stellung des Objekts sowie durch eine Feststellung erkannt wird, dass das Objekt einen hohen Grad von Übereinstimmung mit der Position/Stellung seines dreidimensionalen Modells aufweist.
Die JP 2009-128191 A offenbart eine Artikelerkennungsvorrichtung, bei der ein Objekt mit hoher Geschwindigkeit auf Grundlage davon positioniert wird, dass ein Merkmal des Objekts wie beispielsweise ein Spin-Image, dreidimensionale Merkmalsdaten (Modell) des Objekts mit von einem Bereichssensor erlangten Abstandsdaten (Szene) verglichen werden, und die dreidimensionale Position/Stellung des Objekts sehr schnell erkannt wird. In diesem Dokument wird beschrieben, dass durch Verwenden von Positions- /Stellungs-Informationen, die von der Artikelerkennungsvorrichtung ausgegeben werden, ein Roboter auf Grundlage der tatsächlichen Position/Stellung des Objekts sehr schnell bedient werden kann.
Zum Beispiel kann in dem Fall, dass eine Mehrzahl von Artikeln derselben Form willkürlich positioniert sind, während sie sich gleichzeitig berühren oder einander überlagern, wenn die Position/Stellung jedes Artikels durch Vergleichen des dreidimensionalen Modells und der Messdaten gemessen werden soll, dasselbe Merkmal des Artikels in einem Messbereich wiederholt beobachtet werden, wodurch ein Messfehler erzeugt werden kann (siehe, wie nachfolgend beschrieben, 5 und deren Erläuterung). Ein derartiger Messfehler kann aufgrund einer Lagebeziehung zwischen den Artikeln erzeugt werden und ist mithilfe des Verfahrens zum Verbessern einer Messgenauigkeit jedes Artikels, wie in der JP 2010-210511 A oder der JP 2009-128191 A beschrieben, schwer zu aufzuklären. Aufgrund dessen ist es schwierig, den Artikel unter Verwendung des Roboters auf Grundlage des Messergebnisses richtig zu entnehmen.
In der Nichtpatentliteratur „A. Agrawal, Y. Sun, J. Barnwell, R. Raskar: Vision Guided Robot System for Picking Objects By Casting Shadows; in: Mitsubishi Electric Research Laboratories TR2009-071, 2009“ und in der EP 204 516 A2 wird ausgeführt, das eine gefundene Modell-Artikelübereinstimmung gegebenenfalls mehrdeutig sein und zu Fehlschlüssen bei der Positionsmessung führen kann.
KURZDARSTELLUNG DER ERFINDUNG
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Positions-/Stellungs-Messvorrichtung bereitzustellen, die in der Lage ist, die Position/Stellung jedes Artikels präzise zu messen, selbst wenn eine Mehrzahl von Artikeln derselben Art willkürlich positioniert ist, und außerdem ein die Vorrichtung und einen Roboter aufweisendes Robotersystem bereitzustellen, bei dem der Roboter in Bezug auf die Artikel richtig bedient werden kann.
Gemäß einem Aspekt der vorliegenden Erfindung umfasst eine Positions-/Stellungs-Messvorrichtung zum Messen von Positionen/Stellungen einer Mehrzahl von Artikeln, die in einem Messbereich positioniert sind, die Merkmale des Anspruchs 1, insbesondere: ein Modelldaten-Speicherteil, das Merkmalsinformationen des Artikels als Modelldaten speichert; ein Sensorteil, das innerhalb des Messbereichs misst, um Szenedaten zu erlangen, die die Artikel beinhalten; ein Positions- /Stellungs- Berechnungsteil, das die Positionen/Stellungen der Artikel durch Vergleichen der Modelldaten mit den Szenedaten berechnet, und ein Kombinations- Auswertungsteil, das eine Mehrzahl von Kombinationen der Positionen/Stellungen auswählt, die von dem Positions-/Stellungs-Berechnungsteil berechnet werden, Auswertungswerte in Bezug auf die jeweiligen ausgewählten Kombinationen der Positionen/Stellungen berechnet und die Kombination der Positionen/Stellungen mit dem maximalen Auswertungswert als eine korrekte Kombination der Positionen/Stellungen der Artikel ausgibt.
Bei einer bevorzugten Ausführungsform findet das Kombinations-Auswertungsteil die Modelldaten an jeder Position/Stellung der Artikel, berechnet einen Grad von Übereinstimmung zwischen den gefundenen Modelldaten und den Szenedaten sowie einen Grad von Überlagerung, und berechnet den Auswertungswert auf Grundlage des Grades von Übereinstimmung und des Grades von Überlagerung, wobei der Grad von Überlagerung durch Berechnen eines Überlagerungsbereichs zwischen den gefundenen Modelldaten erlangt wird, wenn die Modelldaten an allen in den Kombinationen der Positionen/Stellungen enthaltenen Positionen/Stellungen gefunden werden.
Bei einer bevorzugten Ausführungsform speichert das Modelldaten-Speicherteil dreidimensionale Modelldaten des Artikels als die Merkmalsinformationen, und das Kombinations-Auswertungsteil berechnet den Grad von Überlagerung als ein Überlagerungsvolumen zwischen den gefundenen Modelldaten, wenn die Modelldaten an allen in den Kombinationen der Positionen/Stellungen enthaltenen Positionen/Stellungen gefunden werden.
Bei einer bevorzugten Ausführungsform speichert das Modelldaten-Speicherteil dreidimensionale Modelldaten des Artikels als die Merkmalsinformationen, das Sensorteil erlangt dreidimensionale Merkmale von Oberflächen der Artikel in dem Messbereich als die Szenedaten, und das Kombinations-Auswertungsteil berechnet den Grad von Übereinstimmung als eine Fläche eines Bereichs, wo die Oberfläche der dreidimensionalen Modelldaten mit den Szenedaten übereinstimmt, oder als eine Anzahl dreidimensionaler Punkte, wo die Oberfläche der dreidimensionalen Modelldaten mit den Szenedaten übereinstimmt, wenn die Modelldaten an jeder Position/Stellung der Artikel gefunden werden.
Bei einer bevorzugten Ausführungsform erlangt das Sensorteil ein Bild der Artikel in dem Messbereich als die Szenedaten, und das Kombinations-Auswertungsteil berechnet den Grad von Überlagerung als einen Überlagerungsbereich zwischen den gefundenen Modelldaten auf dem Bild, wenn die Modelldaten an allen Positionen/Stellungen gefunden werden, die in den Kombinationen der Positionen/Stellungen enthalten sind.
Bei einer bevorzugten Ausführungsform speichert das Modelldaten-Speicherteil eine Gruppe von Merkmalspunkten, die aus den Merkmalsinformationen des Artikels extrahiert werden, und das Kombinations-Auswertungsteil extrahiert einen Merkmalspunkt aus den Szenedaten und berechnet den Grad von Übereinstimmung als eine Anzahl der Merkmalspunkte, die in den Modelldaten enthalten sind, wenn die Modelldaten an der Position/Stellung gefunden werden, die mit den aus den Szenedaten extrahierten Merkmalspunkten übereinstimmen.
Gemäß einem anderen Aspekt der vorliegenden Erfindung umfasst ein Robotersystem: die vorstehend genannte Positions-/Stellungs-Messvorrichtung; einen Roboter, der derart ausgestaltet ist, dass er einen Vorgang in Bezug auf die Mehrzahl von Artikeln durchführt, und es wird eine Robotersteuerung bereitgestellt, die derart ausgestaltet ist, dass sie den Roboter steuert.
Figurenliste
Die vorstehend genannten und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden leichter ersichtlich durch die folgende Beschreibung von deren bevorzugten Ausführungsformen unter Bezugnahme auf die begleitenden Zeichnungen, in denen:

1 eine Ansicht einer schematischen Ausgestaltung eines Robotersystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung ist;
2 eine Ansicht eines Beispiels einer Form eines einzelnen Werkstücks ist;
3 ein Blockschaltbild einer Positions- /Stellungs-Messvorrichtung aus 1 ist;
4 ein Ablaufplan ist, der ein Beispiel einer Prozedur in dem Robotersystem aus 1 zeigt;
5 ein Beispiel eines Zustands zeigt, bei dem eine Mehrzahl von Werkstücken willkürlich positioniert ist, und
6 eine Ansicht einer schematischen Ausgestaltung eines Robotersystems gemäß einer zweiten Ausführungsform der vorliegenden Erfindung ist.

AUSFÜHRLICHE BESCHREIBUNG
1 ist eine Ansicht, die eine schematische Ausgestaltung eines Robotersystems 10 gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt. Zu dem Robotersystem 10 zählen: ein Roboter 12; eine Robotersteuerung 14, die mit dem Roboter 12 verbunden und derart ausgestaltet ist, dass sie den Roboter 12 steuert; ein Sensorteil (bzw. ein dreidimensionaler Sensor) 20, das derart ausgestaltet ist, dass es einen Messbereich 18 erfasst, wo sich eine Mehrzahl von Artikeln (Werkstücken) 16 befindet, die von dem Roboter 12 gehandhabt werden sollen, und ein dreidimensionales Merkmal einer Oberfläche des Werkstücks 16 als Szenedaten erlangt, und ein Werkstück-Positions-/-Stellungs-Messteil (bzw. eine Positions-/Stellungs-Messvorrichtung) 22, die mit dem dreidimensionalen Sensor 20 verbunden und derart ausgestaltet ist, dass sie die Position und Stellung (bzw. die Position/Stellung) des Werkstücks auf Grundlage der von dem dreidimensionalen Sensor 20 erlangten Szenedaten misst.
Der Roboter 12 ist zum Beispiel ein Mehrgelenk-Roboter mit sechs Achsen und verfügt über ein bewegbares Teil, beispielsweise einen Roboterarm 24, und eine Roboterhand (bzw. einen Greifer) 26, die an einem Vorderende des Roboterarms 24 befestigt ist. Die Werkstücke 16 befinden sich in einem vorgegebenen Betriebsbereich 18 (bei der veranschaulichten Ausführungsform auf einer Palette 28), und der Roboter 12 ist derart ausgestaltet, dass er Werkstücke 16 der Reihe nach (normalerweise eines nach dem andern) durch Verwenden des Greifers 26 entnimmt. Die Robotersteuerung 14 steuert (die Bewegungen des Roboterarms 24 und des Greifers 26 des Roboters) den Roboter 12, um einen Entnahmevorgang in Bezug auf die Werkstücke auf Grundlage der Positionen/Stellungen der Werkstücke 16 durchzuführen, die von dem Positions- /Stellungs-Messteil 22 gemessen und ausgegeben werden.
Der dreidimensionale Sensor 20 ist derart ausgestaltet, dass er Szenedaten von Oberflächenformen der Werkstücke 16, die sich in dem Messbereich befinden, an die Positions-/Stellungs-Messvorrichtung 22 sendet. Verschiedene Arten berührungsfreier Sensoren können als dreidimensionaler Sensor 20 verwendet werden, zum Beispiel ein Sensor des Stereo-Typs, bei dem zwei Kameras verwendet werden, ein Sensor des Abtasttyps, bei dem ein Laser-Spaltstrahl oder ein Laser-Punktstrahl verwendet wird, ein projizierender Sensortyp, der durch Verwenden eines Projektors Musterlicht auf den Artikel projiziert usw., oder es kann ein anderer Sensortyp genutzt werden, bei dem eine Zeit verwendet wird, ab der Licht von einem Projektor ausgestrahlt wird, bis zu der Zeit, zu der das Licht in einen optischen Empfänger eintritt, nachdem es von der Oberfläche des Artikels reflektiert wurde usw. Überdies kann, obwohl der dreidimensionale Sensor 20 in 1 an einem für diesen Zweck bestimmten Montagegestell oder Rahmen 30 befestigt ist, der Sensor 20 an dem bewegbaren Teil wie beispielsweise dem Roboterarm 24 angebracht sein.
2 ist eine Ansicht eines Beispiels der Form eines einzelnen Werkstücks 16. Das Werkstück 16 weist einen mit einem großen Durchmesser versehenen Abschnitt 32 mit einer zylindrischen Form und einen mit einem kleinen Durchmesser versehenen Abschnitt 34 auf, der über einen Durchmesser verfügt, der kleiner als bei dem mit einem großen Durchmesser versehenen Abschnitt 32 und koaxial mit dem mit einem großen Durchmesser versehenen Abschnitt 32 verbunden ist. Ferner ist eine Ausklinkung 36 an einem axialen Ende des mit einem kleinen Durchmesser versehenen Abschnitts 34 ausgebildet. Bei der Ausführungsform weist eine Mehrzahl von Werkstücken 16 dieselbe Form und dieselbe Größe auf, während die vorliegende Erfindung als solche nicht eingeschränkt ist.
3 ein Blockschaltbild einer Positions- /Stellungs-Messvorrichtung 22. Zu der Positions-/Stellungs-Messvorrichtung 22 zählen: ein Modelldaten-Speicherteil 38, das dreidimensionale Formdaten (bzw. Merkmalsinformationen) speichert, die die Form des Werkstücks 16 als Modelldaten darstellen; ein Positions-/Stellungs-Berechnungsteil 40, das jedes Werkstück 16 erkennt und die Positionen/Stellungen der Werkstücke 16 durch Vergleichen der von dem Modelldaten-Speicherteil 38 gespeicherten Modelldaten mit den von einem dreidimensionalen Sensor 20 gesendeten Szenedaten berechnet, sowie ein Kombinations-Auswertungsteil 42, das Auswertungswerte in Bezug auf alle der von dem Positions- /Stellungs-Berechnungsteil 40 berechneten Kombinationen der Positionen/Stellungen berechnet und die Kombination der Positionen/Stellungen, die den maximalen Auswertungswert aufweist, als ein Messergebnis an die Robotersteuerung 14 sendet. In diesem Zusammenhang können die Modelldaten CAD-Daten des Werkstücks 16 oder aus den CAD-Daten erzeugt sein. Alternativ können die Modelldaten durch Messen der Form des Werkstücks 16 mithilfe des dreidimensionalen Sensors 20 erlangt werden.
Als Nächstes wird eine Prozedur in dem Robotersystem 10 unter Bezugnahme auf einen Ablaufplan aus 4 erläutert. Als Erstes erfasst oder misst in Schritt S101, wie in 1 gezeigt, der dreidimensionale Sensor 20 eine Mehrzahl von Werkstücken 16 (die in diesem Fall dieselbe Form und dieselbe Größe aufweisen), die sich in dem Messbereich 18 befinden (zum Beispiel auf der Palette 28), um Szenedaten einschließlich der Oberflächenformen von Werkstücken 16 in dem Messbereich 18 zu erlangen. Die erlangten Szenedaten werden an (das Positions-/Stellungs-Berechnungsteil 40 der) (die) Positions-/Stellungs-Messvorrichtung 22 gesendet.
Als Nächstes vergleicht bei Schritt S102 das Positions-/Stellungs-Berechnungsteil 40 die gesendeten Szenedaten mit den in dem Modelldaten-Speicherteil 38 gespeicherten Modelldaten und berechnet die Positionen/Stellungen der Werkstücke 16.
In Bezug auf Schritt S102 können verschiedene Verfahren verwendet werden, um die Modelldaten mit den Szenedaten zu vergleichen und die dreidimensionale Position/Stellung des Werkstücks zu berechnen, und es gibt hinsichtlich der Verfahren keine besondere Einschränkung. Zum Beispiel wird ein dreidimensionales Merkmal wie beispielsweise ein PPF (point pair feature) oder ein SHOT (signature of histogram of orientation) aus einer Mehrzahl von dreidimensionalen Positionen an der Oberfläche der Modelldaten berechnet. Andererseits wird das dreidimensionale Merkmal auch aus den Messdaten berechnet. Anschließend wird eine dreidimensionale Position mit demselben Merkmal aus den Szenedaten herausgesucht, wodurch die Position/Stellung berechnet werden kann. Bei einem anderen Verfahren wird die Position/Stellung der Modelldaten innerhalb eines vorgegebenen Suchbereichs geändert, ein Bereich, wo die Oberfläche der Modelldaten mit den Szenedaten übereinstimmt, wird berechnet, und anschließend wird die Position/Stellung als ein Berechnungsergebnis ausgegeben, wenn eine Fläche des Bereichs gleich einem vorgegeben Wert oder mehr als dieser ist.
In dem nächsten Schritt S103, findet das Kombinations-Auswertungsteil 42 virtuell die dreidimensionalen Modelldaten, die in dem Modelldaten-Speicherteil 38 gespeichert sind, an jeder der Positionen/Stellungen der Werkstücke, die von dem Positions-/Stellungs-Berechnungsteil 40 berechnet werden, vergleicht die Oberfläche der Modelldaten mit den Szenedaten und berechnet einen Grad von Übereinstimmung als eine Fläche eines Bereichs, wo die Modelldaten mit den Szenedaten übereinstimmen. Wenn die Szenedaten als eine Gruppe dreidimensionaler Punkte usw. erlangt werden, wird der Grad von Übereinstimmung als eine Anzahl der dreidimensionalen Punkte berechnet, wo die Oberfläche der Modelldaten mit den Szenedaten übereinstimmt (oder wo die Oberfläche der Modelldaten innerhalb eines vorgegeben Fehlerbereichs mit den Szenedaten übereinstimmt). Ferner findet das Kombinations-Auswertungsteil 42 virtuell die Modelldaten, die in dem Modelldaten-Speicherteil 38 gespeichert sind, an allen Paaren von Positionen/Stellungen, die von dem Positions-/Stellungs-Berechnungsteil 40 berechnet werden, und berechnet einen Grad von Überlagerung als ein Volumen eines Überlagerungsbereichs zwischen den (zwei) Modelldaten (Schritt S104).
In dem nächsten Schritt S105 wählt aus allen Positionen/Stellungen, die von dem Positions-/Stellungs-Berechnungsteil 40 berechnet werden, das Kombinations-Auswertungsteil 42 eine Kombination von Position/Stellung aus, deren Auswertungswert nicht berechnet wurde. Als Nächstes wird in Schritt S106 in Bezug auf die ausgewählte Kombination von Position/Stellung durch Verwenden des Grads von Übereinstimmung, der in Schritt S103 berechnet wurde, und des Grads von Überlagerung, der in Schritt S104 berechnet wurde, die in der ausgewählten Kombination enthalten sind, ein Auswertungswert der Kombination berechnet. Wenn dann der Auswertungswert der aktuell ausgewählten Kombination größer als der maximale Auswertungswert unter den Auswertungswerten der berechneten Kombinationen ist, wird die aktuell ausgewählte Kombination als ein Kandidat für das Messergebnis in dem Kombinations-Auswertungsteil 42 oder einem richtigen Speicher usw. gespeichert oder aufbewahrt.
In Schritt S106 berechnet das Kombinations-Auswertungsteil 42 in Bezug auf alle Kombinationen, die von dem Positions-/Stellungs-Berechnungsteil 40 berechnet werden, die jeweiligen Auswertungswerte auf Grundlage des Grades von Übereinstimmung und des Grades von Überlagerung, die in den jeweiligen Kombinationen der Positionen/Stellungen enthalten sind. Konkret wird der Auswertungswert der Kombination von Position/Stellung auf Grundlage des Grades von Übereinstimmung der Position/Stellung des ausgewählten Werkstücks und des Grades von Überlagerung aller Paare berechnet, die in den Kombinationen der ausgewählten Werkstücke enthalten sind. Ein Beispiel für eine Berechnungsformel für den Auswertungswert wird durch die folgende Gleichung (1) dargestellt. $S_{a} = k_{1} \sum_{x_{i} \in C_{a}} f (x_{i}) - k_{2} \sum_{x_{i} \in C_{a}, x_{j} \in C_{a}, i \neq j} g (x_{i}, x_{j})$
Zum Beispiel kann bei der Gleichung (1) der Auswertungswert Sa einer Kombination Ca erlangt werden, indem ein Grad von Überlagerung g(xi, Xj) von zwei in der Kombination Ca enthaltenen Positionen/Stellungen xi und Xj, multipliziert mit dem Gewicht k2, von einem Grad von Übereinstimmung f(xi) der in der Kombination Ca enthaltenen Position/Stellung xi, multipliziert mit dem Gewicht k1, subtrahiert wird.
Ein Beispiel für die vorstehende Prozedur wird mit Bezug auf 5 erläutert, die veranschaulicht, dass eine Mehrzahl von Werkstücken willkürlich positioniert ist. Bei dem Beispiel aus 5 sind tatsächlich drei Werkstücke 16a, 16b und 16c vorhanden. Wenn in diesem Zusammenhang der mit einem großen Durchmesser versehene Abschnitt 32b des Werkstücks 16b und der mit einem kleinen Durchmesser versehene Abschnitt 34c des Werkstücks 16c koaxial miteinander in Kontakt kommen, kann durch ein herkömmliches Positions-Stellungs-Erkennungsverfahren ein (nicht reales) Werkstück 16d, das aus dem mit einem großen Durchmesser versehenen Abschnitt 32b und dem mit einem kleinen Durchmesser versehenen Abschnitt 34c gebildet wird, erkannt werden. In diesem Fall werden in Schritt S102 vier Kombinationen von Positionen/Stellungen von Werkstücken erkannt, und zu den Kombinationen zählen eine Kombination der Werkstücke 16d und 16b und eine Kombination der Werkstücke 16d und 16c.
Allerdings ist in einem derartigen Fall ein mit einem größeren Durchmesser versehener Abschnitt des Werkstücks 16d identisch mit dem mit einem größeren Durchmesser versehenen Abschnitt 32b des Werkstücks 16b (d.h. die zwei Abschnitte mit großem Durchmesser überlagern einander), und daher ist ein Auswertungswert der Kombination, zu der die Werkstücke 16d und 16b zählen, unter Verwendung der Gleichung (1) berechnet, relativ niedrig. In ähnlicher Weise ist ein mit einem kleinen Durchmesser versehener Abschnitt bzw. ein derartiges Werkstück 16d identisch mit dem mit einem kleinen Durchmesser versehenen Abschnitt 34c des Werkstücks 16c (d.h. die zwei Abschnitte mit kleinem Durchmesser überlagern einander), und daher ist ein Auswertungswert der Kombination, zu der die Werkstücke 16d und 16c zählen, unter Verwendung der Gleichung (1) berechnet, ebenfalls relativ niedrig.
Aufgrund dessen ist bei dem Beispiel aus 5, wenn die Auswertungswerte jeweils in Bezug auf alle Kombinationen von Positionen/Stellungen der Werkstücke 16a bis 16d berechnet werden, ein Auswertungswert einer Kombination, die aus den Werkstücken 16a, 16b und 16c (ohne 16d) besteht, das Maximum, und daher wird diese Kombination (bestehend aus drei Werkstücken 16a, 16b und 16c) von dem Positions-/Stellungs-Messteil 22 an die Robotersteuerung 14 als die richtigen Positionen/Stellungen der Werkstücke (in diesem Fall drei Werkstücke) gesendet. Dementsprechend kann der Roboter 12 die Werkstücke auf Grundlage des optimalen Messergebnisses entnehmen.
Überdies ist eine Berechnungsformel zum Berechnen des Auswertungswerts nicht auf die Gleichung (1) beschränkt. Zum Beispiel können die in dem Modelldaten-Speicherteil 38 gespeicherten Modelldaten virtuell an der berechneten Position/Stellung gefunden werden, die gefundenen Modelldaten können mit den Szenedaten verglichen werden, um einen Bereich der Modelldaten zu berechnen, der nicht physisch mit den Szenedaten übereinstimmt, und der berechnete Bereich kann in den Auswertungswert der Kombination einbezogen werden.
Bei der ersten Ausführungsform berechnet das Kombinations-Auswertungsteil 42 die Auswertungswerte in Bezug auf alle Kombinationen der von dem Positions-/Stellungs-Berechnungsteil 40 berechneten Positionen/Stellungen und gibt das Messergebnis aus. In diesem Zusammenhang werden die Auswertungswerte möglicherweise nur in Bezug auf zuvor ausgewählte Kombinationen berechnet. Zum Beispiel kann der Auswertungswert ausschließlich in Bezug auf die Kombination berechnet werden, die ein bestimmtes Werkstück enthält, oder kann ausschließlich in Bezug auf die Kombination berechnet werden, die ein bestimmtes Werkstück nicht enthält. Ferner kann die Gleichung (1) zu einem quadratischen Ganzzahl-Programmierungsproblem (quadratic integer programming problem) abgewandelt werden, wodurch eine näherungsweise Lösung erfolgreich erlangt werden kann.
Mit Bezug auf 4: In Schritt S107 wird beurteilt, ob die Auswertungswerte aller Kombinationen berechnet wurden. Wenn die Auswertungswerte aller Kombinationen berechnet wurden, schreitet die Prozedur fort zu Schritt S108, andernfalls kehrt die Prozedur zurück zu Schritt S105.
Bei Schritt S108 wird der Kandidat für das Messergebnis (d.h. mit dem maximalen Auswertungswert), der von der Positions-/Stellungs-Messvorrichtung 22 aufbewahrt wird, als das optimale Messergebnis an die Robotersteuerung 14 ausgegeben oder gesendet. In dem nächsten Schritt S109 steuert die Robotersteuerung 14 auf Grundlage der Position/Stellung, die dem gesendeten Messergebnis entspricht, den Roboter 12, um das Ziel-Werkstück durch Verwenden des Greifers 26 zu halten und zu entnehmen.
Bei der ersten Ausführungsform enthält der für jede Kombination berechnete Auswertungswert den Grad von Übereinstimmung und den Grad von Überlagerung, und der Auswertungswert nimmt mit einer Zunahme des Grades von Übereinstimmung zu und nimmt mit einer Zunahme des Grades von Überlagerung ab. Wenn daher der Grad von Überlagerung hoch ist, wird der Auswertungswert selbst dann relativ niedrig, wenn der Grad von Übereinstimmung hoch ist, und daher wird ein derartiger Auswertungswert möglicherweise nicht als die optimale Position/Stellung an die Robotersteuerung 14 gesendet. Daher kann bei der Positions-Stellungs-Messvorrichtung 22 durch Berechnen nicht nur des Auswertungswerts der Position/Stellung des einzelnen Werkstücks, sondern auch der Kombination der Positionen/Stellungen einschließlich der einzelnen Position/Stellung der in 5 erläuterte Erkennungsfehler vermieden werden. Deshalb kann bei dem Robotersystem 10, bei dem die Robotersteuerung 14 den Roboter 12 auf Grundlage der von der Positions- /Stellungs-Messvorrichtung 22 ausgegebenen Position/Stellung steuert, der Roboter 12 den Handhabungsvorgang für die Werkstücke 16 auf Grundlage der richtigen Positions-/Stellungs-Informationen durchführen.
Ferner wird bei der ersten Ausführungsform durch Berechnen des Grades von Übereinstimmung als die Fläche des Bereichs, wo die Modelldaten mit den Szenedaten übereinstimmen, die mit den Formdaten der Oberflächen der Werkstücke 16 in dem Messbereich übereinstimmen, die Kombination der Kandidaten für Positionen/Stellungen, durch die der Bereich, wo die Modelldaten mit den Szenedaten übereinstimmen, vergrößert oder maximiert wird, als das Messergebnis erlangt. Daher kann eine Wahrscheinlichkeit verringert werden, dass ein oder einige der Werkstücke in dem Messbereich nicht von dem Roboter entnommen werden können. Ferner kann durch Berechnen des Grades von Überlagerung als das Überlagerungsvolumen zwischen den Modelldaten, die an den Kandidaten für Positionen/Stellungen gefunden werden, durch Verwenden der dreidimensionalen Daten die Kombination der Kandidaten, die nicht gleichzeitig physisch vorhanden sein können, ermittelt werden, wodurch eine unangebrachte Kombination der Kandidaten für Positionen/Stellungen korrekt ausgeschlossen werden kann. Daher kann eine Wahrscheinlichkeit erhöht werden, dass der Roboter den Vorgang richtig durchführen kann.
6 ist eine Ansicht, die eine schematische Ausgestaltung eines Robotersystems 10' gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt. Bei der zweiten Ausführungsform wird nur eine Komponente erläutert, die sich von der ersten Ausführungsform unterscheidet, und daher werden dieselben Bezugszeichen zu den Komponenten der zweiten Ausführungsform hinzugefügt, die den Komponenten der ersten Ausführungsform entsprechen, und ausführliche Erläuterungen davon entfallen.
Bei der zweiten Ausführungsform weist ein zu entnehmendes Werkstück 44 eine planare Form auf wie beispielsweise eine Metallplatte, und eine Mehrzahl von Werkstücken 44 befindet sich auf einer Ebene in dem Betriebsbereich (bzw. dem Messbereich) des Roboters 12. Ein zweidimensionaler Sensor (zum Beispiel eine Kamera) 46 erlangt Szenedaten als ein zweidimensionales Bild der Werkstücke. Die Kamera 46 kann die Szenedaten als ein Bild der Werkstücke 44 in dem Messbereich 18 erlangen.
Das Modelldaten-Speicherteil 38, das zu der Positions-/Stellungs-Messvorrichtung 22 zählt, speichert die Modelldaten als das zweidimensionale Bild oder bewahrt sie als dieses auf, das durch Erfassen des Werkstücks 44 mithilfe der Kamera 46 erlangt wird, sowie einen Bereich des Werkstücks 44 auf dem zweidimensionalen Bild. Ferner speichert das Modelldaten-Speicherteil 38 eine Gruppe von Merkmalspunkten des Werkstücks 44, die aus Merkmalsinformationen des Werkstücks extrahiert werden.
Das Positions-/Stellungs-Berechnungsteil 40 der Positions-/Stellungs-Messvorrichtung 22 vergleicht die Modelldaten des Werkstücks mit den Szenedaten, um die Position/Stellung jedes Werkstücks auf dem zweidimensionalen Bild genau anzugeben. In diesem Zusammenhang können verschiedene Verfahren angewendet werden, um die Modelldaten mit den Szenedaten zu vergleichen und die Position/Stellung des wirklichen Artikels auf dem zweidimensionalen Bild zu berechnen, und es gibt hinsichtlich der Verfahren keine besondere Einschränkung. Zum Beispiel wird ein Bildmerkmal wie beispielsweise eine SIFT (scale invariant feature transform, skaleninvariante Merkmalstransformation) oder ein SURF (speeded up robust features) aus den Modelldaten berechnet. Andererseits wird das gleiche Bildmerkmal auch aus den Szenedaten berechnet. Anschließend kann durch Berechnen von vier oder mehr Übereinstimmungsbeziehungen zwischen den Bildmerkmalen die Position/Stellung berechnet werden.
Das Positions-/Stellungs-Berechnungsteil 40 bewahrt ferner Informationen über die Ebene auf, auf der sich die Werkstücke 44 befinden (in diesem Fall die obere Oberfläche der Palette 28) oder speichert diese, und kann die dreidimensionale Position/Stellung jedes Werkstücks 44 auf Grundlage der Informationen und der Position jedes Werkstücks auf dem zweidimensionalen Bild genau angeben.
Um den Grad von Übereinstimmung zu berechnen extrahiert das Kombinations-Auswertungsteil 42 der Positions-/Stellungs-Messvorrichtung 22 ein Randmerkmal (oder einen Merkmalspunkt) des Bildes aus den Modelldaten und den Szenedaten. Anschließend berechnet das Kombinations-Auswertungsteil 42 die Position/Stellung des Randmerkmals, das in den in dem Modelldaten-Speicherteil 38 gespeicherten Modelldaten enthalten ist, wenn die Modelldaten virtuell an der Position/Stellung gefunden werden, die von dem Positions-/Stellungs-Berechnungsteil 40 berechnet wird, und vergleicht das berechnete Randmerkmal mit dem aus den Szenedaten extrahierten Randmerkmal, um den Grad von Übereinstimmung der jeweiligen Positionen/Stellungen zu berechnen. Konkret kann die Anzahl der Merkmalspunkte, die aus den Forminformationen des dreidimensionalen Modells des Werkstücks 44 extrahiert werden, die mit den entsprechenden aus den Szenedaten extrahierten Merkmalspunkten übereinstimmen, als der Grad von Übereinstimmung ermittelt werden.
Ferner findet das Kombinations-Auswertungsteil 42 virtuell die Modelldaten, die in dem Modelldaten-Speicherteil 38 gespeichert sind, an der von dem Positions-/Stellungs-Berechnungsteil 40 berechneten Position/Stellung und berechnet den Grad von Überlagerung als eine Überlagerungsfläche, wo sich die Bereiche der Modelldaten des in dem Modelldaten-Speicherteil 38 gespeicherten Paares von Positionen/Stellungen miteinander auf dem von dem zweidimensionalen Sensor erlangten Bild überlagern.
Bei der zweiten Ausführungsform kann, da jedes Werkstück 44 die im Wesentlichen planare Form aufweist, selbst wenn zum Erlangen der Szenedaten kein dreidimensionaler Sensor verwendet wird, ein System mit hoher Messgenauigkeit durch Verwenden eines relativ kostengünstigen zweidimensionalen Sensors (wie beispielsweise eine Kamera) gebildet werden. Ferner kann durch Berechnen des Grades von Übereinstimmung als die Anzahl von aus den Forminformationen des Werkstücks extrahierten Merkmalspunkten, die mit den entsprechenden aus den Szenedaten extrahierten Merkmalspunkten übereinstimmen, und durch Berechnen des Grades von Überlagerung als die Überlagerungsfläche zwischen den Modelldaten auf dem zweidimensionalen Bild die richtige Kombination der Kandidaten für Positionen/Stellungen als das Messergebnis erlangt werden.
Des Weiteren können die Verfahren zum Berechnen des Grades von Übereinstimmung und des Grades von Überlagerung, wie sie in Bezug auf die erste und zweite Ausführungsform erläutert wurden, auf geeignete Weise kombiniert werden. Zum Beispiel kann das Verfahren zum Berechnen des Grades von Übereinstimmung in der ersten Ausführungsform mit dem Verfahren zum Berechnen des Grades von Überlagerung in der zweiten Ausführungsform kombiniert werden.
Obwohl die Positions-/Stellungs-Messvorrichtung in den vorstehenden Ausführungsformen als eine einzelne Vorrichtung erläutert wird (wie beispielsweise ein persönlicher Computer usw.), die mit der Robotersteuerung verbunden ist, kann die Positions-/Stellungs-Messvorrichtung in die Robotersteuerung einbezogen oder in diese integriert sein. Ferner kann jede Funktion der Positions-/Stellungs-Messvorrichtung mithilfe einer CPU und/oder eines Speichers usw. realisiert werden.
Gemäß der Positions-/Stellungs-Messvorrichtung der vorliegenden Erfindung kann der Kandidat für Position/Stellung auf Grundlage der Auswertungswerte ausgewählt werden, die nicht nur im Hinblick auf den Kandidaten für eine Position/Stellung jedes Werkstücks, sondern auch im Hinblick auf die Kandidaten für Positionen/Stellungen der Mehrzahl von Werkstücken berechnet werden. Daher kann mithilfe der vorliegenden Erfindung die Wahrscheinlichkeit eines Messfehlers beträchtlich verringert werden, was schwierig zu lösen ist, wenn nur der Kandidat für eine Position/Stellung jedes Werkstücks ausgewertet wird. Ferner kann, da der Messfehler mithilfe eines Kriteriums eliminiert werden kann, das sich von dem Auswertungswert jedes Kandidaten für eine Position/Stellung unterscheidet, ein Schwellenwert des Auswertungswerts jedes Kandidaten für eine Position/Stellung auf einen niedrigen Wert eingestellt werden, wodurch die Wahrscheinlichkeit, dass ein tatsächlich vorhandener Artikel nicht als ein Messergebnis ausgegeben wird, verringert werden kann.
Des Weiteren kann bei dem Robotersystem, das die Positions-/Stellungs-Messvorrichtung aufweist, die Wahrscheinlichkeit erhöht werden, dass der Roboter den Vorgang richtig durchführen kann. Insbesondere kann, wenn der Roboter den Vorgang in Bezug auf alle wirklichen Artikel in dem Messbereich ausführen soll, die Wahrscheinlichkeit verringert werden, dass ein oder einige der Artikel von dem Roboter nicht gehandhabt werden.

Claims

Positions-/Stellungs-Messvorrichtung (22) zum Messen von Positionen/Stellungen einer Mehrzahl von in einem Messbereich positionierten Artikeln (16), die umfasst: ein Modelldaten-Speicherteil (38), das Merkmalsinformationen des Artikels als Modelldaten speichert; ein Sensorteil (20, 46), das innerhalb des Messbereichs misst, um Szenedaten zu erlangen, die die Artikel beinhalten; ein Positions-/Stellungs-Berechnungsteil (40), das die Positionen/Stellungen der Artikel durch Vergleichen der Modelldaten mit den Szenedaten berechnet, und ein Kombinations-Auswertungsteil (42), das eine Mehrzahl von Kombinationen der Positionen/Stellungen auswählt, die von dem Positions-/Stellungs-Berechnungsteil berechnet werden, Auswertungswerte in Bezug auf die jeweiligen ausgewählten Kombinationen der Positionen/Stellungen berechnet und die Kombination der Positionen/Stellungen mit dem maximalen Auswertungswert als eine korrekte Kombination der Positionen/Stellungen der Artikel ausgibt.
Positions-/Stellungs-Messvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Kombinations-Auswertungsteil (42) die Modelldaten an jeder Position/Stellung der Artikel findet, einen Grad von Übereinstimmung zwischen den gefundenen Modelldaten und den Szenedaten sowie einen Grad von Überlagerung berechnet, und den Auswertungswert auf Grundlage des Grades von Übereinstimmung und des Grades von Überlagerung berechnet, wobei der Grad von Überlagerung durch Berechnen eines Überlagerungsbereichs zwischen den gefundenen Modelldaten erlangt wird, wenn die Modelldaten an allen in den Kombinationen der Positionen/Stellungen enthaltenen Positionen/Stellungen gefunden werden.
Positions-/Stellungs-Messvorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das Modelldaten-Speicherteil (38) dreidimensionale Modelldaten des Artikels als die Merkmalsinformationen speichert und das Kombinations-Auswertungsteil (42) den Grad von Überlagerung als ein Überlagerungsvolumen zwischen den gefundenen Modelldaten berechnet, wenn die Modelldaten an allen in den Kombinationen der Positionen/Stellungen enthaltenen Positionen/Stellungen gefunden werden.
Positions-/Stellungs-Messvorrichtung nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass das Modelldaten-Speicherteil (38) dreidimensionale Modelldaten des Artikels als die Merkmalsinformationen speichert, das Sensorteil (20, 46) dreidimensionale Merkmale von Oberflächen der Artikel in dem Messbereich als die Szenedaten erlangt, und das Kombinations-Auswertungsteil (42) den Grad von Übereinstimmung als eine Fläche eines Bereichs berechnet, wo die Oberfläche der dreidimensionalen Modelldaten mit den Szenedaten übereinstimmt, oder als eine Anzahl dreidimensionaler Punkte, wo die Oberfläche der dreidimensionalen Modelldaten mit den Szenedaten übereinstimmt, wenn die Modelldaten an jeder Position/Stellung der Artikel gefunden werden.
Positions-/Stellungs-Messvorrichtung nach Anspruch 2 oder 4, dadurch gekennzeichnet, dass das Sensorteil (20, 46) ein Bild der Artikel in dem Messbereich als die Szenedaten erlangt, und das Kombinations-Auswertungsteil (42) den Grad von Überlagerung als einen Überlagerungsbereich zwischen den gefundenen Modelldaten auf dem Bild berechnet, wenn die Modelldaten an allen Positionen/Stellungen gefunden werden, die in den Kombinationen der Positionen/Stellungen enthalten sind.
Positions-/Stellungs-Messvorrichtung nach Anspruch 2, 3 oder 5, dadurch gekennzeichnet, dass das Modelldaten-Speicherteil (38) eine Gruppe von Merkmalspunkten speichert, die aus den Merkmalsinformationen des Artikels extrahiert sind, und das Kombinations-Auswertungsteil (42) einen Merkmalspunkt aus den Szenedaten extrahiert und den Grad von Übereinstimmung als eine Anzahl der Merkmalspunkte berechnet, die in den Modelldaten enthalten sind, wenn die Modelldaten an der Position/Stellung gefunden werden, die mit den aus den Szenedaten extrahierten Merkmalspunkten übereinstimmen.
Robotersystem (10), das umfasst: die Positions-/Stellungs-Messvorrichtung (22) nach einem der Ansprüche 1 bis 6, einen Roboter (12), der derart ausgestaltet ist, dass er einen Vorgang in Bezug auf die Mehrzahl von Artikeln durchführt, und eine Robotersteuerung (14), die derart ausgestaltet ist, dass sie den Roboter steuert.