-
HINTERGRUND DER ERFINDUNG
-
1. GEBIET DER ERFINDUNG
-
Die Erfindung betrifft eine Vorrichtung zum Aufnehmen (Aufgreifen) eines Gegenstandes und ein diesbezügliches Verfahren zum Erkennen einer Position und einer Stellung eines Gegenstandes, der im dreidimensionalen Raum angeordnet ist, und zum Aufnehmen des erkannten Gegenstandes mit einem Roboter.
-
2. ZUM STAND DER TECHNIK
-
Eine bekannte Vorrichtung dieser Art ist eingerichtet, die Position eines Gegenstandes zu erkennen durch Musterabgleich in Bezug auf ein zwei-dimensionales Bild, das gewonnen wird durch Abbilden von Gegenständen im dreidimensionalen Raum unter Verwendung einer Kamera oder durch einen dreidimensionalen Punktsatz, der gewonnen wird durch Messung mit einem dreidimensionalen Messinstrument. Eine solche Vorrichtung ist beispielsweise bekannt aus der
japanischen Patentveröffentlichung 2004-295223 und der japanischen Patentveröffentlichung
JP 2011-179909 . Weiterhin ist eine Vorrichtung bekannt, die eingerichtet ist, aus einem Bild einen Gegenstand zu extrahieren unter Verwendung von Bilddaten, die gewonnen sind durch Abbildung von im dreidimensionalen Raum angeordneten Gegenständen unter Verwendung einer Kamera. Eine Vorrichtung dieser Art ist beispielsweise beschrieben in der
japanischen Patentveröffentlichung 2010-039999 A .
-
Bei der in der
JP 2004-295223 A beschriebenen Vorrichtung wird ein zweidimensionales Modellmuster aus einem zweidimensionalen Bild gewonnen, welches durch vorherige Abbildung eines Gegenstandes in einer dreidimensionalen Standard-Relativstellung erhalten wurde, wobei sodann eine Mehrzahl von transformierten zweidimensionalen Modellmustern gewonnen werden durch Anwendung einer zweidimensionalen geometrischen Transformation auf das zweidimensionale Modellmuster, um so einen zweidimensionalen Musterabgleich in Bezug auf ein zweidimensionales Bild eines Artikels unter Verwendung der Mehrzahl von transformierten zweidimensionalen Modellmustern zu gewinnen. Bei der in der
JP 2011-179909 A beschriebenen Vorrichtung werden nach Gewinnung eines dreidimensionalen Modellmusters eines Gegenstandes vorab durch ein CAD-Modell oder dergleichen, Oberflächen von Artikeln im dreidimensionalen Raum vermessen unter Verwendung eines dreidimensionalen Messinstrumentes, und es wird ein dreidimensionaler Punktsatz (ein Distanzbild) abgeleitet und sodann wird der dreidimensionale Punktsatz in Teilbereiche unterteilt, die von einer Kante umgeben sind, welche aus dem dreidimensionalen Punktsatz extrahiert ist. Sodann wird anfänglich einer der Teilbereiche als Gegenstandsbereich gesetzt und beide Abgleichprozesse des dreidimensionalen Modellmusters für den Gegenstandsbereich und die Aktualisierung zum Hinzufügen eines weiteren Teilbereiches zum Gegenstandsbereich werden wiederholt, um Positionen und Stellungen der Artikel zu ermitteln.
-
Bei der Vorrichtung gemäß der
JP 2010-039999 A werden ein Farbbild und ein Distanzbild eines Bereiches einschließlich eines Gegenstandes durch Abbildung mit einer Kamera gewonnen und sodann werden die gewonnenen Bilder auf einer Anzeigeeinrichtung angezeigt. Wenn ein Teil eines Gegenstandes im angezeigten Bild vom Benutzer als Vordergrundbereich eingeordnet wird, wird ein vom Gegenstand verschiedener Bereich als Hintergrundbereich auf Basis von Farbinformationen des Farbbildes und Distanzinformationen vom Distanzbild gesetzt, um den Gegenstand aus dem Bild zu extrahieren.
-
Allerdings ist es bei den Vorrichtungen gemäß der
JP 2004-295223 A und
JP 2011-179999 A erforderlich, vorab ein zweidimensionales Modellmuster oder ein dreidimensionales Modellmuster für jede Art von Gegenständen anzufertigen, was zeitlich und apparativ aufwändig ist. Insbesondere bei einer großen Anzahl unterschiedlicher Gegenstände ist es erforderlich, Modellmuster entsprechend der Anzahl der verschiedenen Gegenstände anzufertigen und dies erfordert besonderen Aufwand und Zeit.
-
Bei einer Vorrichtung gemäß der
JP 2010-039999 A ist zur Extraktion eines Gegenstandes aus einem Bild ein Lehrverfahren durch den Benutzer erforderlich, was ebenfalls zeitlich aufwändig und mühsam ist. Insbesondere dann, wenn eine große Anzahl unterschiedlicher Gegenstände vorliegt, ist es nötig, Lehrverfahren entsprechend der Anzahl der unterschiedlichen Artikel durchzuführen und dies verlangt insbesondere Zeit und Mühe.
-
KURZBESCHREIBUNG DER ERFINDUNG
-
Eine Gegenstand-Aufnahmevorrichtung gemäß einer Ausführungsform der Erfindung weist folgendes auf: einen Roboter einschließlich einer Hand, die in der Lage ist, einen Gegenstand zu halten; ein dreidimensionales Messinstrument, welches Oberflächenpositionen einer Mehrzahl von Gegenständen misst, die im dreidimensionalen Raum angeordnet sind, um Positionsinformationen bezüglich einer Mehrzahl von dreidimensionalen Punkten zu gewinnen; eine Kamera zum Abbilden eines Bereiches einschließlich der Mehrzahl von Gegenständen, um Bilddaten zu gewinnen; eine Verknüpfungssatz-Berechnungseinheit, welche einen Verknüpfungssatz bestimmt, der gebildet ist aus der Verknüpfung dreidimensionaler Punkte in wechselseitiger Nachbarschaft aus der Vielzahl dreidimensionaler Punkte auf Basis der Positionsinformation bezüglich der Mehrzahl dreidimensionaler Punkte, die durch das dreidimensionale Messinstrument gewonnen worden sind, und der Bilddaten, die durch die Kamera gewonnen worden sind; eine Gegenstandsidentifizierungseinrichtung, welche die Position und Stellung des Artikels auf Basis der Positionsinformation der dreidimensionalen Punkte, die zu dem Verknüpfungssatz gehören, identifiziert; eine Handpositionsstellungsberechnungseinheit, welche eine Handpositionsstellung als Position und Stellung einer Hand bestimmt und eingerichtet ist, den durch die Gegenstandsidentifikationseinrichtung identifizierten Gegenstand aufzunehmen; und eine Robotersteuereinrichtung, die den Roboter so steuert, dass die Hand zu der Handpositionsstellung geführt wird, welche durch die Handpositionsstellungsberechnungseinheit bestimmt worden ist, um den Gegenstand aufzunehmen.
-
Die Verknüpfungssatzberechnungseinheit weist folgendes auf: eine dreidimensionale Punktauswahleinheit, welche einen ersten dreidimensionalen Punkt und einen zweiten dreidimensionalen Punkt, die wechselseitig benachbart liegen in der Mehrzahl dreidimensionaler Punkte, welche durch das dreidimensionale Messinstrument gewonnen worden sind, auswählt; eine Gradienteninformationsgewinnungseinrichtung, welche Bildgradienteninformation gewinnt, die einen Gradientenzustand einer Oberfläche auf dem Gegenstand in einem partiellen Bildbereich darstellt, einschließlich Punkten auf einem Bild entsprechend dem jeweiligen ersten dreidimensionalen Punkt und dem zweiten dreidimensionalen Punkt, auf Basis von mit der Kamera gewonnenen Bilddaten; und eine Beurteilungseinheit, welche bestimmt, ob der erste dreidimensionale Punkt und der zweite dreidimensionale Punkt auf dem gleichen Gegenstand liegen, und zwar auf Basis einer Positionsinformation bezüglich des ersten dreidimensionalen Punktes, einer Positionsinformation bezüglich des zweiten dreidimensionalen Punktes und der Bildgradienteninformation, die durch die Gradienteninformationsgewinnungseinheit gewonnen worden ist, und dann, wenn die Beurteilungseinheit feststellt, dass der erste dreidimensionale Punkt und der zweite dreidimensionale Punkt auf dem gleichen Gegenstand liegen, fügt die Verknüpfungssatzberechnungseinheit den ersten dreidimensionalen Punkt und den zweiten dreidimensionalen Punkt zum gleichen Verknüpfungssatz hinzu.
-
Die Erfindung lehrt auch ein Verfahren zum Aufnehmen eines Gegenstandes, der im dreidimensionalen Raum angeordnet ist unter Verwendung eines Roboters mit einer Hand, die den Gegenstand greifen kann, wobei das Verfahren folgende Schritte aufweist: Vermessen, mit einem dreidimensionalen Messinstrument, von Oberflächenpositionen bei einer Mehrzahl von Gegenständen, die im dreidimensionalen Raum angeordnet sind, um Positionsinformationen bezüglich einer Mehrzahl von dreidimensionalen Punkten zu gewinnen; Abbilden, mittels einer Kamera, eines Bereichs einschließlich der Mehrzahl von Gegenständen, um Bilddaten zu gewinnen; Bestimmen eines Verknüpfungssatzes, der gebildet ist durch Verknüpfung der dreidimensionalen Punkte, die in wechselseitiger Nachbarschaft liegen unter der Mehrzahl von dreidimensionalen Punkten, auf Basis von Positionsinformationen bezüglich der Mehrzahl dreidimensionaler Punkte, welche durch das dreidimensionale Messinstrument gewonnen worden sind, und der Bilddaten, welche mittels der Kamera gewonnen worden sind; Identifizieren von Position und Stellung des Gegenstandes auf Basis der Positionsinformation der dreidimensionalen Punkte, die zum Verknüpfungssatz gehören; Bestimmen einer Handpositionsstellung als Position und Stellung der Hand, die eingerichtet ist, den Gegenstand aufzunehmen, dessen Position und Stellung identifiziert sind; und Steuern des Roboters so, dass die Hand sich in die Handpositionsstellung bewegt, um dem Gegenstand aufzugreifen. Die Bestimmung des Verknüpfungssatzes weist folgende Schritte auf: Auswahl eines ersten dreidimensionalen Punktes und eines zweiten dreidimensionalen Punktes, die benachbart zueinander liegen, aus der Vielzahl dreidimensionaler Punkte, welche durch das dreidimensionale Messinstrument gewonnen worden sind; Gewinnen von Bildgradienteninformationen, die einen Gradientenzustand einer Oberfläche des Gegenstandes in einem partiellen Bildbereich einschließlich der Punkte eines Bildes entsprechend dem ersten dreidimensionalen Punkt und dem zweiten dreidimensionalen Punkt anzeigen, und zwar auf Basis der Bilddaten, die mit der Kamera gewonnen worden sind; Beurteilen, ob der erste dreidimensionale Punkt und der zweite dreidimensionale Punkt auf dem gleichen Gegenstand liegen, und zwar auf Basis von Positionsinformationen bezüglich des ersten dreidimensionalen Punktes, Positionsinformation bezüglich des zweiten dreidimensionalen Punktes und Bildgradienteninformation; und Hinzufügen des ersten dreidimensionalen Punktes und des zweiten dreidimensionalen Punktes zum selben Verknüpfungssatz wenn die Beurteilung ergibt, dass der erste dreidimensionale Punkt und der zweite dreidimensionale Punkt auf dem gleichen Gegenstand liegen.
-
KURZBESCHREIBUNG DER FIGUREN
-
Weitere Ziele, Merkmale und Vorteile der Erfindung werden noch deutlicher aus der nachfolgenden Beschreibung eines Ausführungsbeispieles mit Blick auf die begleitenden Figuren:
-
1 zeigt schematisch den Aufbau einer Vorrichtung zum Aufnehmen eines Gegenstandes gemäß einem Ausführungsbeispiel der Erfindung;
-
2 ist ein Flussdiagramm zur Erläuterung eines Beispiels eines mit einer Robotersteuereinrichtung gemäß 1 ausgeführten Verfahrens;
-
3 zeigt ein Beispiel der Gewinnung eines dreidimensionalen Punktsatzes unter Verwendung eines dreidimensionalen Messinstrumentes gemäß 1;
-
4 zeigt ein Beispiel eines mit einer Kamera gemäß 1 gewonnenen Bildes;
-
5 zeigt ein Beispiel eines Verknüpfungssatzes, der mit dem dreidimensionalen Punktsatz nach 3 bestimmt worden ist;
-
6 zeigt das Konzept der Verknüpfungssätze;
-
7 zeigt ein Beispiel einer repräsentativen Positionsstellung auf Basis von Positionen dreidimensionaler Punkte, die zu jedem Verknüpfungssatz gemäß 6 gehören;
-
8 zeigt ein Beispiel einer Handpositionsstellung entsprechend der repräsentativen Positionsstellung gemäß 7;
-
9 zeigt ein Beispiel einer Nummerierung für die Handpositionsstellung gemäß 8;
-
10 zeigt ein Beispiel des Betriebs einer Vorrichtung zum Aufgreifen eines Gegenstandes gemäß einem Ausführungsbeispiel der Erfindung;
-
11 zeigt ein Beispiel des Betriebs im Anschluss an die Vorgänge gemäß 10;
-
12 ist ein Flussdiagramm zur Erläuterung von Einzelheiten des Verfahren zum Bestimmen des Verknüpfungssatzes gemäß 2;
-
13 ist ein Flussdiagramm mit Einzelheiten der Beurteilung von Nachbarschaft gemäß 12;
-
14 zeigt ein Beispiel dreidimensionaler Punkte, die auf der Oberfläche eines Gegenstandes gemessen werden;
-
15 zeigt ein Beispiel zweidimensionaler Punkte auf einem Bild entsprechend den dreidimensionalen Punkten gemäß 14;
-
16 zeigt ein anderes Beispiel zweidimensionaler Punkte auf einem Bild entsprechend den dreidimensionalen Punkten gemäß 14; und
-
17 ist ein Blockdiagramm zur Erläuterung des internen Aufbaus der Robotersteuereinrichtung gemäß 1.
-
BESCHREIBUNG EINES AUSFÜHRUNGSBEISPIELES IM EINZELNEN
-
Nunmehr wird mit Bezug auf die 1 bis 17 eine Vorrichtung zum Aufnehmen eines Gegenstandes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung beschrieben. 1 zeigt schematisch den Aufbau einer Vorrichtung 10 zum Aufnehmen eines Gegenstandes gemäß dem Ausführungsbeispiel. Die Vorrichtung 10 zum Aufnehmen eines Gegenstandes hat ein dreidimensionales Messinstrument 11, eine Kamera 12, einen Roboter 13, und eine Robotersteuereinrichtung 14 zum Steuern des Roboters 13 durch Verknüpfung des dreidimensionalen Messinstrumentes 11 mit dem Roboter 13. Der Roboter 13 hat eine Hand 15 an der Spitze eines Armes 13a. Eine Palette 16 steht neben dem Roboter 13. 1 zeigt auch ein orthogonales drei-achsiges Koordinatensystem X, Y, und Z. Die Z-Richtung ist die Vertikalrichtung und die X- und Y-Richtungen sind Horizontalrichtungen.
-
Auf der Palette 16 sind mehrere Gegenstände 20 abgelegt. Die Vorrichtung 10 zum Aufnehmen (Aufgreifen) eines Gegenstandes gemäß der Erfindung erkennt die Position und Stellung eines aufzunehmenden Gegenstandes 20 aus der Ablage der Mehrzahl von Gegenständen 20, greift und hält den erkannten Gegenstand 20 unter Verwendung der Hand 15 und fördert den Gegenstand 20 in eine vorgegebene Position durch Betätigung des Roboters 13. In 1 haben die mehreren Gegenstände 20 die gleiche Form, jedoch können die Gegenstände auch verschiedene Formen haben. In der nachfolgenden Beschreibung wird bisweilen ein Gegenstand 20, der von der Hand 15 gehalten werden soll, mit dem Bezugszeichen 21 versehen (vgl. 11), um so diesen Gegenstand von anderen Gegenständen auf der Palette 16 zu unterscheiden.
-
Das dreidimensionale Messinstrument 11 ist oberhalb eines mittigen Bereiches der Palette 16 angeordnet und vermisst eine Oberfläche eines freiliegenden Artikels 20 unter den vielen Artikeln 20, die auf der Palette 16 abgelegt sind, um Positionsinformation (dreidimensionale Information) bezüglich einer Mehrzahl dreidimensionaler Punkte zu gewinnen. Der Messbereich des dreidimensionalen Messinstrumentes 11 soll die Palette 16 einschließen, jedoch sinkt bei einem übermäßig großem Messbereich die Messauflösung. Deshalb entspricht der Messbereich vorzugsweise dem Bereich auf der Palette 16, der belegt ist und entspricht also beispielsweise dem Bereich auf der Palette, der mit den Gegenständen bestückt ist. Gemäß 1 ist das dreidimensionale Messinstrument 11 an einem Hängegerüst 17 angebracht, jedoch kann es auch an der Spitze des Roboters 13 montiert sein. Das dreidimensionale Messinstrument 11 und die Robotersteuereinrichtung 14 sind miteinander über eine Kommunikationseinrichtung, wie ein Kabel, verbunden, um so miteinander zu kommunizieren.
-
Für das dreidimensionale Messinstrument 11 können verschiedene kontaktfreie Instrumente eingesetzt werden. Solche Arten von Instrumenten sind zum Beispiel ein Stereoinstrument mit zwei Kameras, ein Abtastinstrument mit strichförmigem Laserlicht, ein Abtastinstrument mit Laser-Spot, ein Instrument mit Projektion von gemustertem Licht auf den Gegenstand unter Verwendung zum Beispiel eines Projektors, oder ein Instrument, welches die Laufzeit von der Emission von Licht aus einem Projektor über Reflexion an der Gegenstandsoberfläche bis zum Einfall des Lichtes auf einem Empfänger ausnutzt.
-
Das dreidimensionale Messinstrument 11 druckt die gewonnene dreidimensionale Information im Format eines Distanzbildes oder einer dreidimensionalen Karte. Ein Distanzbild ist ein Bild, bei dem dreidimensionale Information als Bildformat ausgedrückt ist, und die Höhe einer Position auf einem Bild dargestellt ist oder eine Distanz vom dreidimensionalen Messinstrument 11 dargestellt ist unter Verwendung einer Helligkeit oder Farbe der jeweiligen Bildpunkte (Pixel) des Bildes. Andererseits kann als dreidimensionale Karte eine Mappe herangezogen werden, bei der dreidimensionale Information ausgedrückt ist als Satz von gemessenen dreidimensionalen Koordinatenwerten (x, y, z). Beim beschriebenen Ausführungsbeispiel ist jeder Bildpunkt in einem Distanzbild oder ein Punkt mit dreidimensionalen Koordinatenwerten in einer dreidimensionalen Karte als dreidimensionaler Punkt bezeichnet und ein Satz eine Mehrzahl dreidimensionaler Punkte einschließend wird als dreidimensionaler Punktsatz bezeichnet. Der dreidimensionale Punktsatz ist ein Satz aller dreidimensionalen Punkte, die unter Verwendung des dreidimensionalen Messinstrumentes 11 gemessen werden und er kann über dieses Instrument gewonnen werden.
-
Die Kamera 12 hat eine Aufnahmeeinrichtung, wie eine CCD, und ist über einem mittleren Abschnitt der Palette 16 angeordnet, um die Gegenstände 20 auf der Palette 16 abzubilden.
-
Der Abbildungsbereich der Kamera 12 muss die Palette 16 erfassen, jedoch vermindert ein übermäßig großer Abbildungsbereich die Bildauflösung. Deshalb wird ein Abbildungsbereich vorgezogen, der dem besetzten Bereich auf der Palette 16 entspricht, er umfasst also zum Beispiel den Bereich auf der Palette, der mit den Gegenständen bestückt ist. Gemäß 1 ist die Kamera 12 an dem besonderen Hängegerüst 17 angebracht, jedoch kann sie auch an der Spitze des Roboters 13 montiert sein. Die Kamera 12 und die Robotersteuereinrichtung 14 sind über eine Kommunikationseinrichtung, wie ein Kabel, verknüpft, sodass sie miteinander kommunizieren können.
-
Die Kamera 12 ist vorzugsweise kalibriert und die Verwendung von Kalibrierdaten ermöglicht es, einen Zusammenhang zu bestimmen zwischen einem dreidimensionalen Punkt, der mit dem dreidimensionalen Messinstrument 11 gemessen ist, und einem Punkt (einem zweidimensionalen Punkt) auf einem mit der Kamera 12 aufgenommenen Bild. Mit anderen Worten: es kann festgestellt werden, welcher Punkt eines Kamerabildes einem dreidimensionalen Punkt entspricht, sodass Bilddaten entsprechend einem bestimmten dreidimensionalen Punkt gewonnen werden können.
-
Eine Hand 15 kann den Gegenstand 20 ergreifen und halten; Beispiele des Aufbaus einer hierfür geeigneten Hand sind eine Saugdüse, ein anziehender Magnet, eine Saugplatte oder ein Spannfutter. Bei Betrieb des Roboters 13 erfolgt eine Steuerung der Positionsstellung der Hand 15.
-
2 ist ein Flussdiagramm zur Erläuterung eines Beispiels der Arbeitsfolge, die von einer Robotersteuereinrichtung 14 ausgeführt wird und insbesondere ein Beispiel für das Aufnehmen eines Gegenstandes. Der Arbeitsablauf bei einer Vorrichtung 10 zum Aufnehmen eines Artikels wird nunmehr im Einzelnen mit Blick auf das Flussdiagramm gemäß 2 und weitere Figuren beschrieben.
-
Der Arbeitsablauf gemäß 2 beginnt wenn beispielsweise ein Startkommando zum Ergreifen eines Gegenstandes 20 durch Betätigung eines Schalters (nicht gezeigt) gegeben wird. Anfänglich werden Oberflächen einer Mehrzahl von Gegenständen 20, die im dreidimensionalen Raum angeordnet sind, unter Verwendung des dreidimensionalen Messinstrumentes 11 vermessen und ein dreidimensionaler Punktsatz 30 wird gewonnen (Schritt S1). 3 zeigt ein Beispiel eines dreidimensionalen Punktsatzes 30, der unter Verwendung des dreidimensionalen Messinstrumentes 11 gewonnen wurde mit einzelnen dreidimensionalen Punkten 31, die den dreidimensionalen Punktsatz 30 bilden. In 3 sind die dreidimensionalen Punkte 31 durch schwarze Kreise dargestellt und der dreidimensionale Punktsatz 30 wird dargestellt als der Bereich, der von einer gestrichelten Linie umfasst ist, die alle schwarzen Punkte umfängt.
-
Sodann wird ein Bereich mit der Mehrzahl von Gegenständen 20 mit der Kamera 12 aufgenommen und ein Bild 40 gewonnen (Schritt S2). 4 ist eine schematische Darstellung eines Beispiels eines Bildes 40, das mit der Kamera 12 aufgenommen wurde. 4 zeigt ein Palettenbild 41, welches die Palette 16 zeigt, und ein Gegenstandsbild 42, welches die Gegenstände 20 zeigt.
-
Sodann wird zumindest ein Verknüpfungssatz 32 aus dem dreidimensionalen Punktsatz 30 bestimmt (Schritt S3). 5 illustriert ein Beispiel des Verknüpfungssatzes 32, der aus dem dreidimensionalen Punktsatz 30 abgeleitet wurde. 5 zeigt den Verknüpfungssatz 32 als einen Bereich, der durch eine gepunktete Linie umgeben ist. 5 zeigt also zwei Verknüpfungssätze 32.
-
Der Verknüpfungssatz 32 ist eine Teilmenge der dreidimensionalen Punktmenge 30 (weshalb der „Verknüpfungssatz 32” auch als „Verknüpfungsmenge” bezeichnet werden könnte), und wenn in der Nachbarschaft eines beliebigen dreidimensionalen Punktes (eines ersten dreidimensionalen Punktes) 31, ein anderer dreidimensionaler Punkt (ein zweiter dreidimensionaler Punkt) 31 vorliegt, der verschieden ist vom erstgenannten dreidimensionalen Punkt 31, dann wird der Verbindungssatz 32 dort definiert, wo der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 verbunden sind. 6 erläutert das Konzept des Verknüpfungssatzes 32. Wenn gemäß 6 ein Abstand zwischen dem ersten dreidimensionalen Punkt 31 und dem zweiten dreidimensionalen Punkt 31, die einander nächstliegend sind, innerhalb eines vorgegebenen Abstandswertes liegt, werden der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 miteinander verbunden.
-
Wenn gemäß 6 eine Vielzahl dreidimensionaler Punkte 31 (dort 311 bis 317) unter Verwendung des dreidimensionalen Messinstrumentes 11 vermessen werden und die Punkte 311 und 312, 312 und 313, 313 und 314, und 315 und 316 jeweils Abstände haben innerhalb des vorgegebenen Abstandswertes, dann werden diese Punkte miteinander verbunden. Im dargestellten Beispiel werden die Punkte 311 und 314 auch über 312 und 313 verbunden und deshalb bilden die Punkte 311 bis 314 denselben Verknüpfungssatz 321. Andererseits sind die Punkte 315 und 316 nicht mit einem der Punkte 311 bis 314 verbunden und deshalb bilden sie einen anderen Verknüpfungssatz 322. Da keine Verbindung zu einem anderen dreidimensionalen Punkt vorliegt, bildet der Punkt 317 keinen Verknüpfungssatz.
-
Bei diesem Ausführungsbeispiel ist der Verknüpfungssatz 32 so konfiguriert, dass ein einziger Verknüpfungssatz (32) einem einzigen Artikel 20 entspricht, d. h. der Artikel 20 und der Verknüpfungssatz 32 stehen zueinander in einer eins-zu-eins-Beziehung. Deshalb kann der Artikel 20 unter Verwendung des Verknüpfungssatzes 32 identifiziert werden. In diesem Falle werden nicht nur Messdaten vom dreidimensionalen Messinstrument 11 sondern auch Bilddaten aus der Kamera 12 zur Bestimmung des Verknüpfungssatzes 32 verwendet. Die besonderen Schritte zum Bestimmen des Verknüpfungssatzes 32 werden weiter unten näher erläutert (13).
-
Sodann wird auf Basis der Positionen der dreidimensionalen Punkte 31, die zum selben Verknüpfungssatz 32 gehören, eine repräsentative Positionsstellung 33 ermittelt, die einen jeweiligen Verknüpfungssatz 32 repräsentiert (Schritt S4). Der Verknüpfungssatz 32 identifiziert eine Oberfläche, wo der Gegenstand 20 freiliegt und die repräsentative Positionsstellung 33 bezieht sich auf eine Position und eine Stellung (Orientierung), die repräsentativ sind für den Gegenstand 20. 7 erläutert ein Beispiel einer repräsentativen Positionsstellung 33, die auf Basis von Positionen der dreidimensionalen Punkte 31, die zum Verknüpfungssatz 32 gehören, berechnet ist. Die repräsentative Positionsstellung 33 wird dargestellt mit einem Paar von Pfeilen 33a und 33b, die sich im rechten Winkel schneiden da die repräsentative Positionsstellung 33 in einem orthogonalen Koordinatensystem beschrieben wird. In 7 wird die repräsentative Positionsstellung 33 unter Verwendung von zwei Pfeilen 33a und 33b gezeigt, jedoch gibt es die repräsentative Positionsstellung 33 nicht in einem zweidimensionalen Raum, sondern nur in einem dreidimensionalen Raum.
-
Es gibt verschiedene Möglichkeiten zum Bestimmen der repräsentativen Positionsstellungen 33. Als erstes Beispiel steht zum Beispiel ein Verfahren zur Verfügung, bei dem eine Schwerpunktsposition der dreidimensionalen Punkte 31, die zum Verknüpfungssatz 32 gehören, und eine vorgegebene Stellung (zum Beispiel eine Stellung, in der der Pfeil 33a nach oben in vertikaler Richtung ausgerichtet ist) kombiniert werden, um die repräsentative Positionsstellung 33 zu gewinnen. Zur Berechnung der Schwerpunktsposition können alle dreidimensionalen Punkte 31, die zum Verknüpfungssatz 32 gehören, herangezogen werden oder es werden dreidimensionale Punkte 31 ausgewählt durch ein gesondertes Verfahren unter Berücksichtigung von Ausreißern. Zur Berücksichtigung von Ausreißern kann zum Beispiel anfänglich eine Schwerpunktposition bestimmt werden unter Verwendung aller dreidimensionaler Punkte 31, die zum Verknüpfungssatz 32 gehören, um den Schwerpunkt zu berechnen, und wenn dreidimensionale Punkte 31 existieren mit zumindest einem vorgegebenen Wert der Distanz vom Schwerpunkt, werden dreidimensionale Punkte 31 mit einem vorgegebenen Abstandsverhältnis aus den dreidimensionalen Punkten 31 für die Schwerpunktberechnung in absteigender Reihenfolge der Distanz vom Schwerpunkt eliminiert. Sodann werden die verbleibenden dreidimensionalen Punkte 31 für die Schwerpunktberechnung eingesetzt, um die Schwerpunktposition neu zu berechnen. Dieses Verfahren kann wiederholt werden bis alle dreidimensionalen Punkte 31, die für die Schwerpunktberechnung herangezogen worden sind, innerhalb eines vorgegebenen Abstandes von der Schwerpunktposition liegen.
-
Als zweites Beispiel steht ein Verfahren zur Verfügung, bei dem ein Rechteck (ein umschriebenes Rechteck), welches die dreidimensionalen Punkte 31, welche zum Verknüpfungssatz 32 gehören, umschreibt, bestimmt wird, um eine Positionsstellung des Zentrums des umschriebenen Rechtecks als repräsentative Positionsstellung 33 heranzuziehen. Zur Bestimmung des umschriebenen Rechteckes wird anfänglich unter Verwendung aller dreidimensionaler Punkte 31, die in dem Verknüpfungssatz 32 enthalten sind, eine Ebene im dreidimensionalen Raum bestimmt und sodann werden alle dreidimensionalen Punkte 31, die in dem Verknüpfungssatz 32 enthalten sind, auf diese Ebene projiziert. Sodann wird ein konvexes Polygon, in dem all die projizierten dreidimensionalen Punkte 31 enthalten sind, berechnet und ein Rechteck bestimmt, das um das berechnete konvexe Polygon herumlegbar ist. Die Ebene kann mit der Methode der kleinsten Quadrate bestimmt werden unter Verwendung aller dreidimensionalen Punkte 31, die zum Verknüpfungssatz 32 gehören, oder durch getrennte Verfahren unter Berücksichtigung von Ausreißern. Zur Berücksichtigung von Ausreißern stehen mehrere Verfahren zur Verfügung, wie das M-Abschätzungsverfahren, RANSAC, LMedS, oder die Hough-Transformation. Als Verfahren zum Berechnen eines konvexen Polygons ist der Andrew-Algorithmus oder dergleichen anwendbar. Als Verfahren zum Berechnen eines das konvexe Polygon umfassenden Rechteckes kann das Verfahren mit drehendem Zirkel oder dergleichen eingesetzt werden. 7 illustriert einen Fall, in dem die repräsentative Positionsstellung 33 auf Basis des obigen ersten Beispiels bestimmt wird. Eine Handpositionsstellung 34 entsprechend der repräsentativen Positionsstellung 33 wird bestimmt (Schritt S5). 8 zeigt ein Beispiel einer Handpositionsstellung 34 entsprechend der repräsentativen Positionsstellung 33. Die Handpositionsstellung 34 hat ein Paar von Pfeilen (34a und 34b), die sich in gleicher Weise unter einem rechten Winkeln schneiden wie bei der repräsentativen Positionsstellung 33.
-
Als Verfahren zum Bestimmen einer Position (eine Schnittstelle der Pfeile 34a und 34b) und einer Stellung (Richtung der Pfeile 34a und 34b) der Handpositionsstellung 34, kommen mehrere Verfahren in Betracht. Bezüglich der Position kann ein Verfahren eingesetzt werden, bei dem beispielsweise eine Position der repräsentativen Positionsstellung 33 direkt als Position für die Handpositionsstellung 34 zugeordnet wird. Bei einem anderen Beispiel für ein Verfahren wird eine Position als Position für die Handpositionsstellung 34 herangezogen, die entsteht durch Bewegung einer Position der repräsentativen Positionsstellung 33 in Richtung einer vorgegebenen Achse 35 (z. B. Z-Achse) um eine vorgegebene Länge. 8 illustriert eine Position auf Basis des letztgenannten Beispiels. Bezüglich der Stellung kann zum Beispiel eine Stellung der repräsentativen Positionsstellungen 33 direkt als Stellung für die Handpositionsstellung 34 hergenommen werden. Als ein anderes Beispiel kann eine Stellung, die um einen vorgegebenen Winkel um eine vorgegebene Koordinatenachse 35 der repräsentativen Positionsstellung 33 gedreht ist, als Stellung für die Handpositionsstellung 34 hergenommen werden. 8 illustriert eine Stellung auf Basis des genannten Beispiels.
-
Sodann werden die einzelnen Handpositionsstellungen 34 nummeriert gemäß P1, P2, ..., Pn (Schritt S6). Dabei bezeichnet n die Anzahl der Handpositionsstellungen 34. 9 zeigt die nummerierten Handpositionsstellungen 34 und die Nummerierung erfolgt in absteigender Reihenfolge in Bezug auf einen Koordinatenwert einer vorgegebenen Koordinatenachse 35, d. h. ausgehend von einem Wert mit höherer Position. Wie 9 zeigt, erfolgt die Nummerierung dann, wenn die Koordinatenwerte in Bezug auf die Koordinatenachse 35 gleich sind, in absteigender Reihenfolge eines Koordinatenwertes mit Bezug auf einen vorgegebene Koordinatenachse 36 (beispielsweise der X-Achse) unter einem rechten Winkel zur Koordinatenachse 35. In 9 ist n = 2.
-
Sodann wird ein Anfangswert für die Variable k in Form natürlicher Zahlen bereitgestellt. Mit anderen Worten: Es erfolgt ein Prozess mit k← (Schritt S7). Die Variable k wird verwendet zum spezifizieren einer Zahl für die Handpositionsstellung 34.
-
Sodann wird gemäß 10 ein Steuersignal an den Antrieb des Roboters gegeben (ein Elektromotor) und die Hand 15 wird in eine Handpositionsstellung Pk durch Betätigung des Roboters 13 bewegt (Schritt S8). Für einen Anfangswert der Variablen gilt: k = 1, Pk = P1.
-
Sodann wird ein Steuersignal zum Halten des Gegenstandes 20 an einen Hand-Antrieb gegeben und gemäß 11 wird ein Gegenstand 21 durch eine untere Stirnfläche der Hand 15 gehalten (Schritt S9). Hat die Hand 15 beispielsweise eine Saugdüse, wird eine Vakuumpumpe betätigt, um den Gegenstand mit Saugkräften anzuziehen und zu halten. Hat die Hand 15 einen anziehenden Magneten, wird Strom durch eine elektromagnetische Spule geschickt und der Magnet betätigt, um den Artikel 21 durch Magnetkräfte anzuziehen und zu halten. Hat die Hand 15 ein Spannfutter, wird der Gegenstand 21 durch Öffnen und Schließen des Spannfutters gehalten. Sodann wird beurteilt, ob die Hand 15 den Gegenstand 21 erfolgreich gehalten hat (Schritt S10). Hat die Hand 15 eine Saugdüse, kann zum Beispiel ein erfolgreiches Halten des Gegenstandes dadurch festgestellt werden, dass eine Änderung in der Strömungsrate oder im Druck der Luft beim Ansaugen stattgefunden hat. Hat die Hand 15 einen anziehenden Magneten, kann festgestellt werden, ob der Gegenstand 21 an Stelle ist durch Einsatz eines Annäherungssensors und damit kann dann bestimmt werden, ob ein Halten des Gegenstandes erfolgreich ausgeführt worden ist aufgrund des Vorhandenseins des Gegenstandes an der Messstelle. Hat die Hand 15 ein Spannfutter, dann ist es möglich, festzustellen, ob ein Haltevorgang erfolgreich war durch einen Sensor der das Öffnen/Schließen des Spannfutters detektiert. Wird festgestellt, dass der Haltevorgang erfolgreich ist, geht das Verfahren zu Schritt S11. Wird festgestellt, dass der Haltevorgang nicht erfolgreich war, geht das Verfahren zu Schritt S12.
-
In Schritt S12 wird geprüft, ob die Variable k kleiner ist als n. Diese Prüfung betrifft die Frage, ob eine Handpositionsstellung existiert unter n (2 in 11) Handpositionsstellungen 34, welche die Hand 15 noch nicht erreicht hat. Ergibt sich k < n, hat die Hand 15 noch nicht eine Handpositionsstellung Pk + 1 erreicht und deshalb wird das Verfahren für k ← k + 1 ausgeführt (Schritt S13) und dann geht das Verfahren zurück zu Schritt 58. Wird festgestellt, dass k < n nicht erfüllt ist (in Schritt S12), dann hat die Hand 15 alle n Handpositionsstellungen 34 erreicht und deshalb geht das Verfahren zurück zu Schritt S1.
-
In Schritt S11 wird ein Steuersignal an den Roboterantrieb gegeben, um die Hand 15 in eine vorgegebene Position zu bewegen. Dadurch wird der Gegenstand 21 in die vorgegebene Position durch Betätigung des Roboters 13 gebracht. Danach wird ein Steuersignal an den Handantrieb gegeben, um den Gegenstand 21 aus der Hand 15 zu entfernen. Dies bedeutet das Ende des Arbeitszyklus.
-
Bei dem oben beschriebenen Verfahren gewinnt die Verarbeitung in der Robotersteuereinrichtung 14 einen dreidimensionalen Punktsatz 30 einschließlich mehrerer dreidimensionaler Punkte 31 durch Vermessung von Oberflächenpositionen einer Mehrzahl von Gegenständen 20 unter Verwendung des dreidimensionalen Messinstrumentes 11 (Schritt S1); es wird ein Verknüpfungssatz 32 definiert, der gebildet wird durch Verbindung dreidimensionaler Punkte 31 aus dem dreidimensionalen Punktsatz 30, die einander gemäß einem vorgegebenen Kriterium nahe genug liegen (Schritt S3); es wird eine Positionsstellung (eine Handpositionsstellung 34) der Hand 15 bestimmt, die geeignet ist zum Aufnehmen des Gegenstandes 20 auf Basis von Positionsinformationen bezüglich der dreidimensionalen Punkte 31, die zum Verknüpfungssatz 32 gehören (Schritt S4 und Schritt S5); und es erfolgt weiterhin eine Steuerung des Roboters 12 derart, dass der Gegenstand 20 auf der Palette 16 durch Bewegung der Hand 15 in die bestimmte Handpositionsstellung 34 aufgenommen wird (Schritt S8 bis Schritt S11).
-
Der Verknüpfungssatz 32 gibt eine Position (Stelle) und eine Stellung (Neigung/Orientierung) einer Gegenstandsoberfläche wieder und deshalb macht der Einsatz des Verknüpfungssatzes 32 es möglich, eine Position und Stellung des Gegenstandes 20 zu identifizieren, ohne Musterabgleich, Lernprozess durch einen Benutzer oder dergleichen. Deshalb muss kein Modellmuster bezüglich des Gegenstandes 20 angefertigt werden und sogar bei einer größeren Anzahl unterschiedlicher Arten von Gegenständen 20, die sich in der Form unterscheiden ist, ist es möglich, in relativ einfacher Weise Positionen und Stellungen zu erkennen, um den Gegenstand zu halten. Auch wenn ein neuer Typ von Gegenstand hinzugefügt wird, ist es relativ einfach möglich, eine Position und eine Stellung desselben zu erkennen, ohne dass eine Modellmuster angefertigt werden müsste, oder ein Benutzer einen Lehrvorgang ausführen müsste.
-
Werden mehrere Gegenstände 20 mit gleicher Form nahe aneinander abgelegt, besteht die Möglichkeit, dass der erste dreidimensionale Punkte 31 und der zweite dreidimensionale Punkt 31 auf zwei verschiedenen Gegenständen 20 gemessen werden. Das kann dazu führen, dass beim Berechnen einer Distanz zwischen dem ersten dreidimensionalen Punkt 31 und dem zweiten dreidimensionalen Punkt 31 der Abstand innerhalb eines vorgegebenen Wertes liegt und so der Verknüpfungssatz 32 sich über mehr als einen Gegenstand 20 erstreckt. Um dieses Problem zu vermeiden, wird bei diesem Ausführungsbeispiel der Verknüpfungssatz 32 wie folgt berechnet.
-
Die 12 und 13 sind jeweils Flussdiagramme eines Beispiels eines Verfahren (Verknüpfungssatz-Berechnungsverfahrens) zum Bestimmen eines Verknüpfungssatzes 32, der ein besonderes Merkmal des Ausführungsbeispiels ist, d. h. das Flussdiagramm illustriert insbesondere das Verfahren in Schritt S3 von 2.
-
Zunächst ordnet Schritt S21 gemäß 12 den dreidimensionalen Punkten 31, die zur dreidimensionalen Punktmenge 30 gehören, eine Markierungsnummer „0” zu, was anzeigt, dass keine Zugehörigkeit zu irgendeinem Verknüpfungssatz 32 besteht; dies ist die anfängliche Markierungsnummer. In der nachfolgenden Beschreibung wird ein dreidimensionaler Punkt 31, dem die Markierungsnummer j zugeordnet ist, wobei es sich um eine natürliche Zahl handelt, mit 31(j) bezeichnet. Die Markierungsnummer j ist eine Zahl, die zugeordnet wird entsprechend dem Verknüpfungssatz 32 und wenn dieselbe Markierungsnummer j, wobei es sich nicht um 0 handelt, zugeordnet wird, dann bedeutet dies Zugehörigkeit zum selben Verknüpfungssatz 32. Dann wird in Schritt S22 zur Bestimmung eines ersten Verknüpfungssatzes 32 die Markierungsnummer j auf 1 gesetzt (j ← 1).
-
Sodann wählt Schritt S23 einen beliebigen dreidimensionalen Punkt 31(0) mit der Markierungsnummer 0, also einen dreidimensionalen Punkt 31, der zur dreidimensionalen Punktmenge 30 gehört. Schritt S24 beurteilt, ob der dreidimensionale Punkt 31(0) mit der Markierungsnummer 0 ausgewählt wurde und wenn die Antwort JA lautet, geht das Verfahren zu Schritt S25. Wurde der dreidimensionale Punkt 31(0) nicht ausgewählt, dann gehören alle dreidimensionalen Punkte 31, die zur dreidimensionalen Punktmenge 30 gehören, zu irgendeinem der Verknüpfungssätze 32. In diesem Fall wird die Feststellung NEIN in Schritt S24 gegeben, um das Berechnungsverfahren für den Verknüpfungssatz zu beenden und das Verfahren geht voran zu Schritt S4 gemäß 2.
-
Schritt S24 erzeugt eine Liste Lj zum Speichern eines dreidimensionalen Punktes 31(j) mit einer Markierungsnummer j. Schritt S26 ordnet dem in Schritt S24 ausgewählten dreidimensionalen Punkt 31(0) eine Markierungsnummer j zu und fügt dann den dreidimensionalen Punkt 31(j) zu der Liste Lj hinzu. In Schritt S27 wird ein Anfangswert 1 für eine Variable m (als natürliche Zahl) vorgesehen (m ← 1). Die Variable m betrifft eine Zahl, welche den dreidimensionalen Punkt 31(j) in der Liste Lj spezifiziert. Es wird angenommen, dass in der Liste Lj die dreidimensionalen Punkte 31(j) aufgereiht sind in der Reihenfolge ihrer Hinzufügung.
-
In Schritt S30 wird das folgende Verfahren ausgeführt (Verfahren zum Feststellen von Nachbarschaft – „Umgebungsuntersuchung”): es wird ermittelt, ob in der Umgebung eines m-ten dreidimensionalen Punktes 31(j) der Liste Lj ein dreidimensionaler Punkt 31(0) mit der Markierungsnummer 0 auf dem selben Gegenstand 20 vorliegt und wenn dies der Fall ist, wird der dreidimensionale Punkt 31(0) zur Liste Lj hinzugefügt.
-
13 ist ein Flussdiagramm zur Erläuterung von Einzelheiten der Umgebungsuntersuchung in Schritt S30. Schritt S30A wählt den m-ten dreidimensionalen Punkt 31(j) der Liste Lj. Unter Verwendung des in Schritt S2 gewonnenen Bildes 40 berechnet Schritt S30B einen zweidimensionalen Punkt 51(j) des Bildes 40 entsprechend dem in Schritt S30A ausgewählten dreidimensionalen Punkt 31(j). Dabei ermöglicht die Verwendung der zuvor für die Kamera 12 gesetzten Kalibrierungsdaten die Berechnung des zweidimensionalen Punktes 51(j) entsprechend dem dreidimensionalen Punkt 31(j).
-
Schritt S30C berechnet eine dreidimensionale Umgebungspunktmenge, welche bestimmt ist durch Sammlung aller dreidimensionalen Punkte (dreidimensionale Umgebungspunkte 310(0)), welche dreidimensionale Punkte 31(0) sind mit einer Markierungsnummer 0 und welche in der Umgebung des dreidimensionalen Punktes 31(j) liegen, gemäß der Auswahl nach Schritt S30A. Ein dreidimensionaler Umgebungspunkt 310(0) ist beispielsweise ein Punkt mit einer x-Koordinate und einer y-Koordinate mit einer Differenz nicht größer als ein vorgegebener Wert in Bezug auf eine x-Koordinate und eine y-Koordinate des ausgewählten dreidimensionalen Punktes 31(j). Ein Punkt mit einer x-Koordinate, einer y-Koordinate und einer z-Koordinate mit einer Differenz (Abstand) nicht größer als ein vorgegebener Wert in Bezug auf eine x-Koordinate, eine y-Koordinate, und eine z-Koordinate des ausgewählten dreidimensionalen Punktes 31(j) wird als dreidimensionaler Umgebungspunkt 310(0) eingeordnet oder auch ein Punkt mit einem Euclidischen Abstand nicht größer als ein vorgegebener Wert kann als dreidimensionaler Umgebungspunkt 310(0) eingeordnet werden. Der dreidimensionale Umgebungspunkt 310(0) ist ein dreidimensionaler Punkt 31(j), von dem angenommen wird, dass er zum selben Gegenstand gehört und er wird ein „Kandidat” für den dreidimensionalen Punkt 31(j) mit der Markierungsnummer j.
-
Schritt S30D nummeriert alle dreidimensionalen Umgebungspunkte 310(0), die zur Umgebung einer dreidimensionalen Punktmenge gehören, als 310(1), 310(2), ..., 310(n). In Schritt S30E wird ein anfänglicher Wert „1” für eine Variable i eingerichtet, wobei es sich um natürliche Zahlen handelt. Mit anderen Worten: das Verfahren i ← 1 wird ausgeführt. Schritt S30F wählt einen nummerierten dreidimensionalen Umgebungspunkt 310(i). Unter Verwendung der Kalibrierungsdaten der Kameradaten 12 berechnet Schritt S30G einen zweidimensionalen Umgebungspunkt 510(i), bei dem es sich um einen Punkt des Bildes 40 entsprechend dem dreidimensionalen Umgebungspunkt 310(i) handelt.
-
Schritt S30H gewinnt Bildgradienteninformationen für einen Bereich (partieller Bildbereich) mit dem zweidimensionalen Punkt 51(j) auf dem Bild 40, wie in Schritt S30B berechnet, und den zweidimensionalen Punkt 510(i) auf dem Bild 40, wie in Schritt S30G berechnet. Der partielle Bildbereich ist ein Bereich innerhalb einer vorgegebenen Distanz von einem Liniensegment, welches den zweidimensionalen Punkt 51(j) und den zweidimensionalen Punkt 510(i) beispielhaft verbindet. Die Bildgradienteninformation betrifft Informationen bezüglich Bildpunktwerten mit zumindest einem bestimmten Kontrast (Helligkeit) unter Zugrungelegung gefilterter Bilder, die durch Filterung eines partiellen Bildbereiches unter Verwendung von zum Beispiel einem Sobel-Filter oder dergleichen zustande kommen. Mit anderen Worten: eine physikalische Größe, die einen plötzlichen Wechsel in der Helligkeit zwischen Bildpunkten, die benachbart sind, angezeigt, wird als Bildgradienteninformation gewonnen. Es ist auch möglich, als Bildgradienteninformation einen Unterschied zwischen einem Bildpunkt mit minimaler Helligkeit und einem Bildpunkt mit maximaler Helligkeit in dem partiellen Bildbereich als Bildgradienteninformation heranzuziehen. Eine solche Änderung bezüglich des Bildkontrastes macht es möglich, einen Gradienten auf der Oberfläche des Gegenstandes 20 zu identifizieren.
-
In Schritt S30I wird geprüft, ob sowohl der dreidimensionale Punkt 31(j), der in Schritt S30A ausgewählt worden ist, und der dreidimensionale Umgebungspunkt 310(i), der in Schritt S30F ausgewählt worden ist, zum selben Gegenstand 20 gehören, und zwar auf Basis der in Schritt S30H gewonnenen Bildgradienteninformation. Diese Prüfung erfolgt durch Bestimmung ob beispielsweise ein Abstand zwischen dem dreidimensionalen Punkt 31(j) und dem dreidimensionalen Umgebungspunkt 310(i) gleich ist oder kleiner als ein vorgegebener Wert Δd und auch ob eine quantifizierte Änderung im Bildkontrast im partiellen Bildbereich gleich ist oder kleiner als ein vorgegebener Wert. Bezüglich der Distanz zwischen dem dreidimensionalen Punkt 31(j) und dem dreidimensionalen Umgebungspunkt 310(i) ist es möglich, beispielsweise vorab eine Distanz Δd für jedes vorgegebene Koordinatensystem von einer Dimension bis zu drei Dimensionen vorzugeben und sodann zu prüfen, ob eine Distanz zwischen dem dreidimensionalen Punkt 31(j) und dem dreidimensionalen Umgebungspunkt 310(i) in jedem Koordinatensystem gleich ist oder kleiner als der vorgegebene Wert Δd.
-
Ergibt die Prüfung ein JA in Schritt S30I, geht das Verfahren zu Schritt S303; ergibt die Prüfung eine NEIN, geht das Verfahren zu Schritt S30J und dann zu Schritt S30K. Schritt S30J ordnet eine Markierungsnummer j dem in Schritt S30F ausgewählten dreidimensionalen Umgebungspunkt 310(i) zu und fügt den dreidimensionalen Umgebungspunkt 310(i) unten in der Liste Lj als dreidimensionalen Punkt 31(j) hinzu. Schritt S30K addiert 1 zu der Variablen i(i ← i + 1). Schritt S30L prüft, ob die Prüfung gemäß Schritt S30I für alle dreidimensionalen Umgebungspunkte 310(1) bis 310(n) ausgeführt worden ist, d. h. ob die Variable i größer ist als n. Ergibt die Prüfung NEIN in Schritt S30L, geht das Verfahren zurück zu Schritt S30F und das gleiche Verfahren wird wiederholt. Ergibt die Prüfung JA in Schritt S30L, ist das Verfahren der Nachbarschaftsuntersuchung (Schritt S30) beendet und das Verfahren geht zu Schritt S31 gemäß 12.
-
Schritt S31 addiert 1 zu der Variablen m (m ← m + 1). Schritt S32 prüft, ob ein Wert von m größer ist als die Anzahl (Anzahl n der Elemente) der dreidimensionalen Punkte 31(j), die in der Liste Lj abgespeichert sind. Ist m größer als die Anzahl n der Elemente, so zeigt dies an, dass die Nachbarschaftsuntersuchung für alle n dreidimensionalen Punkte 31(j), die in der Liste L(j) gespeichert sind, beendet ist und dass in der Umgebung der dreidimensionalen Punkte 31(j) in der Liste Lj liegende Punkte bereits in der gleichen Liste Lj abgespeichert sind. Deshalb wird die Hinzufügung eines dreidimensionalen Punktes 31(j) zur Liste Lj beendet und das Verfahren geht zu Schritt S33. Ist das nicht Fall, dann ist die Umgebungsuntersuchung für alle dreidimensionalen Punkte 31(j) in der Liste Lj nicht beendet und das Verfahren geht zu Schritt S30, um die Hinzufügung eines dreidimensionalen Punktes 31(j) zur Liste Lj zu wiederholen.
-
Schritt S33 addiert 1 zur Markierungsnummer j(j ← j + 1) und das Verfahren geht zurück zu Schritt S23. Danach werden die Schritt S23 bis S32 wiederholt, um einen Verknüpfungssatz 32 entsprechend der nachfolgenden Markierungsnummer j zu bestimmen.
-
Das Verfahren zur Berechnung der Verknüpfungssätze, wie oben beschrieben, wird nunmehr im Einzelnen dargestellt mit Bezug auf 6 und die 14 bis 16. Am Anfang des Verfahrens zur Berechnung der Verknüpfungssätze gehören alle in 6 gezeigten Punkte 311 bis 317 nicht zu einem Verknüpfungssatz 32 und die Markierungsnummer für die dreidimensionalen Punkte 311 bis 317 ist 0 (Schritt S21). Zur Erzeugung eines Verknüpfungssatzes 32 mit einer Markierungsnummer 1 aus diesem Zustand heraus, wird beispielsweise der dreidimensionale Punkt 314 ausgewählt (Schritt S23) und der dreidimensionale Punkt 314 wird mit der Markierungsnummer 1 versehen (314(1)) und danach wird der dreidimensionale Punkt 314 als erster in der Liste L1 abgespeichert mit einer Markierungsnummer 1 (Schritt S26).
-
Dann wird geprüft, ob der dreidimensionale Punkt 31(0) mit der Markierungsnummer 0 in der Umgebung des ersten dreidimensionalen Punktes 314 der Liste L1 und auf demselben Gegenstand wie der Gegenstand 20 liegt, wo der dreidimensionale Punkt 314 gemessen worden ist (Schritt S30). Es wird beispielsweise angenommen, wie in 14 dargestellt, dass die dreidimensionalen Punkte 313 bis 315 auf einer Oberfläche des Gegenstandes 20 gemessen wurden, und die Punkte 313 und 314 sowie 314 und 315 voneinander jeweils um die gleiche Distanz beabstandet sind, jeweils nicht mehr als die vorgegebene Distanz Δd. Dann werden, als zweidimensionaler Punkt 51 auf dem Bild 40, zweidimensionale Punkte 513 bis 515 entsprechend den zugehörigen dreidimensionalen Punkten 313 bis 315 gemäß 15 berechnet (Schritt S30D). Die zweidimensionalen Punkte 513 und 514 entsprechen den dreidimensionalen Punkten 313 und 314 auf demselben Gegenstand und deshalb ist eine Änderung im Bildkontrast in einem partiellen Bildbereich 521, der die zweidimensionalen Punkte 513 und 514 einschließt, gleich oder kleiner als ein vorgegebener Wert. Deshalb wird festgestellt, dass die dreidimensionalen Punkte 313 und 314 auf dem gleichen Gegenstand liegen (Schritt S30I) und dem dreidimensionalen Punkt 313 wird die Markierungsnummer 1 (313(1)) zugeordnet und er wird einer zweiten Liste L1 (Schritt S303) hinzugefügt.
-
Auf diese Weise werden der dreidimensionale Punkt 314 und der dreidimensionale Punkt 315 verbunden und die Elementnummer N in der Liste L1 wird 2.
-
Andererseits entsprechen die zweidimensionalen Punkte 514 und 515 dreidimensionalen Punkten 314 und 315 auf verschiedenen Gegenständen und deshalb überschreitet eine Kontraständerung im partiellen Bildbereich 522, der die zweidimensionalen Punkte 514 und 515 einschließt, einen vorgegebenen Wert. Dementsprechend wird festgestellt, dass die dreidimensionalen Punkte 314 und 315 nicht auf dem gleichen Gegenstand liegen und der dreidimensionale Punkt 315 wird nicht der gleichen Liste L1 wie der dreidimensionale Punkt 314 hinzugefügt. Wird die Umgebungsuntersuchung für alle dreidimensionalen Umgebungspunkte 310(0), die in der Umgebung des dreidimensionalen Punktes 314 vorliegen, beendet, wird m zu 2 (< M) (Schritt S31) und in gleicher Weise wie oben beschrieben wird geprüft, ob der dreidimensionale Punkt 31(0) mit der Markierungsnummer 0 in der Umgebung des zweiten dreidimensionalen Punktes 313 der Liste L1 auf demselben Artikel 20 liegt, wo der dreidimensionale Punkt 313 gemessen wurde (Schritt S30).
-
Wenn m größer ist als die Elementzahl N wird die Anfertigung der Liste L1 mit der Markierungsnummer 1 beendet und die Markierungsnummer wird auf 2 gesetzt (Schritt S33), um dann den gleichen Prozess zu wiederholen. Beim Wiederholen wird beispielsweise ein dreidimensionaler Punkt 315, der eine Markierungsnummer 0 hat, mit der Markierungsnummer 2 versehen und dreidimensionale Punkte 315(2) und 316(2) werden der Liste L2 hinzugefügt; während ein dreidimensionaler Punkt 317 mit einer Markierungsnummer 0 mit der Markierungsnummer 3 versehen wird und ein dreidimensionaler Punkt 317(3) wird zu der Liste L3 hinzugefügt. Auf diese Weise verschwindet der dreidimensionale Punkt 31 mit der Markierungsnummer 0 und deshalb ergibt sich in Schritt S24 das Ergebnis NEIN und die Berechnung des Verknüpfungssatzes ist beendet.
-
Dieses Ausführungsbeispiel ermöglicht insbesondere die nachfolgenden Operationen und Wirkungen.
- (1) Die Verarbeitung in der Robotersteuereinrichtung 14 selektiert einen ersten dreidimensionalen Punkt 31 und einen zweiten dreidimensionalen Punkt 31, die in der gemeinsamen Umgebung liegen, aus einer Vielzahl dreidimensionaler Punkte 31, die gewonnen werden unter Verwendung eines dreidimensionalen Messinstrumentes 11 (Schritt S30A und Schritt S30F); weiterhin gewinnt die Steuereinrichtung Bildgradienteninformation, die einen Gradientenzustand auf der Oberfläche des Gegenstandes 20 im partiellen Bildbereich anzeigt, welcher Punkte (zweidimensionale Punkte 51) auf einem Bild beinhaltet, welche dem ersten dreidimensionalen Punkt 31 bzw. dem zweiten dreidimensionalen Punkt 31 zugeordnet sind, wobei der Vorgang basiert auf mit der Kamera 12 gewonnenen Bilddaten (Schritt S30A); weiterhin prüft die Steuereinrichtung, ob der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 auf demselben Gegenstand liegen, wobei die Prüfung erfolgt auf Basis dreidimensionaler Positionsinformationen bezüglich des ersten dreidimensionalen Punktes 31 und des zweiten dreidimensionalen Punktes 31 und der gewonnenen Bildgradienteninformation (Schritt S30I); und weiterhin ordnet die Steuerung dieselbe Markierungsnummer j diesen dreidimensionalen Punkten 31 zu wenn festgestellt wird, dass der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 auf demselben Gegenstand liegen, und so die mit der Markierungsnummer versehenen dreidimensionalen Punkte 31 demselben Verknüpfungssatz 32 zuzuordnen sind.
-
Deshalb wird auch dann, wenn mehrere Gegenstände 20 mit gleicher Form aneinanderliegend angeordnet sind, der Verknüpfungssatz 32 nicht über die mehreren Gegenstände 20 hinweg berechnet und ein einziger Verknüpfungssatz 33 entspricht genau einem einzigen Gegenstand 20. Dementsprechend ermöglicht der Verknüpfungssatz 32 eine genaue Erkennung des Gegenstandes 20 und das Aufnehmen des Gegenstandes.
- (2) Die Verarbeitung in der Robotersteuereinrichtung 14 berechnet zweidimensionale Punkte 51 auf dem Bild entsprechend jeweiligen ersten dreidimensionalen Punkten 31 und zweiten dreidimensionalen Punkten 31 (Schritt S30B und Schritt 30G); weiterhin erfolgt eine Identifizierung eines partiellen Bildbereichs aufgrund dieser zweidimensionalen Punkte 51 und eine Feststellung, dass der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 auf demselben Gegenstand liegen wenn der Gradientenzustand im partiellen Bildbereich sich nicht ändert (Schritt S30I). Deshalb kann sicher festgestellt werden, dass der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 auf demselben Gegenstand liegen.
- (3) Die jeweiligen zweidimensionalen Punkte 51 werden gewonnen auf Basis von Kalibrierdaten der Kamera 12 und so ist es in einfacher Weise möglich, einen zweidimensionalen Punkt 51 auf dem Bild entsprechend dem dreidimensionalen Punkt 31 zu bestimmen.
- (4) Informationen bezüglich eines Änderungsbetrages im Bildkontrast in dem partiellen Bildbereich werden verwendet als Bildgradienteninformation und auf diese Weise kann ein Gradientenzustand einer Oberfläche des Gegenstandes 20 genau bestimmt werden.
- (5) Wenn eine Distanz zwischen dem ersten dreidimensionalen Punkt 31 und dem zweiten dreidimensionalen Punkt 31 unter Verwendung des dreidimensionalen Messinstrumentes 14 gemessen wird und gleich ist oder kleiner als ein vorgegebener Wert Δd und wenn auch ein Änderungsbetrag im Bildkontrast im partiellen Bildbereich gleich ist oder kleiner als ein vorgegebener Wert, dann wird festgestellt, dass der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 auf demselben Gegenstand liegen. Auf diese Weise kann genau bestimmt werden, ob eine Vielzahl dreidimensionaler Punkte 31 auf demselben Artikel liegen.
- (6) Die Verarbeitung in der Robotersteuerung 14 bestimmt eine repräsentative Positionsstellung 33, bei der es sich um eine Position und eine Stellung (Ausrichtung) handelt, die einen Verknüpfungssatz 32 auf Basis von Positionen dreidimensionaler Punkte 31, die zum Verknüpfungssatz 32 gehören, repräsentiert (Schritt S4); und es erfolgt eine Bestimmung einer Handpositionsstellung 34 entsprechend dieser repräsentativen Positionsstellung 33 (Schritt S5).
-
Auf diese Weise kann eine Stellungsbeziehung zwischen dem Gegenstand 20 und der Hand 15 genau eingestellt werden entsprechend dem Typ der Hand 15 und anderen Parametern.
- (7) Die Verarbeitung in der Robotersteuereinrichtung 14 ermöglicht ein stabiles Halten des Gegenstandes 20 mit der Hand 15 wenn die repräsentative Positionsstellung 33 bestimmt wird durch Kombination einer Schwerpunktposition aller dreidimensionaler Punkte 31, die zu der Verknüpfungsmenge 32 gehören, und einer vorgegebenen Stellung in dieser Schwerpunktposition.
- (8) Die Verarbeitung in der Robotersteuereinrichtung 14 ermöglicht eine sichere Berechnung des Zentrums eines Gegenstandes 20 als repräsentative Positionsstellung 33 und dann ein stabiles Halten des Gegenstandes 20 mit der Hand 15 auch dann, wenn ein Mangel hinsichtlich des dreidimensionalen Punktes 31 auf dem Gegenstand, der mit dem dreidimensionalen Messinstrument 11 gemessen wurde, vorhanden ist, wenn die repräsentative Positionsstellung 33 bestimmt wird durch Kombination einer Zentrumsposition eines umschließenden Rechteckes, das alle dreidimensionalen Punkte 31 enthält, die zu dem Verknüpfungssatz 32 gehören, und einer vorgegebenen Stellung.
-
Das Verfahren zum Aufgreifen eines Gegenstandes kann im Einzelnen vielfältig eingerichtet werden, wenn die folgenden Maßgaben erfüllt sind: Bei Bestimmung des Verknüpfungssatzes 32 werden ein erster dreidimensionaler Punkt 31 und ein zweiter dreidimensionaler Punkt 31, die benachbart sind, aus einer Vielzahl dreidimensionaler Punkte 31 ausgewählt, die gewonnen wurden unter Verwendung eines dreidimensionalen Messinstrumentes; eine Bildgradienteninformation, die einen Gradientenzustand auf der Oberfläche des Gegenstandes wiedergibt, wird in einem partiellen Bildbereich gewonnen, der Punkte 51 in einem Bild einschließt entsprechend einem ersten dreidimensionalen Punkt 31 und einem zweiten dreidimensionalen Punkt 31, auf Basis von Bilddaten, die mit einer Kamera 12 gewonnen wurden; es wird geprüft, ob der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 auf demselben Gegenstand liegen, und zwar auf Basis von dreidimensionaler Positionsinformation bezüglich des ersten dreidimensionalen Punktes 31 und des zweiten dreidimensionalen Punktes 31 und der gewonnenen Bildgradienteninformation; und der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 werden in demselben Verknüpfungssatz aufgenommen wenn sich ergibt, dass der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 auf demselben Gegenstand liegen.
-
17 ist ein Blockdiagramm zur Erläuterung eines internen Aufbaus der Robotersteuereinrichtung 14 gemäß 1. Die Robotersteuereinrichtung 14 hat eine Berechnungseinheit 141 für einen Verknüpfungssatz, eine Gegenstandsidentifikationseinheit 142, eine Berechnungseinheit 143 für eine Handpositionsstellung; und eine Robotersteuereinheit 144. Die Berechnungseinheit 141 für den Verknüpfungssatz hat eine Auswahleinheit 141A bezüglich dreidimensionaler Punkte, eine Gradienteninformationsgewinnungseinheit 141B, und eine Feststellungseinheit 141C.
-
Bei diesem Ausführungsbeispiel wird ein dreidimensionaler Punkt 310, der innerhalb eines vorgegebenen Abstandes vom ersten dreidimensionalen Punkt 31 liegt, als zweiter dreidimensionaler Punkt 31 berechnet (Schritt S30C), wobei die Auswahleinrichtung 141A für den dreidimensionalen Punkt verschiedene Formen annehmen kann solange der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 in hinreichender Nachbarschaft ausgewählt werden. Bei diesem Ausführungsbeispiel wird Information bezüglich einer quantifizierten Änderung im Bildkontrast in einem partiellen Bildbereich als Bildgradienteninformation gewonnen (Schritt S30H), jedoch kann, wenn ein Gradientenzustand der Oberfläche des Artikels 20 angegeben ist, jegliche Bildgradienteninformation eingesetzt werden und die Einzelheiten einer Einrichtung 141B zum Gewinnen von Gradienteninformation sind nicht auf die obige Ausführungsform beschränkt. Bei diesem Ausführungsbeispiel wird durch Prüfung, ob eine quantifizierte Änderung im Bildkontrast in einem partiellen Bildbereich gleich ist oder kleiner als ein vorgegebener Wert (Schritt S301), festgestellt, dass der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 auf demselben Gegenstand liegen, jedoch muss die Ausführungsform dieser Prüfeinheit 141C nicht auf die beschriebene Variante beschränkt sein wenn nur geprüft wird, ob der erste dreidimensionale Punkt 31 und der zweite dreidimensionale Punkt 31 auf demselben Artikel liegen, und zwar auf Basis dreidimensionaler Positionsinformation bezüglich des ersten dreidimensionalen Punktes 31 und des zweite dreidimensionalen Punktes 31 sowie Bildgradienteninformation, die mit der Gradienteninformationsgewinnungseinheit 141B gewonnen worden ist. Mit anderen Worten: die Berechnungseinheit 141 für den Verknüpfungssatz kann in verschiedener Weise zusammengestellt sein, wenn nur ein Verknüpfungssatz 32, der gebildet wird durch Verknüpfung benachbarter dreidimensionaler Punkte 31, bestimmt wird aus einer Mehrzahl dreidimensionalen Punkte 31, die unter Verwendung eines dreidimensionalen Messinstrumentes 11 gewonnen wurden, auf Basis dreidimensionaler Positionsinformationen dreidimensionaler Punkte, die durch das dreidimensionale Messinstrument 11 gewonnen wurden, und Bilddaten, die mit der Kamera 12 gewonnen wurden.
-
Bei diesem Ausführungsbeispiel wird die repräsentative Positionsstellung 33, welche einen Verknüpfungssatz 32 repräsentiert, berechnet auf Basis von Positionsinformationen dreidimensionaler Punkte 31, die zu dem Verknüpfungssatz 32 gehören (Schritt S3), jedoch ist bei Identifikation einer Position und einer Stellung eines Gegenstandes 20, ausgedrückt durch den Verknüpfungssatz 32, der Aufbau der Gegenstandsidentifikationseinheit 142 nicht auf die obige Ausführungsform beschränkt. Eine Position und eine Stellung, welchen den Verknüpfungssatz 32 repräsentieren, entsprechen auch einer Position und einer Stellung, welche den Gegenstand 20 repräsentieren; und eine Identifikation einer Position und einer Stellung eines Gegenstandes 20 betrifft die Identifikation einer Anordnung des Gegenstandes 20 durch Bestimmung einer Position und Stellung, welche die Artikel repräsentieren. Bei diesem Ausführungsbeispiel wird die Handpositionsstellung 34 berechnet aufgrund der repräsentativen Positionsstellung 33 (Schritt S4), jedoch ist bei Bestimmung einer Handpositionsstellung 34, die geeignet ist zum Aufnehmen eines Gegenstandes 20, der mittels der repräsentativen Positionsstellung 33 identifiziert ist, der Aufbau der Handpositionsstellungsberechnungseinheit 143 nicht auf den obigen Aufbau beschränkt. Bei Steuerung eines Roboters 13 zum Aufnehmen eines Gegenstandes 20 durch Bewegung der Hand 14 in eine Handpositionsstellung 34 kann die Robotersteuereinheit 144 in unterschiedlicher Weise konfiguriert sein.
-
Es ist möglich, wahlweise das vorliegende Ausführungsbeispiel mit modifizierten Ausführungsbeispielen oder mehreren modifizierten Ausführungsbeispielen zu kombinieren.
-
Nach der Erfindung wird bei Erkennung einer Position und Stellung eines im dreidimensionalen Raum angeordneten Gegenstandes eine Bildgradienteninformation auf Basis von mit einer Kamera gewonnenen Bilddaten gewonnen; eine Verknüpfungssatz mehrerer dreidimensionaler Punkte wird bestimmt unter Verwendung dreidimensionaler Positionsinformation dreidimensionaler Punkte, gemessen mit einem dreidimensionalen Messinstrument, und Bildgradienteninformation; und eine Position und eine Stellung eines Gegenstandes werden identifiziert unter Verwendung des Verknüpfungssatzes.
-
Deshalb ist die Position und Stellung eines Gegenstandes in einfacher Weise erkennbar ohne dass Modellmuster für die Gegenstände angefertigt werden müssten oder dass ein Lehrprogramm für einen Benutzer erforderlich wäre.
-
Die vorliegende Erfindung wurde beschrieben im Zusammenhang mit einem bevorzugten Ausführungsbeispiel, jedoch versteht die Fachperson, dass unterschiedliche Änderungen und Modifikationen möglich sind ohne vom offenbarten Inhalt der Ansprüche abzuweichen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2004-295223 [0002]
- JP 2011-179909 [0002]
- JP 2010-039999 A [0002, 0004, 0006]
- JP 2004-295223 A [0003, 0005]
- JP 2011-179909 A [0003]
- JP 2011-179999 A [0005]
