DE102013210606A1

DE102013210606A1 - Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren

Info

Publication number: DE102013210606A1
Application number: DE102013210606A
Authority: DE
Inventors: Takahisa Yamamoto
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-06-11
Filing date: 2013-06-07
Publication date: 2013-12-12
Also published as: CN103489200A; US9621856B2; JP6157066B2; CN103489200B; GB2504599A; US20130329035A1; GB201310100D0; JP2013257182A; GB2504599B

Abstract

Vorliegende Erfindung stellt einen Aufbau bereit, der eine fehlerhafte Schätzung beim Schätzen eines Zustands eines Werkstücks verringert. Eine Bildverarbeitungsvorrichtung enthält eine Kamera, die ein Bild eines Werkstücks eingibt, eine Werkstückzustandschätzeinrichtung, die einen Zustand des Werkstücks aus dem Bild schätzt, das durch die Kamera eingegeben wurde, eine Auftrittswahrscheinlichkeitsspeichereinrichtung, die eine Auftrittswahrscheinlichkeit speichert, die zuerst mit jedem Zustand des Werkstücks assoziiert wurde, und eine Zuverlässigkeitsberechnungseinrichtung, die eine Zuverlässigkeit für den geschätzten Zustand des Werkstücks beruhend auf dem durch die Werkstückzustandschätzeinrichtung geschätzten Zustand des Werkstücks und der dem Zustand des Werkstücks entsprechenden Auftrittswahrscheinlichkeit berechnet.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Technik, die verwendet wird, wenn ein in einem vorbestimmten Zustand, wie einem unregelmäßigen Zustand, platziertes Bauteil (Werkstück) gegriffen wird. Die vorliegende Erfindung bezieht sich insbesondere auf eine Technik, die verwendet wird, wenn in einem vorbestimmten Zustand platzierte Werkstücke durch eine Kamera oder dergleichen fotografiert werden, die Positionen und/oder Orientierungen jedes der Werkstücke anhand der fotografierten Bilder geschätzt werden, und die Werkstücke gegriffen werden.
Beschreibung der verwandten Technik
Die folgenden Verfahren werden als Technik zum Fotografieren von Werkstücken, die in einem vorbestimmten Zustand platziert wurden, mit einer Kamera oder dergleichen und Schätzen der Positionen und/oder Orientierungen jedes der Werkstücke mit hoher Geschwindigkeit anhand der fotografierten Bilder untersucht.
In der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2007-245283 wird bei der Schätzung der Orientierung des Werkstücks die Orientierung aus einer Vielzahl stabiler Orientierungen ausgewählt, die eingeschränkt wurden, wodurch die Verarbeitungszeit verkürzt werden soll.
In der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2010-186219 wird die Stabilität für jede Orientierung des Werkstücks berechnet, eine Maske, die eine Orientierung mit geringer Stabilität ausdrückt, nicht verwendet, und so soll die Verarbeitungszeit verkürzt werden.
Im japanischen Patent Nr. 3300092 wird ein Wert stochastisch vorhergesagt, welchen ein Parameter zur Vorabbestimmung der Positionen und/oder Orientierung des Werkstücks annehmen kann, und ein Arbeitsbereich in dem Bild und ein Parameterraumbereich werden bestimmt, wodurch die Arbeitseffizienz verbessert werden soll.
Zum sequenziellen Greifen eines Werkstücks aus den Werkstücken, die in einem vorbestimmten Zustand, wie einem unregelmäßigen Zustand platziert wurden, durch einen Roboter, ist es erforderlich, die Positionen und/oder Orientierungen der Werkstücke genau zu schätzen.
Das Verfahren der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2007-245283 beschränkt die geschätzte Orientierung des Werkstücks auf die Umgebung der stabilen Orientierung. Demnach kann das Verfahren die Orientierung eines Werkstücks nicht genau schätzen, das stark aus einer angenommenen stabilen Orientierung deplatziert wurde. Beispielsweise tritt ein Problem auf, wenn eine Orientierung aufgetreten ist, die aufgrund einer Überlagerung von Werkstücken oder dergleichen stark aus der stabilen Orientierung gebracht ist.
Außerdem berücksichtigt das Verfahren der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2007-245283 nicht die Wahrscheinlichkeit (Auftrittswahrscheinlichkeit) für jede stabile Orientierung, dass die Orientierung auftritt, und kann demnach eine fehlerhafte Schätzung für die Orientierung nicht unter Verwendung der Auftrittswahrscheinlichkeit verringern.
Außerdem wird bei der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2010-186219 die Stabilität der Orientierung verwendet, wenn eine Maske erzeugt wird, jedoch wird die Stabilität nicht zum Erhalten eines genauen Schätzergebnisses der Orientierung verwendet. Demnach wird eine Verwendung der Stabilität für die Schätzung der Orientierung zur Verringerung einer fehlerhaften Schätzung der Orientierung nicht berücksichtigt.
Ferner wird auch im japanischen Patent Nr. 3300092 der Wert stochastisch vorhergesagt, den ein Parameter für eine Vorabbestimmung der Positionen und/oder Orientierungen des Werkstücks annehmen kann, jedoch wird die Verwendung der Vorhersage zur Verringerung einer fehlerhaften Schätzung der Orientierung nicht berücksichtigt.
KURZZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung ist im Hinblick auf diese Probleme entworfen, und eine Aufgabe der Erfindung besteht in der Bereitstellung eines Verfahrens zum Erreichen der Verringerung einer fehlerhaften Schätzung, wenn der Zustand (die Position, Orientierung und dergleichen) eines Werkstücks geschätzt wird.
Weitere Merkmale der Erfindung werden aus der folgenden Beschreibung der Ausführungsbeispiele unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 zeigt eine schematische Darstellung eines Beispiels eines schematischen Aufbaus einer Bildverarbeitungsvorrichtung gemäß einem ersten Ausführungsbeispiel der Erfindung.
2 zeigt eine schematische Darstellung zur Veranschaulichung des ersten Ausführungsbeispiels der Erfindung und Beschreibung einer repräsentativen Orientierung.
Die 3A, 3B, 3C, 3D und 3E zeigen schematische Darstellungen, die das erste Ausführungsbeispiel der Erfindung veranschaulichen und die Zustände von Werkstücken in 1 in einigen repräsentativen Orientierungen veranschaulichen.
Die 4A und 4B zeigen schematische Darstellungen, die das erste Ausführungsbeispiel der Erfindung veranschaulichen und ein Beispiel eines Bildes veranschaulichen, das durch eine Kamera in 1 fotografiert wurde.
5 zeigt ein Ablaufdiagramm zur Veranschaulichung des ersten Ausführungsbeispiels der Erfindung und Veranschaulichung eines Beispiels einer Verarbeitungsprozedur, die in einer Werkstückzustanderkennungsverarbeitungseinheit in 1 durchgeführt wird.
6 zeigt eine schematische Darstellungen zur Veranschaulichung des ersten Ausführungsbeispiels der Erfindung und Veranschaulichung eines Beispiels des Schätzergebnisses einer Positionsorientierung durch die Werkstückzustanderkennungsverarbeitungseinheit in 1.
7 zeigt ein Ablaufdiagramm, das das erste Ausführungsbeispiel der Erfindung veranschaulicht und ein Beispiel einer Berechnungsbearbeitungsprozedur für die Auftrittswahrscheinlichkeit veranschaulicht.
8 zeigt eine schematische Darstellung zur Veranschaulichung des ersten Ausführungsbeispiels der Erfindung und eines Beispiels der Auftrittswahrscheinlichkeit, die in einer Auftrittswahrscheinlichkeitsspeichereinheit in 1 gespeichert ist.
Die 9A und 9B zeigen schematische Darstellungen zur Veranschaulichung des ersten Ausführungsbeispiels der Erfindung und eines Beispiels des Schätzergebnisses durch eine Werkstückzustandschätzeinheit in 1.
10 zeigt eine schematische Darstellung zur Veranschaulichung eines Beispiels eines schematischen Aufbaus eines Werkstückgreifsystems gemäß einem zweiten Ausführungsbeispiel der Erfindung.
11 zeigt ein Ablaufdiagramm eines Beispiels einer Verarbeitungsprozedur in dem Werkstückgreifsystem gemäß dem zweiten Ausführungsbeispiel der Erfindung.
12 zeigt eine schematische Darstellung zur Veranschaulichung des zweiten Ausführungsbeispiels der Erfindung und eines Beispiels des Schätzergebnisses durch eine Werkstückzustandschätzeinheit in 10.
13 zeigt eine schematische Darstellung zur Veranschaulichung eines Beispiels eines schematischen Aufbaus eines Werkstückgreifsystems gemäß einem dritten Ausführungsbeispiel der Erfindung.
14 zeigt ein Ablaufdiagramm zur Veranschaulichung des dritten Ausführungsbeispiels der Erfindung und eines Beispiels einer Berechnungsverarbeitungsprozedur für die Auftrittswahrscheinlichkeit.
15 zeigt eine schematische Darstellung zur Veranschaulichung eines Beispiels eines schematischen Aufbaus einer Bildverarbeitungsvorrichtung gemäß einem fünften Ausführungsbeispiel der Erfindung.
BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Nachstehend werden bevorzugte Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben.
(Erstes Ausführungsbeispiel)
1 zeigt eine schematische Darstellung eines Beispiels eines schematischen Aufbaus einer Bildverarbeitungsvorrichtung 100-1 gemäß einem ersten Ausführungsbeispiel der Erfindung.
1 zeigt ein Werkstück 101. Bei diesem Ausführungsbeispiel wird nachstehend ein Beispiel beschrieben, in dem eine Positionsorientierung des Werkstücks 101 geschätzt wird. Hier kann „Positionsorientierung” als „Position und Orientierung” betrachtet werden.
Ein Tablett 102 ist gezeigt. Das Tablett 102 ist mit vielen Werkstücken 101 in unregelmäßigem Zustand beladen. Allerdings sollen die Werkstücke 101 bei diesem Ausführungsbeispiel nicht übereinander liegen. Ein Beispiel einer sogenannten Beladung en gros, bei der die Werkstücke übereinander liegen (ein Zustand, in dem die vielen Werkstücke unordentlich in einem gestapelten Zustand platziert sind), wird im dritten Ausführungsbeispiel beschrieben.
Eine Kamera 103 ist gezeigt, die als Bildeingabeeinheit verwendet wird. Die Kamera 103 ist am oberen Teil eines Rahmens oder unter einer Decke in einem nicht gezeigten System oder dergleichen fest angebracht, und kann den Zustand des Tabletts 102 und der vielen Werkstücke 101, mit denen das Tablett 102 beladen ist, zur Erzeugung von Bildern (Bilddaten) fotografieren.
Eine Bildverarbeitungseinheit 104 ist gezeigt. Die Bildverarbeitungseinheit 104 enthält eine Kamerasteuereinheit 105, eine Werkstückzustandschätzeinheit 106, eine Auftrittswahrscheinlichkeitsspeichereinheit 109 und eine Zuverlässigkeitsberechnungseinheit 110, wie es in 1 veranschaulicht ist.
Die Kamerasteuereinheit 105 ist gezeigt. Die Kamerasteuereinheit 105 führt eine Steuerung zur Aufnahme der durch die Kamera 103 fotografierten Bilder (Bilddaten) durch.
Die Werkstückzustandschätzeinheit 106 ist gezeigt. Die Werkstückzustandschätzeinheit 106 enthält eine Wörterbuchdatenspeichereinheit 107 und eine Werkstückzustanderkennungsverarbeitungseinheit 108, wie es in 1 veranschaulicht ist. Die Werkstückzustandschätzeinheit 106 unterzieht das durch die Kamera 103 fotografierte Bild einer nachstehend beschriebenen vorbestimmten Verarbeitung und schätzt die Positionen und/oder Orientierungen der Vielzahl der Werkstücke 101.
Die Wörterbuchdatenspeichereinheit 107 ist gezeigt. Die Wörterbuchdatenspeichereinheit 107 assoziiert das durch Fotografieren der Werkstücke 101 aus allen Richtungen erhaltene Bild, so als ob das Werkstück 101 auf eine Kugelform gewickelt wird, mit Orientierungsinformationen (Fotografierichtungen auf einer Kugel, auf die das Werkstück 101 gewickelt ist, d. h., Breiten und Längen auf einer Kugel), und speichert die assoziierten Informationen als Wörterbuchdaten. Tatsächlich können allerdings keine Bilder bereitgestellt werden, die kontinuierlich aus allen Richtungen fotografiert wurden, und demnach werden Bilder der repräsentativen Orientierungen, die an einigen Intervallstufen abgetastet wurden, als Wörterbuchdaten gespeichert.
2 zeigt eine schematische Darstellung zur Veranschaulichung des ersten Ausführungsbeispiels der Erfindung und Beschreibung einer repräsentativen Orientierung.
2 veranschaulicht eine Denkweise, die als geodätische Kuppel bezeichnet wird. Bei diesem Ausführungsbeispiel wird grundsätzlich ein reguläres Ikosaeder als diese geodätische Kuppel verwendet, und Richtungen (Orientierungen), die von jedem repräsentativen Punkt des regulären Ikosaeders aus betrachtet wurden, wenn das Werkstück 101 an dieser Mittelpunktposition angeordnet ist, werden als repräsentative Orientierungen definiert. Hier kann beispielsweise jeder Scheitelpunkt und jeder Flächenmittelpunkt als der repräsentative Punkt verwendet werden. Im regulären Ikosaeder beträgt die Anzahl der Scheitelpunkte 16, die Anzahl der Flächen 20, und demnach können die repräsentativen Orientierungen, die aus 36 Richtungen insgesamt betrachtet werden können, definiert werden. Des Weiteren muss für jede der repräsentativen Orientierungen auch eine Rotation in der Bezugsebene von den Richtungen aus betrachtet berücksichtigt werden. Wird die Rotation in der Bezugsebene beispielsweise an Intervallen von 18 Grad-Winkeln unterschieden, sind 20 Orientierungen der Rotation in der Bezugsebene vorhanden. Demnach gibt es in diesem Fall 36 × 20 = 720 Orientierungen.
Die 3A bis 3E zeigen schematische Darstellungen, die das erste Ausführungsbeispiel der Erfindung veranschaulichen und die Zustände des Werkstücks 101 in 1 in mehreren repräsentativen Orientierungen veranschaulichen.
Das in dem irregulären Zustand angeordnete Werkstück 101 kann bezüglich der Kamera 103 in jede beliebige Richtung schauen und kann ferner in der der Richtung entsprechenden Ebene an jedem beliebigen Winkel orientiert sein. Dementsprechend speichert die Wörterbuchdatenspeichereinheit 107 die Bilder als Wörterbuchdaten, die aus all den Richtungen (bei diesem Ausführungsbeispiel 36 Richtungen) erhalten wurden. Die Bilder des in der Ebene rotierten Werkstücks können aus dem Bild der repräsentativen Orientierung unter Verwendung einer affinen Umwandlungsverarbeitung leicht erzeugt werden, und demnach kann die Wörterbuchdatenspeichereinheit 107 die Bilder der Werkstücke 101 speichern, die aus 36 Richtungen fotografiert wurden. Die Bilder des in der Ebene rotierten Werkstücks können bei der tatsächlichen Verarbeitung erzeugt werden.
Die Beschreibung kehrt nun zu 1 zurück.
Die Werkstückzustanderkennungsverarbeitungseinheit 108 ist gezeigt. Die Werkstückzustanderkennungsverarbeitungseinheit 108 empfängt ein Bild (Bilddaten) von der Kamerasteuereinheit 105 und führt eine Verarbeitung zum Schätzen der Positionsorientierung des Werkstücks in dem Bild durch.
Die 4A und 4B zeigen schematische Darstellungen zur Veranschaulichung des ersten Ausführungsbeispiels der Erfindung und eines Beispiels eines Bildes, das durch die Kamera 103 in 1 fotografiert wurde. In 4A sind die vielen Werkstücke 101 fotografiert, die unregelmäßig angeordnet wurden.
Nachstehend wird unter Bezugnahme auf die 4A und 4B und 5 ein Verfahren zum Schätzen der Positionen und/oder Orientierungen des Werkstücks 101 beschrieben, das in der Werkstückzustanderkennungsverarbeitungseinheit 108 durchgeführt wird.
Die Werkstückzustanderkennungsverarbeitungseinheit 108 verwendet die in der Wörterbuchdatenspeichereinheit 107 gespeicherten Wörterbuchdaten als Maske und führt eine Korrelationsverarbeitung durch, während sie die Maske das Bild abtasten lässt (4A). Der Zustand ist in 4B veranschaulicht. In 4B sind ein Bild (Bilddaten 400) und bestimmte Wörterbuchdaten (Maske) 401 gezeigt.
Die Werkstückzustanderkennungsverarbeitungseinheit 108 schätzt die Position und/oder Orientierung jedes der Vielzahl der in einem vorbestimmten Zustand platzierten Werkstücke 101 gemäß dem in 5 veranschaulichten Ablaufdiagramm.
5 zeigt ein Ablaufdiagramm, das das erste Ausführungsbeispiel der Erfindung veranschaulicht, und ein Beispiel einer Verarbeitungsprozedur veranschaulicht, die in der Werkstückzustanderkennungsverarbeitungseinheit 108 in 1 durchgeführt wird. 5 wird nachstehend beschrieben.
Zuerst erhält die Werkstückzustanderkennungsverarbeitungseinheit 108 in Schritt S501 einer Anfangsorientierung entsprechende Wörterbuchdaten von der Wörterbuchdatenspeichereinheit 107.
Danach stellt die Werkstückzustanderkennungsverarbeitungseinheit 108 in Schritt S502 die Wörterbuchdaten auf eine Anfangsabtastposition als Maske ein. Bei diesem Ausführungsbeispiel soll die Maske (401) beispielsweise oben links im Bild (400) eingestellt werden, wie es in 4B veranschaulicht ist.
Danach führt die Werkstückzustanderkennungsverarbeitungseinheit 108 in Schritt S503 eine Korrelationsoperation zwischen der Maske und dem Bild (den Bilddaten) durch, die aktuell auf eine vorbestimmte Position eingestellt sind, und berechnet einen Korrelationswert. Bei diesem Ausführungsbeispiel ist das Verfahren der Korrelationsoperation nicht besonders eingeschränkt, und demnach kann ein bekanntes Verfahren verwendet werden. Der Korrelationswert kann beispielsweise durch eine Normalisierungskorrelationsoperation berechnet werden.
Danach stellt die Werkstückzustanderkennungsverarbeitungseinheit 108 in Schritt S504 die Maske an allen Positionen in dem Bild ein, und bestimmt, ob die Korrelationswerte berechnet wurden oder nicht.
Wurde als Ergebnis der Bestimmung in Schritt S504 die Maske noch nicht an allen Positionen in dem Bild eingestellt, schreitet die Verarbeitung zu Schritt S505 vor.
Schreitet die Verarbeitung zu Schritt S505 vor, bewegt die Werkstückzustanderkennungsverarbeitungseinheit 108 die Maske an eine nächste Abtastposition und aktualisiert eine Position, an der die Maske eingestellt ist. Danach geht die Prozedur zu der Verarbeitung des Schritts S503 über.
Wurde die Maske andererseits an allen Positionen in dem Bild eingestellt, geht die Verarbeitung als Ergebnis der Bestimmung in Schritt S504 zu Schritt S506 über.
Wenn die Verarbeitung zu Schritt S506 übergeht, stellt die Werkstückzustanderkennungsverarbeitungseinheit 108 alle Wörterbuchdaten als Maske ein und bestimmt, ob die Korrelationswerte berechnet wurden oder nicht.
Wurden noch nicht alle Wörterbuchdaten als Maske eingestellt, geht die Verarbeitung als Ergebnis der Bestimmung in Schritt S506 zu Schritt S507 über.
Wenn die Verarbeitung zu Schritt S507 übergeht, erhält die Werkstückzustanderkennungsverarbeitungseinheit 108 die einer nächsten Orientierung entsprechenden Wörterbuchdaten aus der Wörterbuchdatenspeichereinheit 107 und aktualisiert die Wörterbuchdaten. In diesem Fall werden die Wörterbuchdaten unter Berücksichtigung auch der Rotation in der Bezugsebene aktualisiert. Das heißt, die in der Wörterbuchdatenspeichereinheit 107 gespeicherten Wörterbuchdaten (die Maske) werden gelegentlich durch Unterwerfung unter eine affine Umwandlung in neue Wörterbuchdaten umgewandelt. Wird die Rotation in der Bezugsebene beispielsweise an Intervallen von 18 Grad-Winkeln für jede der 36 Richtungen wie vorstehend beschrieben berücksichtigt, sollen 720 Wörterbuchdaten insgesamt als Maske eingestellt werden. Danach wechselt die Prozedur zu der Verarbeitung des Schritts S502.
Wurden andererseits alle Wörterbuchdaten als Maske eingestellt, geht die Verarbeitung als Ergebnis der Bestimmung in Schritt S506 zu Schritt S508 über.
Wenn die Verarbeitung zu Schritt S508 übergeht, sortiert die Werkstückzustanderkennungsverarbeitungseinheit 108 die bis jetzt erhaltenen Korrelationswerte in absteigender Reihenfolge und führt für das Ergebnis eine Schwellenwertverarbeitung durch. Insbesondere werden bei diesem Ausführungsbeispiel die Korrelationswerte, die kleiner als der Schwellenwert sind, verworfen, und lediglich die Korrelationswerte werden gespeichert, die größer oder gleich dem Schwellenwert sind.
Die Werkstückzustanderkennungsverarbeitungseinheit 108 schätzt die Positionen und Orientierungen der Vielzahl der Werkstücke 101 gemäß der vorstehend beschriebenen Prozedur der Verarbeitung der Schritte S501 bis S508 in 5.
6 zeigt eine schematische Darstellung, die das erste Ausführungsbeispiel der Erfindung veranschaulicht, und ein Beispiel des Schätzergebnisses der Positionsorientierung durch die Werkstückzustanderkennungsverarbeitungseinheit 108 in 1 darstellt.
6 zeigt ein Beispiel, in dem die Schätzergebnisse von n Stücken der Positionsorientierungen ausgegeben werden, und bei dem die geschätzten Positionsinformationen (horizontale Position und vertikale Position) und die geschätzten Orientierungsinformationen (Breite und Länge auf einer geodätischen Kuppel und Rotation in der Bezugsebene an der Position) jeweils als das Schätzergebnis veranschaulicht sind. Außerdem stellt eine Punktzahl in 6, die für jedes Schätzergebnis gezeigt ist, den Korrelationswert dar, der durch die Werkstückzustanderkennungsverarbeitungseinheit 108 berechnet wurde. In 6 sind die Schätzergebnisse der n Stücke der Positionsorientierungen veranschaulicht, jedoch ist die Zahl im Allgemeinen von der Anzahl der Werkstücke 101 verschieden. Der Grund dafür ist, dass es ein Werkstück gibt, dessen Orientierung aufgrund von Rauschen, einer Beleuchtungsbedingung bei der Fotografie und dergleichen nicht geschätzt werden kann (dessen Korrelationswerte für alle Masken niedrig sind). Der Grund dafür ist auch, dass es ein Werkstück gibt, das hohe Korrelationswerte für eine Vielzahl der Orientierungen ausgibt, oder die Werkstückzustanderkennungsverarbeitungseinheit 108 gelegentlich einen hohen Korrelationswert aus denselben Gründen an einer Position ausgibt, an der das Werkstück nicht vorhanden ist.
Die Werkstückzustanderkennungsverarbeitungseinheit 108 gibt die Informationen über die Schätzergebnisse der Positionsorientierungen wie in 6 veranschaulicht zu der Zuverlässigkeitsberechnungseinheit 110 aus.
Die Beschreibung kehrt nun zu 1 zurück.
Die Auftrittswahrscheinlichkeitsspeichereinheit 109 ist gezeigt. Die Auftrittswahrscheinlichkeitsspeichereinheit 109 speichert eine Auftrittswahrscheinlichkeit, die mit jeder Orientierung assoziiert wurde. Die mit jeder Orientierung assoziierte Auftrittswahrscheinlichkeit kann vorab durch wiederholte Versuche des Anordnens des Werkstücks berechnet werden. Da ein Orientierungshistogramm bezüglich einer Auftrittshäufigkeit durch die wiederholten Versuche erzeugt werden kann, das zeigt, wie häufig die Orientierung aufgetreten ist, kann die Auftrittswahrscheinlichkeit beruhend auf dem Orientierungshistogramm berechnet werden.
Die Berechnungsverarbeitungsprozedur für diese Auftrittswahrscheinlichkeit wird nachstehend unter Bezugnahme auf 7 beschrieben.
7 zeigt ein Ablaufdiagramm, das das erste Ausführungsbeispiel der Erfindung veranschaulicht, und ein Beispiel einer Berechnungsverarbeitungsprozedur für die Auftrittswahrscheinlichkeit veranschaulicht. 7 wird nachstehend beschrieben.
Zuerst initialisiert beispielsweise die Bildverarbeitungseinheit 104 in Schritt S701 die Anzahl der Versuche zu „0” und initialisiert gleichzeitig den Wert jedes Bin im Orientierungshistogramm zu „0”.
Danach wählt (bestimmt) beispielsweise die Bildverarbeitungseinheit 104 in Schritt S702 willkürlich die Orientierung unter Verwendung der Zufallszahl.
Danach wird in Schritt S703 das Werkstück 101, das die in Schritt S702 ausgewählte Orientierung hat, in Richtung des Tabletts 102 aus einer vorbestimmten Höhe fallengelassen.
Wenn die Bewegung des auf das Tablett 102 fallen gelassenen Werkstücks 101 aufgehört hat, wird danach in Schritt S704 die Orientierung des Werkstücks 101 gemessen. Diese Orientierung kann visuell durch einen Menschen gemessen werden. Alternativ dazu kann ein Messverfahren angewendet werden, das die vorstehend beschriebene Werkstückzustanderkennungsverarbeitungseinheit 108 verwendet, und beispielsweise eine Orientierung, deren Punktzahl als höchste geschätzt wurde, als die Orientierung bestimmt.
Nach Beenden der Messung der Orientierung führt beispielsweise die Bildverarbeitungseinheit 104 danach in Schritt S705 die Verarbeitung der Addition von „1” zu einem Häufigkeitswert in dem Bin, der für die Orientierung des Messergebnisses eingestellt ist, in dem Orientierungshistogramm durch.
Danach führt beispielsweise die Bildverarbeitungseinheit 104 in Schritt S706 die Verarbeitung des Addierens von „1” zu der Anzahl der Versuche durch.
Danach bestimmt beispielsweise die Bildverarbeitungseinheit 104 in Schritt S707, ob die Anzahl der Versuche eine vorbestimmte Anzahl erreicht hat oder nicht.
Hat die Anzahl der Versuche die vorbestimmte Anzahl nicht erreicht, geht die Verarbeitung als Ergebnis der Bestimmung in Schritt S707 zu Schritt S708 über.
Wenn die Verarbeitung zu Schritt S708 übergeht, wird das in Schritt S703 auf das Tablett 102 fallen gelassene Werkstück 101 entfernt, die Prozedur wechselt zur Verarbeitung in Schritt S702, und die Versuche werden wiederholt. Der Grund, warum das Werkstück auf dem Tablett 102 in Schritt S708 entfernt wird, besteht darin, dass bei diesem Ausführungsbeispiel ein Fall angenommen wird, dass die Werkstücke 101 in unregelmäßigem Zustand auf dem Tablett 102 vorhanden sind, die Werkstücke einander aber nicht überlagern.
Hat die Anzahl der Versuche andererseits die vorbestimmte Anzahl erreicht, geht die Verarbeitung als Ergebnis der Bestimmung in Schritt S707 zu Schritt S709 über.
Wenn die Verarbeitung zu Schritt S709 übergeht, normalisiert beispielsweise die Bildverarbeitungseinheit 104 das erhaltene Orientierungshistogramm (teilt den Häufigkeitswert in jedem Bin durch die Anzahl der Versuche), um die Auftrittswahrscheinlichkeit zu erhalten.
Die Auftrittswahrscheinlichkeit, die entsprechend der vorstehend beschriebenen Verarbeitungsprozedur in den Schritten S701 bis S709 in 7 erhalten wurde, wird in der Auftrittswahrscheinlichkeitsspeichereinheit 109 zuvor gespeichert.
8 zeigt eine schematische Darstellung zur Veranschaulichung des ersten Ausführungsbeispiels der Erfindung und eines Beispiels der in der Auftrittswahrscheinlichkeitsspeichereinheit 109 in 1 gespeicherten Auftrittswahrscheinlichkeit.
In 8 sollen die Orientierungen bei diesem Ausführungsbeispiel 720 Typen umfassen (36 Richtungen × einer Rotation in der Bezugsebene bei Winkeln alle 18 Grad) (m = 720). Außerdem entsprechen sich der Index der Orientierung und die Orientierung (d. h., Breite und Länge und Rotation in der Bezugsebene) eins zu eins.
Die Beschreibung kehrt zu 1 zurück.
Die Zuverlässigkeitsberechnungseinheit 110 ist gezeigt. Die Zuverlässigkeitsberechnungseinheit 110 berechnet eine Zuverlässigkeit für die geschätzte Positionsorientierung aus Informationen über die Schätzergebnisse der Positionsorientierungen (6), die aus der Werkstückzustandschätzeinheit 106 ausgegeben werden, und Informationen über die Auftrittswahrscheinlichkeit (8), die in der Auftrittswahrscheinlichkeitsspeichereinheit 109 gespeichert sind. Die hier beschriebene Zuverlässigkeit ist ein Indikator derart, dass je höher die Zuverlässigkeit ist, desto geringer eine fehlerhafte Schätzung vorliegt. Demnach resultiert das Schätzergebnis der Positionsorientierung, dem eine hohe Zuverlässigkeit gegeben wird, in der Angabe einer korrekten Positionsorientierung eines bestimmten Werkstücks mit hoher Geschwindigkeit.
Als Verfahren zur Berechnung der Zuverlässigkeit werden die folgenden grob unterteilten zwei Fälle (1. Fall und 2. Fall) zur Verdeutlichung der Beschreibung berücksichtigt.
Im ersten Fall wird von der Werkstückzustandschätzeinheit 106 eine Vielzahl von Orientierungen als Schätzergebnis für dieselbe geschätzte Position ausgegeben. In diesem Fall ist eine geschätzte Orientierung aus der Vielzahl der geschätzten Orientierung eine wahre Orientierung des Werkstücks, und die anderen Orientierungsschätzergebnisse werden als fehlerhafte Schätzung angenommen.
Demnach besteht eine Aufgabe der Zuverlässigkeitsberechnung im Einstellen einer hohen Zuverlässigkeit für ein Orientierungsschätzergebnis für die wahre Orientierung, und in der Einstellung einer geringen Zuverlässigkeit für das Orientierungsschätzergebnis für die fehlerhafte Schätzung.
Im zweiten Fall wird von der Werkstückzustandschätzeinheit 106 eine Orientierung für jede einer Vielzahl geschätzter Positionen als das Schätzergebnis ausgegeben. In diesem Fall wird von Anfang an angenommen, dass es viele Werkstücke gibt, und dementsprechend wird erwartet, dass es Orientierungsschätzergebnisse gibt, die jeder wahren Orientierung der vielen Werkstücke entsprechen. Allerdings wird berücksichtigt, dass die Schätzergebnisse tatsächlich ein Orientierungsschätzergebnis einer fehlerhaften Schätzung enthalten, und eine Aufgabe der Zuverlässigkeitsberechnung besteht im Einstellen einer geringen Zuverlässigkeit für ein derartiges Schätzergebnis.
Die 9A und 9B zeigen schematische Darstellungen zur Veranschaulichung des ersten Ausführungsbeispiels der Erfindung, und veranschaulichen ein Beispiel des Schätzergebnisses durch die Werkstückzustandschätzeinheit 106 in 1.
9A zeigt ein Beispiel des Schätzergebnisses durch die Werkstückzustandschätzeinheit 106 im vorstehend beschriebenen ersten Fall. 9A zeigt den Fall, in dem n Typen von Orientierungen für ein Werkstück an einer Position oben links im Bild (wobei Schätzergebnisse für andere Werkstücke in der Figur weggelassen sind) geschätzt werden. Außerdem sollen in 9A S_A1, S_A2, ... und S_An, die als Punktzahlen gezeigt sind, in absteigender Reihenfolge angeordnet werden. In diesem Fall wird ein Verfahren berücksichtigt, dass einer Orientierung mit der höchsten Auftrittswahrscheinlichkeit eine hohe Zuverlässigkeit gegeben wird, und anderen Orientierungen eine geringe Zuverlässigkeit gegeben wird. Diese Überlegung beruht auf einer Denkweise, dass eine Schätzung natürlich ist, bei der die Orientierung auftritt, die am leichtesten auftritt (die die höchste Auftrittswahrscheinlichkeit hat). Beispielsweise wird im Fall von 9A ein Verfahren betrachtet, bei dem zuerst die Auftrittswahrscheinlichkeit untersucht wird, die jeder geschätzten Orientierung P_A1 bis P_An entspricht, indem auf eine in 9A gezeigte Tabelle Bezug genommen wird, und dann für die geschätzte Orientierung mit der höchsten Auftrittswahrscheinlichkeit (beispielsweise der geschätzten Orientierung P_A1) eine hohe Zuverlässigkeit eingestellt wird, und für die anderen geschätzten Orientierungen (beispielsweise die geschätzten Orientierungen P_A2 bis P_An) eine geringe Zuverlässigkeit eingestellt wird. Des Weiteren wird auch eine Berechnung der Zuverlässigkeit unter Berücksichtigung nicht nur der Auftrittswahrscheinlichkeit sondern auch der Punktzahl betrachtet, die beim Schätzen der Orientierung erhalten wird. Beispielsweise wird ein Verfahren betrachtet, bei dem einer Orientierung eine hohe Zuverlässigkeit gegeben wird, die die höchste Auftrittswahrscheinlichkeit aus Orientierungsschätzergebnissen mit Punktzahlwerten hat, die in einer vorbestimmten Anzahl an Punktzahlwerten höherer Ordnung enthalten sind, und den anderen Orientierungen eine geringe Zuverlässigkeit gegeben wird. Außerdem wird ein Verfahren berücksichtigt, bei dem ein vorbestimmter Schwellenwert für die Punktzahlwerte vorgesehen wird, der Orientierung mit der höchsten Auftrittswahrscheinlichkeit aus den Orientierungsschätzergebnissen mit den Punktzahlwerten, die den Schwellenwert überschreiten, eine hohe Zuverlässigkeit gegeben wird, und den anderen Orientierungen eine geringe Zuverlässigkeit gegeben wird. Ferner kann eine gewichtete Summe des Punktzahlwerts und der Auftrittswahrscheinlichkeit als Zuverlässigkeit verwendet werden. In diesem Fall ist es für die Gewichtung akzeptabel, Versuche durch verschiedene Änderung der Werte der Gewichtung zuvor durchzuführen, und einen Wert des Falls anzuwenden, der die beste Leistung gezeigt hat (wobei, wenn die Zuverlässigkeit größer ist, das Ergebnis einer fehlerhaften Schätzung kleiner wird).
9B veranschaulicht ein Beispiel des Schätzergebnisses durch die Werkstückzustandschätzeinheit 106 im vorstehend beschriebenen zweiten Fall. 9B veranschaulicht den Fall, in dem die Orientierungen jeweils für neun Positionen in dem Bild geschätzt werden. (9B veranschaulicht ein Beispiel, in dem das Schätzergebnis B9 ein Ergebnis eines Platzes ist, an dem sich kein Werkstück befindet, jedoch die fehlerhafte Schätzung aufgrund von Rauschen oder dergleichen auftritt.) In diesem Fall wird ein Verfahren zum Einstellen einer geringen Zuverlässigkeit für die Orientierung betrachtet, für die die Auftrittswahrscheinlichkeit geringer als ein bestimmter Schwellenwert ist, wobei eine hohe Zuverlässigkeit für die Orientierung eingestellt wird, deren Auftrittswahrscheinlichkeit größer oder gleich dem bestimmten Schwellenwert ist. Dies beruht auf der Annahme, dem Schätzergebnis zu misstrauen (eine geringe Zuverlässigkeit dafür einzustellen), da die Orientierung mit einer kleinen Auftrittswahrscheinlichkeit selten auftreten sollte, und dem Ergebnis relativ zu trauen (eine hohe Zuverlässigkeit für das Ergebnis einzustellen), das als Orientierung geschätzt wurde, die leicht auftritt (eine Orientierung mit hoher Auftrittswahrscheinlichkeit). Im Fall von 9B beispielsweise wird zuerst die Auftrittswahrscheinlichkeit, die jeder geschätzten Orientierung P_B1 bis P_B9 entspricht, unter Bezugnahme auf die in 9B veranschaulichte Tabelle untersucht. Sind beispielsweise die Auftrittswahrscheinlichkeiten der geschätzten Orientierungen P_B8 und P_B9 geringer als der Schwellenwert, werden infolgedessen hohe Zuverlässigkeiten für die geschätzten Orientierungen P_B1 bis P_B7 und geringe Zuverlässigkeiten für die geschätzten Orientierungen P_B8 und P_B9 eingestellt. In diesem Fall ergibt sich für die Positionsorientierung eines Werkstücks im oberen linken Abschnitt im Bild in 9B keine Schätzung mit hoher Zuverlässigkeit. Somit wird das fehlerhafte Schätzergebnis daran gehindert, dass es in die Schätzergebnisse mit der hohen Zuverlässigkeit schlüpft. Das Verfahren arbeitet sehr effektiv, wenn es eine Vielzahl von Schätzergebnissen gibt, und ein Schätzergebnis, das wahrscheinlich die kleinstmögliche fehlerhafte Schätzung ist, auszuwählen ist (Einzelheiten eines derartigen Systems werden jedoch im zweiten Ausführungsbeispiel beschrieben). Außerdem wird auch im zweiten Fall eine Berechnung der Zuverlässigkeit unter Berücksichtigung nicht nur der Auftrittswahrscheinlichkeit sondern auch der Punktzahl, die beim Schätzen der Orientierung erhalten wird, auf die gleiche Weise wie im vorstehend beschriebenen ersten Fall betrachtet. Ein derartiges Verfahren soll Schätzergebnisse mit Punktzahlwerten, die in einer vorbestimmten Anzahl von Punktzahlwerten höherer Ordnung enthalten sein sollen, in absteigender Reihenfolge der Auftrittswahrscheinlichkeit eine hohe Zuverlässigkeit und den anderen Schätzergebnissen eine geringe Zuverlässigkeit geben. Außerdem soll dieses Verfahren für die Punktzahlwerte einen vorbestimmten Schwellenwert bereitstellen, den Schätzergebnissen mit den Punktzahlwerten, die den Schwellenwert überschreiten, in einer absteigenden Reihenfolge der Auftrittswahrscheinlichkeit eine hohe Zuverlässigkeit geben, und den anderen Schätzergebnissen eine geringe Zuverlässigkeit geben. Ferner kann die gewichtete Summe des Punktzahlwerts und der Auftrittswahrscheinlichkeit als Zuverlässigkeit auf die gleiche Weise wie im vorstehend beschriebenen ersten Fall angewendet werden.
Es wird auch ein Fall betrachtet, in dem eine oder mehrere Orientierungen als die Schätzergebnisse für jede einer Vielzahl von zu schätzenden Positionen ausgegeben werden, die Positionen im ersten Fall und zweiten Fall in Kombination enthalten. In einem derartigen Fall kann das Verfahren verwendet werden, bei dem das Verfahren der Berechnung der Zuverlässigkeit in dem ersten Fall mit dem Verfahren der Berechnung der Zuverlässigkeit in dem zweiten Fall kombiniert wird (obwohl dieser Fall im Detail im zweiten Ausführungsbeispiel beschrieben wird).
Wie vorstehend beschrieben berechnet die Zuverlässigkeitsberechnungseinheit 110 die Zuverlässigkeit, fügt die Zuverlässigkeit dem Orientierungsschätzergebnis hinzu und gibt das Schätzergebnis mit der hinzugefügten Zuverlässigkeit aus.
Als Nächstes wird der Arbeitsablauf der Bildverarbeitungsvorrichtung 100-1 gemäß diesem Ausführungsbeispiel beschrieben.
Zuerst erhält die Kamera 103 ein Bild, in dem die Werkstücke 101 aufgenommen wurden.
Danach schätzt die Werkstückzustandschätzeinheit 106 die Positionsorientierungen der Vielzahl der Werkstücke 101. Danach berechnet die Zuverlässigkeitsberechnungseinheit 110 die Zuverlässigkeit für die Positionsorientierungen der Vielzahl der Werkstücke 101, die durch die Werkstückzustandschätzeinheit 106 geschätzt wurden.
Die mit der Zuverlässigkeit versehenen Schätzergebnisse der Positionsorientierungen werden aus der Zuverlässigkeitsberechnungseinheit 110 ausgegeben.
Der vorstehende Ablauf ist der Arbeitsablauf der Bildverarbeitungsvorrichtung 100-1 gemäß diesem Ausführungsbeispiel.
Die Bildverarbeitungsvorrichtung gemäß diesem Ausführungsbeispiel berechnet die Zuverlässigkeit der Positionsorientierungen der Werkstücke 101 durch Vergleichen der Auftrittswahrscheinlichkeit mit dem Orientierungsschätzergebnis. Ist die Positionsorientierung, die als das Schätzergebnis der Positionsorientierung für ein bestimmtes Werkstück 101 erhalten wurde, beispielsweise eine Positionsorientierung mit einer geringen Auftrittswahrscheinlichkeit, bestimmt die Bildverarbeitungsvorrichtung, dass das Schätzergebnis der Positionsorientierung für das Werkstück 101 wahrscheinlich eine fehlerhafte Schätzung ist, und führt die Verarbeitung der Einstellung einer geringen Zuverlässigkeit für das Schätzergebnis durch. Ferner führt die Bildverarbeitungsvorrichtung die Verarbeitung des Einstellens einer höheren Zuverlässigkeit für das Schätzergebnis mit der hohen Auftrittswahrscheinlichkeit sowie der hohen Punktzahl unter Verwendung der Punktzahl (beispielsweise eines Korrelationswerts) durch, der vergeben wurde, wenn die Positionsorientierung des Werkstücks 101 geschätzt wurde. Diese Verarbeitung ergibt, dass dem Orientierungsschätzergebnis, das als Orientierung geschätzt wurde, die ursprünglich als häufig auftretend geschätzt wurde (eine Orientierung, die eine hohe Auftrittswahrscheinlichkeit hat), mehr vertraut wird. Das heißt, die Bildverarbeitungsvorrichtung liefert die Schätzergebnisse mit hoher Zuverlässigkeit durch Berechnung der Zuverlässigkeit der Orientierung unter Berücksichtigung eines Wissens, das bisher erhalten wurde (ob die Orientierung eine Orientierung ist, die leicht auftritt oder eine Orientierung ist, die selten auftritt), verglichen mit einer Operation der Verwendung des Punktzahlwerts, der beim Schätzen der Positionsorientierung des Werkstücks 101 als Zuverlässigkeit in dem Zustand erhalten wird, und ermöglicht, dass die fehlerhafte Schätzung daran gehindert wird, in die Schätzergebnisse mit der hohen Zuverlässigkeit zu schlüpfen.
(Zweites Ausführungsbeispiel)
Bei dem vorstehend beschriebenen ersten Ausführungsbeispiel wurde ein Beispiel beschrieben, in dem die Positionsorientierung des Werkstücks unter Verwendung der Bildverarbeitungsvorrichtung gemäß dem Ausführungsbeispiel der Erfindung geschätzt wurde. Bei dem zweiten Ausführungsbeispiel wird nachstehend ein Werkstückgreifsystem beschrieben, das das Schätzergebnis verwendet hat.
10 zeigt eine schematische Darstellung eines Beispiels eines schematischen Aufbaus eines Werkstückgreifsystems 1000-1 gemäß einem zweiten Ausführungsbeispiel der Erfindung. In 10 sind ähnliche Konfigurationen wie jene in 1 veranschaulichten mit denselben Bezugszeichen bezeichnet. Insbesondere bezeichnen in 10 die Bezugszeichen 101 bis 110 die gleichen Konfigurationen wie in 1, und auf ihre Beschreibung wird demnach verzichtet.
10 zeigt einen Roboterarm 111.
Eine Handeinrichtung 112 ist ein Endwirkglied des Roboterarms 111.
Der Roboterarm 111 und die Handeinrichtung 112 bilden eine Werkstückgreifeinheit, die die Vielzahl der auf dem Tablett 102 aufgeladenen Werkstücke 101 beruhend auf der Steuerung einer Robotersteuereinrichtung 114 sequenziell greift.
Eine Zielwerkstückauswahleinheit 113 ist gezeigt. Die Zielwerkstückauswahleinheit 113 bestimmt ein Werkstück (Zielwerkstück), das durch den Roboterarm 111 und die Handeinrichtung 112 dieses Mal gegriffen wird, beruhend auf den Informationen und der Zuverlässigkeit der Positionen und/oder Orientierungen jedes Werkstücks, die durch die Bildverarbeitungseinheit 104 geschätzt wurden. Die Zielwerkstückauswahleinheit 113 überträgt die Position und Orientierung des bestimmten Zielwerkstücks zu der Robotersteuereinrichtung 114. Ein Verfahren der Auswahl des zu greifenden Werkstücks soll das Werkstück auswählen, dem eine hohe Zuverlässigkeit gegeben wurde, als die Positionsorientierung durch die Bildverarbeitungseinheit 104 geschätzt wurde.
Die Robotersteuereinrichtung 114 ist gezeigt. Die Robotersteuereinrichtung 114 steuert den Roboterarm 111 und die Handeinrichtung 112 zum Greifen des Zielwerkstücks, das durch die Zielwerkstückauswahleinheit 113 aus der Vielzahl der auf dem Tablett 102 geladenen Werkstücke 101 ausgewählt wurde. Hier enthält die Robotersteuereinrichtung 114 allgemein einen Computer, jedoch ist der Aufbau bei diesem Ausführungsbeispiel nicht eingeschränkt.
Als Nächstes wird eine Verarbeitungsprozedur in dem Werkstückgreifsystem 1000-1 gemäß diesem Ausführungsbeispiel unter Bezugnahme auf 11 beschrieben.
11 zeigt ein Ablaufdiagramm eines Beispiels einer Verarbeitungsprozedur in dem Werkstückgreifsystem 1000-1 gemäß dem zweiten Ausführungsbeispiel der Erfindung. Nachstehend wird 11 beschrieben.
Zuerst fotografiert die Kamera 103 in Schritt S1101 das auf dem Tablett 102 geladene Werkstück 101 beruhend auf der Steuerung der Kamerasteuereinheit 105 und erhält ein Bild (Bilddaten), in dem die Werkstücke 101 aufgenommen sind. Dann erhält die Bildverarbeitungseinheit 104 (die Kamerasteuereinheit 105) das Bild (die Bilddaten) von der Kamera 103, in dem die Werkstücke 101 aufgenommen sind.
Danach schätzt die Werkstückzustandschätzeinheit 106 in Schritt S1102 die Positionsorientierungen der Vielzahl der Werkstücke 101 aus dem Bild (den Bilddaten), das in Schritt S1101 erhalten wurde.
Danach berechnet die Zuverlässigkeitsberechnungseinheit 110 in Schritt S1103 die Zuverlässigkeit für die geschätzte Positionsorientierung aus den Informationen über das Schätzergebnis der Positionsorientierung, das aus der Werkstückzustandsschätzeinheit 106 ausgegeben wird, und den Informationen über die Auftrittswahrscheinlichkeit, die in der Auftrittswahrscheinlichkeitsspeichereinheit 109 gespeichert sind.
Danach wählt die Zielwerkstückauswahleinheit 113 in Schritt S1104 ein Werkstück (Zielwerkstück), das dieses Mal zu greifen ist, aus der Vielzahl der Werkstücke geschätzter Positionsorientierungen 101 beruhend auf der in Schritt S1103 berechneten Zuverlässigkeit aus.
Danach teilt die Zielwerkstückauswahleinheit 113 in Schritt S1105 der Robotersteuereinrichtung 114 die Positionsorientierung bezüglich des in Schritt S1104 ausgewählten Zielwerkstücks mit.
Danach steuert die Robotersteuereinrichtung in Schritt S1106 den Roboterarm 111 und die Handeinrichtung 112 und führt die Verarbeitung des Greifens des Zielwerkstücks aus der Vielzahl der auf dem Tablett 102 geladenen Werkstücke 101 durch.
Danach bestimmt das Werkstückgreifsystem 1000-1 in Schritt S1107 (beispielsweise die Bildverarbeitungsvorrichtung oder die Robotersteuereinrichtung 114), ob ein Greifprozess zu beenden ist oder nicht. Diese Bestimmung wird beispielsweise beruhend auf einem Bestimmungsergebnis darüber durchgeführt, ob eine vorbestimmte Anzahl von Werkstücken gegriffen wurde oder nicht.
Wurde der Greifprozess als Ergebnis der Bestimmung in Schritt S1107 nicht beendet sondern fortgesetzt, geht die Prozedur zu der Verarbeitung in Schritt S1101 über.
Wurde der Greifprozess als Ergebnis der Bestimmung in Schritt S1107 andererseits beendet, ist die Verarbeitung in dem in 11 veranschaulichten Ablaufdiagramm beendet.
Im Übrigen kann die Zuverlässigkeit in Schritt S1103 in 11 wie im ersten Ausführungsbeispiel beschrieben berechnet werden, jedoch wird nachstehend eine Operation eines allgemeineren Falls beschrieben, in dem eine oder mehrere Orientierungen für jede einer Vielzahl der geschätzten Positionen als die Schätzergebnisse von der Werkstückzustandschätzeinheit ausgegeben werden.
12 zeigt eine schematische Darstellung des zweiten Ausführungsbeispiels der Erfindung, und veranschaulicht ein Beispiel des Schätzergebnisses durch eine Werkstückszustandschätzeinheit 106 in 10.
12 zeigt den Fall, in dem eine oder mehrere Orientierungen für jede von neun Positionen in dem Bild geschätzt werden. (12 veranschaulicht ein Beispiel, in dem das Schätzergebnis C17 ein Ergebnis eines Platzes ist, an dem sich kein Werkstück befindet, jedoch eine fehlerhafte Schätzung aufgrund von Rauschen oder dergleichen auftritt.) Bei diesem Ausführungsbeispiel wird die Positionsorientierung des Werkstücks für das Werkstückgreifsystem 1000-1 geschätzt, und demnach ist es wichtig, dass die Zielwerkstückauswahl 113 das Werkstück in Schritt S1104 in 11 auswählt, dessen geschätzte Positionsorientierung nicht fehlerhaft ist. Da die Zielwerkstückauswahleinheit 113 das Zielwerkstück beruhend auf der Zuverlässigkeit auswählt, wird es wichtig, dem Werkstück eine hohe Zuverlässigkeit in der Zuverlässigkeitsberechnungseinheit 110 zu geben, dessen geschätzte Positionsorientierung nicht fehlerhaft ist. In diesem Fall wird ein Verfahren betrachtet, das einen vorbestimmten Schwellenwert für die Punktzahlwerte bereitstellt, den Schätzergebnissen mit den Punktzahlwerten, die den Schwellenwert überschreiten, in absteigender Reihenfolge der Auftrittswahrscheinlichkeit eine hohe Zuverlässigkeit gibt, und den anderen Schätzergebnissen in der Zuverlässigkeitsberechnungseinheit 110 eine geringe Zuverlässigkeit gibt. Beispielsweise werden in 12 17 Typen (C1 bis C17) der Positionsorientierung insgesamt geschätzt, und die Schwellenwertverarbeitung wird bezüglich der Punktzahlwerte (S_C1 bis S_C17) der 17 Typen durchgeführt. Zu diesem Zeitpunkt wird angenommen, dass die Punktzahlwerte der Schätzergebnisse von C1, C5, C6, C15 und C16 den Schwellenwert überschreiten (was in der Figur durch einen Pfeil angezeigt ist). Dann untersucht die Zuverlässigkeitsberechnungseinheit 110 deren Auftrittswahrscheinlichkeiten und gibt den Schätzergebnissen in absteigender Reihenfolge der Auftrittswahrscheinlichkeit eine hohe Zuverlässigkeit.
In diesem Fall sind das Größenverhältnis des Punktzahlwertes und das Größenverhältnis der Zuverlässigkeit gelegentlich untereinander verkehrt. Dies beruht auf der folgenden Denkweise.
Zuerst wird berücksichtigt, dass ein Schätzergebnis mit einem hohen Punktzahlwert bis zu einem gewissen Ausmaß (Schätzergebnis, dessen Punktzahlwert die Schwellenwertverarbeitung durchlaufen hat) deutlich zuverlässig ist. Da aber die Schätzung für das Werkstückgreifsystem 1000-1 durchgeführt wird, soll die Zuverlässigkeitsberechnungseinheit das Schätzergebnis, das ganz sicher keine fehlerhafte Schätzung ist, unter den Schätzergebnissen auswählen, die jeweils mit einem gewissen Ausmaß einen hohen Punktzahlwert haben. In diesem Fall ist die Auswahl eines Schätzergebnisses der Orientierung sicher, die ursprünglich als Orientierung geschätzt wurde, die wahrscheinlich häufig auftritt (eine Orientierung mit hoher Auftrittswahrscheinlichkeit). Das heißt, vorstehend wird angenommen, dass die fehlerhafte Schätzung wohl weniger wahrscheinlich ist, wenn das Schätzergebnis mit sowohl einem höheren Punktzahlwert als auch einer höheren Auftrittswahrscheinlichkeit (als ein vorbestimmter Schwellenwert) ausgewählt wird, als wenn das Schätzergebnis mit einem höheren Punktzahlwert (als ein vorbestimmten Schwellenwert) aber einer geringeren Auftrittswahrscheinlichkeit (als ein vorbestimmter Schwellenwert) ausgewählt wird.
(Drittes Ausführungsbeispiel)
In den vorstehend beschriebenen ersten und zweiten Ausführungsbeispielen ist das Werkstück 101 in unregelmäßigem Zustand auf dem Tablett 102 geladen, und es wurde ein Fall angenommen, dass die Werkstücke nicht übereinander liegen. Im dritten Ausführungsbeispiel wird ein Fall beschrieben, in dem Positionsorientierungen für die Werkstücke geschätzt werden, die sozusagen en gros geladen sind, wobei die Werkstücke übereinander liegen (in dem Zustand, in dem eine Vielzahl von Werkstücken unregelmäßig in gestapeltem Zustand platziert sind). Im Übrigen werden in der folgenden Beschreibung des dritten Ausführungsbeispiels hauptsächlich die Punkte beschrieben, die sich von dem ersten und dem zweiten Ausführungsbeispiel unterscheiden.
Im dritten Ausführungsbeispiel unterscheidet sich ein Verfahren der Berechnung der Auftrittswahrscheinlichkeit, die in einer Auftrittswahrscheinlichkeitsspeichereinheit gespeichert ist, von dem im ersten Ausführungsbeispiel. Bei diesem Ausführungsbeispiel wird angenommen, dass die Werkstücke 101 übereinander liegen, und demnach wird Schritt S708 in der Verarbeitungsprozedur in 7 weggelassen. Insbesondere wird in Schritt S707 in 7 bestimmt, ob die Anzahl der Versuche eine vorbestimmte Anzahl erreicht hat oder nicht. Hat die Anzahl der Versuche die vorbestimmte Anzahl nicht erreicht, wechselt die Prozedur zu der Verarbeitung in Schritt S702, und der Versuch wird wiederholt. Zu diesem Zeitpunkt wird das Werkstück 101, das zuvor auf das Tablett 102 in Schritt S703 fallengelassen wurde, nicht entfernt. Hat die Anzahl der Versuche die vorbestimmte Anzahl als Ergebnis der Bestimmung in Schritt S707 in 7 erreicht, geht die Verarbeitung zu Schritt S709 über. Dann normalisiert die Bildverarbeitungseinheit 104 beispielsweise das erhaltene Orientierungshistogramm (teilt den Häufigkeitswert in jedem Bin durch die Anzahl der Versuche) zum Erhalten der Auftrittswahrscheinlichkeit. Aufgrund dieser Verarbeitungsprozedur werden die Werkstücke 101 allmählich en gros geladen, und demnach können die Auftrittswahrscheinlichkeiten der Werkstücke in einem Zustand, in dem sie en gros geladen sind, berechnet werden. Unter Verwendung einer so erhaltenen Auftrittswahrscheinlichkeit kann die Zuverlässigkeit gemäß der Erfindung auch für die Werkstücke 101 berechnet werden, die in einem Zustand en gros geladen sind.
Es kann auch ein Verfahren der Berechnung der Auftrittswahrscheinlichkeit für jede Anzahl von Werkstücken, die en gros geladen sind (eine Anzahl von Werkstücken 101, die eine Menge bilden), verwendet werden. Das Verfahren umfasst die Verarbeitung unter der Annahme der maximalen Anzahl der Werkstücke 101, die die Menge bilden, und der Berechnung der Auftrittswahrscheinlichkeit für jedes der Werkstücke in den Zuständen, in denen sie en gros geladen sind, die die Werkstücke 101 der maximalen Anzahl oder weniger enthalten. Wird beispielsweise angenommen, dass die maximale Anzahl der Anzahl der Werkstücke 101, die die Menge bilden, 30 Stück beträgt, berechnet das Verfahren die jeweils Auftrittswahrscheinlichkeit für die Menge, die ein Werkstück enthält, die Auftrittswahrscheinlichkeit für die Menge, die zwei Werkstücke enthält, ..., und die Auftrittswahrscheinlichkeit für die Menge, die 30 Werkstücke enthält. Das heißt, es werden 30 Typen von Auftrittswahrscheinlichkeiten berechnet.
Das Werkstückgreifsystem wie vorstehend beschrieben, das die Auftrittswahrscheinlichkeit verwendet, die für jede Anzahl an Werkstücken berechnet ist, die en gros geladen sind, wird nachstehend unter Bezugnahme auf 13 beschrieben.
13 zeigt eine schematische Darstellung eines Beispiels eines schematischen Aufbaus eines Werkstückgreifsystems 1000-2 gemäß dem dritten Ausführungsbeispiel der Erfindung. In 13 sind ähnliche Konfigurationen wie jene in 10 veranschaulichten mit denselben Bezugszeichen bezeichnet. Insbesondere bezeichnen in 13 die Bezugszeichen 101 bis 103, 105 bis 108 und 111 bis 114 dieselben Konfigurationen wie in 10, weshalb auf ihre Beschreibung verzichtet wird.
13 zeigt eine Bildverarbeitungseinheit 1301. Wie in 13 gezeigt, enthält die Bildverarbeitungseinheit 1301 die Kamerasteuereinheit 105, die Werkstückzustandschätzeinheit 106, eine Auftrittswahrscheinlichkeitsspeichereinheit 1302 und eine Zuverlässigkeitsberechnungseinheit 1303.
Die Auftrittswahrscheinlichkeitsspeichereinheit 1302 ist gezeigt, die sich von der Auftrittswahrscheinlichkeitsspeichereinheit 109 in dem Werkstückgreifsystem 1000-1 gemäß dem zweiten Ausführungsbeispiel lediglich in der Anzahl der in der Einheit gespeicherten Auftrittswahrscheinlichkeiten unterscheidet. Insbesondere ist die Auftrittswahrscheinlichkeitsspeichereinheit 109 (1 und 10) in dem ersten und zweiten Ausführungsbeispiel eine Einheit, die darin eine Auftrittswahrscheinlichkeit speichert, jedoch soll die Auftrittswahrscheinlichkeitsspeichereinheit 1302 gemäß diesem Ausführungsbeispiel die Auftrittswahrscheinlichkeiten der maximalen Anzahl der Werkstücke 101 darin speichern (beispielsweise 30 Stücke), die die Menge bilden.
Die Zuverlässigkeitsberechnungseinheit 1303 ist gezeigt. Eine Anfangszahl von en gros geladenen Werkstücken, die zeigt, wie viele Werkstücke auf dem Tablett 102 en gros geladen sind, wird in der Zuverlässigkeitsberechnungseinheit 1303 eingestellt, wenn ein Werkstückgreifvorgang beginnt. Die Zuverlässigkeitsberechnungseinheit 1303 berechnet die Zuverlässigkeit unter Verwendung der Auftrittswahrscheinlichkeit, die der Anzahl der Werkstücke bei der Berechnung der Zuverlässigkeit entspricht, die die vorliegende Menge bilden. Beträgt die Anfangszahl der en gros geladenen Werkstücke beispielsweise 30 Stück, berechnet die Zuverlässigkeitsberechnungseinheit 1303 bei der ersten Berechnungsverarbeitung für die Zuverlässigkeit die Zuverlässigkeit unter Verwendung der Auftrittswahrscheinlichkeit für die Menge, die 30 Werkstücke enthält. In der folgenden Berechnungsverarbeitung für die Zuverlässigkeit berechnet die Zuverlässigkeitsberechnungseinheit 1303 die Zuverlässigkeit unter Verwendung der Auftrittswahrscheinlichkeit für die Menge, die 29 Werkstücke enthält, da ein Stück aus den 30 Stück in der Menge herausgegriffen wurde. Somit berechnet die Zuverlässigkeitsberechnungseinheit 1303 die Zuverlässigkeit.
Außerdem kann auch ein Verfahren vorgesehen werden, das den Erfolg/das Fehlschlagen des Greifens in der Robotersteuereinrichtung 114 bestimmt, obwohl die Einrichtung in 13 nicht gezeigt ist, und die vorliegende Anzahl von en gros geladenen Werkstücken durch Zurückführen der Informationen zu der Zuverlässigkeitsberechnungseinheit 1303 berechnet.
In dem in 13 veranschaulichten Werkstückgreifsystem 1000-2 kann die Auftrittswahrscheinlichkeit verwendet werden, die einem Zustand von en gros geladenen Werkstücken entspricht, und die Zuverlässigkeit kann zuverlässiger berechnet werden. Wenn ein Vorgang des Greifens der Werkstücke 101 fortschreitet und die Anzahl der Werkstücke 101 auf dem Tablett 102 klein wird, wird insbesondere vorweggenommen, dass die Werkstücke 101 einander auch mit einer geringeren Häufigkeit überlagern, und dass die Auftrittswahrscheinlichkeit der Auftrittswahrscheinlichkeit nahe kommt, die in dem ersten und dem zweiten Ausführungsbeispiel berechnet wird. Dagegen befinden sich die Werkstücke 101 kurz nach Beginn des Vorgangs des Greifens der Werkstücke in einem Zustand, in dem sie en gros geladen sind, und überlagern einander mit hoher Häufigkeit. Demnach wird vorweggenommen, dass die Auftrittswahrscheinlichkeit von der in dem ersten und zweiten Ausführungsbeispiel berechneten Auftrittswahrscheinlichkeit sehr verschieden ist. So wird voll in Betracht gezogen, dass sich der Zustand der Auftrittswahrscheinlichkeit entsprechend einem Zustand der en gros geladenen Werkstücke verändert, und die Verwendung der Auftrittswahrscheinlichkeit demnach wirksam ist, die dem Zustand der en gros geladenen Werkstücke entspricht.
Nachstehend wird eine Berechnungsverarbeitungsprozedur für die Auftrittswahrscheinlichkeit bei diesem Ausführungsbeispiel unter Bezugnahme auf 14 beschrieben.
14 zeigt ein Ablaufdiagramm des dritten Ausführungsbeispiels der Erfindung und veranschaulicht ein Beispiel der Berechnungsverarbeitungsprozedur für die Auftrittswahrscheinlichkeit. 14 wird nachstehend beschrieben.
Zuerst initialisiert in Schritt S1401 beispielsweise eine Bildverarbeitungseinheit 1301 die Anzahl der Versuche zu „0” und initialisiert gleichzeitig den Wert jedes Bin in dem Orientierungshistogramm zu „0”, der für jede Anzahl der en gros geladenen Werkstücke vorbereitet ist.
Danach initialisiert beispielsweise die Bildverarbeitungseinheit 1301 in Schritt S1402 einen Zählwert zu „0”, der die Anzahl der en gros geladenen Werkstücke zeigt.
Danach wählt (bestimmt) beispielsweise die Bildverarbeitungseinheit 1301 in Schritt S1401 die Orientierung zufällig unter Verwendung einer Zufallszahl.
Danach wird in Schritt S1404 das Werkstück 101, das die in Schritt S1403 ausgewählte Orientierung hat, in Richtung des Tabletts 102 aus einer vorbestimmten Höhe fallengelassen.
Hat die Bewegung des auf das Tablett 102 fallen gelassenen Werkstücks 101 aufgehört, wird danach in einem Schritt S1405 die Orientierung des Werkstücks 101 gemessen. Diese Orientierung kann visuell durch einen Menschen gemessen werden. Alternativ dazu kann ein Messverfahren angewendet werden, das die Werkstückzustanderkennungsverarbeitungseinheit 108 verwendet, die im ersten Ausführungsbeispiel beschrieben wird, und beispielsweise eine Orientierung als die Orientierung bestimmt, deren Punktzahl als höchste geschätzt wird.
Nach Beenden der Messung der Orientierung führt beispielsweise die Bildverarbeitungseinheit 1301 danach in Schritt S1406 die Verarbeitung des Hinzufügens von „1” zu einem Häufigkeitswert in dem Bin durch, der für die Orientierung des Messergebnisses eingestellt ist, der als Bin in dem Orientierungshistogramm betrachtet wird, der einem Zählwert entspricht, der die vorliegende Anzahl der en gros geladenen Werkstücke zeigt.
Danach führt beispielsweise die Bildverarbeitungseinheit 1301 in Schritt S1407 die Verarbeitung des Hinzufügens von „1” zu dem Zählwert durch, der die Anzahl der en gros geladenen Werkstücke zeigt.
Danach bestimmt beispielsweise die Bildverarbeitungseinheit 1301 in Schritt S1408, ob der Zählwert, der die Anzahl der en gros geladenen Werkstücke zeigt, einen vorbestimmten Wert erreicht hat oder nicht.
Hat der Zählwert, der die Anzahl der en gros geladenen Werkstücke zeigt, den vorbestimmten Wert als Ergebnis der Bestimmung in Schritt S1408 nicht erreicht, geht die Prozedur zu der Verarbeitung des Schritts S1403 über, und die Verarbeitung wird wiederholt.
Hat der Zählwert, der die Anzahl der en gros geladenen Werkstücke zeigt, als Ergebnis der Bestimmung in Schritt S1408 andererseits den vorbestimmten Wert erreicht, geht die Verarbeitung zu Schritt S1409 über.
Wenn die Verarbeitung zu Schritt S1409 übergeht, führt beispielsweise die Bildverarbeitungseinheit 1301 die Verarbeitung des Hinzufügens von „1” zu der Anzahl der Versuche durch.
Danach bestimmt beispielsweise die Bildverarbeitungseinheit 1301 in Schritt S1410, ob die Anzahl der Versuche eine vorbestimmte Anzahl erreicht hat oder nicht.
Hat die Anzahl der Versuche als Ergebnis der Bestimmung in Schritt S1410 die vorbestimmte Anzahl nicht erreicht, geht die Prozedur zu der Verarbeitung des Schritts S1402 über, und die Verarbeitung wird wiederholt.
Hat die Anzahl der Versuche als Ergebnis der Bestimmung in Schritt S1410 andererseits die vorbestimmte Anzahl erreicht, geht die Verarbeitung zu Schritt S1411 über.
Wenn die Verarbeitung zu Schritt S1411 übergeht, normalisiert beispielsweise die Bildverarbeitungseinheit 1301 jedes der erhaltenen Orientierungshistogramme (teilt den Häufigkeitswert in jedem Bin durch die Anzahl der Versuche) zum Erhalten der Auftrittswahrscheinlichkeit.
Die Auftrittswahrscheinlichkeit, die gemäß der vorstehend beschriebenen Prozedur der Verarbeitung in den Schritten S1401 bis S1411 in 14 erhalten wurde, wird zuvor in der Auftrittswahrscheinlichkeitsspeichereinheit 1302 gespeichert.
(Viertes Ausführungsbeispiel)
In den vorstehend beschriebenen ersten bis dritten Ausführungsbeispielen wird das in 7 oder 14 veranschaulichte Verfahren als Verfahren der Berechnung der Auftrittswahrscheinlichkeit zur Speicherung in der Auftrittswahrscheinlichkeitsspeichereinheit (109 in 1 und 10 und 1302 in 13) gezeigt, jedoch ist das Verfahren der Berechnung der in vorliegender Erfindung zu verwendenden Auftrittswahrscheinlichkeit nicht auf dieses Verfahren beschränkt. Ein Verfahren der Berechnung der Auftrittswahrscheinlichkeit unter Verwendung einer Simulation kann angewendet werden, was in diesem Ausführungsbeispiel gezeigt wird. Das heißt, in den ersten bis dritten Ausführungsbeispielen wurde die Auftrittswahrscheinlichkeit durch die Wiederholung tatsächlicher Versuche berechnet, jedoch zeigt vorliegendes Ausführungsbeispiel ein Beispiel des Falls, in dem die Auftrittswahrscheinlichkeit durch die Simulation einer virtuellen Durchführung von Versuchen unter Verwendung eines dreidimensionalen geometrischen Modells des Werkstücks 101 berechnet wird.
Die Prozedur der Berechnungsverarbeitung für die Auftrittswahrscheinlichkeit unterscheidet sich lediglich in einem tatsächlichen Versuch oder einem virtuellen Versuch, und demnach kann die Auftrittswahrscheinlichkeit mit derselben Verarbeitungsprozedur wie in 7 oder 14 berechnet werden. Allerdings wird in diesem Ausführungsbeispiel das Werkstück in der Simulation fallengelassen, und demnach werden die Bewegung des Werkstücks 101 nach dem Fallengelassenwerden und selbst die Positionsorientierung des Werkstücks 101, das sich zu bewegen aufgehört hat, danach in der Simulation klar. Demnach besteht ein Vorteil darin, dass der Versuch in der Simulation die Auftrittswahrscheinlichkeit effektiver als der Versuch unter Verwendung des tatsächlichen Werkstücks 101 berechnen kann.
(Fünftes Ausführungsbeispiel)
Bei den vorstehend beschriebenen ersten bis vierten Ausführungsbeispielen wird ein Verfahren zur Berechnung der Auftrittswahrscheinlichkeit zur Speicherung in der Auftrittswahrscheinlichkeitsspeichereinheit (109 in 1 und 10, und 1302 in 13) zuvor angewendet, jedoch ist das Verfahren der Berechnung der in vorliegender Erfindung zu verwendenden Auftrittswahrscheinlichkeit nicht auf das vorstehende Verfahren beschränkt. Das Verfahren kann eine Aktualisierung der Auftrittswahrscheinlichkeit immer dann enthalten, wenn die Positionsorientierung des Werkstücks 101 erkannt wurde, was in vorliegendem Ausführungsbeispiel gezeigt wird.
Bei diesem Ausführungsbeispiel wird ein Beispiel des Verfahrens unter Bezugnahme auf 15 gezeigt, das eine Prozedur einer Aktualisierung der Auftrittswahrscheinlichkeit in der im ersten Ausführungsbeispiel veranschaulichten Bildverarbeitungsvorrichtung 100-1 (1) enthält.
15 zeigt eine schematische Darstellung eines Beispiels eines schematischen Aufbaus einer Bildverarbeitungsvorrichtung 100-2 gemäß einem fünften Ausführungsbeispiel der Erfindung. In 15 sind ähnliche Konfigurationen wie jene in 1 gezeigten mit denselben Bezugszeichen versehen. Insbesondere bezeichnen die Bezugszeichen 101 bis 103, 105 bis 108 und 110 dieselben Konfigurationen wie in 1, und demnach wird auf ihre Beschreibung verzichtet.
15 zeigt eine Bildverarbeitungseinheit 1501. Wie in 15 gezeigt, enthält die Bildverarbeitungseinheit 1501 die Kamerasteuereinheit 105, die Werkstückzustandschätzungseinheit 106, eine Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502 und eine Auftrittswahrscheinlichkeitsspeichereinheit 1503 und die Zuverlässigkeitsberechnungseinheit 110.
Die Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502 ist gezeigt. Immer wenn die Werkstückzustandschätzeinheit 106 die Positionsorientierung des Werkstücks 101 schätzt, empfängt die Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502 die Schätzergebnisse, aktualisiert die Auftrittswahrscheinlichkeit und stellt die aktualisierte Auftrittswahrscheinlichkeit in der Auftrittswahrscheinlichkeitsspeichereinheit 1503 ein.
Die Auftrittswahrscheinlichkeitsspeichereinheit 1503 ist gezeigt. Die Auftrittswahrscheinlichkeitsspeichereinheit (109 in 1 und 10, und 1302 in 13) in den ersten bis vierten Ausführungsbeispielen ist eine Einheit, die die zuvor berechnete Auftrittswahrscheinlichkeit darin speichert, jedoch ist die Auftrittswahrscheinlichkeitsspeichereinheit 1503 bei diesem Ausführungsbeispiel derart aufgebaut, dass sie die von der Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502 zu sendende Auftrittswahrscheinlichkeit zu jeder Zeit einstellen kann.
Als Nächstes wird eine Aktualisierungsverarbeitungsprozedur für die Auftrittswahrscheinlichkeit durch die Auftrittswahrscheinlichkeitsspeichereinheit 1503 und die Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502 beschrieben.
Zuerst wird im Anfangszustand (vor Beginn einer Erkennungsverarbeitung für die Positionsorientierung des Werkstücks 101) die zuvor berechnete Auftrittswahrscheinlichkeit (die als „Anfangsauftrittswahrscheinlichkeit” bezeichnet wird) in der Auftrittswahrscheinlichkeitsspeichereinheit 1503 wie bei den vorstehenden Ausführungsbeispielen gespeichert. Gleichermaßen werden im Anfangszustand ein Orientierungshistogramm (eine Tabelle eines Häufigkeitswerts für jede Orientierung), das bei Berechnung der Anfangsauftrittswahrscheinlichkeit erzeugt wird, und die Anzahl der Versuche zu diesem Zeitpunkt in der Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502 gespeichert.
Wenn die Schätzverarbeitung für die Positionsorientierung des Werkstücks 101 danach in der Werkstückszustandschätzeinheit 106 beginnt, überträgt die Werkstückzustandschätzeinheit 106 das geschätzte Schätzergebnis zu der Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502. Die Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502 empfängt das Schätzergebnis und führt die Verarbeitung des Addierens von „1” zu dem Häufigkeitswert in dem Bin, der für die Orientierung eingestellt ist, und des Addierens von „1” auch zu der Anzahl der Versuche durch. Die Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502 erhält auch eine neue Auftrittswahrscheinlichkeit durch Normalisieren des erhaltenen Orientierungshistogramms (Teilen des Häufigkeitswerts in jedem Bin durch die Anzahl der Versuche) und stellt die Auftrittswahrscheinlichkeit in der Auftrittswahrscheinlichkeitsspeichereinheit 1503 ein. Obwohl das durch die Werkstückzustandschätzeinheit 106 geschätzte Schätzergebnis die korrekte Positionsorientierung gezeigt hat oder eine fehlerhafte Positionsorientierung gezeigt hat, wird in diesem Fall die Auftrittswahrscheinlichkeit aktualisiert. Könnte durch eine Einheit (beispielsweise durch visuelle Überprüfung durch einen Menschen) bestimmt werden, ob das Schätzergebnis korrekt oder fehlerhaft war, kann die Auftrittswahrscheinlichkeit lediglich dann aktualisiert werden, wenn die korrekte Positionsorientierung geschätzt wurde. Immer wenn die Werkstückzustandschätzeinheit 106 danach die Positionsorientierung des Werkstücks 101 schätzt, wiederholt die Auftrittswahrscheinlichkeitsaktualisierungseinheit die vorstehend beschriebene Verarbeitung und aktualisiert die Auftrittswahrscheinlichkeit.
Somit aktualisiert die Auftrittswahrscheinlichkeitsaktualisierungseinheit 1502 die Auftrittswahrscheinlichkeit, während die Positionsorientierung des Werkstücks 101 geschätzt wird, und dadurch kann die Bildverarbeitungseinheit 1501 die Auftrittswahrscheinlichkeit nahe an die bringen, die die tatsächliche Umgebung widerspiegelt (den Zustand der en gros geladenen Werkstücke 101 oder dergleichen), und kann die Zuverlässigkeit berechnen, die die echte Umgebung genauer nähert. Dieses Verfahren ist effektiv, wenn die Umgebung, in der die Anfangsauftrittswahrscheinlichkeit berechnet wird, sich von der Umgebung unterscheidet, in der die Positionsorientierung des Werkstücks 101 tatsächlich geschätzt wird. Das Verfahren ist beispielsweise dann effektiv, wenn sich Größe und Form des Tabletts 102 zwischen der Umgebung bei Berechnung der Anfangsauftrittswahrscheinlichkeit und einer tatsächlichen Umgebung unterscheiden, oder wenn der Zustand der en gros geladenen Werkstücke sich aufgrund des Unterschieds zwischen Verfahren ändert, mit dem die Werkstücke 101 dem Tablett 102 zugeführt werden.
Ferner kann die Auftrittswahrscheinlichkeit in der Form eines Addierens eines Gewichts aktualisiert werden, wenn die Auftrittswahrscheinlichkeit wie in vorliegendem Ausführungsbeispiel aktualisiert wird. Im vorstehenden Beispiel wird eine derartige Verarbeitung durch Addieren von „1” zu jedem Häufigkeitswert und zu der Anzahl der Versuche durchgeführt, immer wenn die Werkstückzustandschätzeinheit 106 die Positionsorientierung des Werkstücks 101 schätzt, jedoch kann die Auftrittswahrscheinlichkeit in einer Form des Addierens des Gewichts durch Ändern des Additionswerts aktualisiert werden. Wird beispielsweise „2” jeweils zu dem Häufigkeitswert und der Anzahl der Versuche addiert, kann die Auftrittswahrscheinlichkeit schneller an die herangebracht werden, die die tatsächliche Umgebung widerspiegelt.
Außerdem kann die Berechnung der Anfangsauftrittswahrscheinlichkeit auch wegelassen werden, die ursprünglich zuerst durchgeführt werden sollte, indem in diesem Ausführungsbeispiel die Aktualisierungsfunktion für die Auftrittswahrscheinlichkeit verwendet wird. In diesem Fall soll während der Schätzung der Positionsorientierung des Werkstücks 101 unter der tatsächlichen Umgebung die Auftrittswahrscheinlichkeit unter Verwendung des Schätzergebnisses berechnet werden. Daher wird angenommen, dass keine zuverlässigen Auftrittswahrscheinlichkeiten berechnet werden, wenn die Positionsorientierungen der ersten Stücke der Werkstücke 101 geschätzt wurden, jedoch kann während dieser Zeit eine gleichmäßige Auftrittswahrscheinlichkeit für jede Orientierung eingestellt werden.
(Weitere Ausführungsbeispiele)
In den bisher beschriebenen Ausführungsbeispielen wurden die Fälle hauptsächlich für die Auftrittswahrscheinlichkeit beschrieben, die die Orientierung des Werkstücks 101 betrifft, jedoch ist die in dieser Erfindung zu verwendende Auftrittswahrscheinlichkeit nicht auf die die Orientierung des Werkstücks 101 betreffende Auftrittswahrscheinlichkeit beschränkt. Es kann beispielsweise die die Position des Werkstücks 101 betreffende Auftrittswahrscheinlichkeit verwendet werden. Ferner kann die Auftrittswahrscheinlichkeit verwendet werden, die sowohl von der Position als auch von der Orientierung abhängt.
Sind die Werkstücke 101 beispielsweise in vielen Fällen in der Nähe des Mittelpunkts des Tabletts 102 und nicht oft um den Rand angeordnet, befinden sich die Werkstücke in vielen Fällen in der Nähe des Mittelpunkts des fotografierten Bildes, und demnach ist die Berechnung der Zuverlässigkeit unter Verwendung der die Position betreffenden Auftrittswahrscheinlichkeit effektiv. Sind die Werkstücke außerdem en gros geladen, und gibt es einen Unterschied zwischen der Orientierung, der leicht in der Nähe des Mittelpunkts der Menge auftritt, und der Orientierung, die leicht am Rand der Menge auftritt, ändert sich die Auftrittshäufigkeit der Orientierung entsprechend der Position im fotografierten Bild. Demnach ist die Berechnung der Zuverlässigkeit unter Verwendung der die Position und die Orientierung betreffenden Auftrittswahrscheinlichkeit effektiv.
Ferner sind in den bisher beschriebenen Ausführungsbeispielen die Fälle gezeigt, in denen die durch die Werkstückzustanderkennungsverarbeitungseinheit 108 zu schätzenden Positionen der Werkstücke 101 zweidimensional sind, jedoch ist die Aufgabe der Erfindung nicht auf die zweidimensionale Position beschränkt. Beispielsweise kann eine dreidimensionale Position der Werkstücke 101 geschätzt werden. In diesem Fall kann eine Auftrittswahrscheinlichkeit verwendet werden, die auch von einer Tiefenrichtung der Position abhängt. Außerdem kann in diesem Fall bei Bedarf eine Kamera als die Kamera 103 verwendet werden, die auch Entfernungsinformationen erhalten kann.
Außerdem ist in den bisher beschriebenen Ausführungsbeispielen der Fall einer Korrelationsverarbeitung unter Verwendung einer für jede Orientierung bereitgestellten Maske als Verfahren der Schätzung der Positionsorientierung in der Werkstückzustanderkennungsverarbeitungseinheit 108 gezeigt, jedoch ist die Aufgabe der Erfindung nicht auf den vorstehenden Fall beschränkt. Beispielsweise kann ein Verfahren zur Schätzung der Position und der Orientierung durch Durchführung des Orientierungsschätzverfahrens unter Verwendung eines Entscheidungsbaums unter Verschiebung der Position in dem Bild verwendet werden.
Außerdem kann die Geschwindigkeit der Bildverarbeitung zur Schätzung der Positionsorientierung in der Werkstückzustanderkennungsverarbeitungseinheit 108 durch Löschen einer Maske aus den Wörterbuchdaten erhöht werden, die der Orientierung entspricht, für die eine kleinere Wahrscheinlichkeit als die bestimmte Wahrscheinlichkeit beim Berechnen der Auftrittswahrscheinlichkeit bestimmt wurde. Ferner kann die Geschwindigkeit der Bildverarbeitung zur Schätzung der Positionsorientierung in der Werkstückzustanderkennungsverarbeitungseinheit 108 durch Ausschließen einer Position, für die eine kleinere Wahrscheinlichkeit als die vorbestimmte Wahrscheinlichkeit (der vorbestimmte Schwellenwert) bestimmt wurde, von dem abzutastenden Objekt erhöht werden.
Außerdem ist in den bisher beschriebenen Ausführungsbeispielen die Bildverarbeitungseinheit (104 in 1 und 10, 1301 in 13 und 1501 in 15) allgemein aus einem Computer aufgebaut, die Erfindung ist aber nicht auf diesen Aufbau beschränkt. Die Bildverarbeitungseinheit kann außerdem mit der Robotersteuereinrichtung 114 integral vorgesehen sein.
Die Erfindung wird auch durch die Durchführung der folgenden Verarbeitung erzielt.
Insbesondere ist die Verarbeitung eine, bei der Software (ein Programm), die die Funktion des vorstehend beschriebenen Ausführungsbeispiels erzielt, einem System oder einer Vorrichtung über ein Netzwerk oder verschiedene Speichermedien zugeführt wird, und ein Computer (oder CPU, MPU oder dergleichen) des Systems oder der Vorrichtung das Programm liest und ausführt. Dieses Programm und ein computerlesbares Aufzeichnungsmedium (Speichermedium), das das Programm darauf aufgezeichnet hat, sind in der Erfindung umfasst.
Außerdem zeigen die vorstehend beschriebenen Ausführungsbeispiele der Erfindung lediglich Beispiele der Ausführungsbeispiele zur Ausführung der Erfindung, und der technische Schutzumfang der Erfindung darf nicht durch die Beispiele restriktiv interpretiert werden. Das heißt, die Erfindung kann in verschiedenen Formen in dem Ausmaß ausgeführt werden, das nicht von der technischen Idee oder dem Hauptmerkmal abweicht.
Die Erfindung kann einen Aufbau bereitstellen, der die fehlerhafte Schätzung beim Schätzen des Zustands des Werkstücks verringert.
Insbesondere ermöglicht die Erfindung eine Verringerung einer fehlerhaften Schätzung für den Zustand des Werkstücks durch vorherige Berechnung der Auftrittswahrscheinlichkeit, die jedem Zustand (jeder Positionsorientierung oder dergleichen) des Werkstücks entspricht, und Verwenden der Auftrittswahrscheinlichkeit. Insbesondere umfasst das Verfahren zur Berechnung der Zuverlässigkeit für den geschätzten Zustand des Werkstücks in vorliegender Erfindung ein vorab Berechnen der Auftrittswahrscheinlichkeit, die statistisch zeigt, wie oft der Zustand dazu tendiert, für jeden Zustand des Werkstücks erzeugt zu werden, Speichern der Auftrittswahrscheinlichkeiten, die mit jedem Zustand des Werkstücks assoziiert wurden, dann Fotografieren der Werkstücke, die in einem vorbestimmten Zustand platziert wurden, Schätzen des Zustands des Werkstücks aus dem fotografierten Bild und Überprüfen des als Ergebnis der Schätzung erhaltenen Zustands des Werkstücks mit der vorab gespeicherten Auftrittswahrscheinlichkeit. Zeigt der als Ergebnis der Schätzung erhaltene Zustand des Werkstücks beispielsweise eine geringe Auftrittswahrscheinlichkeit, gibt es eine hohe Wahrscheinlichkeit, dass die Schätzung für den Zustand des Werkstücks eine fehlerhafte Schätzung ist, und dementsprechend wird die Zuverlässigkeit für die Schätzung gering.
Die Ausführungsbeispiele der Erfindung können auch durch einen Computer eines Systems oder einer Vorrichtung, der auf einem Speichermedium (beispielsweise einem nichtflüchtigen computerlesbaren Speichermedium) aufgezeichnete computerausführbare Anweisungen zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele der Erfindung liest und ausführt, und durch ein durch den Computer des Systems oder der Vorrichtung durchgeführtes Verfahren beispielsweise durch Auslesen und Ausführen der computerlesbaren Anweisungen aus dem Speichermedium zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele realisiert werden. Der Computer kann eine oder mehrere der folgenden Einheiten umfassen: eine Zentralverarbeitungseinheit (CPU), eine Mikroverarbeitungseinheit (MPU) oder eine andere Schaltung, und kann ein Netzwerk separater Computer oder separater Computerprozessoren enthalten. Die Computer ausführbaren Anweisungen können dem Computer beispielsweise von einem Netzwerk oder dem Speichermedium zugeführt werden. Das Speichermedium kann beispielsweise eine oder mehrere der folgenden Einheiten enthalten: eine Festplatte, einen Speicher mit wahlfreiem Zugriff (RAM), einen Nur-Lese-Speicher (ROM), einen Speicher verteilter Computersysteme, eine optische Platte (wie eine Compact-Disk (CD), eine Digital Versatile Disk (DVD), oder eine Blue-ray Disk (BD)^TM), eine Flash-Speichereinrichtung, eine Speicherkarte und dergleichen.
Obwohl die Erfindung unter Bezugnahme auf die Ausführungsbeispiele beschrieben ist, ist ersichtlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Dem Schutzbereich der folgenden Patentansprüche soll die breiteste Interpretation zum Umfassen aller Modifikationen und äquivalenten Strukturen und Funktionen zukommen.
Ein weiteres Ausführungsbeispiel der Erfindung stellt ein Werkstückgreifverfahren mit einem Werkstückgreifsystem bereit, das eine Auftrittswahrscheinlichkeitsspeichereinheit zur Speicherung einer Auftrittswahrscheinlichkeit, die zuvor mit jedem Zustand eines Werkstücks assoziiert wurde, und eine Werkstückgreifeinheit zum Greifen eines Werkstücks eines nach dem anderen umfasst, mit Eingeben eines Bildes, das auf ein in einem vorbestimmten Zustand platziertes Werkstück bezogen ist, Schätzen eines Zustands des Werkstücks aus dem eingegebenen Bild, Berechnen einer Zuverlässigkeit für einen Zustand des Werkstücks beruhend auf dem geschätzten Zustand des Werkstücks und der Auftrittswahrscheinlichkeit, die dem Zustand des Werkstücks entspricht, und Auswählen eines durch die Werkstückgreifeinheit zu greifenden Werkstücks beruhend auf der berechneten Zuverlässigkeit.
Diese Anmeldung beansprucht die Priorität der japanischen Patentanmeldung Nr. 2012-132248 , eingereicht am 11. Juni 2012, deren Inhalt hiermit als Ganzes durch Bezugnahme aufgenommen ist.
Vorliegende Erfindung stellt einen Aufbau bereit, der eine fehlerhafte Schätzung beim Schätzen eines Zustands eines Werkstücks verringert. Eine Bildverarbeitungsvorrichtung enthält eine Kamera, die ein Bild eines Werkstücks eingibt, eine Werkstückzustandschätzeinrichtung, die einen Zustand des Werkstücks aus dem Bild schätzt, das durch die Kamera eingegeben wurde, eine Auftrittswahrscheinlichkeitsspeichereinrichtung, die eine Auftrittswahrscheinlichkeit speichert, die zuerst mit jedem Zustand des Werkstücks assoziiert wurde, und eine Zuverlässigkeitsberechnungseinrichtung, die eine Zuverlässigkeit für den geschätzten Zustand des Werkstücks beruhend auf dem durch die Werkstückzustandschätzeinrichtung geschätzten Zustand des Werkstücks und der dem Zustand des Werkstücks entsprechenden Auftrittswahrscheinlichkeit berechnet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007-245283 [0003, 0007, 0008]
JP 2010-186219 [0004, 0009]
JP 3300092 [0005, 0010]
JP 2012-132248 [0178]

Claims

Bildverarbeitungsvorrichtung mit einer Bildeingabeeinrichtung zur Eingabe eines Bildes eines Werkstücks, einer Werkstückzustandschätzeinrichtung zum Schätzen eines Zustands des Werkstücks aus dem durch die Bildeingabeeinrichtung eingegebenen Bild, einer Auftrittswahrscheinlichkeitsspeichereinrichtung zur Speicherung einer Auftrittswahrscheinlichkeit, die zuvor mit jedem Zustand des Werkstücks assoziiert wurde, und einer Zuverlässigkeitsberechnungseinrichtung zur Berechnung einer Zuverlässigkeit für den geschätzten Zustand des Werkstücks beruhend auf dem Zustand des Werkstücks, der durch die Werkstückzustandschätzeinrichtung geschätzt wurde, und der dem Zustand des Werkstücks entsprechenden Auftrittswahrscheinlichkeit.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Auftrittswahrscheinlichkeitsspeichereinrichtung zur Speicherung der Auftrittswahrscheinlichkeit für jeden Zustand des Werkstücks eingerichtet ist, die unter Verwendung einer Auftrittshäufigkeit jedes Zustands des Werkstücks berechnet wird, wobei die Auftrittshäufigkeit durch Wiederholen einer Simulation eines virtuellen Anordnens eines dreidimensionalen geometrischen Modells des Werkstücks erhalten wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Auftrittswahrscheinlichkeitsspeichereinrichtung zur Speicherung der Auftrittswahrscheinlichkeit für jeden Zustand des Werkstücks eingerichtet ist, die unter Verwendung einer Auftrittshäufigkeit jedes Zustands des Werkstücks berechnet wird, wobei die Auftrittshäufigkeit durch Aufzeichnen des geschätzten Zustands des Werkstücks erhalten wird, der durch die Werkstückzustandschätzeinrichtung geschätzt wurde.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die in der Auftrittswahrscheinlichkeitsspeichereinrichtung gespeicherte Auftrittswahrscheinlichkeit beruhend auf einem Ergebnis einer Schätzung durch die Werkstückzustandschätzeinrichtung für den Zustand des Werkstücks aktualisiert wird.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Werkstückzustandschätzeinrichtung zum Behandeln eines geschätzten Zustands als fehlerhaft in einem Fall eingerichtet ist, wenn sich das Werkstück in einem Zustand befindet, der eine kleinere Auftrittswahrscheinlichkeit als ein vorbestimmter Schwellenwert hat.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Werkstückzustandschätzeinrichtung zum Schätzen eines Zustands des Werkstücks und auch zum Berechnen einer Punktzahl für ein Schätzergebnis eingerichtet ist, und die Zuverlässigkeitsberechnungseinrichtung zur Berechnung der Zuverlässigkeit unter Berücksichtigung der Punktzahl eingerichtet ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei der Zustand des Werkstücks zumindest eine Position des Werkstücks und/oder eine Orientierung des Werkstücks bedeutet.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Bildeingabeeinrichtung zur Eingabe eines Bildes einer Vielzahl von Werkstücken eingerichtet ist.
Werkstückgreifsystem mit: der Bildverarbeitungsvorrichtung nach Anspruch 8, einer Werkstückgreifeinrichtung zum Greifen eines Werkstücks eines nach dem anderen und einer Auswahleinrichtung zur Auswahl eines durch die Werkstückgreifeinrichtung zu greifenden Werkstücks beruhend auf der durch die Zuverlässigkeitsberechnungseinrichtung berechneten Zuverlässigkeit.
Werkstückgreifsystem nach Anspruch 9, wobei die Werkstückzustandschätzeinrichtung zum Schätzen eines Zustands des Werkstücks und auch zur Berechnung einer Punktzahl für das Schätzergebnis eingerichtet ist, und die Auswahleinrichtung zur Auswahl eines Werkstücks in einem derartigen Zustand, dass die Punktzahl höher als ein vorbestimmter Schwellenwert und auch die Auftrittswahrscheinlichkeit höher als ein vorbestimmter Schwellenwert sind, als durch die Werkstückgreifeinrichtung zu greifendes Werkstück eingerichtet ist.
Werkstückgreifsystem nach Anspruch 10, wobei die Auswahleinrichtung zur Auswahl eines Werkstücks in einem derartigen Zustand, dass die Punktzahl höher als ein vorbestimmter Schwellenwert und auch die Auftrittswahrscheinlichkeit am höchsten ist, als durch die Werkstückgreifeinrichtung zu greifendes Werkstück eingerichtet ist.
Bildverarbeitungsverfahren für eine Bildverarbeitungsvorrichtung, die eine Auftrittswahrscheinlichkeitsspeichereinrichtung zur Speicherung einer Auftrittswahrscheinlichkeit umfasst, die vorab mit jedem Zustand eines Werkstücks assoziiert wurde, mit Eingeben eines Bildes eines platzierten Werkstücks, Schätzen eines Zustands des Werkstücks aus dem eingegebenen Bild und Berechnen einer Zuverlässigkeit für den geschätzten Zustand des Werkstücks beruhend auf dem geschätzten Zustand des Werkstücks und der dem Zustand des Werkstücks entsprechenden Auftrittswahrscheinlichkeit.
Programm, das bei Ausführung durch eine Bildverarbeitungsvorrichtung die Bildverarbeitungsvorrichtung zur Durchführung eines Verfahrens nach Anspruch 12 veranlasst.
Computerlesbares Speichermedium, das ein Programm nach Anspruch 13 speichert.