DE112021001323T5

DE112021001323T5 - Abbildungsvorrichtung zur erfassung dreidimensionaler informationen über die werkstückoberfläche und zweidimensionales bild des werkstücks

Info

Publication number: DE112021001323T5
Application number: DE112021001323.8T
Authority: DE
Inventors: Zeyuan SUN; Kentaro Koga
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-06-18
Filing date: 2021-06-14
Publication date: 2023-02-16
Also published as: CN115803584A; WO2021256437A1; US20230224450A1; JPWO2021256437A1

Abstract

Es wird eine bildgebende Vorrichtung zum Erfassen dreidimensionaler Informationen einer Werkstückoberfläche und eines zweidimensionalen Bildes bereitgestellt. Eine bildgebende Vorrichtung 3 umfasst einen visuellen Sensor 30 zum Erfassen eines zweidimensionalen Bildes nach dem Erfassen dreidimensionaler Informationen einer Werkstückoberfläche. Eine Positionserfassungsvorrichtung 25 ist am Antriebsmotor 24 eines Förderers 6, der ein Werkstück transportiert, angebracht. Ein Bildverarbeitungsteil 47 berechnet das Ausmaß der Bewegung des Werkstücks vom Zeitpunkt der Erfassung der dreidimensionalen Informationen bis zum Zeitpunkt der Aufnahme des zweidimensionalen Bildes auf der Grundlage einer Ausgabe der Positionserfassungsvorrichtung 25. Der Bildverarbeitungsteil 47 verschiebt die dreidimensionalen Informationen relativ zu dem zweidimensionalen Bild in einer Weise, die dem Betrag der Bewegung des Werkstücks in einem vorbestimmten Koordinatensystem entspricht.

Description

TECHNISCHER BEREICH
Die vorliegende Erfindung betrifft eine bildgebende Vorrichtung zur Erfassung dreidimensionaler Informationen über eine Oberfläche eines Werkstücks und eines zweidimensionalen Bildes des Werkstücks.
TECHNISCHER HINTERGRUND
Aus dem Stand der Technik ist eine Vorrichtung zur Aufnahme eines Bildes mit einem Bild-Sensor und zur Erfassung der Form der Oberfläche eines Objekts oder der Position des Objekts auf der Grundlage des erhaltenen Bildes bekannt. Als Bild-Sensor ist ein zweidimensionaler Sensor zur Erfassung eines zweidimensionalen Bildes einer Oberfläche eines Werkstücks bekannt. Ferner ist ein dreidimensionaler Sensor zur Messung des Abstands zwischen einem Bild-Sensor und der Oberfläche eines Werkstücks bekannt. Die dreidimensionale Position eines bestimmten Teils eines Werkstücks kann auf der Grundlage des Abstands von einem dreidimensionalen Sensor zur Oberfläche eines Werkstücks und der Position des dreidimensionalen Sensors berechnet werden.
Eine Robotervorrichtung, die einen Roboter und ein Arbeitswerkzeug umfasst, ist aus dem Stand der Technik bekannt. Es ist bekannt, dass in der Robotervorrichtung ein Bild-Sensor angeordnet ist, um die Position eines Werkstücks zu erfassen. Beispielsweise greift eine Robotervorrichtung ein Werkstück mit der Hand und transportiert das Werkstück. Die Robotervorrichtung muss die Position und die Ausrichtung eines Werkstücks erkennen, um das Werkstück zu greifen. Aus dem Stand der Technik ist eine Steuerung zur Berechnung der Position und der Ausrichtung eines Werkstücks durch Verarbeitung eines zweidimensionalen Bildes, das von einer zweidimensionalen Kamera erfasst wurde, und eines Abstandsbildes, das von einem dreidimensionalen Sensor erfasst wurde, bekannt (z. B. Japanische Patentveröffentlichung Nr. 2013 -36988A).
[ZITIERLISTE]
[PATENTLITERATUR]
[PTL 1] Ungeprüfte japanische Patentveröffentlichung Nr. 2013-36988A
ZUSAMMENFASSUNG DER ERFINDUNG
[TECHNISCHES PROBLEM]
Bei der Bildverarbeitung werden in einigen Fällen die vom dreidimensionalen Sensor erfassten dreidimensionalen Informationen und ein vom zweidimensionalen Sensor erfasstes zweidimensionales Bild verwendet. Beispielsweise wird in einer Robotervorrichtung, in der ein Roboter ein von einem Förderband befördertes Werkstück ergreift und transportiert, das von dem Förderband beförderte Werkstück von einem dreidimensionalen Sensor abgebildet. Aus der Ausgabe des dreidimensionalen Sensors wird eine dreidimensionale Karte mit Messpunkten erstellt. Die Position und die Ausrichtung des Werkstücks können anhand der dreidimensionalen Karte ermittelt werden. Auf der Grundlage der Position und der Ausrichtung des Werkstücks können die Position und die Ausrichtung des Roboters bei der Entnahme des Werkstücks durch den Roboter berechnet werden.
Hier ist es notwendig, die Position des Werkstücks in der dreidimensionalen Karte anzugeben. Ein zweidimensionales Bild kann verwendet werden, um die Position des Werkstücks zu bestimmen. Wenn jedoch das zweidimensionale Bild aufgenommen wird, nachdem der dreidimensionale Sensor die dreidimensionale Karte erfasst hat, wurde das Werkstück durch das Förderband bewegt. Es entsteht eine Abweichung zwischen der Position des Werkstücks bei der Erfassung der dreidimensionalen Karte und der Position des Werkstücks bei der Erfassung des zweidimensionalen Bildes. Daher werden die Erfassung dreidimensionaler Informationen durch den dreidimensionalen Sensor und die Erfassung eines zweidimensionalen Bildes durch den zweidimensionalen Sensor vorzugsweise in einem Zustand durchgeführt, in dem sich das Werkstück an der gleichen Position befindet. Vorzugsweise werden z. B. die Abbildung durch den dreidimensionalen Sensor und die Abbildung durch den zweidimensionalen Sensor gleichzeitig durchgeführt. Durch diese Steuerung befinden sich das Werkstück, wenn das zweidimensionale Bild aufgenommen wird, und das Werkstück, wenn die dreidimensionalen Informationen erfasst werden, an der gleichen Position, und die Position des Werkstücks in den dreidimensionalen Informationen kann leicht angegeben werden.
Handelt es sich bei dem dreidimensionalen Sensor jedoch um eine Stereokamera mit zwei Kameras und einem Projektor, projiziert der Projektor das Referenzmuster auf das Werkstück. Wenn die Aufnahme des zweidimensionalen Bildes und die Abbildung zur Erfassung der dreidimensionalen Karte gleichzeitig durchgeführt werden, erscheint das Referenzmuster auf dem zweidimensionalen Bild. Daher besteht das Problem, dass es schwierig ist, einen Merkmalsabschnitt des Werkstücks im zweidimensionalen Bild zu erkennen. Wie oben beschrieben, besteht das Problem, dass es schwierig ist, die dreidimensionale Information und das zweidimensionale Bild während der Zeit, in der sich das Werkstück auf der Trägermaschine bewegt, gleichzeitig zu erfassen.
Die dreidimensionale Information kann durch den dreidimensionalen Sensor erfasst werden und das zweidimensionale Bild kann durch den zweidimensionalen Sensor in einem Zustand erfasst werden, in dem die Trägermaschine angehalten ist. Bei dieser Steuerung besteht das Problem, dass die Arbeitseffizienz verringert wird, weil die Trägermaschine jedes Mal angehalten werden muss, wenn die dreidimensionalen Informationen und das zweidimensionale Bild von den Bild-Sensoren erfasst werden. Wenn die Trägermaschine gestartet oder gestoppt wird, besteht außerdem die Möglichkeit, dass sich die Position des Werkstücks auf der Trägermaschine ändert. Das heißt, die Position des Werkstücks auf der Trägermaschine kann sich verschieben.
Alternativ kann auch ein anderer Sensor als die Stereokamera als dreidimensionaler Sensor verwendet werden. Zum Beispiel kann eine Time of Flight (TOF) Kamera, die die Flugzeit des Lichts nutzt, als dreidimensionaler Sensor verwendet werden. Bei der Verwendung einer TOF-Kamera besteht jedoch das Problem, dass eine weitere Kamera zur Erfassung eines zweidimensionalen Bildes erforderlich ist.
[LÖSUNG DES PROBLEMS]
Ein Aspekt der vorliegenden Offenbarung ist eine bildgebende Vorrichtung zum Abbilden eines Werkstücks, das durch eine von einem Motor angetriebene Trägermaschine in eine vorbestimmte Richtung befördert wird. Die bildgebende Vorrichtung umfasst einen dreidimensionalen Sensor zum Erfassen dreidimensionaler Informationen der Oberfläche eines Werkstücks und einen zweidimensionalen Sensor zum Erfassen eines zweidimensionalen Bildes der Oberfläche des Werkstücks. Die bildgebende Vorrichtung enthält eine Verarbeitungseinheit zur Verarbeitung der Ausgabe des dreidimensionalen Sensors und der Ausgabe des zweidimensionalen Sensors. Die Verarbeitungseinheit umfasst eine dreidimensionale Informationserzeugungseinheit zum Erzeugen dreidimensionaler Informationen auf der Grundlage der Ausgabe des dreidimensionalen Sensors und eine zweidimensionale Bilderfassungseinheit zum Erfassen eines zweidimensionalen Bildes von dem zweidimensionalen Sensor. Die Verarbeitungseinheit enthält eine Bewegungssteuereinheit zum Ändern der relativen Position der dreidimensionalen Informationen in Bezug auf das zweidimensionale Bild in einem vorgegebenen Koordinatensystem. Die Trägermaschine enthält einen Positionsdetektor zur Erfassung der Position des vom Motor bewegten Bewegungselements. Der Zeitplan für die Erfassung der dreidimensionalen Informationen unterscheidet sich von dem Zeitplan für die Erfassung des zweidimensionalen Bildes. Die Bewegungssteuereinheit berechnet den Bewegungsbetrag des Werkstücks entsprechend der Differenz zwischen der ersten Position des Bewegungselements, wenn die dreidimensionale Information erfasst wird, und der zweiten Position des Bewegungselements, wenn das zweidimensionale Bild erfasst wird. Die Bewegungssteuereinheit führt eine Steuerung zum Bewegen der dreidimensionalen Informationen in einer Weise durch, die dem Bewegungsbetrag des Werkstücks im Koordinatensystem entspricht, und bewegt die dreidimensionalen Informationen des Werkstücks in den Bereich des zweidimensionalen Bildes des Werkstücks.
[VORTEILHAFTE WIRKUNGEN DER ERFINDUNG]
Gemäß den Aspekten der vorliegenden Offenbarung kann eine bildgebende Vorrichtung zur Erfassung dreidimensionaler Informationen über die Oberfläche des Werkstücks und eines zweidimensionalen Bildes des Werkstücks bereitgestellt werden.
Figurenliste

1 ist eine Vorderansicht einer ersten Robotervorrichtung gemäß einer Ausführungsform.
2 ist eine Draufsicht auf eine erste Robotervorrichtung.
3 ist ein Blockdiagramm einer ersten Robotervorrichtung.
4 ist eine schematische Darstellung eines Bild-Sensors gemäß einer Ausführungsform.
5 ist ein Flussdiagramm einer Steuerung einer ersten Robotervorrichtung.
6 ist eine Vorderansicht eines Werkstücks, eines Bild-Sensors und eines Förderers, wenn eine dreidimensionale Karte des Werkstücks erstellt wird.
7 ist eine Draufsicht auf ein Werkstück und ein Förderband, die Messpunkte einer dreidimensionalen Karte zeigt, die vom Bild-Sensor erfasst wurde.
8 ist eine Vorderansicht eines Werkstücks, eines Bild-Sensors und eines Förderers, wenn ein zweidimensionales Bild des Werkstücks erfasst wird.
9 ist ein Beispiel für ein zweidimensionales Bild, das mit einem Bild-Sensor aufgenommen wurde.
10 ist eine Draufsicht auf eine zweite Robotervorrichtung gemäß einer Ausführungsform.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Unter Bezugnahme auf die 1 bis 10 werden eine Bildgebungsvorrichtung und eine Robotervorrichtung, die die Bildgebungsvorrichtung gemäß den Ausführungsformen enthält, beschrieben. Die Robotervorrichtung gemäß der vorliegenden Ausführungsform umfasst einen Roboter und ein an dem Roboter angebrachtes Arbeitswerkzeug. Ferner umfasst die Robotervorrichtung eine Bildgebungsvorrichtung zum Abbilden eines Werkstücks und eine Trägermaschine zum Transportieren des Werkstücks.
1 ist eine schematische Vorderansicht einer ersten Robotervorrichtung gemäß der vorliegenden Ausführungsform. 2 ist eine schematische Draufsicht auf die erste Robotervorrichtung gemäß der vorliegenden Ausführungsform. Wie aus den 1 und 2 ersichtlich, umfasst eine erste Robotervorrichtung 8 eine Hand 2 als Arbeitswerkzeug (Endeffektor) und einen Roboter 1 zum Bewegen der Hand 2. Der Roboter 1 gemäß der vorliegenden Ausführungsform ist ein Gelenkroboter mit einer Vielzahl von Gelenken.
Der Roboter 1 umfasst eine Basis 14, die an einer Installationsfläche befestigt ist, und eine Drehbasis 13, die sich in Bezug auf die Basis 14 dreht. Der Roboter 1 umfasst einen unteren Arm 12, der drehbar von einer Drehbasis 13 getragen wird, und einen oberen Arm 11, der drehbar vom unteren Arm 12 getragen wird. Außerdem dreht sich der obere Arm 11 um eine Drehachse, die parallel zur Erstreckungsrichtung des oberen Arms 11 verläuft. Der Roboter 1 umfasst ein Handgelenk 15, das drehbar am Ende des oberen Arms 11 gelagert ist. An der Spitze des Handgelenks 15 ist ein drehbar ausgebildeter Flansch 16 angeordnet. Der Roboter 1 gemäß der vorliegenden Ausführungsform umfasst sechs Antriebsachsen, ist aber nicht auf diese Konfiguration beschränkt. Es kann jeder Roboter eingesetzt werden, der ein Arbeitswerkzeug bewegen kann.
Ein Werkstück 81 gemäß der vorliegenden Ausführungsform ist ein rechteckiger quaderförmiger Kasten. Die Hand 2 ist ein Arbeitsgerät zum Greifen und Freigeben des Werkstücks 81. Die Hand 2 gemäß der vorliegenden Ausführungsform umfasst eine Vielzahl von Saugkissen 2a. Die Hand 2 ergreift das Werkstück 81 durch Ansaugen. Die Hand 2 ist an dem Flansch 16 des Handgelenks 15 befestigt. Das am Roboter 1 angebrachte Arbeitsgerät ist nicht auf diese Konfiguration beschränkt. Je nach Aufgabe des Roboters kann jedes beliebige Arbeitsgerät verwendet werden. Beispielsweise kann in einer Robotervorrichtung zum Lichtbogenschweißen ein Schweißbrenner als Arbeitswerkzeug angeordnet werden. Alternativ kann in einer Robotervorrichtung, die ein Dichtungsmittel auf die Oberfläche des Werkstücks aufträgt, ein Spender als Arbeitswerkzeug angeordnet werden.
Die erste Robotervorrichtung 8 umfasst einen Förderer 6 als Trägermaschine, der das Werkstück 81 in eine vorgegebene Richtung transportiert. Der Förderer 6 gemäß der vorliegenden Ausführungsform lässt einen ringförmigen Riemen 6a rotieren. Der Förderer 6 bewegt das Werkstück 81 in horizontaler Richtung, wie durch einen Pfeil 86 angedeutet. Der Förderer 6 befördert das Werkstück 81 in eine Position, in der der Roboter 1 seine Position und Ausrichtung ändert, so dass die Hand 2 das Werkstück 81 ergreifen kann. Die Robotervorrichtung 8 ergreift das von der Förderer 6 beförderte Werkstück 81 und bewegt es anschließend in die Zielposition. Die Robotervorrichtung 8 übernimmt zum Beispiel die Aufgabe, das Werkstück 81 auf der Oberseite der Palette zu stapeln.
Die Robotervorrichtung 8 umfasst eine bildgebende Vorrichtung 3 zur Abbildung des von der Förderer 6 beförderten Werkstücks 81. Die bildgebende Vorrichtung 3 umfasst einen Bild-Sensor 30 als dreidimensionalen Sensor zur Erfassung dreidimensionaler Informationen auf der Oberfläche des Werkstücks 81. Die Positionsinformation eines dreidimensionalen Messpunkts (dreidimensionaler Punkt), der der Oberfläche des Werkstücks 81 als Objekt entspricht, wird durch die Ausgabe des Bild-Sensors 30 erzeugt. Wie später beschrieben wird, fungiert der Bild-Sensor 30 gemäß der vorliegenden Ausführungsform auch als zweidimensionaler Sensor zum Erfassen eines zweidimensionalen Bildes der Oberfläche des Werkstücks 81.
Der Bild-Sensor 30 wird von einem Stützelement 37 getragen. Die Position des Bild-Sensors 30 ist gemäß der vorliegenden Ausführungsform fest. Der Bild-Sensor 30 ist an einer Position angeordnet, an der der Bild-Sensor 30 das von der Förderer 6 beförderte Werkstück 81 abbilden kann. Der Bild-Sensor 30 ist stromaufwärts des Roboters 1 in der Richtung angeordnet, in der das Werkstück 81 befördert wird.
In der vorliegenden Ausführungsform werden die Position und die Ausrichtung des Werkstücks 81 auf der Grundlage der dreidimensionalen Informationen erfasst, die aus der Ausgabe des Bild-Sensors 30 gewonnen werden. Die Position und die Ausrichtung des Roboters 1 zum Greifen des Werkstücks 81 durch die Hand 2 werden auf der Grundlage der Position und der Ausrichtung des Werkstücks 81 berechnet. Durch Änderung der Position und der Ausrichtung des Roboters 1 kann das vom Förderer 6 beförderte Werkstück 81 von der Hand 2 ergriffen und bewegt werden.
In der vorliegenden Ausführungsform bildet der Bild-Sensor 30 das Werkstück 81 ab, ohne den Förderer 6 anzuhalten. Das heißt, dass der Bild-Sensor 30 das Werkstück 81 abbildet, während der Förderer 6 das Werkstück 81 bewegt. Außerdem ändert der Roboter 1 seine Position und Ausrichtung, um das Werkstück 81 mit der Hand 2 zu ergreifen, während der Förderer 6 das Werkstück 81 bewegt. Das Werkstück 81 wird von dem Förderer 6 aufgenommen, indem der Roboter 1 die Position und die Ausrichtung ändert.
Die Robotervorrichtung 8 wird mit dem Weltkoordinatensystem 76 als Referenzkoordinatensystem eingestellt. In dem in 1 dargestellten Beispiel befindet sich der Ursprung des Weltkoordinatensystems 76 in der Basis 14 des Roboters 1. Selbst wenn sich die Position und die Ausrichtung des Roboters 1 ändern, ändern sich die Position und die Richtung des Weltkoordinatensystems 76 nicht. Das Weltkoordinatensystem 76 umfasst eine X-Achse, eine Y-Achse und eine Z-Achse, die als Koordinatenachsen orthogonal zueinander stehen. Außerdem ist die WAchse als Koordinatenachse um die X-Achse festgelegt. Eine P-Achse wird als Koordinatenachse um die Y-Achse festgelegt. Eine R-Achse wird als Koordinatenachse um die Z-Achse festgelegt.
Außerdem wird ein Werkzeugkoordinatensystem 77 mit einem Ursprung an einer beliebigen Position des Arbeitswerkzeugs festgelegt. In der vorliegenden Ausführungsform ist der Ursprung des Werkzeugkoordinatensystems 77 auf den Werkzeugspitzenpunkt der Hand 2 festgelegt. Wenn sich die Position und die Ausrichtung des Roboters 1 ändern, ändern sich auch die Position und die Ausrichtung des Werkzeugkoordinatensystems 77. So entspricht beispielsweise die Position des Roboters 1 der Position der Werkzeugspitze. Außerdem entspricht die Ausrichtung des Roboters 1 der Richtung des Werkzeugkoordinatensystems 77 in Bezug auf das Weltkoordinatensystem 76.
Außerdem wird in der Robotervorrichtung 8 ein Sensorkoordinatensystem 78 eingerichtet, das dem Bild-Sensor 30 entspricht. Das Sensorkoordinatensystem 78 ist ein Koordinatensystem, dessen Ursprung fest mit dem Bild-Sensor 30 verbunden ist. Das Sensorkoordinatensystem 78 gemäß der vorliegenden Ausführungsform hat eine feste Position. Somit können die Koordinatenwerte im Sensorkoordinatensystem 78 auf der Grundlage der Position und der Ausrichtung des Sensorkoordinatensystems 78 in Bezug auf das Weltkoordinatensystem 76 in die Koordinatenwerte im Weltkoordinatensystem 76 umgerechnet werden.
3 ist ein Blockdiagramm der ersten Robotervorrichtung gemäß der vorliegenden Ausführungsform. Wie in den 1 bis 3 gezeigt, umfasst der Roboter 1 eine Roboterantriebsvorrichtung zur Änderung der Position und der Ausrichtung des Roboters 1. Die Roboterantriebsvorrichtung umfasst einen Roboterantriebsmotor 22 zum Antrieb einer Komponente, wie z. B. eines Arms und eines Handgelenks. Die Hand 2 umfasst eine Handantriebsvorrichtung zum Antrieb der Hand 2. Die Handantriebsvorrichtung umfasst eine Pumpe 21 und ein Magnetventil, um das Innere des Absorptionskissens 2a der Hand 2 drucklos zu machen.
Die Steuerung der Robotervorrichtung 8 umfasst eine Robotersteuerung 4 zur Steuerung des Roboters 1 und der Hand 2. Die Robotersteuerung 4 umfasst eine arithmetische Verarbeitungsvorrichtung (Computer) mit einer Zentraleinheit (CPU) als Prozessor. Die arithmetische Verarbeitungsvorrichtung umfasst einen Speicher mit wahlfreiem Zugriff (RAM) und einen Festwertspeicher (ROM) oder ähnliches, die über einen Bus mit der CPU verbunden sind. Ein im Voraus erstelltes Betriebsprogramm 41 zur Steuerung des Roboters 1, der Hand 2 und des Förderers 6 wird in die Robotersteuerung 4 eingegeben.
Die Robotersteuerung 4 enthält einen Speicherteil 42, der Informationen über die Steuerung des Roboters 1, der Hand 2 und des Förderers 6 speichert. Der Speicherteil 42 kann aus einem Informationsspeicher, wie einem flüchtigen Speicher, einem nichtflüchtigen Speicher oder einer Festplatte, bestehen. Das Betriebsprogramm 41 wird in dem Speicherteil 42 gespeichert.
Die Robotervorrichtung 8 gemäß der vorliegenden Ausführungsform befördert das Werkstück 81 auf der Grundlage des Betriebsprogramms 41. Die Robotervorrichtung 8 kann das Werkstück 81 automatisch zu einer vorgegebenen Zielposition befördern. Die Robotersteuerung 4 umfasst eine Betriebssteuereinheit 43, die einen Betriebsbefehl übermittelt. Die Betriebssteuereinheit 43 entspricht einem Prozessor, der nach dem Betriebsprogramm 41 gesteuert wird. Der Prozessor liest das Betriebsprogramm 41 und führt die im Betriebsprogramm 41 spezifizierte Steuerung aus, wodurch er als Betriebssteuereinheit 43 fungiert.
Die Betriebssteuereinheit 43 überträgt auf der Grundlage des Betriebsprogramms 41 einen Betriebsbefehl zum Antrieb des Roboters 1 an den Roboterantriebsteil 45. Der Roboterantriebsteil 45 enthält eine elektrische Schaltung zum Antrieb des Roboterantriebsmotors 22. Der Roboterantriebsteil 45 versorgt den Roboterantriebsmotor 22 auf der Grundlage des Betriebsbefehls mit Strom. Ferner überträgt die Betriebssteuereinheit 43 einen Betriebsbefehl zum Antrieb der Hand 2 an den Handantriebsteil 44 auf der Grundlage des Betriebsprogramms 41. Der Handantriebsteil 44 enthält einen elektrischen Schaltkreis zum Antrieb einer Pumpe 21 und des Magnetventils. Der Handantriebsteil 44 versorgt die Pumpe 21 und das Magnetventil auf der Grundlage des Betriebsbefehls mit Strom. Darüber hinaus sendet die Betriebssteuereinheit 43 auf der Grundlage des Betriebsprogramms 41 einen Befehl zur Aufnahme eines Bildes an den Bild-Sensor 30.
Die Robotersteuerung 4 umfasst eine Anzeigevorrichtung 46 zur Anzeige von Informationen über die Steuerung der Hand 2, des Roboters 1 und des Förderers 6. Die Anzeigevorrichtung 46 besteht aus einer beliebigen Anzeigetafel, wie z. B. einer Flüssigkristallanzeigetafel.
Der Roboter 1 enthält einen Zustandsdetektor zur Erfassung der Position und der Ausrichtung des Roboters 1. Der Zustandsdetektor gemäß der vorliegenden Ausführungsform umfasst einen Positionsdetektor 23, der an einem Roboterantriebsmotor 22 montiert ist, der mit einer Antriebsachse einer Komponente des Roboters 1 korrespondiert. Der Positionsdetektor 23 gemäß der vorliegenden Ausführungsform besteht aus einem Encoder, der an der Abtriebswelle des Roboterantriebsmotors 22 angebracht ist. Die Position und die Ausrichtung des Roboters 1 werden auf der Grundlage des Ausgangs des Positionsdetektors 23 ermittelt.
Die Robotersteuerung 4 enthält eine Bildverarbeitungseinheit 47 als Verarbeitungseinheit zur Verarbeitung der Ausgabe des dreidimensionalen Sensors und der Ausgabe des zweidimensionalen Sensors. Das heißt, die Robotersteuerung 4 fungiert auch als Bildverarbeitungseinheit. Die Bildverarbeitungseinheit 47 umfasst eine dreidimensionale Informationserzeugungseinheit 61 zur Erzeugung dreidimensionaler Informationen auf der Grundlage der Ausgabe des dreidimensionalen Sensors. Die Bildverarbeitungseinheit 47 umfasst eine zweidimensionale Bilderfassungseinheit 62 zum Erfassen des zweidimensionalen Bildes von dem zweidimensionalen Sensor. Ferner enthält die Bildverarbeitungseinheit 47 eine Bewegungssteuereinheit 63 zum Ändern der relativen Position der dreidimensionalen Informationen in Bezug auf das zweidimensionale Bild in einem vorgegebenen Koordinatensystem.
Die Bildverarbeitungseinheit 47 enthält eine Merkmalsabschnitt-Erfassungseinheit 64 zum Erfassen eines vorbestimmten Merkmalsabschnitts des Werkstücks 81 auf der Grundlage eines zuvor erstellten Referenzbildes und eines zweidimensionalen Bildes, das von dem zweidimensionalen Sensor erfasst wurde. Die Bildverarbeitungseinheit 47 umfasst eine Berechnungseinheit 65 zum Berechnen einer Position und einer Orientierung des Werkstücks 81 auf der Grundlage dreidimensionaler Informationen in einem Merkmalsabschnitt des Werkstücks 81. Ferner berechnet die Berechnungseinheit 65 die Position und die Ausrichtung des Roboters 1 auf der Grundlage der Position und der Ausrichtung des Werkstücks 81.
Die in der Berechnungseinheit 65 berechnete Position und Ausrichtung des Roboters 1 wird an die Betriebssteuereinheit 43 übermittelt. Die Betriebssteuereinheit 43 steuert den Roboter 1 und die Hand 2 auf der Grundlage eines von der Berechnungseinheit 65 empfangenen Betriebsbefehls.
Jede Einheit der Bildverarbeitungseinheit 47, der dreidimensionalen Informationserzeugungseinheit 61, der zweidimensionalen Bilderfassungseinheit 62, der Bewegungssteuereinheit 63, der Merkmalsabschnitt-Erkennungseinheit 64 und der Berechnungseinheit 65 entspricht einem Prozessor, der gemäß dem Betriebsprogramm 41 gesteuert wird. Der Prozessor führt die im Betriebsprogramm 41 definierte Steuerung aus, so dass er als jede Einheit funktioniert.
Die Steuerung der Robotervorrichtung 8 umfasst eine Förderersteuerung 5 zur Steuerung eines Förderers 6. Die Förderer-Steuerung 5 umfasst eine arithmetische Verarbeitungsvorrichtung (Computer), die eine CPU als Prozessor, einen ROM und einen RAM umfasst. Die Förderer-Steuerung 5 ist so konfiguriert, dass sie mit der Robotersteuerung 4 kommuniziert. Die Förderer-Steuerung 5 empfängt einen Befehl von der Robotersteuerung 4 und steuert den Förderer 6.
Der Förderer 6 umfasst eine Förderer-Antriebsvorrichtung 26 zum Antrieb des Förderers 6. Die Förderer-Antriebsvorrichtung 26 umfasst einen Förderer-Antriebsmotor 24 als Motor zum Antreiben des Förderers 6 und ein Untersetzungsgetriebe zum Reduzieren der Drehgeschwindigkeit des Förderer-Antriebsmotors 24. Das Werkstück 81 wird auf der Oberfläche eines Bandes 6a als ein Bewegungselement platziert, das durch den Fördererantriebsmotor 24 bewegt wird. Der Antriebsmotor 24 des Förderers treibt das Band 6a an. Der Förderer 6 enthält einen Positionsdetektor 25 zur Erfassung der Position des Bandes 6a. Die Position des Bandes 6a entspricht der Drehposition der Ausgangswelle des Fördererantriebsmotors 24. Der Positionsdetektor 25 gemäß der vorliegenden Ausführungsform ist an der Ausgangswelle des Förderantriebsmotors 24 befestigt. Der Positionsdetektor 25 besteht aus einem Encoder zur Erfassung der Drehposition der Abtriebswelle. Der Ausgang des Positionsdetektors 25 wird in die Förderer-Steuerung 5 eingegeben. Man beachte, dass der Positionsdetektor des Förderers an einer beliebigen Position angeordnet sein kann, um die Position des Bewegungselements des Förderers zu erfassen. Beispielsweise kann ein Encoder an einer Welle angebracht sein, die das Band des Förderers trägt. Alternativ kann eine Scheibe an dem Geber befestigt und gegen das Band gedrückt werden, so dass sich die Scheibe durch die Bewegung des Förderbandes dreht. Bei dieser Konfiguration dreht sich die Scheibe, wenn sich das Band bewegt, und die Position des Bandes kann durch den Ausgang des Encoders erfasst werden.
Die Förderbandsteuerung 5 umfasst einen Speicherteil 52, der Informationen über die Steuerung des Förderbandes 6 speichert. Der Speicherteil 52 kann aus einem Informationsspeicher, wie einem flüchtigen Speicher, einem nichtflüchtigen Speicher oder einer Festplatte, bestehen. Die Förderersteuerung 5 umfasst eine Betriebssteuereinheit 53, die einen Betriebsbefehl für den Förderer 6 übermittelt. Ein Prozessor der arithmetischen Verarbeitungsvorrichtung fungiert als Betriebssteuereinheit 53. Die Förderer-Steuereinheit 5 umfasst einen Förderer-Antriebsteil 54, der eine elektrische Schaltung enthält, die den Förderer-Antriebsmotor 24 auf der Grundlage eines Betriebsbefehls mit Strom versorgt.
Die Steuerung der Robotervorrichtung 8 gemäß der vorliegenden Ausführungsform umfasst die Robotersteuerung 4 zur Steuerung des Roboters 1 und der Hand 2 und die Förderersteuerung 5 zur Steuerung des Förderers 6, ist aber nicht auf diese Konfiguration beschränkt. Die Robotervorrichtung 8 kann so konfiguriert sein, dass sie den Roboter 1, die Hand 2 und den Förderer 6 über eine einzige Steuerung steuert.
4 ist eine schematische Ansicht des Bild-Sensors gemäß der vorliegenden Ausführungsform. Der Bild-Sensor 30 gemäß der vorliegenden Ausführungsform ist eine Stereokamera mit einer ersten Kamera 31 und einer zweiten Kamera 32. Jede der Kameras 31 und 32 ist eine zweidimensionale Kamera, die in der Lage ist, ein zweidimensionales Bild zu erfassen. Die Kameras 31 und 32 können jeweils eine beliebige Kamera sein, die einen Bild-Sensor wie einen CCD-Sensor (Charge-Coupled Device) oder einen CMOS-Sensor (Complementary Metal-Oxide Semiconductor) enthält. Die beiden Kameras 31 und 32 sind im Abstand zueinander angeordnet. Die relativen Positionen der beiden Kameras 31 und 32 sind vorgegeben.
Der Bild-Sensor 30 gemäß der vorliegenden Ausführungsform umfasst einen Projektor 33, der ein Lichtmuster, wie z. B. ein Streifenmuster, auf das Werkstück 81 projiziert. Die Kameras 31, 32 und der Projektor 33 sind innerhalb des Gehäuses 34 angeordnet. Wenn die dreidimensionale Information auf der Grundlage der Ausgabe des Bild-Sensors 30 erfasst wird, projiziert der Projektor 33 das Musterlicht, und die Kameras 31 und 32 erfassen das zweidimensionale Bild.
Bezugnehmend auf 3 kann die Einheit 61 zur Erzeugung dreidimensionaler Informationen der Bildverarbeitungseinheit 47 dreidimensionale Informationen der Oberfläche des Objekts mit einer dreidimensionalen Karte erzeugen, indem sie das vom Bild-Sensor 30 erfasste Bild verarbeitet. Die dreidimensionalen Informationen enthalten Informationen über die Positionen einer Vielzahl von Messpunkten, die auf der Oberfläche des Objekts gesetzt wurden. Die dreidimensionale Karte stellt die Position der Oberfläche des Objekts durch einen Satz von Koordinatenwerten (x, y, z) der auf der Oberfläche des Objekts gesetzten Messpunkte dar.
Beachten Sie, dass die Bildverarbeitungseinheit 47 gemäß der vorliegenden Ausführungsform in der Robotersteuerung 4 zur Steuerung des Roboters 1 enthalten ist, aber nicht auf diese Konfiguration beschränkt ist. Die arithmetische Verarbeitungseinrichtung zur Verarbeitung des vom Bild-Sensor 30 erfassten Bildes kann getrennt von der Robotersteuerung angeordnet sein.
Unter Bezugnahme auf die 3 und 4 setzt die dreidimensionale Informationserzeugungseinheit 61 gemäß der vorliegenden Ausführungsform eine Vielzahl von Messpunkten auf der Oberfläche eines Objekts, das sich innerhalb des Abbildungsbereichs 35 des Bild-Sensors 30 befindet. Zum Beispiel kann der Messpunkt für jedes Pixel des zweidimensionalen Bildes der Kamera 31 oder der Kamera 32 gesetzt werden. Die Einheit 61 zur Erzeugung dreidimensionaler Informationen berechnet den Abstand zwischen dem Bild-Sensor 30 und dem Messpunkt auf der Grundlage der Parallaxe der zweidimensionalen Bilder, die von den beiden Kameras 31 und 32 aufgenommen wurden.
Die Einheit 61 zur Erzeugung dreidimensionaler Informationen kann den Koordinatenwert des Messpunkts im Sensorkoordinatensystem 78 auf der Grundlage des Abstands zwischen dem Vision Sensor 30 und dem Messpunkt berechnen. Alternativ können die Koordinatenwerte im Sensorkoordinatensystem 78 auf der Grundlage der Position und der Ausrichtung des Bild-Sensors 30 in die Koordinatenwerte im Weltkoordinatensystem 76 umgerechnet werden. Auf diese Weise kann die Einheit 61 zur Erzeugung dreidimensionaler Informationen eine dreidimensionale Karte mit den Koordinatenwerten einer Vielzahl von Messpunkten erstellen.
Der Bild-Sensor 30 gemäß der vorliegenden Ausführungsform hat die Funktion eines zweidimensionalen Sensors. Da die erste Kamera 31 und die zweite Kamera 32 zweidimensionale Kameras sind, kann ein zweidimensionales Bild von jeder der Kameras 31 oder 32 erfasst werden. In der vorliegenden Ausführungsform wird das zweidimensionale Bild von der ersten Kamera 31 erfasst.
Der dreidimensionale Sensor gemäß der vorliegenden Ausführungsform ist eine Stereokamera, die in der Lage ist, ein zweidimensionales Bild zu erfassen. Durch diese Konfiguration kann ein zweidimensionales Bild von einer in der Stereokamera enthaltenen zweidimensionalen Kamera erfasst werden. Sowohl die Positionsinformationen des dreidimensionalen Messpunkts als auch das zweidimensionale Bild können von einem Sensor erfasst werden. Auf diese Weise kann die Konfiguration der Bildgebungsvorrichtung vereinfacht werden.
In der Bildgebungsvorrichtung 3 gemäß der vorliegenden Ausführungsform erfasst der Bild-Sensor 30 eine dreidimensionale Karte mit den Messpunktinformationen der Oberfläche des Werkstücks 81. Danach wird ein zweidimensionales Bild mit demselben Werkstück 81 von der ersten Kamera 31 des Bild-Sensors 30 aufgenommen. Das Timing bei der Durchführung der Bildgebung durch den Bild-Sensor 30, um die dreidimensionale Karte zu erfassen, und das Timing bei der Erfassung des zweidimensionalen Bildes sind voneinander verschieden. Daher sind die Position des Werkstücks, wenn die dreidimensionale Karte erfasst wird, und die Position des Werkstücks 81, wenn das zweidimensionale Bild erfasst wird, unterschiedlich.
Die Bewegungssteuereinheit 63 gemäß der vorliegenden Ausführungsform erhält die Ausgabe des Positionsdetektors 25 des Förderers 6. Der tatsächliche Bewegungsbetrag des Werkstücks 81, der von dem Zeitpunkt, an dem die dreidimensionale Karte erfasst wird, bis zu dem Zeitpunkt, an dem das zweidimensionale Bild erfasst wird, bewegt wird, wird berechnet. Dann wird eine Steuerung durchgeführt, um die dreidimensionale Information so zu bewegen, dass sie dem Bewegungsausmaß des Werkstücks 81 und dem zweidimensionalen Bild in einem vorgegebenen Koordinatensystem entspricht. Durch diese Steuerung kann zumindest ein Teil der dreidimensionalen Information des Werkstücks und des zweidimensionalen Bildes des Werkstücks in dem obigen Koordinatensystem überlappt werden. Mit anderen Worten, die dreidimensionale Information und das zweidimensionale Bild, die äquivalent zu der dreidimensionalen Information und dem zweidimensionalen Bild sind, die zur gleichen Zeit erfasst werden, können erzeugt werden.
5 ist ein Flussdiagramm der Steuerung der Robotervorrichtung gemäß der vorliegenden Ausführungsform. 6 ist eine schematische Vorderansicht des Bild-Sensors, des Werkstücks und des Förderers, wenn die dreidimensionale Karte erfasst wird. Unter Bezugnahme auf die 5 und 6 treibt die Förderersteuerung 5 in Schritt 91 den Förderer 6 an, um das Werkstück 81 zu bewegen, wie durch einen Pfeil 86 dargestellt. Die Förderbandsteuerung 5 bewegt das Werkstück 81 in den Abbildungsbereich 35 des Bild-Sensors 30. In der Robotervorrichtung 8 gemäß der vorliegenden Ausführungsform ist ein Sensor zur Erfassung der Ankunft des Werkstücks 81 angeordnet. Der Positionsdetektor 25 erfasst die Position zu dem Zeitpunkt, zu dem der Sensor anspricht. Die Betriebssteuereinheit 53 berechnet die Drehposition, wenn sich das Werkstück 81 innerhalb des Abbildungsbereichs 35 befindet, anhand der oben beschriebenen Position. Der Positionsdetektor 25 erfasst die Drehposition, die anzeigt, dass sich das Werkstück 81 innerhalb des Abbildungsbereichs 35 befindet.
In Schritt 92 bildet der Bild-Sensor 30 das Werkstück 81 ab. Die Einheit 61 zur Erzeugung dreidimensionaler Informationen generiert dreidimensionale Informationen. In der vorliegenden Ausführungsform erzeugt die dreidimensionale Informationserzeugungseinheit 61 eine dreidimensionale Karte, indem sie die von den Kameras 31 und 32 aufgenommenen zweidimensionalen Bilder verwendet. Die Förderer-Steuerungseinheit 5 erfasst die erste Rotationsposition von dem Positionsdetektor 25, der an dem Förderer-Antriebsmotor 24 angebracht ist. Die Förderbandsteuerung 5 erfasst die erste Drehposition gleichzeitig mit der Abbildung des Werkstücks 81 durch den Bild-Sensor 30. Die erste Rotationsposition entspricht einer ersten Position des Bandes 6a, wenn die dreidimensionalen Informationen erfasst werden. Der Speicherteil 52 der Förderbandsteuerung 5 speichert die erste Drehposition.
7 zeigt eine dreidimensionale Karte, die von der Einheit zur Erzeugung dreidimensionaler Informationen erzeugt wurde. 7 zeigt eine Draufsicht auf den Förderer 6 und das Werkstück 81. Der Abbildungsbereich 35 des Bild-Sensors 30 bestimmt den Messbereich 71, in dem die Messpunkte gesetzt werden. Die dreidimensionale Karte enthält die Koordinatenwerte der Positionen einer Vielzahl von Messpunkten PX. Die Messpunkte PX werden auf der Oberfläche eines abzubildenden Objekts innerhalb des Messbereichs 71 gesetzt. Der Messbereich 71 entspricht z. B. einem von der ersten Kamera 31 aufgenommenen Bild. Innerhalb des Messbereichs 71 werden die Messpunkte PX auf der Oberfläche des Werkstücks 81, der Oberfläche des Förderers 6 und der Bodenoberfläche gesetzt. Für jeden Messpunkt PX wird ein Koordinatenwert der Position des Messpunkts PX in einem vorgegebenen Koordinatensystem berechnet. In der vorliegenden Ausführungsform wird der Koordinatenwert der Position jedes Messpunkts PX in dem Sensorkoordinatensystem 78 berechnet.
In diesem Beispiel wird eine Vielzahl von Messpunkten PX, die auf der Oberfläche des Werkstücks 81 angeordnet sind, als Gruppe 71a der Messpunkte PX bezeichnet. Eine Vielzahl von Messpunkten PX auf der Oberfläche des Rahmenkörpers des Förderers 6 wird als Gruppe 71b der Messpunkte PX bezeichnet. Eine Vielzahl von Messpunkten PX, die auf der Oberfläche des Bandes 6a angeordnet sind, wird als Gruppe 71c von Messpunkten PX bezeichnet. Ferner wird eine Vielzahl von Messpunkten PX auf der Bodenoberfläche als Gruppe 71d von Messpunkten PX bezeichnet.
8 zeigt eine schematische Vorderansicht des Bild-Sensors, des Werkstücks und des Förderers, wenn das zweidimensionale Bild aufgenommen wird. In 8 ist die Position des Werkstücks 81 bei der Erfassung der dreidimensionalen Karte durch eine gestrichelte Linie gekennzeichnet. Nachdem die dreidimensionale Karte erfasst wurde, bewegt sich das Werkstück 81 wie durch den Pfeil 86 angezeigt. Wie in 5 dargestellt, nimmt die erste Kamera 31 des Bild-Sensors 30 in Schritt 93 ein zweidimensionales Bild auf. Die erste Kamera 31 nimmt ein Bild des Werkstücks 81 auf, wenn das Werkstück 81 im Abbildungsbereich 35 angeordnet ist. Der Bild-Sensor 30 kann beispielsweise ein zweidimensionales Bild unmittelbar nach der Durchführung der Bildgebung zur Erfassung einer dreidimensionalen Karte aufnehmen. Alternativ kann der Bild-Sensor 30 ein zweidimensionales Bild aufnehmen, nachdem eine vorbestimmte Zeit nach der Durchführung der Bildgebung zur Erfassung einer dreidimensionalen Karte verstrichen ist.
Wie in 3 dargestellt, erfasst die zweidimensionale Bilderfassungseinheit 62 ein zweidimensionales Bild von der ersten Kamera 31 des Bild-Sensors 30. Es ist zu beachten, dass das zweidimensionale Bild anstelle der ersten Kamera 31 auch von der zweiten Kamera 32 aufgenommen werden kann. Des Weiteren erfasst die Förderbandsteuerung 5 die zweite Rotationsposition vom Positionsdetektor 25 des Förderbandantriebsmotors 24. Die Förderbandsteuerung 5 erfasst die zweite Drehposition gleichzeitig mit der Aufnahme des zweidimensionalen Bildes des Werkstücks 81. Die zweite Drehposition entspricht der zweiten Position des Bandes 6a, wenn das zweidimensionale Bild aufgenommen wird. Der Speicherteil 52 speichert die zweite Drehposition.
9 zeigt ein Beispiel für ein zweidimensionales Bild, das von der ersten Kamera des Bild-Sensors aufgenommen wurde. Ein Bild 72 ist ein zweidimensionales Bild. Ein Bildkoordinatensystem 79 ist in dem Bild 72 gemäß der vorliegenden Ausführungsform festgelegt. Das Bildkoordinatensystem 79 ist ein Koordinatensystem, dessen Ursprung ein vorbestimmter Punkt des Bildes 72 ist. In diesem Beispiel besteht das Bildkoordinatensystem 79 aus einer X-Achse und einer Y-Achse. Das Bild 72 umfasst ein Bild 72a, das der Oberseite des Werkstücks 81 entspricht.
Das Bild 72 umfasst ein Bild 72b, das dem Rahmen des Förderers 6 entspricht, und ein Bild 72c, das dem Band 6a entspricht. In 9 ist die Messpunktgruppe 71a, die der Oberseite des Werkstücks 81 entspricht, durch eine gestrichelte Linie dargestellt, wenn der Messbereich 71 dem Bild 72 überlagert wird. In der vorliegenden Ausführungsform werden die dreidimensionale Karte und das zweidimensionale Bild während der Bewegung des Werkstücks 81 auf dem Förderer 6 erfasst. Daher unterscheidet sich die Position des Werkstücks 81, wenn das zweidimensionale Bild aufgenommen wird, von der Position des Werkstücks 81, wenn die Bildaufnahme zur Erfassung der dreidimensionalen Karte durchgeführt wird.
Die Position des Bildes 72a des Werkstücks 81 im Bild 72 ist gegenüber der Position der Gruppe 71a der Messpunkte auf der Oberseite des Werkstücks 81 verschoben. Somit führt die Bewegungssteuereinheit 63 der Bildverarbeitungseinheit 47 eine Steuerung durch, um die Positionen aller Messpunkte der dreidimensionalen Karte wie durch einen Pfeil 87 angezeigt zu verschieben. Die Positionen der Messpunkte werden auf der Grundlage der Richtung, in die sich das Werkstück 81 bewegt hat, und der Bewegungsmenge des Werkstücks 81 geändert. Die Bewegungssteuereinheit 63 führt eine Steuerung durch, um die Position der Messpunktgruppe 71a, die auf der Oberseite des Werkstücks 81 festgelegt ist, an die Position des Bildes 72a anzupassen.
Unter Bezugnahme auf die 3 und 5 berechnet die Bewegungssteuereinheit 63 in Schritt 94 die Bewegungsdistanz des Werkstücks 81 auf dem Förderer 6 als den Bewegungsbetrag des Werkstücks 81. Die Bewegungsstrecke des Werkstücks 81 entspricht der Bewegungslänge des Bandes 6a. Die Bewegungssteuereinheit 63 erfasst die erste Drehposition und die zweite Drehposition des Förderantriebsmotors 24 aus dem Speicherteil 52 der Fördersteuerung 5. Die Bewegungssteuereinheit 63 berechnet die Bewegungsstrecke des Werkstücks 81 auf der Grundlage der Differenz zwischen der ersten Drehposition und der zweiten Drehposition.
Der Positionsdetektor 25 ist zum Beispiel so konfiguriert, dass er bei jedem vorgegebenen Drehwinkel ein Signal ausgibt. Somit entspricht das vom Positionsdetektor 25 ausgegebene Signal der Drehposition. Der Positionsdetektor 25 erfasst den ersten Zählwert CT1 als erste Drehposition. Der Positionsdetektor 25 erfasst den zweiten Zählerstand CT2 als zweite Drehposition. Der Bewegungsbetrag des Bandes 6a (Bewegungsbetrag des Werkstücks) in Bezug auf die Differenz der Zählungen ist vorgegeben. Dabei wird der Koeffizient SC [Zählung/mm] der Zählung in Bezug auf den Bewegungsbetrag von 1 mm des Bandes 6a vorgegeben. Die Bewegungsstrecke X des Werkstücks 81 zu diesem Zeitpunkt kann durch die folgende Gleichung (1) ausgedrückt werden. $X [mm] = (CT 2 - CT1) / SC$
Auf diese Weise berechnet die Bewegungssteuereinheit 63 die Bewegungsstrecke des Werkstücks 81 auf dem Förderer 6 auf der Grundlage des Ausgangs des Positionsdetektors 25.
Bezug nehmend auf 5 modifiziert die Bewegungssteuereinheit 63 in Schritt 95 die dreidimensionale Karte entsprechend der Bewegungsrichtung des Werkstücks 81 und dem Bewegungsbetrag des Werkstücks 81. Die Bewegungssteuereinheit 63 verschiebt die Positionen der in der dreidimensionalen Karte enthaltenen Messpunkte in der Bewegungsrichtung des Werkstücks 81. Die Bewegungsrichtung des Werkstücks 81 im Sensorkoordinatensystem 78 ist vorgegeben. In diesem Beispiel bewegt sich das Werkstück 81 in Richtung der X-Achse des Sensorkoordinatensystems 78.
In der dreidimensionalen Karte der vorliegenden Ausführungsform werden die Positionen der Messpunkte im Messbereich 71 durch die Koordinatenwerte im Sensorkoordinatensystem 78 erfasst. Die Bewegungssteuereinheit 63 verschiebt die Positionen der in der dreidimensionalen Karte enthaltenen Messpunkte um den Bewegungsbetrag des Werkstücks 81. Ferner verschiebt die Bewegungssteuereinheit 63 die Position des in der dreidimensionalen Karte enthaltenen Messpunkts in der Bewegungsrichtung des Werkstücks 81 parallel.
Wie in 8 dargestellt, verschiebt die Bewegungssteuereinheit 63 die Position für jeden Messpunkt. Die dreidimensionale Karte enthält zum Beispiel die Koordinatenwerte des Messpunkts P1A, der sich auf der Oberfläche des Werkstücks 81 befindet. Die Bewegungssteuereinheit 63 bewegt den Messpunkt P1A um den Bewegungsbetrag des Werkstücks 81 in der Richtung, in der sich das Werkstück 81 bewegt. Der Messpunkt P1A bewegt sich zum Messpunkt P1B. In diesem Beispiel wird der X-Achsen-Koordinatenwert des Messpunkts P1A im Sensorkoordinatensystem 78 durch den Bewegungsbetrag des Werkstücks 81 verändert. Außerdem enthalten die dreidimensionalen Informationen die Koordinatenwerte des Messpunkts P2A, der auf der Oberfläche des Werkstücks 81 liegt. Die Bewegungssteuereinheit 63 bewegt den Messpunkt P2A in ähnlicher Weise zum Messpunkt P2B. Der X-Achsen-Koordinatenwert des Messpunkts P2A im Sensorkoordinatensystem 78 wird durch den Bewegungsbetrag des Werkstücks 81 verändert. So können die Koordinatenwerte des Messpunktes so verändert werden, dass sie der Bewegung des Werkstücks 81 entsprechen. Dabei werden alle Messpunkte im Messbereich 71 verschoben.
Wenn der Messbereich 71 dem Bild 72 überlagert wird (siehe 9), wird die Bewegungsrichtung der Messpunktgruppen 71a bis 71d im Bild 72 vorgegeben. In diesem Beispiel bewegt die Bewegungssteuereinheit 63 die Messpunktgruppen 71a bis 71d in der positiven Richtung der Y-Achse im Bildkoordinatensystem 79. Die Position des Bild-Sensors 30 ist fest vorgegeben. Das Verhältnis der Bewegungsstrecke des Messpunktes im Bildkoordinatensystem 79 zur tatsächlichen Bewegungsstrecke des Werkstücks 81 ist vorgegeben. Die Bewegungssteuereinheit 63 berechnet die Bewegungsdistanz der Messpunktgruppen 71a bis 71d im Bildkoordinatensystem 79 anhand der Bewegungsdistanz des Werkstücks 81. Die Bewegungssteuereinheit 63 bewegt die dreidimensionale Karte wie durch den Pfeil 87 angezeigt. Zumindest ein Teil der Messpunkte der Gruppe 71a bewegt sich in den Bereich des Bildes 72a, das ein zweidimensionales Bild des Werkstücks 81 ist. Infolgedessen werden zumindest einige Messpunkte der Gruppe 71a in den Bereich des Bildes 72a aufgenommen.
Unter Bezugnahme auf die 3 und 5 erkennt in Schritt 96 die Merkmalsabschnitt-Erkennungseinheit 64 der Bildverarbeitungseinheit 47 den Merkmalsabschnitt des Werkstücks 81 in dem Bild 72, das ein zweidimensionales Bild ist. In der vorliegenden Ausführungsform wird die Oberseite des Werkstücks 81 als Merkmalsabschnitt festgelegt. Das Referenzbild der Oberseite des Werkstücks 81 ist zuvor im Speicherteil 42 gespeichert worden. Das Referenzbild ist ein zweidimensionales Bild. Das Referenzbild kann ein Bild sein, das durch tatsächliche Aufnahme eines Bildes der Oberseite des Werkstücks 81 mit der zweidimensionalen Kamera erhalten wird. Alternativ kann das Referenzbild des Werkstücks 81 auf der Grundlage der dreidimensionalen Daten des Werkstücks 81 unter Verwendung einer CAD-Vorrichtung (Computer Aided Design) erzeugt werden. Die Merkmalsabschnittserkennungseinheit 64 erkennt das Bild 72a auf der Oberseite des Werkstücks 81 in dem Bild 72 durch ein Schablonenabgleichsverfahren unter Verwendung des Referenzbildes.
Im nächsten Schritt 97 berechnet die Recheneinheit 65 die Position und die Ausrichtung des Werkstücks 81. Als Position des Werkstücks 81 kann zum Beispiel die Position des Schwerpunkts des Rechtecks auf der Oberseite des Werkstücks 81 angenommen werden. Ferner kann als Orientierung des Werkstücks die Normalrichtung der Oberseite des Werkstücks 81 angenommen werden. Die Berechnungseinheit 65 extrahiert die Messpunkte, die in einem das Bild 72a überlappenden Bereich angeordnet sind. In diesem Beispiel extrahiert die Berechnungseinheit 65 eine Vielzahl von Messpunkten, die in der Gruppe 71a enthalten sind, um die Messpunktgruppe 71a mit dem Bild 72a zu überlappen. Die Berechnungseinheit 65 kann die Position und die Ausrichtung des Werkstücks 81 auf der Grundlage der Koordinatenwerte der Vielzahl von Messpunkten berechnen.
Wie oben beschrieben, kann in der vorliegenden Ausführungsform der Merkmalsabschnitt des Werkstücks 81 in dem zweidimensionalen Bild erfasst werden, und die Position und die Ausrichtung des Werkstücks 81 können auf der Grundlage der dreidimensionalen Informationen in dem Merkmalsabschnitt des Werkstücks 81 erfasst werden.
Als nächstes, in Schritt 98, berechnet die Berechnungseinheit 65 die Position und die Ausrichtung des Roboters 1 auf der Grundlage der Position und der Ausrichtung des Werkstücks 81. Eine Berechnungseinheit 65 berechnet eine Position und eine Orientierung des Werkstücks 81, wenn das Werkstück 81 von einem Förderer 6 in eine Position bewegt wird, in der das Werkstück 81 von der Hand 2 gehalten wird. Die Berechnungseinheit 65 berechnet die Position und die Ausrichtung des Roboters 1 auf der Grundlage der Position und der Ausrichtung des Werkstücks 81 zu diesem Zeitpunkt.
In Schritt 99 überträgt die Berechnungseinheit 65 Befehle an die Betriebssteuereinheit 43 zum Antrieb des Roboters 1 und der Hand 2. Die Betriebssteuereinheit 43 steuert den Roboter 1 und die Hand 2 auf der Grundlage der Befehle der Berechnungseinheit 65. Das Werkstück 81 wird von der Hand 2 gehalten und zu einer Zielposition transportiert.
Wie oben beschrieben, kann die Bildgebungsvorrichtung 3 gemäß der vorliegenden Ausführungsform die dreidimensionalen Informationen mit dem zweidimensionalen Bild synchronisieren. Das heißt, die dreidimensionalen Informationen können so verändert werden, als ob die dreidimensionalen Informationen zur gleichen Zeit wie das zweidimensionale Bild erfasst worden wären. Auf diese Weise können die Abbildung des Werkstücks 81 und das Ergreifen des Werkstücks 81 durch die Hand 2 durchgeführt werden, während das Werkstück 81 durch den Förderer 6 bewegt wird. Bei der Robotervorrichtung 8 gemäß der vorliegenden Ausführungsform ist es nicht notwendig, den Förderer 6 anzuhalten, um die dreidimensionalen Informationen und das zweidimensionale Bild zu erfassen, und die Arbeitszeit kann verkürzt werden. Alternativ kann verhindert werden, dass sich die Position des Werkstücks auf dem Förderer 6 verschiebt, wenn der Förderer 6 stoppt oder startet.
Die oben beschriebene bildgebende Vorrichtung 3 nimmt ein zweidimensionales Bild auf, nachdem sie dreidimensionale Informationen erfasst hat, ist aber nicht auf diese Konfiguration beschränkt. Die Bildgebungsvorrichtung kann dreidimensionale Informationen nach der Aufnahme eines zweidimensionalen Bildes erfassen. Auch in diesem Fall kann die Bewegungssteuereinheit die Position des Messpunkts in den dreidimensionalen Informationen so steuern, dass sie mit der Position des zweidimensionalen Bildes übereinstimmt.
Die Trägermaschine der ersten Robotervorrichtung 8 ist ein Förderer 6, ist aber nicht auf diese Konfiguration beschränkt. Als Trägermaschine kann jede beliebige Vorrichtung zum Transportieren des Werkstücks 81 in einer vorgegebenen Richtung verwendet werden.
10 ist eine schematische Draufsicht auf eine zweite Robotervorrichtung gemäß der vorliegenden Ausführungsform. In der zweiten Robotervorrichtung 9 ist anstelle des Förderers 6 der ersten Robotervorrichtung 8 ein Träger 7 als Trägermaschine angeordnet. Der Träger 7 gemäß der vorliegenden Ausführungsform ist ein unbemannter Fahrwagen, der sich automatisch entlang des Bandes 39 bewegt. Anstelle der Fördersteuerung 5 der ersten Robotereinrichtung 8 ist eine Trägersteuerung angeordnet. Die Carrier-Steuerung steuert den Carrier 7 z.B. über eine Funkverbindung.
Der Träger 7 dient dem Transport des Werkstücks 81. Der Träger 7 umfasst einen Montagetisch 7a, auf dem das Werkstück 81 abgelegt wird. Der Träger 7 enthält einen Sensor zum Erfassen des an einer Bodenfläche befestigten Bandes 39. Der Träger 7 ist so konfiguriert, dass er sich entlang des Bandes 39 bewegt, während er das Band 39 mit dem Sensor erfasst. Das heißt, die Bewegungsrichtung des Trägers 7 ist vorgegeben. Der Träger 7 bewegt das Werkstück 81 in horizontaler Richtung. Ein an einem Trägerelement 37 befestigter Bild-Sensor 30 ist oberhalb eines Weges angeordnet, auf dem sich der Träger 7 bewegt. Der Bild-Sensor 30 ist an einer Stelle angeordnet, an der das vom Träger 7 beförderte Werkstück 81 abgebildet werden kann.
Der Träger 7 enthält einen Antriebsmotor zum Antrieb von Rädern. An der Abtriebswelle des Antriebsmotors ist ein Positionsgeber angebracht. Der Montagetisch 7a entspricht einem vom Antriebsmotor bewegten Bewegungselement. Die Position des Montagetisches 7a kann z. B. durch die Position eines Sollwertes bestimmt werden, der an einer beliebigen Position des Trägers 7 eingestellt ist. Ferner entspricht die Position des Montagetisches 7a der Drehposition der Abtriebswelle des Antriebsmotors. Es ist zu beachten, dass der Positionsdetektor an der Welle des Rades des Trägers befestigt sein kann.
In der zweiten Robotervorrichtung 9 führt der Bild-Sensor 30 eine Bildaufnahme durch, während sich der Träger 7 bewegt. Die Bildverarbeitungseinheit 47 nimmt die dreidimensionale Karte und das zweidimensionale Bild zu verschiedenen Zeitpunkten auf. Ferner erfasst die Bildverarbeitungseinheit 47 eine erste Drehposition, die vom Positionsdetektor erfasst wird, wenn die dreidimensionale Karte erfasst wird, und eine zweite Drehposition, die vom Positionsdetektor erfasst wird, wenn das zweidimensionale Bild erfasst wird.
Die Bewegungssteuereinheit 63 der Bildverarbeitungseinheit 47 berechnet die Bewegungsdistanz des Werkstücks 81 basierend auf der ersten Drehposition und der zweiten Drehposition. Die Bewegungssteuereinheit 63 verändert die Positionen der Messpunkte der dreidimensionalen Karte basierend auf dem Bewegungsbetrag des Werkstücks 81. Eine Bewegungssteuereinheit 63 ändert die relative Position der dreidimensionalen Information des Werkstücks in Bezug auf das zweidimensionale Bild des Werkstücks im Bildkoordinatensystem. Eine Bewegungssteuereinheit 63 führt eine Steuerung zur Bewegung der dreidimensionalen Information des Werkstücks in den Bereich des zweidimensionalen Bildes des Werkstücks durch. Die Bildverarbeitungseinheit 47 kann dann die Position und die Ausrichtung des Werkstücks 81 auf der Grundlage der dreidimensionalen Karte und des zweidimensionalen Bildes ermitteln.
Die Konfiguration, der Betrieb und die Wirkung der anderen zweiten Robotervorrichtungen sind ähnlich wie die der ersten Robotervorrichtung, und die Beschreibung davon wird hier nicht wiederholt.
In der obigen Ausführungsform wird das Referenzbild verwendet, um den Merkmalsabschnitt des Werkstücks zu erkennen, aber die Ausführungsform ist nicht darauf beschränkt. Das Referenzbild muss nicht verwendet werden, wenn der Roboter das Werkstück ergreift. Beispielsweise werden dreidimensionale Informationen, wie eine dreidimensionale Karte, entsprechend dem Bewegungsumfang des Werkstücks bewegt. Die Position des Schwerpunkts des Werkstücks wird auf der Grundlage der dreidimensionalen Informationen ermittelt. Die Position und die Ausrichtung der Hand in Bezug auf die Position des Schwerpunkts sind vorgegeben. Die Position und die Ausrichtung der Hand können auf der Grundlage der Position des Schwerpunkts des Werkstücks berechnet werden.
Die Trägermaschine gemäß der vorliegenden Ausführungsform befördert das Werkstück entlang einer geraden Bahn, ist aber nicht auf diese Konfiguration beschränkt. Wenn die Richtung, in die das Werkstück bewegt wird, festgelegt ist, kann die Trägermaschine das Werkstück entlang einer gekrümmten Bahn bewegen.
Die Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform erfasst dreidimensionale Informationen und zweidimensionale Bilder, um die Position und die Ausrichtung des Werkstücks zu ermitteln, ist aber nicht auf diese Konfiguration beschränkt. Die Bildgebungsvorrichtung kann dreidimensionale Informationen und zweidimensionale Bilder für eine beliebige Steuerung erfassen. Ferner kann die bildgebende Vorrichtung das zweidimensionale Bild mit den dreidimensionalen Informationen synchronisieren, indem sie die dreidimensionalen Informationen in einem vorgegebenen Koordinatensystem bewegt.
Bei jeder der oben beschriebenen Kontrollen kann die Reihenfolge der Schritte in geeigneter Weise geändert werden, ohne dass die Funktion und die Wirkung verändert werden.
Die oben beschriebenen Ausführungsformen können in geeigneter Weise kombiniert werden. In jeder der obigen Zeichnungen sind die gleichen oder gleichwertige Teile durch die gleichen Bezugsziffern bezeichnet. Es sollte beachtet werden, dass die oben beschriebenen Ausführungsformen sind Beispiele und schränkt die Erfindung nicht. Ferner umfassen die Ausführungsformen Modifikationen der in den Ansprüchen dargestellten Ausführungsformen.
Bezugszeichenliste

1: Roboter
2: Hand
3: Bildgebendes Gerät
4: Robotersteuerung
5: Steuerung des Förderbandes
6: Förderer
7: Träger
8, 9: Robotergerät
24: Antriebsmotor des Förderbandes
25: Positionsmelder
26: Antriebsvorrichtung für das Förderband
30: Bild-Sensor
31: Erste Kamera
32: Zweite Kamera
47: Bildverarbeitungseinheit
61: Dreidimensionale Informationserzeugungseinheit
62: Zweidimensionale Bildaufnahmeeinheit
63: Bewegungssteuereinheit
64: Einheit zur Erkennung von Merkmalsabschnitten
65: Berechnungseinheit
71: Messbereich
71a, 71b, 71c, 71d: Gruppe
72: Bild
72a, 72b: Bild
78: Sensor-Koordinatensystem
79: Bildkoordinatensystem
81: Werkstück
P1A, P1B, P2A, P2B: Messpunkt

Claims

Eine bildgebende Vorrichtung zum Abbilden eines Werkstücks, das durch eine von einem Motor angetriebene Trägermaschine in eine vorbestimmte Richtung befördert wird, mit: einen dreidimensionalen Sensor, der so konfiguriert ist, dass er dreidimensionale Informationen über eine Oberfläche des Werkstücks erfasst; einen zweidimensionalen Sensor, der so konfiguriert ist, dass er ein zweidimensionales Bild der Oberfläche des Werkstücks erfasst; und eine Verarbeitungseinheit, die so konfiguriert ist, dass sie eine Ausgabe des dreidimensionalen Sensors und eine Ausgabe des zweidimensionalen Sensors verarbeitet, wobei die Verarbeitungseinheit eine dreidimensionale Informationserzeugungseinheit, die so konfiguriert ist, dass sie dreidimensionale Informationen auf der Grundlage der Ausgabe des dreidimensionalen Sensors erzeugt, eine zweidimensionale Bilderfassungseinheit, die so konfiguriert ist, dass sie ein zweidimensionales Bild von dem zweidimensionalen Sensor erfasst, und eine Bewegungssteuereinheit umfasst, die so konfiguriert ist, dass sie eine relative Position der dreidimensionalen Informationen in Bezug auf das zweidimensionale Bild in einem vorbestimmten Koordinatensystem ändert, die Trägermaschine einen Positionsdetektor umfasst, der so konfiguriert ist, dass er eine Position eines vom Motor bewegten Bewegungselements erfasst, ein Timing für die Erfassung der dreidimensionalen Information sich von einem Timing für die Erfassung des zweidimensionalen Bildes unterscheidet, und die Bewegungssteuereinheit einen Bewegungsbetrag des Werkstücks berechnet, der einer Differenz zwischen einer ersten Position des Bewegungselements, wenn die dreidimensionale Information erfasst wird, und einer zweiten Position des Bewegungselements, wenn das zweidimensionale Bild erfasst wird, entspricht, und eine Steuerung zum Bewegen der dreidimensionalen Information in dem Koordinatensystem in einer Weise, die dem Bewegungsbetrag des Werkstücks entspricht, und zum Bewegen der dreidimensionalen Information des Werkstücks in einen Bereich des zweidimensionalen Bildes des Werkstücks durchführt.
Die bildgebende Vorrichtung nach Anspruch 1, wobei der dreidimensionale Sensor ein zweidimensionales Bild aufnimmt.
Die bildgebende Vorrichtung nach Anspruch 1 oder 2, wobei die Trägermaschine ein Förderer ist, der zum Bewegen des Werkstücks konfiguriert ist, und der Motor ist ein Förderer-Antriebsmotor, der zum Antrieb des Förderers konfiguriert ist.