DE102018009815A1

DE102018009815A1 - Bildgebungsvorrichtung umfassend einen Sichtsensor zum Erfassen des Bildes eines Werkstücks

Info

Publication number: DE102018009815A1
Application number: DE102018009815.0A
Authority: DE
Inventors: Yuta Namiki
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-12-20
Filing date: 2018-12-13
Publication date: 2019-06-27
Anticipated expiration: 2038-12-14
Also published as: CN109940662B; US20190184582A1; DE102018009815B4; DE102018009815A9; US11267142B2; JP2019113895A; CN109940662A; JP6734253B2

Abstract

Eine Bildgebungsvorrichtung umfasst eine Kamera, ein Roboter, der die Kamera bewegt, und ein Steuergerät, die ein Bild verarbeitet. Eine an einem Werkstück definierte Erfassungsfläche und eine als eine Bildgebungsposition des Roboters zum Erfassen des Werkstücks dienende Sollposition werden vorab ermittelt. Die Kamera erfasst eine Mehrzahl von ersten Bildern an einer Mehrzahl von Positionen. Das Steuergerät umfasst eine Bildumwandlungseinheit zum Umwandeln der Mehrzahl der ersten Bilder in eine Mehrzahl von zweiten Bildern, wenn diese an der Sollposition erfasst werden. Das Steuergerät umfasst eine Zusammensetzungseinheit zum Erzeugen eines zusammengesetzten Bildes, in dem die Mehrzahl der zweiten Bilder zusammengesetzt sind, und eine Einheit zum Verarbeiten des zusammengesetzten Bildes zum Durchführen der Erfassung und/oder Prüfung des Werkstücks auf der Erfassungsfläche auf der Basis des zusammengesetzten Bildes.

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Bildgebungsvorrichtung, die einen Sichtsensor zum Erfassen eines Bildes eines Werkstücks umfasst.
Beschreibung des Stands der Technik
Der Stand der Technik kennt ein Robotersystem, in dem eine Hand, die an einem Roboter befestigt ist, ein Werkstück erfasst, um das Werkstück zu transportieren. Wenn der Roboter ein Werkstück mit der Hand greift, kann das Werkstück an einer Position gegriffen werden, die von einer gewünschten Position abweicht. Ferner kennt der Stand der Technik ein Robotersystem, in dem ein Vorgangswerkzeug an einem Roboter befestigt ist, um einen vorgegebenen Vorgang an einem an einem Montagetisch befestigten Werkstück durchzuführen. Zum Zeitpunkt der Befestigung des Werkstücks am Montagetisch kann die Position des Werkstücks von einer gewünschten Position abweichen. Bei solch einem Robotersystem ist vorzugsweise ein genaues Wissen über die Positionsabweichung des vom Roboter gegriffenen Werkstücks in der Hand oder die Positionsabweichung des am Montagetisch befestigten Werkstücks vorhanden.
Seit kurzem werden von einer Kamera erfasste Bilder zum Erfassen der Positionsabweichung, die auftritt, wenn der Roboter ein Werkstück mit der Hand greift, oder der Positionsabweichung eines am Montagetisch befestigten Werkstücks verwendet. Beispielsweise ist die Kamera am Endteil des Arms des Roboters befestigt. Wenn die Position des auf dem Montagetisch angeordneten Werkstücks gemessen wird, erfasst die Kamera ein Bild des Werkstücks. Die Position des Werkstücks auf dem Montagetisch kann auf der Basis von Bildern des Werkstücks erfasst werden (beispielsweise japanische ungeprüfte Patentanmeldung Nr. 2015-160264 und japanische ungeprüfte Patentanmeldung Nr. 2003-305675 ).
Zusammenfassung der Erfindung
Zum Erfassen des am Montagetisch befestigten Werkstücks oder des vom Roboter getragenen Werkstücks kann ein Sichtsensor an einer vorgegebenen Position angeordnet sein, um das Bild des Werkstücks zu erfassen. Zum Erfassen des Werkstücks vom vom Sichtsensor erfassten Bild kann das Merkmal wie die Kontur des Werkstücks verwendet werden. Je nach Bedingung, unter der das Bild erfasst wird, ist aber das Bild gegebenenfalls nicht klar und das Bild, das zum Erfassen des Werkstücks geeignet ist, wird gegebenenfalls nicht erzielt. Beispielsweise kann sich die Stärke oder Richtung des Sonnenlichts ändern, das durch ein Fenster eines Gebäudes einfällt, oder es kann sich die Stärke oder Richtung o. Ä. der in einem Gebäude angeordneten Beleuchtung ändern. Das heißt es kann sich die Stärke oder Richtung des Umgebungslichts in einigen Fällen ändern.
Wenn sich die Stärke oder Richtung des Umgebungslichts ändern, ändert sich die Helligkeit der Oberfläche des Werkstücks, das von einer Kamera erfasst werden soll, was zu einer Verringerung des Kontrastes des Bildes führen kann. Alternativ nimmt bei einem glänzenden Werkstück die Helligkeit aufgrund der normalen Lichtreflexion auf der Oberfläche des Werkstücks im Übermaß zu, was dazu führen kann, dass das Merkmal, etwa die Kontur des Werkstücks, nicht im Bild erscheinen kann. Das heißt es kann eine Lichthofbildung im Bild auftreten. Wenn ein Abschnitt, der das Merkmal, etwa die Kontur, umfasst, nicht im Bild angezeigt wird, kann das Werkstück nicht erfasst werden oder es können Zustände der Oberfläche des Werkstücks nicht ordnungsgemäß gemessen werden.
Eine Bildgebungsvorrichtung nach einem Aspekt der vorliegenden Offenbarung umfasst einen Sichtsensor, der ein erstes Bild eines Werkstücks erfasst, und eine Bewegungsvorrichtung, die das Werkstück oder den Sichtsensor bewegt, um eine relative Position des Werkstücks bzw. des Sichtsensors in Bezug aufeinander zu ändern. Die Bildgebungsvorrichtung umfasst eine Bildverarbeitungsvorrichtung, die das erste Bild verarbeitet. Die Bildverarbeitungsvorrichtung umfasst eine Speichereinheit, die einen Satz aus erstem Bild und einer Position der Bewegungsvorrichtung zum Zeitpunkt des Erfassens des ersten Bildes speichert. Eine Erfassungsfläche, die am Werkstück definiert ist, und eine Sollposition, die als eine Position der Bewegungsvorrichtung, werden vorab festgelegt und in der Speichereinheit gespeichert. Der Sichtsensor erfasst eine Mehrzahl von ersten Bildern, so dass sich relative Positionen des Sichtsensor in Bezug auf das Werkstück voneinander unterscheiden. Die Bildverarbeitungsvorrichtung umfasst eine Bildumwandlungseinheit, welche die Mehrzahl der ersten Bilder in eine Mehrzahl von zweiten Bildern, wenn angenommen wird, dass Bilder an der Sollposition erfasst werden, auf der Basis der Position der Bewegungsvorrichtung zum Zeitpunkt des Erfassens des Bildes des ersten Bildes umwandelt. Die Bildverarbeitungsvorrichtung umfasst eine Zusammensetzungseinheit, die ein zusammengesetztes Bild erzeugt, in dem die Mehrzahl der zweiten Bilder zusammengesetzt sind. Die Bildverarbeitungsvorrichtung umfasst eine Einheit zum Verarbeiten von zusammengesetzten Bildern, die eine Erfassung und/oder Prüfung des Werkstücks auf der Erfassungsfläche auf der Basis des zusammengesetzten Bildes durchführt.
Eine Bildgebungsvorrichtung gemäß einem weiteren Aspekt der vorliegenden Offenbarung umfasst eine Mehrzahl von Sichtsensoren, die jeweils ein erstes Bild eines Werkstück erfassen, ein ersten Fixierungsteil, der das Werkstück fixiert, und einen zweiten Fixierungsteil, der einen Sichtsensor fixiert. Die Bildgebungsvorrichtung umfasst eine Bildverarbeitungsvorrichtung, die das erste Bild verarbeitet. Die Mehrzahl der Sichtsensoren ist so angeordnet, dass die Bilder des Werkstücks von Positionen erfasst werden, die sich voneinander unterscheiden. Die Bildverarbeitungsvorrichtung umfasst eine Speichereinheit, die einen Satz aus von der Mehrzahl der Sichtsensoren erfasstem ersten Bild und Positionen der Sichtsensoren, welche die ersten Bilder erfassen, speichert. Eine Erfassungsfläche, die am Werkstück definiert ist, und eine Erfassungsposition, die als die Position der Sichtsensors dient, verwendet zum Erfassen des Werkstücks, werden vorab ermittelt und in der Speichereinheit gespeichert. Die Bildverarbeitungsvorrichtung umfasst eine Bildumwandlungseinheit, welche die Mehrzahl der von der Mehrzahl der Sichtsensoren erfassten ersten Bilder in eine Mehrzahl von zweiten Bildern, wenn angenommen wird, dass die Bilder an der Erfassungsposition erfasst werden, auf der Basis der Position von jedem der Sichtsensoren umwandelt. Die Bildverarbeitungsvorrichtung umfasst eine Zusammensetzungseinheit, die ein zusammengesetztes Bild erzeugt, in dem die Mehrzahl der zweiten Bilder zusammengesetzt sind. Die Bildverarbeitungsvorrichtung umfasst eine Einheit zum Verarbeiten von zusammengesetzten Bildern, die eine Erfassung und/oder Prüfung des Werkstücks auf der Erfassungsfläche auf der Basis des zusammengesetzten Bildes durchführt.
Figurenliste

- 1 zeigt eine Seitenansicht eines ersten Robotersystems gemäß einer Ausführungsform.
- 2 zeigt ein Blockdiagramm eines Robotersystems gemäß der Ausführungsform.
- 3 zeigt eine Seitenansicht eines Roboters zum Darstellen der Bewegung einer Kamera im ersten Robotersystem.
- 4 zeigt eine Seitenansicht einer Kamera und eines Werkstücks zum Darstellen einer Erfassungsposition der Kamera.
- 5 zeigt ein Diagramm von durch ein Steuergerät zu verarbeitenden Bildern.
- 6 zeigt eine Seitenansicht der Kamera und die Erfassungsfläche zum Darstellen der Beziehung zwischen Pixeln in einem aktuell erfassten ersten Bild und Pixeln in einem zweiten Bild zum Zeitpunkt der Annahme, dass die Kamera an einer Erfassungsposition angeordnet ist.
- 7 zeigt ein Diagramm zum Darstellen von durch Vergrößern des ersten Bildes, das aktuell erfasst wurde, ermittelten Pixeln.
- 8 zeigt ein erläuterndes Diagramm in Bezug auf ein Verfahren zum Berechnen von Pixelwerten im zweiten Bild zum Zeitpunkt der Annahme, dass das Bild an der Erfassungsposition erfasst wird.
- 9 zeigt eine Seitenansicht eines zweiten Robotersystems gemäß der Ausführungsform.
- 10 zeigt eine weitere Seitenansicht des zweiten Robotersystems der Ausführungsform.
- 11 zeigt eine Seitenansicht eines Fördersystems gemäß der Ausführungsform.
- 12 zeigt ein Blockdiagramm des Fördersystems gemäß der Ausführungsform.
- 13 zeigt eine Seitenansicht einer Bildgebungsvorrichtung gemäß der Ausführungsform.
- 14 zeigt ein Blockdiagramm zum Darstellen der Bildgebungsvorrichtung gemäß der Ausführungsform.

Ausführliche Beschreibung
Nachfolgend ist eine Bildgebungsvorrichtung gemäß einer Ausführungsform in Bezug auf 1 bis 14 beschrieben. Die Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform erfasst und/oder prüft ein Werkstück auf der Basis eines von einem Sichtsensor erfassten Bildes.
1 zeigt eine schematische Ansicht eines ersten Robotersystems gemäß der vorliegenden Ausführungsform. 2 zeigt ein Blockdiagramm eines Robotersystems gemäß der vorliegenden Ausführungsform. Gemäß 1 und 2 umfasst ein Robotersystem 3 eine Hand 5, die ein Werkstück 38 greift, und einen Roboter 1, der die Hand 5 bewegt. Das Robotersystem 3 umfasst ein Steuergerät 2, welches das Robotersystem 3 steuert. Ferner umfasst das Robotersystem 3 einen Montagetisch 95, auf dem das Werkstück 38 montiert ist.
Die Hand 5 gemäß der vorliegenden Ausführungsform ist ein Endeffektor, der das Werkstück 38 greift und loslässt. Der am Roboter 1 befestigte Endeffektor ist nicht auf diese Form beschränkt und es kann ein beliebiges Vorgangswerkzeug verwendet werden, das für den Vorgang geeignet ist, den das Robotersystem 3 durchführt. Beispielsweise kann als Endeffektor ein Vorgangswerkzeug zum Schweißen oder ein Vorgangswerkzeug zum Anbringen eines Dichtmaterials an der Oberfläche des Werkstücks o. Ä. verwendet werden. Ferner ist gegebenenfalls nur eine Kamera 6 an einem Handende des Roboters 1 befestigt, ohne dass ein Vorgangswerkzeug am Handende des Roboters 1 befestigt ist.
Der Roboter 1 gemäß der vorliegenden Ausführungsform ist ein Gelenkroboter umfassend eine Mehrzahl von Gelenken 18. Der Roboter 1 umfasst einen Oberarm 11 und einen Unterarm 12. Der Unterarm 12 wird von einer Drehbasis 13 gestützt. Die Drehbasis 13 wird von einer Basis 14 gestützt. Der Roboter 1 umfasst ein Handgelenk 15, das mit einem Endabschnitt des Oberarms 11 verbunden ist. Das Handgelenk 15 umfasst einen Flansch 16 zum Befestigen der Hand 5. Ein Bestandteil des Roboters 1 ist so ausgebildet, dass er sich um eine vorgegebene Antriebsachse dreht. Die Form des Roboters ist nicht auf solche eine Form beschränkt und es kann ein beliebiger Roboter verwendet werden, der das Vorgangswerkzeug bewegen kann.
Der Roboter 1 gemäß der vorliegenden Ausführungsform umfasst eine Roboterantriebsvorrichtung 21, die Bestandteile wie den Oberarm 11 antreibt. Die Roboterantriebsvorrichtung 21 umfasst Antriebsmotoren, die den Oberarm 11, den Unterarm 12, die Drehbasis 13 und das Handgelenk 15 antreiben. Richtungen der entsprechenden Bestandteile des Roboters 1 ändern sich am Gelenk 18, wobei sich die Position und die Ausrichtung des Roboters 1 ändern. Die Hand 5 umfasst eine Handantriebsvorrichtung 22, welche die Hand 5 antreibt. Die Handantriebsvorrichtung 22 gemäß der vorliegenden Ausführungsform treibt die Hand 5 durch pneumatischen Druck an. Die Handantriebsvorrichtung 22 umfasst eine Pneumatikpumpe und ein Magnetventil zum Versorgen von Zylindern mit Druckluft.
Das Steuergerät 2 steuert den Roboter 1 und die Hand 5. Das Steuergerät 2 umfasst eine arithmetische Verarbeitungsvorrichtung (Rechner) mit einer CPU (Central Processing Unit) und ein RAM (Random Access memory) und ein ROM (Read Only Memory) u. Ä., die über einen Bus mit der CPU verbunden sind. Der Roboter 1 wird gemäß Betätigungsbefehlen vom Steuergerät 2 angetrieben. Der Roboter 1 transportiert das Werkstück 38 automatisch gemäß einem Betriebsprogramm 41. Die Roboterantriebsvorrichtung 21 und die Handantriebsvorrichtung 22 werden vom Steuergerät 2 gesteuert.
Das Betriebsprogramm 41, das vorab zum Betreiben des Roboters 1 vorbereitet wurde, wird am Steuergerät 2 eingegeben. Das Betriebsprogramm 41 wird in einer Speichereinheit 42 gespeichert. Eine Betriebssteuereinheit 43 sendet einen Betätigungsbefehl an eine Roboterantriebseinheit 44 zum Antreiben des Roboters 1 gemäß dem Betriebsprogramm 41. Die Roboterantriebseinheit 44 umfasst eine elektrische Schaltung zum Antrieb von Antriebsmotoren und versorgt die Roboterantriebsvorrichtung 21 mit Strom gemäß Betätigungsbefehlen.
Ferner sendet die Betriebssteuereinheit 43 einen Betätigungsbefehl zum Antreiben der Handantriebsvorrichtung 22 an eine Handantriebseinheit 45. Die Handantriebseinheit 45 umfasst eine elektrische Schaltung zum Antrieb der Pneumatikpumpe u. Ä. und versorgt die Pneumatikpumpe u. Ä. mit Strom gemäß Betätigungsbefehlen.
Der Roboter 1 umfasst einen Zustandsgeber zum Erfassen einer Position und einer Ausrichtung des Roboters 1. Der Zustandsgeber gemäß der vorliegenden Ausführungsform umfasst einen Positionsgeber 23, der an einem Antriebsmotor für jede Antriebsachse der Roboterantriebsvorrichtung 21 befestigt ist. Beispielsweise kann der Positionsgeber 23 Drehwinkel zum Zeitpunkt, zu dem der Antriebsmotor der Roboterantriebsvorrichtung 21 angetrieben wird, erfassen. Die Position und die Ausrichtung des Roboters 1 werden von der Ausgabe vom Positionsgeber 23 erfasst. Der Zustandsgeber ist nicht auf den Positionsgeber, der am Antriebsmotor befestigt ist, beschränkt und es kann ein beliebiger Geber verwendet werden, der die Position und die Ausrichtung des Roboters 1 erfassen kann.
Ein Referenzkoordinatensystem 71, das sich nicht bewegt, wenn sich die Position und die Ausrichtung des Roboters 1 ändern, ist im Robotersystem 3 eingerichtet. Im in 1 dargestellten Beispiel ist der Ursprung des Referenzkoordinatensystems 71 in der Basis 14 des Roboters 1 angeordnet. Das Referenzkoordinatensystem 71 wird ebenfalls als Weltkoordinatensystem bezeichnet. Im Referenzkoordinatensystem 71 ist die Position des Ursprungs festgelegt und die Richtung von jeder Koordinatenachse ist ebenfalls festgelegt. Weder die Position noch die Ausrichtung des Referenzkoordinatensystems 71 ändern sich, selbst wenn sich die Position und die Ausrichtung des Roboters 1 ändern. Das Referenzkoordinatensystem 71 weist eine X-Achse, eine Y-Achse und eine Z-Achse auf, die jeweils als eine Koordinatenachse dienen und senkrecht zueinander sind. Ferner ist eine W-Achse als eine Koordinatenachse um die X-Achse festgelegt. Eine P-Achse ist als eine Koordinatenachse um die Y-Achse festgelegt. Eine R-Achse ist als eine Koordinatenachse um die Z-Achse festgelegt.
Ferner ist ein Flanschkoordinatensystem 72 auf einer Fläche der Oberfläche des Flansches 16, auf dem die Hand 5 befestigt ist, festgelegt. Das Flanschkoordinatensystem 72 wird ebenfalls als Handenden-Koordinatensystem bezeichnet. Der Ursprung des Flanschkoordinatensystems 72 ist auf der Drehachse des Flanschs 16 angeordnet. Das Flanschkoordinatensystem 72 weist eine X-Achse, eine Y-Achse und eine Z-Achse auf, die senkrecht zueinander sind. Ferner weist das Flanschkoordinatensystem 72 eine W-achse um die X-Achse, eine P-Achse um die Y-Achse und eine R-Achse um die Z-Achse auf. Wenn sich die Position und die Ausrichtung des Roboters 1 ändern, ändern sich ebenfalls die Position des Ursprungs des Flanschkoordinatensystems 72 und die Ausrichtung des Koordinatensystems in Verbindung mit dem Flansch 16. Durch Umwandeln von Koordinatenwerten des Flanschkoordinatensystems 72 durch eine Matrix können Koordinatenwerte des Referenzkoordinatensystems 71 berechnet werden. Ferner können durch Umwandeln von Koordinatenwerten des Referenzkoordinatensystems 71 durch eine Matrix Koordinatenwerte des Flanschkoordinatensystems 72 berechnet werden.
Das Robotersystem 3 gemäß der vorliegenden Ausführungsform umfasst eine Bildgebungsvorrichtung, die ein Erfassen und/oder Prüfen des Werkstücks 38 durchführt. Beim ersten Robotersystem 3 wird die Position des Werkstücks 38 auf dem Montagetisch 95 erfasst, bevor die Hand 5 das Werkstück 38 greift. Die Bildgebungsvorrichtung umfasst die Kamera 6, die als ein Sichtsensor dient, der ein erstes Bild des Werkstücks 38 erfasst. Das erste Bild ist ein Bild, das durch aktuelles Erfassen des Bildes des Werkstücks 38 unter Verwendung der Kamera 6 ermittelt wird. Die Kamera 6 gemäß der vorliegenden Ausführungsform ist eine Kamera, die ein zweidimensionales Bild erfasst. Die Kamera 6 wird vom Roboter 1 gestützt. Die Kamera 6 ist durch ein Stützelement am Handgelenk 15 befestigt. Die Kamera 6 ist am Roboter 1 befestigt, so dass das Bild des Werkstücks 38 erfasst werden kann, wenn der Roboter 1 seine Position und Ausrichtung ändert.
Die Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform umfasst eine Bewegungsvorrichtung, die das Werkstück 38 und die Kamera 6 so bewegt, dass sich eine relative Position des Werkstücks bzw. der Kamera in Bezug aufeinander ändert. Beim Robotersystem 3 dient der Roboter 1 als Bewegungsvorrichtung und die Kamera 6 ist am Handende des Roboters 1 montiert. Wenn sich die Position und die Ausrichtung des Roboters 1 ändern, ändern sich ebenfalls die Position und die Ausrichtung der Kamera 6. Ferner dient der Montagetisch 95 als ein Fixierungsteil zum Fixieren des Werkstücks 38.
Die Bildgebungsvorrichtung umfasst eine Bildverarbeitungsvorrichtung, die das vom Sichtsensor erfasste erste Bild verarbeitet. Beim Robotersystem 3 gemäß der vorliegenden Ausführungsform dient das Steuergerät 2 als Bildverarbeitungsvorrichtung. Das Steuergerät 2 umfasst eine Bildsteuereinheit 51. Die Bildsteuereinheit 51 umfasst eine Bildgebungssteuereinheit 57, die an die Kamera 6 einen Befehl zum Erfassen eines Bildes sendet. Die Bildsteuereinheit 51 weist eine Funktion zum Verarbeiten eines von der Kamera 6 erfassten ersten Bildes auf. Die Bildsteuereinheit 51 umfasst eine Speichereinheit 56, die Informationen zur Bildgebung des Werkstücks 38 speichert.
3 zeigt eine Seitenansicht des Roboters zur Darstellung der Bewegung der Kamera, wenn das Bild des Werkstücks erfasst wird. Wenn sich die Position und die Ausrichtung des Roboters 1 ändern, ändern sich die Position und die Ausrichtung der Kamera 6. Die Kamera 6 kann an einer beliebigen Position angeordnet sein, an der das Bild des Werkstücks 38 erfasst werden kann. Beim ersten Robotersystem 3 werden die Bilder des Werkstücks 38 an einer Mehrzahl von vorgegebenen Positionen der Kamera 6 erfasst. Die Kamera 6 erfasst eine Mehrzahl von ersten Bildern an verschiedenen Bildgebungspositionen. Beim in 3 dargestellten Beispiel erfasst die Kamera 6 das Bild des Werkstücks 38 an der Position P6a. Anschließend, nachdem der Roboter 1 die Kamera 6 von der Position P6a zur Position P6B bewegt wie durch den Pfeil 91 angegeben, erfasst die Kamera 6 das Bild des Werkstücks 38.
Ferner, nachdem der Roboter 1 die Kamera 6 zur Position P6c bewegt wie durch den Pfeil 92 angegeben, erfasst die Kamera 6 das Bild des Werkstücks 38. Auf diese Weise wird eine Mehrzahl von ersten Bildern des Werkstücks 38 erfasst, so dass sich eine Mehrzahl von relativen Positionen der Kamera 6 in Bezug auf das Werkstück 38 voneinander unterscheidet. Die Mehrzahl der Positionen P6a, P6b, P6c der Kamera 6, an der die ersten Bilder erfasst werden, sind vorgegeben. Ferner sind die Positionen und die Ausrichtungen des Roboters 1, die den Positionen P6a, P6b, P6c entsprechen, im Betriebsprogramm 41 festgelegt. Die Kamera 6 erfasst eine Mehrzahl von ersten Bildern an einer Mehrzahl von vorgegebenen Positionen und Ausrichtungen des Roboters 1.
Die Kamera 6 kann eine Mehrzahl von ersten Bildern erfassen, ohne die Mehrzahl der Positionen und Ausrichtungen des Roboters 1 vorzugeben. Beispielsweise kann die Ausgangsposition der Kamera 6 als die Position P6a festgelegt werden und die Position der Kamera 6 nach dem Bewegen kann als Position P6b festgelegt werden. Die Bilder des Werkstücks 38 können in konstanten Zeitintervallen während der Zeit, in der die Kamera 6 von der Position P6a zur Position P6b bewegt wird, während der Roboter 1 angetrieben wird, erfasst werden. In solch einem Fall ist es erforderlich, dass die Positionen und die Ausrichtungen des Roboters 1 zum Zeitpunkt, zu dem die Kamera 6 die ersten Bilder erfasst, mit den entsprechenden ersten Bildern verknüpft werden, um einen Satz aus erstem Bild und der Position und der Ausrichtung des Roboters 1 zu bilden, und dieser Satz wird in der Speichereinheit 56 gespeichert. Zwar werden hier die Position und die Ausrichtung des Roboters 1 gespeichert; aber die Ausführung ist nicht hierauf beschränkt. Die Position und die Ausrichtung der Kamera 6 oder eine andere Position, die auf der Basis der Position und der Ausrichtung des Roboters 1 berechnet werden können, kann in der Speichereinheit 56 gespeichert werden.
4 zeigt eine Seitenansicht zum Erläutern der Positionen der Kamera, an denen die Bilder des Werkstücks erfasst werden, und der Position der Kamera, die einem zum Erfassen des Werkstücks verwendeten Bild entspricht. In der vorliegenden Ausführungsform wird eine zum Erfassen des Werkstücks 38 verwendete Erfassungsfläche 75 vorab am Werkstück 38 definiert. Die Bildsteuereinheit 51 erfasst die Position des Werkstücks 38 auf der Erfassungsfläche 75. Die Erfassungsfläche 75 kann so festgelegt werden, dass sie sich entlang der Fläche eines Teils des Werkstücks 38 erstreckt. Insbesondere kann die Erfassungsfläche 75 so festgelegt werden, dass sie die Fläche eines Teils des Werkstücks 38 umfasst. Die Bildsteuereinheit 51 verwendet auf dieser Fläche gezeigte Merkmalspunkte oder Helligkeitswerte, um eine Erfassung und/oder Prüfung des Werkstücks 38 durchzuführen. Die Erfassungsfläche 75 kann im Referenzkoordinatensystem 71 ausgedrückt werden. Informationen über die Erfassungsfläche 75 werden in der Speichereinheit 56 gespeichert. Es können verschiedene Abschnitte für die Merkmalspunkte verwendet werden und bei der vorliegenden Ausführungsform werden Randpunkte als Merkmalspunkte verwendet. Die Randpunkte sind Punkte, an denen der Stärkegradient im Bild groß ist, und können zum Ermitteln der Form der Kontur des Werkstücks 38 verwendet werden. Das Verfahren zum Extrahieren von Randpunkten entspricht dem Stand der Technik und daher wird auf eine Erläuterung von diesem verzichtet.
Die Positionen, an denen die Kamera 6 erste Bilder erfasst, sind die Positionen P6a, P6b, P6c. Wiederum wird eine Erfassungsposition P6D, die eine Position der Kamera 6 ist, an der das Werkstück 38 erfasst wird, vorab ermittelt. Die Erfassungsposition P6D ist eine von einem Bediener festgelegte imaginäre Position. Die Erfassungsposition P6D kann auf eine beliebige Position festgelegt werden, an der die Kamera 6 das Bild des Werkstücks 38 erfassen kann. Ferner werden die Position und Ausrichtung des Roboters 1, die zum Anordnen der Kamera 6 an der Erfassungsposition 6d verwendet werden, als Sollposition der Bewegungsvorrichtung vorgegeben. Die Position und die Ausrichtung des Roboters 1 werden in der Speichereinheit 56 gespeichert. Informationen über die Erfassungsposition P6d der Kamera 6 können durch Verwenden des Referenzkoordinatensystems 71 in der Speichereinheit 56 gespeichert werden. Die Erfassungsposition P6d ist nicht auf eine imaginäre Position beschränkt und es kann eine Position aus Positionen der Kamera 6 ausgewählt werden, an denen eine Mehrzahl von ersten Bildern erfasst wird.
5 zeigt eine schematische Ansicht zum Erläutern eines in der vorliegenden Ausführungsform erfassten erstens Bildes und von Verarbeitungen des ersten Bildes. Gemäß 2, 4 und 5 erfasst die Kamera 6 erste Bilder 61a, 61b, 61c an den Positionen P6a, P6b, P6c. Das erste Bild 61a ist ein von der Kamera 6 an der Position P6a erfasstes Bild, das erste Bild 61b ist ein von der Kamera 6 an der Position P6b erfasstes Bild und das erste Bild 61c ist ein von der Kamera 6 an der Position P6c erfasstes Bild. Anschließend wandelt die Bildsteuereinheit 51 die ersten Bilder 61a, 61b, 61c jeweils in zweite Bilder 62a, 62b, 62c um, wenn sie an der Erfassungsposition P6d erfasst werden, wie durch den Pfeil 93 angegeben.
Die zweiten Bilder 62a, 62b, 62c sind unter der Annahme, dass das Werkstück 38, das in den von der Kamera 6 erfassten ersten Bilder 61a, 61b, 61c dargestellt ist, von der Erfassungsposition P6d erfasst wird, ermittelte Bilder. Das zweite Bild 62a ist ein durch Umwandeln des erstens Bildes 61a in dieses ermitteltes Bild, das zweite Bild 62b ist ein durch Umwandeln des ersten Bildes 61b in dieses ermitteltes Bild und das zweite Bild 62c ist ein durch Umwandeln des ersten Bildes 61c in dieses ermitteltes Bild.
Anschließend setzt die Bildsteuereinheit 51 die Mehrzahl der zweiten Bilder 62a, 62b, 62c zusammen, um ein zusammengesetztes Bild 63 zu erzeugen wie durch den Pfeil 94 angegeben. Einige Randpunkte des Werkstücks 38 können in den ersten Bildern 61a, 61b, 61c, die aktuell erfasst wurden, unklar sein. Beispielsweise kann die Linie der Kontur des Werkstücks 38 aufgrund des Auftretens einer Lichthofbildung an einem Abschnitt 65 des ersten Bildes 61b, das aktuell erfasst wurde, unklar sein. Auch in solch einem Fall kann der unklare Abschnitt durch Erzeugen des zusammengesetzten Bildes 63 ausgeschlossen werden.
Somit kann die Bildsteuereinheit 51 die Position des Werkstücks 38 genau erfassen. Danach korrigiert die Betriebssteuereinheit 43 die Position und die Ausrichtung des Roboters 1 auf der Basis der Position des Werkstücks 38. Diese Steuerung ermöglicht der Hand 5 das Greifen des Werkstücks 38.
Nachfolgend ist in Bezug auf 2 bis 5 eine Steuerung der vorliegenden Ausführungsform ausführlich beschrieben. Der Bediener führt vorab eine Kalibrierung der Kamera 6 durch. Es wird angenommen, dass Kalibrierdaten 59 ermittelt werden, um eine Beziehung zwischen einem Kamerakoordinatensystem, das als Basis für die Messverarbeitung durch die Kamera 6 dient, und dem Referenzkoordinatensystem herzustellen. Die Kalibrierdaten 59 werden in der Speichereinheit 42 gespeichert. Die Bildsteuereinheit 51 ermittelt die Kalibrierdaten 59 von der Speichereinheit 42 und speichert diese in der Speichereinheit 56. Die Kalibrierdaten 59 umfassen intrinsische Parameter umfassend Informationen beispielsweise zur Brennweite der Kamera 6 und Verzerrung einer Linse. Ferner umfassen die Kalibrierdaten 59 extrinsische Parameter umfassend eine relative Positionsbeziehung des Flanschkoordinatensystems 72 in Bezug auf das Bildkoordinatensystem 73 im von der Kamera 6 erfassten ersten Bild.
Ferner gibt der Bediener Eingabedaten 58 am Steuergerät 2 ein. Die Eingabedaten 58 werden in der Speichereinheit 42 gespeichert. Die Bildsteuereinheit 51 ermittelt die Eingabedaten 58 von der Speichereinheit 42 und speichert diese in der Speichereinheit 56. Die Eingabedaten 58 umfassen Informationen zur Erfassungsfläche 75. Die Erfassungsfläche 75 kann auf einer ebenen Fläche festgelegt werden.
Alternativ kann die Erfassungsfläche 75 eine Kurve umfassen oder kann durch Verbinden einer Mehrzahl von Polygonen miteinander gebildet werden.
Die Erfassungsfläche 75 gemäß der vorliegenden Ausführungsform wird vorab von einem Bediener festgelegt. Die Erfassungsfläche ist nicht auf diesen Modus beschränkt und es kann auch eine vorgegebene Fläche des Werkstücks durch Verwenden eines anderen Sensors gemessen werden und eine Erfassungsfläche wird so festgelegt, dass sie diese vorgegebene Fläche umfasst.
Ferner gibt der Bediener vor, welche Position des Bildes verwendet wird, um ein zusammengesetztes Bild zu erzeugen, das am Ende zu erzeugen ist. Die Eingabedaten 58 umfassen die Position und die Ausrichtung des Roboters 1, um die Kamera 6 an der Erfassungsposition P6d zum Erfassen der Position des Werkstücks 38 anzuordnen. Für ein Bild, das der Erfassungsposition P6d entspricht, können Bedingungen verwendet werden, die sich von Bildgebungsbedingungen unterscheiden, wenn das Bild des Werkstücks 38 aktuell erfasst wird. Beispielsweise können für ein Bild, das der Erfassungsposition P6d entspricht, Werte festgelegt werden, die sich von denen, die verwendet werden, wenn ein Bild aktuell erfasst wird, in Bezug auf Brennweite, Blickwinkel, Pixelzahl, Linsenverzerrung u. Ä. der Kamera unterscheiden. Diese Informationsteile können in den Eingabedaten 58 enthalten sein.
Die Position und die Ausrichtung des Roboters 1 zum Erfassen des ersten Bildes werden vorab im Betriebsprogramm 41 festgelegt. Gemäß dem Betriebsprogramm 41 ändert die Betriebssteuereinheit 43 die Position und die Ausrichtung des Roboters 1, um das Bild des Werkstücks 38 zu erfassen. Die Bildgebungssteuereinheit 57 sendet an die Kamera 6 einen Befehl zum Erfassen des Bildes des Werkstücks 38, wenn der Roboter 1 die Position und die Ausrichtung erreicht, die vorgegeben wurden. Die Kamera 6 erfasst Bilder des Werkstücks 38 an einer Mehrzahl von vorgegebenen Positionen P6a, P6b, P6c. In 3 werden zwar die ersten Bilder 61a, 61b, 61c an den Positionen P6a, P6b, P6c erfasst; aber die Ausführungsform ist nicht hierauf beschränkt und es können zwei oder mehr erste Bilder von beliebigen Positionen erfasst werden. Für die Position der Kamera 6, die das Bild des Werkstücks 38 erfasst kann eine beliebige Position gewählt werden, an der das Werkstück 38 im Sichtfeld der Kamera 6 liegt. Auf diese Weise werden die Bilder des Werkstücks 38 von einer Mehrzahl von Blickpunkten erfasst.
Im in 3 dargestellten Beispiel wird zwar eine Mehrzahl von Antriebsachsen des Roboters 1 angetrieben; die Ausführungsform ist aber nicht hierauf beschränkt und es kann eine einzelne Antriebsachse betrieben werden, um die Position der Kamera 6 zu ändern. Durch Verwenden dieser Steuerung wird ein Fehler verhindert, der auftritt, wenn der Bestandteil des Roboters 1 an der Antriebsachse in Betrieb ist. Ferner ist, obgleich sich die Richtung der Kamera 6 (Richtung der optischen Achse) im in 3 dargestellten Beispiel ändert, die Ausführungsform nicht hierauf beschränkt und es kann ein paralleles Verschieben der Kamera 6 ohne Ändern der Richtung der Kamera 6 durchgeführt werden.
Die Bildsteuereinheit 51 umfasst eine Positionserfassungseinheit 52, die eine relative Position der Kamera 6 in Bezug auf das Werkstück 38 ermittelt. Die Positionserfassungseinheit 52 ermittelt die Position und die Ausrichtung des Roboters 1, wenn das Bild des Werkstücks 38 erfasst wird. Die Positionserfassungseinheit 52 berechnet die Position der Kamera 6, wenn das Bild des Werkstücks 38 erfasst wird, auf der Basis der Position und der Ausrichtung des Roboters 1 und der Kalibrierdaten 59. Die Speichereinheit 56 speichert eine Mehrzahl der von der Kamera 6 an einer Mehrzahl von Positionen erfassten ersten Bilder. Ferner speichert die Speichereinheit 56 einen Satz aus Position und Ausrichtung des Roboters 1, wenn das erste Bild erfasst wird, und das erste Bild.
Das Bildsteuergerät 51 umfasst eine Bildumwandlungseinheit 53, die eine Mehrzahl der von der Kamera 6 erfassten ersten Bilder 61a, 61b, 61c in eine Mehrzahl der zweiten Bilder 62a, 62b, 62c, wenn angenommen wird, dass die Bilder an der Erfassungsposition P6d erfasst werden, auf der Basis der relativen Position der Kamera 6 in Bezug auf die Erfassungsfläche 75 umwandelt. In diesem Beispiel wandelt die Bildumwandlungseinheit 53 die ersten Bilder 61a, 61b, 61c auf der Basis der Positionen und der Ausrichtungen des Roboters 1 um, wenn die Bilder des Werkstücks 38 erfasst werden, wobei die Position und die Ausrichtung so gespeichert werden, dass sie mit den ersten Bildern 61a, 61b, 61c verknüpft werden. Die Bildumwandlungseinheit 53 führt eine Umwandlung in zweite Bilder 62a, 62b, 62c des Werkstücks 38 durch, von denen jedes ermittelt wird, wenn angenommen wird, dass in den ersten Bildern 61a, 61b, 61c enthaltene Werkstücke 38 jeweils an der Sollposition des Roboters 1 erfasst werden, die der Erfassungsposition P6d entspricht. Die zweiten Bilder 62a, 62b, 62c können als von der gleichen imaginären Position erfasste imaginäre Bilder bezeichnet werden. Nachfolgend ist ein Prozess beschrieben, in dem die ersten Bilder 61a, 61b, 61c, die aktuell in 5 erfasst werden, in ein zweites Bild 62a beim Erfassen an der Erfassungsposition P6d umgewandelt werden.
6 zeigt eine Seitenansicht zum Erläutern der Sichtlinie der Kamera, wenn das erste Bild aktuell erfasst wird, und die Sichtlinie der an der Erfassungsposition angeordneten Kamera. 6 zeigt die an der Position P6c angeordnete Kamera 6, an der die Bildgebung aktuell durchgeführt wird, und die an der Erfassungsposition P6d angeordnete Kamera 6. Es können Bildgebungsflächen 76c, 76d im Blickwinkel der Kamera 6 festgelegt werden. Die Bildgebungsflächen 76c, 76d simulieren jeweils eine Fläche eines Bildsensors, etwa eines CCD-(Charge-Coupled-Device-)Sensors und eines CMOS-(Complementary-Metal-Oxide-Semiconductor-)Sensors, die in der Kamera 6 angeordnet sind.
Wie im ersten Bild 61c in 5 dargestellt kann ein Bildkoordinatensystem 73 im von der Kamera 6 erfassten Bild festgelegt werden. Das Bildkoordinatensystem 73 ist ein zweidimensionales Koordinatensystem im erfassten Bild, wobei eine vorgegebene Position der Ursprung von diesem ist. Das Bildkoordinatensystem 73 weist eine X-Achse und eine Y-Achse auf, die senkrecht zueinander sind. Eine Position im Bild kann durch Verwenden des Koordinatenwerts des Bildkoordinatensystems 73 spezifiziert werden. Ferner kann das Bildkoordinatensystem 73 auf den Bildgebungsflächen 76c, 76d festgelegt werden.
Wenn die Kalibrierdaten 59 auf der Kamera 6 ermittelt wurden und ein dreidimensionaler Punkt (nachfolgend als Betrachtungspunkt bezeichnet) im Referenzkoordinatensystem 71 vorgegeben wurde, kann die Position des dreidimensionalen Punkt auf dem Bild, das heißt des zweidimensionalen Punkts im Bildkoordinatensystem 73, berechnet werden. Ferner kann, wenn ein zweidimensionaler Punkt, der als ein Bild an einem vorgegebenen Betrachtungspunkt dient, im Bildkoordinatensystem 73 vorgegeben ist, die Sichtlinie (dreidimensionale gerade Linie, die durch den Betrachtungspunkt und den Brennpunkt der Kamera 6 läuft) im Referenzkoordinatensystem 71 berechnet werden. Wenn ein Punkt im ersten Bild 61c ausgewählt wird, kann die Kamera 6 eine Sichtlinie 77c entsprechend dem einen Punkt und sich von der Kamera 6 erstreckend berechnet werden. Die Sichtlinie 77C kann durch Verwenden des Flanschkoordinatensystems 72 ausgedrückt werden.
Das heißt auf der Basis eines beliebigen Punkts im Bildkoordinatensystem 73 kann die Sichtlinie 77c der Kamera 6 im Flanschkoordinatensystem 72 ermittelt werden. Ferner können auf der Basis der Position und Ausrichtung des Roboters 1 die Position des Ursprungs des Flanschkoordinatensystems 72 und die Ausrichtung des Flanschkoordinatensystems 72 im Referenzkoordinatensystem 71 ermittelt werden. Somit kann die im Flanschkoordinatensystem 72 ausgedrückte Sichtlinie 77c in die im Referenzkoordinatensystem 71 ausgedrückte Sichtlinie 77C umgewandelt werden.
Wenn hingegen ein Punkt im Referenzkoordinatensystem 71 festgelegt wird, kann die Sichtlinie 77c im Referenzkoordinatensystem 71 berechnet werden. Ferner kann auf der Basis der Sichtlinie 77c im Referenzkoordinatensystem 71 eine Position des entsprechenden Punkts im Bildkoordinatensystem 73 berechnet werden.
Nachfolgend sind in Bezug auf 4 bis 6 als Beispiel ein erstes Bild 61c entsprechend der Position P6c und ein zweites Bild 62c nach der Umwandlung beschrieben. Die Bildumwandlungseinheit 53 wählt den Mittelpunkt in einem beliebigen Pixel im zweiten Bild 62c aus, bei dem angenommen wird, das es von der an der Erfassungsposition P6d angeordneten Kamera 6 erfasst wird. Beispielsweise wählt die Bildumwandlungseinheit 53 einen Punkt 64b aus, welcher der Mittelpunkt in einem Pixel ist. Die Bildumwandlungseinheit 53 berechnet die im Flanschkoordinatensystem 72 ausgedrückte Sichtlinie 77d auf der Basis der Position des Punkts 64b im Bildkoordinatensystem 73. Ferner berechnet die Bildumwandlungseinheit 53 die im Referenzkoordinatensystem 71 ausgedrückte Sichtlinie 77d.
Die Bildumwandlungseinheit 53 berechnet einen Schnittpunkt 78 zwischen der Sichtlinie 77d und der Erfassungsfläche 75. Die Position dieses Schnittpunkts 78 kann im Referenzkoordinatensystem 71 ausgedrückt werden. Anschließend berechnet die Bildumwandlungseinheit 53 die durch den Schnittpunkt 78 laufende Sichtlinie 77c in Verbindung mit der an der Position P6c angeordneten Kamera 6, an der die Bildgebung aktuell durchgeführt wird. Die Bildumwandlungseinheit 53 ändert die im Referenzkoordinatensystem 71 ausgedrückte Sichtlinie 77c in die im Flanschkoordinatensystem 72 ausgedrückte Sichtlinie 77c um. Ferner berechnet die Bildumwandlungseinheit 53 die Position im Bildkoordinatensystem 73 auf der Bildgebungsfläche 76c, an die Bildgebung aktuell durchgeführt wird, auf der Basis der Sichtlinie 77c. Auf diese Weise kann die Position des Punkts 64a im ersten Bild 61c berechnet werden.
7 zeigt eine vergrößerte Ansicht zum Darstellen eines ersten Bildes, das aktuell erfasst wird. 7 zeigt Pixel 85a, 85b, 85c in der Nachbarschaft des Punkts 64a, der dem Punkt 64b im zweiten Bild 62c entspricht. Die Position des Punkts 64a dient als entsprechende Position, die dem Mittelpunkt 64b des Pixels im zweiten Bild 62c an der Erfassungsposition P6d entspricht. Der Punkt 64a ist im Pixel 85a umfassend den Mittelpunkt 81a angeordnet. Somit kann die Bildumwandlungseinheit 53 einen Wert eines Pixels, von dem die Mitte der Punkts 64b im zweiten Bild 62c ist, auf einen Pixelwert des Pixels 85a im ersten Bild 61c festlegen. Der Wert des Pixels stellt einen Wert betreffend Leuchtdichte oder Farbe des Pixels dar oder er kann gegebenenfalls die Helligkeit verwenden.
Die Bildumwandlungseinheit 53 führt die Berechnung des Pixelwerts im zweiten Bild 62c für alle im zweiten Bild 62c enthaltene Pixel durch. Durch Verwenden dieser Steuerung kann die Bildumwandlungseinheit 53 das zweite Bild 62c erzeugen.
Wenn eine Position im ersten Bild 61c, die einer Position im zweiten Bild 62c entspricht, außerhalb des Bereichs des ersten Bildes 61c liegt, kann ein vorgegebener Wert für den Wert des Pixels im zweiten Bild 62c festgelegt werden. Im Beispiel des zweiten Bildes 62c in 5 wird, wenn kein entsprechendes Pixel im ersten Bild 61c, das von der Kamera 6 erfasst wird, vorhanden ist, die Helligkeit des Pixels im zweiten Bild 62c auf Null festgelegt. Das heißt der Pixelwert wird so festgelegt, dass er im zweiten Bild 62c schwarz ist.
Ferner kann zum genauen Ermitteln des Pixelwerts der Pixelwert des Pixels 85b, 85c in der Nachbarschaft des Pixels 85a umfassend den Punkt 64a im ersten Bild 61c zum Berechnen des Pixelwerts des Pixels im zweiten Bild 62c verwendet werden. In der vorliegenden Ausführungsform wird eine lineare Interpolation zwischen Pixelwerten einer Mehrzahl von Pixeln 85b, 85c in der Nähe des Punkts 64a und dem Pixelwert des Pixels 85a umfassend den Punkt 64a durchgeführt, wodurch der Wert des Pixels umfassend den Punkt 64b im zweiten Bild 62c berechnet wird.
Die Bildumwandlungseinheit 53 ermittelt die Position des Punkts 64a in Bezug auf den Mittelpunkt 81a im Pixel 85a. Im in 7 dargestellten Beispiel ist der Punkt 64a rechts vom Mittelpunkt 81a angeordnet und ist niedriger als der Mittelpunkt 81a angeordnet. Die Bildumwandlungseinheit 53 wählt das Pixel 85b und das Pixel 85c als zwei Pixel aus, die am nächsten zum Punkt 64a sind.
8 zeigt ein Diagramm zum Erläutern einer angewendeten Interpolation, wenn der Wert des Pixels im zweiten Bild berechnet wird. Die Mittelpunkte 81a, 81b, 81c der entsprechenden Pixel 85a, 85b, 85c werden im Bildkoordinatensystem 73 umfassend die X-Achse und die Y-Achse festgelegt. Ferner wird eine Koordinatenachse, die Bezug zu Pixelwerten steht, so festgelegt, dass sie senkrecht zur X-Achse und zur Y-Achse ist. Die Bildumwandlungseinheit 53 berechnet eine Ebene 82, die durch die Pixelwerte der entsprechenden Mittelpunkte 81a, 81b, 81c läuft. Die Bildumwandlungseinheit 53 berechnet eine Linie, die sich vom Punkt 64a erstreckt und senkrecht zur Ebene umfassend die X-Achse und die Y-Achse ist. Die Bildumwandlungseinheit 53 berechnet einen Schnittpunkt 83 zwischen dieser Linie und der Ebene 82. Die Bildumwandlungseinheit 53 kann den Pixelwert des Schnittpunkts 83 als Pixelwert des Pixels umfassend den Punkt 64b im zweiten Bild 62c verwenden.
Wie zuvor beschrieben kann die Kamera 6 eine Mehrzahl von ersten Bildern erfassen, in denen sich die Positionen für die Bildgebung voneinander unterscheiden. Die Bildumwandlungseinheit 53 wandelt die Mehrzahl der ersten Bilder um, um eine Mehrzahl der zweiten Bilder zu erzeugen, die der Erfassungsposition entsprechen. Die Bildumwandlungseinheit 53 berechnet die entsprechenden Positionen in den ersten Bildern, die Pixeln in zweiten Bildern entsprechen. Die Bildumwandlungseinheit 53 kann den Wert des Pixels im zweiten Bild auf der Basis des Werts des Pixels umfassend die entsprechende Position im ersten Bild und des Werts des Pixels angrenzend an das Pixel umfassend die entsprechende Position berechnen. Durch Anwenden dieser Steuerung kann der Pixelwert genauer im Bild nach der Umwandlung berechnet werden.
Ferner kann wie zuvor beschrieben die Bildumwandlungseinheit 53 den Wert des Bildes im zweiten Bild durch Interpolation oder Extrapolation auf der Basis des Werts des Pixels umfassend eine entsprechende Position und von Werten einer Mehrzahl von Pixeln in der Nähe der entsprechenden Position berechnen. Durch Anwenden dieser Steuerung kann der Pixelwert des Pixels im zweiten Bild auf eine genauere Weise berechnet werden, selbst die entsprechende Position nicht mit der Mittel des Pixels im ersten Bild übereinstimmt. In der zuvor beschriebenen Ausführungsform werden zwar Pixelwerte von zwei Pixeln verwendet, die am nächsten zur entsprechenden Position sind; die Ausführungsform ist aber nicht hierauf beschränkt und es können Pixelwerte von drei oder mehr Pixeln verwendet werden, die nahe der entsprechenden Position sind.
Gemäß 2 und 5 kann die Bildumwandlungseinheit 53 zweite Bilder 62a, 62b, 62c auf der Basis der ersten Bilder 61a, 61b, 61c, die aktuell erfasst werden, erzeugen, so dass diese Erfassungspositionen entsprechen.
Die Bildsteuereinheit 51 umfasst eine Zusammensetzungseinheit 54, die eine Mehrzahl von zweiten Bildern 62a, 62b, 62c zusammensetzt, die von der Bildumwandlungseinheit 53 umgewandelt werden, um ein zusammengesetztes Bild 63 zu erzeugen, das dem Bild entspricht, das an der Erfassungsposition erfasst wird. Die Zusammensetzungseinheit 54 setzt die Mehrzahl der zweiten Bilder 62a, 62b, 62c zusammen, um das zusammengesetzte Bild 63 wie durch den Pfeil 94 angegeben zu erzeugen.
Die Zusammensetzungseinheit 54 berechnet den Wert des im zusammengesetzten Bild 63 enthaltenen Pixels auf der Basis von Werten von in den zweiten Bildern 62a, 62b, 62c enthaltenen Pixeln. Die Zusammensetzungseinheit 54 wählt ein Pixel aus, von dem der Mittelpunkt ein Punkt 64c im zusammengesetzten Bild 63 ist. Ferner kann die Zusammensetzungseinheit 54 den Durchschnittswert von Werten von Pixeln in den zweiten Bildern 62a, 62b, 62c, wobei die Pixel jeweils den Punkt 64c als Mitte hiervon aufweisen, für den Wert des Pixels des Punkts 64c im zusammengesetzten Bild 63 festlegen. Alternativ kann die Zusammensetzungseinheit 54 den minimalen Wert oder den maximalen Wert von Pixelwerten in den zweiten Bildern 62a, 62b, 62c für den Wert des Pixels im zusammengesetzten Bild 63 festlegen. Beispielsweise kann durch Verwenden des Durchschnittswerts, des Medianwerts oder des minimalen Werts von Werten von Pixeln in den zweiten Bildern 62a, 62b, 62c der Wert des Pixels eines unklaren Abschnitts aufgrund einer Lichthofbildung ausgeschlossen werden. Ferner kann die Zusammensetzungseinheit 54 die Statistik von Werten von Pixeln in der Mehrzahl der von der Bildumwandlungseinheit 53 umgewandelten zweiten Bilder 62a, 62b, 62c für den Wert des Pixels im zusammengesetzten Bild 63 festlegen.
Ferner kann die Zusammensetzungseinheit 54 ein Pixel ausschließen, dessen Pixelwert sehr groß ist oder dessen Pixelwert sehr klein ist. Der Bediener kann Ausreißer in Verbindung mit dem Pixelwert vorgeben. Die Zusammensetzungseinheit 54 kann ein Pixel ausschließen, dessen Pixelwert außerhalb eines vorgegebenen Bereichs auf der Basis der Ausreißer liegt. Ferner kann die Zusammensetzungseinheit 54 Werte von allen Pixeln ermitteln und Ausreißer durch Verwenden eines statistischen Verfahrens festlegen. Alternativ kann ein Pixel umfassend einen Ausreißer durch Verwenden eines Werts, der von einem Pixelwert wie einem Stärkegradienten berechnet werden kann, statt durch Verwenden des Pixelwerts selbst ausgeschlossen werden.
Ein schwarzer Abschnitt, in dem die Helligkeit auf Null festgelegt ist, ist in den zweiten Bildern 62a, 62b, 62c vorhanden. Die Zusammensetzungseinheit 54 kann den Pixelwert dieses Abschnitts ausschließen, um einen Pixelwert beim Erzeugen des zusammengesetzten Bildes 63 zu berechnen. Die richtige Form ist nicht dargestellt für die Form eines Abschnitts des Werkstücks 38, der außerhalb der Erfassungsfläche 75 liegt. Aber ein anderer Abschnitt als ein Abschnitt mit Merkmalen auf der Erfassungsfläche 75 wird durch Zusammensetzen einer Mehrzahl von zweiten Bildern unklar gemacht. Ein Abschnitt, der außerhalb der Erfassungsfläche 75 liegt, verursacht keine Probleme, da die Erfassung des Werkstücks 38 durch Verwenden eines Abschnitts auf der Erfassungsfläche 75 erfolgt, die Merkmale aufweist.
Die Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform kann eine Wirkung von Umgebungslicht oder eine Wirkung einer Verringerung des Kontrastes je nach Beleuchtung oder Neigung eines Werkstücks verringern. Ferner kann, wenn die Lichthofbildung auftritt, ein Abschnitt, in dem die Lichthofbildung auftritt, korrigiert werden. Somit kann ein klares Bild erzeugt werden, wenn angenommen wird, dass das Bild von der Erfassungsposition erfasst wird. Die Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform kann Merkmale eines Objekts selbst dann erfassen, wenn sich das Umgebungslicht stark ändert oder sich die Helligkeit des Objekts stark ändert. Das heißt die Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform kann ein Bild ermitteln, in dem Merkmale eines Werkstücks deutlich dargestellt sind.
Die Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform umfasst eine Einheit 55 zum Verarbeiten von zusammengesetzten Bildern, die ein Werkstück 38 auf der Erfassungsfläche 75 auf der Basis des zusammengesetzten Bildes 63 erfasst. Die Einheit 55 zum Verarbeiten von zusammengesetzten Bildern erfasst die Position des Werkstücks 38 auf der Basis von Merkmalspunkten des Werkstücks 38 im zusammengesetzten Bild 63. Beispielsweise kann der Bediener vorab ein durch Erfassen des Bildes des Werkstücks 38 durch Verwenden einer an der Erfassungsposition angeordneten Kamera 6 ermitteltes Bild erzeugen. Die Speichereinheit 56 kann vorab dieses Bild als ein Referenzbild speichern. Die Einheit 55 zum Verarbeiten von zusammengesetzten Bildern kann die Position des Werkstücks auf der Erfassungsfläche 75 auf der Basis des Referenzbildes berechnen.
Die Bildsteuereinheit 51 sendet die erfasste Position des Werkstücks 38 an die Betriebssteuereinheit 43. Auf der Basis der ermittelten Position des Werkstücks 38 korrigiert die Betriebssteuereinheit 43 die Position und die Ausrichtung des Roboters 1, die im Betriebsprogramm 41 festgelegt sind. Das heißt die Position und die Ausrichtung der Hand 5, wenn das Werkstück 38 gegriffen wird, werden korrigiert. Somit kann die Betriebssteuereinheit 43 den Roboter 1 und die Hand 5 antreiben, um das Werkstück 38 zu greifen.
Obgleich beim ersten Robotersystem 3 die Position des Werkstücks 38 auf dem Montagetisch 95 erfasst wird, um das auf dem Montagetisch 95 fixierte Werkstück 38 zu greifen, ist die Ausführungsform nicht hierauf beschränkt. Die Einheit 55 zum Verarbeiten von zusammengesetzten Bildern der Bildsteuereinheit 51 kann die Prüfung des Werkstücks 38 auf der Basis des zusammengesetzten Bildes durchführen. Beispielsweise kann die Einheit zum Verarbeiten von zusammengesetzten Bildern die Größe des Werkstücks aus dem zusammengesetzten Bild messen. Das Robotersystem kann eine Prüfung der Größe des Werkstücks auf der Basis eines vorgegebenen Ermittlungswerts der Größe durchführen. Die Prüfung des Werkstücks ist nicht auf die Prüfung der Größe eines Werkstücks beschränkt und es kann eine beliebige Prüfung des Werkstücks durchgeführt werden. Beispielsweise kann die Prüfung durchgeführt werden, in der ermittelt wird, ob ein vorgegebener Teil auf der Oberfläche des Werkstücks angeordnet ist oder nicht. Alternativ kann die Prüfung durchgeführt werden, in der ermittelt wird, ob ein Schaden auf der Oberfläche des Werkstücks vorhanden ist oder nicht.
Obwohl das erste Robotersystem 3 so ausgebildet ist, dass die Position des Werkstücks fest ist und die Kamera von der Bewegungsvorrichtung bewegt wird, ist die Ausführungsform nicht hierauf beschränkt. Die Position der Kamera kann fest sein und das Werkstück kann von der Bewegungsvorrichtung bewegt werden.
9 zeigt eine Seitenansicht eines zweiten Robotersystems gemäß der vorliegenden Ausführungsform. Im zweiten Robotersystem 4 ist die Kamera 6 auf dem Montagetisch 96 befestigt. Das Werkstück 38 wird vom Roboter 1 gestützt. Das zweite Robotersystem 4 befördert das auf dem Montagetisch 101 montierte Werkstück 38 zum Montagetisch 102 wie durch den Pfeil 105 angegeben. Die Position und die Ausrichtung 1 ändern sich, wodurch das Werkstück 38 von der Position P38s zur Position P38e befördert wird. Die Bildgebungsvorrichtung des zweiten Robotersystems 4 erfasst eine Positionsabweichung des Werkstücks 38 in der Hand 5, wenn die Hand 5 das Werkstück 38 greift.
10 zeigt eine weitere Seitenansicht des zweiten Robotersystems 4. Gemäß 2 und 10 ist die Kamera 6 an einer vorgegebenen Position befestigt. Die Erfassungsfläche 75 umfassend eine Unterseite des Werkstücks 38 wird vorab festgelegt. Ferner wird eine Mehrzahl von Positionen P38a, P38b des Werkstücks 38 zum Zeitpunkt des Erfassens des Bildes des Werkstücks 38 durch Verwenden der Kamera 6 vorab ermittelt. Die Positionen und die Ausrichtungen des Roboters 1, die den Positionen P38a, P38b des Werkstücks 38 entsprechen, werden vorgegeben und im Betriebsprogramm 41 festgelegt. Ferner wird eine zum Erfassen des Werkstücks 38 verwendete Erfassungsposition des Werkstücks 38 vorab ermittelt. Die Position und die Ausrichtung des Roboters 1, die zum Anordnen der Werkstück 38 an der Erfassungsposition verwendet werden, werden in der Speichereinheit 56 als Sollposition der Bewegungsvorrichtung gespeichert. Die Erfassungsposition des Werkstücks 38 kann auf eine beliebige Position festgelegt werden, an der die Kamera 6 das Bild des Werkstücks 38 erfassen kann. Die Kamera 6 wird so kalibriert, dass die Sichtlinie der Kamera 6 im Referenzkoordinatensystem 71 berechnet werden kann, die einem Punkt im Bildkoordinatensystem 73 entspricht.
Der Roboter 1 bewegt das Werkstück 38, um eine Mehrzahl von ersten Bildern durch Verwenden der Kamera 6 zu erfassen. Die Kamera 6 erfasst die Bilder des Werkstücks 38 zum Zeitpunkt, zu dem das Werkstück 38 an der Mehrzahl der Positionen P38a, P38b angeordnet ist. Die Positionserfassungseinheit 52 ermittelt Positionen und Ausrichtungen des Roboters 1, wenn die Bilder des Werkstücks 38 erfasst werden. Die Positionserfassungseinheit 52 berechnet die Positionen P38a, P38b des Werkstücks 38 auf der Basis der Position und der Ausrichtung des Roboters 1. Die Speichereinheit 56 speichert einen Satz des zu erfassenden ersten Bildes und die Position und die Ausrichtung des Roboters 1, die jeweils einer Mehrzahl von Positionen P38a, P38b des Werkstücks 38 entsprechen. Das heißt die Speichereinheit 56 speichert eine Mehrzahl von Sätzen des ersten Bildes und der Position der Bewegungsvorrichtung.
Auf der Basis der Position und der Ausrichtung des Roboters 1, wenn das Bild des Werkstücks 38 erfasst wird, wandelt die Bildumwandlungseinheit 53 eine Mehrzahl von von der Kamera 6 erfassten ersten Bildern in eine Mehrzahl von zweiten Bildern um, so dass die relative Positionsbeziehung zwischen dem Werkstück 38 und der Kamera 6 die gleiche ist wie die zwischen dem Zeitpunkt, zu dem das Bild an der Sollposition erfasst wird, und dem Zeitpunkt, zu dem das Bild dann erfasst wird, wenn das Werkstück 38 an der Position P38a, P38b angeordnet ist. Beim zweiten Robotersystem 4 kann die im Referenzkoordinatensystem 71 ausgedrückte Sichtlinie der Kamera 6 auf der Basis der Position eines im Bildkoordinatensystem 73 ausgedrückten Punkts berechnet werden. Alternativ kann die Position eines im Bildkoordinatensystem 73 ausgedrückten Punkts auf der Basis eines im Referenzkoordinatensystem 71 ausgedrückten Punkts berechnet werden.
Die Zusammensetzungseinheit 54 setzt eine Mehrzahl von durch die Bildumwandlungseinheit 53 umgewandelten Bildern zusammen, um ein zusammengesetztes Bild zu erzeugen. Die Einheit 55 zum Verarbeiten von zusammengesetzten Bildern können die Position des Werkstücks 38 auf der Basis von Merkmalspunkten des Werkstücks im zusammengesetzten Bild erfassen. Die Einheit 55 zum Verarbeiten von zusammengesetzten Bildern kann eine Abweichung, die auftritt, wenn das Werkstück 38 gegriffen wird, auf der Basis der Position und der Ausrichtung des Roboters 1 und der Position des Werkstücks 38 korrigieren.
Nachfolgend ist in Bezug auf 9 ein Verfahren zum Korrigieren einer Abweichung, die auftritt, wenn das Werkstück 38 gegriffen wird, beschrieben. In der folgenden Beschreibung sind Symbole zur Angabe von Positionen wie W1 und P2 homogene Transformationsmatrizen. In der vorliegenden Ausführungsform wird eine relative Position des Werkstücks 38 in Bezug auf den Endteil eines Arms des Roboters 1 gemessen, um eine Abweichung im Greifen des Werkstücks 38 in der Hand 5 zu korrigieren. Wenn eine Position des Roboters 1 zum Zeitpunkt, zu dem angenommen wird, dass das Werkstück 38 an einer Erfassungsposition angeordnet ist, durch Q1' dargestellt ist und eine Position des Werkstücks 38 im Referenzkoordinatensystem 71 durch W1' dargestellt ist, kann die relative Position V1' des Werkstücks, 38 in Rezug $V1' = {Q1'}^{- 1} \cdot W1'$
Ferner kann in Verbindung mit der Position P3 des gegriffenen Werkstücks 38, wenn die Endposition P38e des Werkstücks 38 gelehrt wird, die Position P2', an der das Werkstück 38 loszulassen ist, durch Verwenden der folgenden Gleichung (2) berechnet werden, wobei V1 eine relative Position des Werkstücks 38 in Bezug auf den der $P2' = P2 \cdot V1 \cdot {V1'}^{- 1}$
In der zuvor beschriebenen Ausführungsform korrigiert die Einheit 55 zum Verarbeiten von zusammengesetzten Bildern die Abweichung, die zum Zeitpunkt des Greifens des Werkstücks 38 auftritt, auf der Basis des zusammengesetzten Bildes; die Ausführungsform ist aber nicht hierauf beschränkt. Die Einheit 55 zum Verarbeiten von zusammengesetzten Bildern kann die Prüfung am Werkstück 38 durch Verwenden von Merkmalspunkten des Werkstücks 38 auf der Erfassungsfläche 75 auf die gleiche Weise wie das erste Robotersystem durchführen. Andere Konfigurationen, Vorgänge und Wirkungen des zweiten Robotersystems sind ähnlich denen des ersten Robotersystems gemäß der vorliegenden Ausführungsform.
11 zeigt eine Seitenansicht zur Darstellung eines Fördersystems gemäß der vorliegenden Ausführungsform. 12 zeigt ein Blockdiagramm zur Darstellung des Fördersystems gemäß der vorliegenden Ausführungsform. Gemäß 11 und 12 umfasst ein Fördersystem 9 eine Bildgebungsvorrichtung. Das Fördersystem 9 umfasst einen Förderer 7, der als die Bewegungsvorrichtung dient, die das Werkstück 38 bewegt. Das Fördersystem 9 weist eine Konfiguration auf, in welcher der Förderer 7 statt dem Roboter 1 des zweiten Robotersystems 4 angeordnet ist. Das Werkstück 38 bewegt sich in einer durch den Pfeil 90 angegebenen Richtung mit dem angetriebenen Förderer 7. Das heißt, wenn der Förderer 7 antreibt, ändert sich die Position des Werkstücks 38, wodurch sich die relative Position zwischen dem Sichtsensor und dem Werkstück 38 ändert. Die Kamera 6, die als Sichtsensor dient, wird von einem Stützelement 97 gestützt.
Das Fördersystem 9 umfasst ein Steuergerät 8, das den Förderer 7 und die Kamera 6 steuert. Das Steuergerät 8 besteht aus einer arithmetischen Verarbeitungsvorrichtung umfassend eine CPU u. Ä. Das Steuergerät 8 umfasst eine Fördererantriebseinheit 46. Der Förderer 7 umfasst eine Fördererantriebsvorrichtung 24, die einen Antriebsmotor zum Antreiben eines Riemens aufweist. Jeder Antriebsmotor ist mit einem Positionsgeber 25 ausgestattet, der als Zustandsgeber dient und die Drehposition des Antriebsmotors erfasst.
Das Steuergerät 8 dient als Bildverarbeitungsvorrichtung. Das Steuergerät 8 umfasst eine Bildsteuereinheit 51 auf die gleiche Weise wie das Steuergerät 2 des in 2 dargestellten Robotersystems. Die Kamera 6 ist an einer vorgegebenen Position befestigt, so dass sie das Bild eines Werkstücks 38 erfassen kann. Eine Erfassungsfläche 75 umfassend eine Oberfläche des Werkstücks 38 wird vorab festgelegt. Ferner wird eine Mehrzahl von zum Erfassen des Bildes des Werkstücks 38 durch Verwenden der Kamera 6 verwendeten Positionen P38a, P38b des Werkstücks 38 vorab ermittelt. Positionen des Riemens des Förderers 7, die den Positionen P38a, P38b des Werkstücks 38 entsprechen, werden im Betriebsprogramm 41 festgelegt. Ferner wird eine zum Erfassen des Werkstücks 38 verwendete Erfassungsposition des Werkstücks 38 vorab ermittelt. Die zum Anordnen des Werkstücks 38 an der Erfassungsposition verwendete Position des Riemens wird in der Speichereinheit 56 als Sollposition der Bewegungsvorrichtung gespeichert.
Der Förderer 7 bewegt das Werkstück 38, um eine Mehrzahl von ersten Bildern durch Verwenden der Kamera 6 zu erfassen. Ferner erfasst die Kamera 6 Bilder des Werkstücks 38 zum Zeitpunkt, zu dem es an der Mehrzahl der Positionen P38a, P38b angeordnet ist. Die Positionserfassungseinheit 52 ermittelt die Position des Riemens des Förderers 7, wenn das Bild des Werkstücks 38 erfasst wird, von einem Codierer wie dem am Förderer 7 befestigten Positionsgeber 25. Die Positionserfassungseinheit 52 berechnet die Positionen P38a, P38b des Werkstücks 38 auf der Basis von Positionen des Riemens des Förderers 7. Die Speichereinheit 56 speichert einen Satz des erfassten ersten Bildes und der Positionen des Riemens des Förderers 7, die den Positionen P38a, P38b des Werkstücks 38 entsprechen. Die Speichereinheit 56 speichert eine Mehrzahl von Sätzen des ersten Bildes und der Position der Bewegungsvorrichtung. Anschließend wandelt die Bildumwandlungseinheit 53 die ersten Bilder in zweite Bilder um, die den Erfassungspositionen auf die gleiche Weise entsprechen wie das zweite Robotersystem 4. Das heißt die ersten Bilder werden in die zweiten Bilder umgewandelt, wenn angenommen wird, dass die Bilder an der Sollposition des Förderers erfasst werden. Die Zusammensetzungseinheit 54 setzt die Mehrzahl der zweiten Bilder zusammen, die den Erfassungspositionen entsprechen. Die Einheit 55 zum Verarbeiten von zusammengesetzten Bildern kann eine Erfassung oder Prüfung der Position des Werkstücks 38 durchführen.
Andere Konfigurationen, Vorgänge und Wirkungen des Fördersystems sind ähnlich denen des ersten Robotersystems und des zweiten Robotersystems gemäß der vorliegenden Ausführungsform.
13 zeigt eine Seitenansicht einer Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform. 14 zeigt ein Blockdiagramm der Bildgebungsvorrichtung gemäß der vorliegenden Ausführungsform. Die Bildgebungsvorrichtung umfasst gegebenenfalls nicht Bewegungsvorrichtungen wie den Roboter 1 und den Förderer 7 wie zuvor beschrieben. In der in 13 und 14 dargestellten Bildgebungsvorrichtung sind das Werkstück 38 und die Kameras 31, 32 an vorgegebenen Positionen befestigt. Die in 13 und 14 dargestellte Bildgebungsvorrichtung umfasst eine Mehrzahl von Kameras 31, 32 statt eine Konfiguration aufzuweisen, in der Positionen der das Bild erfassenden Kamera 6 vom Roboter 1 im ersten Robotersystem 3 gemäß der vorliegenden Ausführungsform geändert werden. Ferner wird eine Mehrzahl von ersten Bildern durch Verwenden einer Mehrzahl von an verschiedenen Positionen angeordneten Kameras 31, 32 erfasst.
Die Bildgebungsvorrichtung umfasst einen Montagetisch 95, der als ein erster Befestigungsteil dient, der das Werkstück 38 und eine Mehrzahl von Kameras 31, 32, die als eine Mehrzahl von Sichtsensoren dienen, die jeweils eine Bildgebung eines ersten Bildes des Werkstücks 38 durchführen, befestigt. Die erste Kamera 31 und die zweite Kamera 32 werden von Stützelementen 98, 99 gestützt, die jeweils als ein zweiter Befestigungsteil dienen. Die Kameras 31, 32 weisen einen Abstand zueinander auf, so dass das Bild des Werkstücks 38 von Positionen erfasst wird, die sich voneinander unterscheiden.
Die Bildgebungsvorrichtung umfasst ein Steuergerät 10, das als eine Bildverarbeitungsvorrichtung dient, welche die von den Kameras 31, 32 erfassten ersten Bilder verarbeitet. Das Steuergerät 10 besteht aus einer arithmetischen Verarbeitungsvorrichtung umfassend eine CPU u. Ä. Das Steuergerät 10 weist eine Konfiguration auf ähnlich der der Bildsteuereinheit 51 des in 2 dargestellten Robotersystems. Die Bildgebungssteuereinheit 57 sendet die Befehle zum Erfassen der Bilder an die erste Kamera 31 und die zweite Kamera 32. Die Speichereinheit 56 speichert einen Satz der von der ersten Kamera 31 und der zweiten Kamera 32 erfassten ersten Bilder und der Positionen der Kameras 31, 32, welche die ersten Bilder erfassen.
Ein Referenzkoordinatensystem 71 wird vorab in der Bildgebungsvorrichtung festgelegt. Im in 13 dargestellten Beispiel wird das Referenzkoordinatensystem 71 im Montagetisch 95 festgelegt. Ferner wird eine Erfassungsfläche 75 auf dem auf dem Montagetisch 95 befestigten Werkstück 38 definiert. Ferner wird eine Erfassungsposition P6d der zum Erfassen des Werkstücks 38 verwendeten Kamera vorab ermittelt und in der Speichereinheit 56 gespeichert. Jede der Kameras 31, 32 wird so kalibriert, dass die Sichtlinie der Kamera im Referenzkoordinatensystem 71 berechnet werden kann, die einem Punkt im Bildkoordinatensystem 73 entspricht.
Die Positionserfassungseinheit 52 des Steuergeräts 10 ermittelt vorgegebene Positionen der Kameras 31, 32. Die Bildumwandlungseinheit 53 wandelt eine Mehrzahl von von der Mehrzahl der Kameras 31, 32 erfassten ersten Bilder in zweite Bilder um, wenn angenommen wird, dass die Bilder an der Erfassungsposition P6d erfasst werden. Die Bildumwandlungseinheit 53 wandelt die ersten Bilder auf der Basis der Positionen der Kameras 31, 32 um. Ferner setzt die Zusammensetzungseinheit 54 die Mehrzahl der durch die Bildumwandlungseinheit 53 umgewandelten Bilder zusammen, um ein zusammengesetztes Bild zu erzeugen. Die Einheit 55 zum Verarbeiten von zusammengesetzten Bildern kann eine Erfassung und/oder Prüfung des Werkstücks 38 auf der Erfassungsfläche 75 auf der Basis des zusammengesetzten Bildes durchführen. Beispielsweise kann die Einheit 55 zum Verarbeiten zusammengesetzter Bilder eine Prüfung der Größe des Werkstücks 38 auf der Basis eines vorgegebenen Ermittlungswerts durchführen. Alternativ kann ein Roboter o. Ä., der das Werkstück 38 fördert, zusätzlich angeordnet sein. Die Bildgebungsvorrichtung kann die Position des Werkstücks 38 auf dem Montagetisch 95 erfassen und diese an ein Steuergerät des Roboters o. Ä. senden.
Obgleich zwei Kameras im in 13 und 14 dargestellten Beispiel angeordnet sind, ist die Ausführungsform nicht hierauf beschränkt. Die Bildgebungsvorrichtung kann drei oder mehr Kameras umfassen. Die Bildumwandlungseinheit 53 kann erste Bilder umwandeln, deren Zahl der Zahl von Kameras entspricht.
Andere Konfigurationen, Vorgänge und Wirkungen der Bildgebungsvorrichtung sind ähnlich denen des ersten Robotersystems, des zweiten Robotersystems und des Fördersystems gemäß der vorliegenden Ausführungsform.
Obgleich die zuvor beschriebene Ausführungsform das Erfassen der Position des Werkstücks aus verschiedenen Arten der Erfassung des Werkstücks umfasst, ist die Ausführungsform nicht hierauf beschränkt. Die Steuerung gemäß der vorliegenden Ausführungsform kann auf eine beliebige Steuerung zum Erfassen eines Werkstücks angewendet werden. Beispielsweise kann die Bildgebungsvorrichtung die Steuerung zum Ermitteln, ob das Werkstück in einem vorgegebenen Bereich angeordnet ist oder nicht, durchführen. Alternativ kann, wenn eine große Zahl von Werkstücken angeordnet ist, die Bildgebungsvorrichtung die Steuerung zum Ermitteln, ob die vorgegebene Zahl von Werkstücken vorhanden ist oder nicht, durchführen.
Ferner ist, obgleich eine Erfassungsfläche für jedes Werkstück in der zuvor beschriebenen Ausführungsform angeordnet ist, die Ausführungsform nicht hierauf beschränkt und es kann eine Mehrzahl von Erfassungsflächen für jedes Werkstück angeordnet sein. Die Bildgebungsvorrichtung kann eine Erfassung und/oder Prüfung des Werkstücks für jede der Erfasungsflächen durchführen.
Gemäß einem Aspekt der vorliegenden Offenbarung kann die Bildgebungsvorrichtung bereitgestellt werden, die Merkmale des Objekts auch dann ermitteln kann, wenn sich das Umgebungslicht stark ändert oder sich die Helligkeit des Objekts stark ändert.
Die zuvor beschriebene Ausführungsform kann je nach Bedarf kombiniert werden. Identische oder gleichwertige Teile sind mit identischen Bezugszeichen in den zuvor beschriebenen Zeichnungen bezeichnet. Die zuvor beschriebenen Ausführungsformen sind lediglich Beispiele und sollen die Erfindung nicht beschränken. Änderungen an der Ausführungsform wie in den Ansprüchen angegeben sind ebenfalls in der Ausführungsform enthalten.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2015160264 [0003]
JP 2003305675 [0003]

Claims

Bildgebungsvorrichtung, umfassend: einen zum Erfassen eines ersten Bildes eines Werkstücks (38) ausgebildeten Sichtsensor (6); eine zum Bewegen des Werkstücks oder des Sichtsensors, um eine relative Position des Werkstücks bzw. des Sichtsensors in Bezug zueinander zu ändern, ausgebildete Bewegungsvorrichtung (1, 7); und eine zum Verarbeiten des ersten Bildes (61a, 61b, 61c) ausgebildete Bildverarbeitungsvorrichtung (2, 8); wobei die Bildverarbeitungsvorrichtung eine zum Speichern eines Satzes aus erstem Bild und einer Position der Bewegungsvorrichtung zum Zeitpunkt des Erfassens des ersten Bildes ausgebildete Speichereinheit (56) umfasst, eine am Werkstück definierte Erfassungsfläche (75) und eine als eine Position der Bewegungsvorrichtung dienende Sollposition vorab ermittelt und in der Speichereinheit gespeichert werden, der Sichtsensor eine Mehrzahl von ersten Bildern erfasst, so dass sich relative Positionen des Sichtsensor in Bezug auf das Werkstück voneinander unterscheiden, und die Bildverarbeitungsvorrichtung umfasst: eine zum Umwandeln der Mehrzahl der ersten Bilder in eine Mehrzahl von zweiten Bildern (62a, 62b, 62c), wenn angenommen wird, dass Bilder an der Sollposition erfasst werden, auf der Basis der Position der Bewegungsvorrichtung zum Zeitpunkt des Erfassens des Bildes des ersten Bildes ausgebildete Bildumwandlungseinheit (53); eine zum Erzeugen eines zusammengesetztes Bildes (63), in dem die Mehrzahl der zweiten Bilder zusammengesetzt sind, ausgebildete Zusammensetzungseinheit (54); und eine zum Durchführen einer Erfassung und/oder Prüfung des Werkstücks auf der Erfassungsfläche auf der Basis des zusammengesetzten Bildes ausgebildete Einheit (55) zum Verarbeiten von zusammengesetzten Bildern.
Bildgebungsvorrichtung nach Anspruch 1, wobei die Bewegungsvorrichtung ein zum Bewegen des Werkstücks oder des Sichtsensors ausgebildeter Roboter (1) ist.
Bildgebungsvorrichtung nach Anspruch 1, wobei die Bewegungsvorrichtung ein zum Bewegen des Werkstücks oder des Sichtsensors ausgebildete Fördervorrichtung (7) ist.
Bildgebungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Bildumwandlungseinheit eine entsprechende Position im ersten Bild berechnet, wobei die entsprechende Position einem Pixel im zweiten Bild entspricht, und einen Wert des Pixels im zweiten Bild auf der Basis eines Werts eines Pixels (85a) umfassend die entsprechende Position und einen Wert eines Pixels (85b, 85c) angrenzend an das Pixel umfassend die entsprechende Position berechnet.
Bildgebungsvorrichtung nach Anspruch 4, wobei die Bildumwandlungseinheit den Wert des Pixels im zweiten Bild auf der Basis des Werts des Pixels (85a) umfassend die entsprechende Position im ersten Bild und eines Wert von jedem einer Mehrzahl von Pixeln (85b, 85c) in der Nähe der entsprechenden Position berechnet.
Bildgebungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Zusammensetzungseinheit eine Statistik von Werten von Pixeln in der Mehrzahl der zweiten Bilder für einen Wert eines Pixels im zusammengesetzten Bild ermittelt.
Bildgebungsvorrichtung, umfassend: eine Mehrzahl von zum Erfassen von ersten Bildern eines Werkstücks (38) ausgebildeten Sichtsensoren (31, 32); einen zum Fixieren des Werkstücks ausgebildeten ersten Fixierungsteil (95); einen zum Fixieren von jedem der Sichtsensoren ausgebildeten zweiten Fixierungsteil (98, 99); eine zum Verarbeiten des ersten Bildes ausgebildete Bildverarbeitungsvorrichtung (10), wobei die Mehrzahl der Sichtsensoren so angeordnet ist, dass diese Bilder des Werkstücks von Positionen erfassen, die sich voneinander unterscheiden, die Bildverarbeitungsvorrichtung eine zum Speichern eines Satzes aus von der Mehrzahl der Sichtsensoren erfassten erstem Bild und einer Position eines Sichtsensors, der das erste Bild erfasst, ausgebildete Speichereinheit (56) umfasst, eine am Werkstück definierte Erfassungsfläche (75) und eine als die Position der Sichtsensors dienende Erfassungsposition zum Erfassen des Werkstücks vorab ermittelt und in der Speichereinheit gespeichert werden, die Bildverarbeitungsvorrichtung umfasst: eine zum Umwandeln der Mehrzahl der von der Mehrzahl der Sichtsensoren erfassten ersten Bilder in eine Mehrzahl von zweiten Bildern, wenn angenommen wird, dass Bilder an der Erfassungsposition erfasst werden, auf der Basis der Position von jedem der Sichtsensoren ausgebildete Bildumwandlungseinheit (53); eine zum Erzeugen eines zusammengesetzten Bildes, in dem die Mehrzahl der zweiten Bilder zusammengesetzt sind, ausgebildete Zusammensetzungseinheit (54); und eine zum Durchführen einer Erfassung und/oder Prüfung des Werkstücks auf der Erfassungsfläche auf der Basis des zusammengesetzten Bildes ausgebildete Einheit (55) zum Verarbeiten von zusammengesetzten Bildern.