DE102020112352A1

DE102020112352A1 - Kamera und Roboter-System

Info

Publication number: DE102020112352A1
Application number: DE102020112352.3A
Authority: DE
Inventors: Tetsuya MIZUSAWA; Hiroyuki Ishihara; Yoshihiro Inoue; Shinichi Tsukahara; Tatsuo Kamei; Yuki YOSHIKUNI
Original assignee: Panasonic iPro Sensing Solutions Co Ltd
Current assignee: I Pro Co Ltd
Priority date: 2019-05-30
Filing date: 2020-05-07
Publication date: 2020-12-03
Also published as: US20200376690A1; US11813740B2; CN112008717A

Abstract

Eine Kamera und ein Robotersystem werden zur Verfügung gestellt. Die Kamera umfasst ein Kameragehäuse, das an der Spitze eines Roboterarms befestigt ist, und eine im Kameragehäuse untergebrachte Kameraeinheit. Die Kameraeinheit verfügt über eine Mehrzahl von Kameravorrichtungen, die sich in ihren optischen Eigenschaften zum Abbilden eines Werkstücks unterscheiden.

Description

TECHNISCHER BEREICH
Die vorliegende Offenbarung bezieht sich auf eine Kamera und ein Robotersystem.
STAND DER TECHNIK
Es ist ein Robotersystem bekannt, bei dem eine Anordnungszustandserfassungseinheit mit einer Kamera und einem Laserscanner, der über einem Stapler angeordnet ist, in das Werkstücke eingelegt werden (siehe z.B. Patentdokument 1). Der Laserscanner enthält eine Laserlichtquelle zur Erzeugung von Spaltlicht, einen Spiegel und einen Motor zum Antrieb des Spiegels. In diesem Robotersystem wird ein Abstand zu jedem Werkstück (d.h. dreidimensionale Forminformationen jedes Werkstücks im Stapler) durch Triangulation auf der Grundlage eines Drehwinkels des Motors, einer Position der Abbildungsvorrichtung der Kamera und einer Positionsbeziehung zwischen der Laserlichtquelle, dem Spiegel und der Kamera erfasst. Das Robotersystem führt eine Steuerung durch, um zu bewirken, dass ein Handteil eines der mehreren im Stapler befindlichen Werkstücke (z.B. ein Werkstück, das sich in einer leicht zu haltenden Position befindet) auf der Grundlage der erfassten Positionsinformationen hält. Ein Roboterarm ist mit einer Haltezustandserfassungskamera ausgestattet, die einen Haltezustand des vom Handteil gehaltenen Werkstücks erkennt.
ZITATIONSLISTE
PATENTLITERATUR
Patentdokument 1: JP-A-2013-78825
ZUSAMMENFASSUNG DER ERFINDUNG
Da beim herkömmlichen Robotersystem die Kamera jedoch in der Anordnungszustandserfassungseinheit vorgesehen ist, die über dem Stapler angeordnet ist, kann das Arm- oder Handteil, wenn das Handteil zum Greifen nahe an ein Werkstück gebracht wird, einen toten Bereich für die Kamera erzeugen, d.h. ein Teil des Sichtfeldes der Kamera wird unterbrochen. Dies führt zu dem Problem, dass die Positionsgenauigkeit des Handteils zum Greifen eines Werkstücks abnimmt oder die Position (mit anderen Worten: die Koordinaten) eines Werkstücks unbekannt wird. Wenn im konventionellen Robotersystem Werkstücke im Stapler vorhanden sind, deren dreidimensionale Forminformationen nicht erfasst werden können, erhöht sich beim herkömmlichen Robotersystem die Anzahl der Werkstücke, die vom Handteil nicht gehalten werden können, wodurch die Effizienz des Werkstücks verringert wird.
Das Konzept der vorliegenden Offenbarung ist konzipiert worden, und daher besteht ein Gegenstand der Offenbarung darin, eine Kamera und ein Robotersystem bereitzustellen, die in der Lage sind, die Verringerung der Positionsgenauigkeit eines Handteils zum Greifen eines Werkstücks zu unterdrücken und dadurch die Effizienz des Werkstücks zu erhöhen.
Diese Offenbarung umfasst eine Kamera mit einem Kameragehäuse, das an der Spitze eines Roboterarms befestigt ist und eine in dem Kameragehäuse untergebrachte Kameraeinheit. Die Kameraeinheit verfügt über eine Mehrzahl von Kameravorrichtungen, die sich in ihren optischen Eigenschaften für die Abbildung eines Werkstücks unterscheiden.
Die Offenbarung stellt auch ein Robotersystem mit einer Kamera und einer Steuerung zur Verfügung. Die Kamera verfügt über ein Kameragehäuse, das an der Spitze eines Roboterarms befestigt ist und eine Kameraeinheit, die im Kameragehäuse untergebracht ist und eine Mehrzahl von Kameravorrichtungen aufweist, die sich in ihren optischen Eigenschaften für die Abbildung eines Werkstücks unterscheiden. Die Steuerung erzeugt auf der Grundlage der von der Kamera erfassten Bildinformationen ein Steuersignal zur Steuerung des Betriebs des Roboterarms.
Nach der vorliegenden Offenbarung kann die Verringerung der Positionsgenauigkeit eines Handteils zum Greifen eines Werkstücks unterdrückt und dadurch die Effizienz des Werkstücks erhöht werden.
Figurenliste

1 ist ein Diagramm, das eine Konfiguration eines Robotersystems nach einer Ausführungsform zeigt.
2 ist eine vergrößerte perspektivische Ansicht eines wesentlichen Teils der Spitze eines Roboterarms.
3 ist eine vergrößerte perspektivische Ansicht einer Kamera.
4 ist eine vergrößerte perspektivische Ansicht einer modifizierten Version des Kameragehäuses.
5 ist eine vergrößerte Seitenansicht der Spitze des Roboterarms in einem Zustand, in dem eine Überkopfkamera der in 1 gezeigten Kamera 15 in Betrieb ist.
6A ist eine vergrößerte Seitenansicht der Spitze des Roboterarms in einem Zustand, in dem die in 1 gezeigte Kamera im Nahbereich arbeitet.
6B ist ein Diagramm zur Beschreibung eines Vorgangs, bei dem die Musterbeleuchtung von einer Lichtquelle in einem Zustand durchgeführt wird, in dem die in 1 gezeigte Kamera in einem Überkopfmodus arbeitet.
6C ist ein Diagramm zur Beschreibung einer Beziehung zwischen einem Montagetisch und einem Werkstück Farben eines Montagetischs und eines Werkstücks und eines projizierten Musters.
7 ist ein Blockdiagramm einer Robotersteuerung, die in 1 dargestellt ist.
8 ist ein Blockdiagramm einer Bildverarbeitungssteuerung, die in 1 dargestellt ist.
9 ist ein Flussdiagramm, das den Ablauf eines von der Bildverarbeitungssteuerung ausgeführten Prozesses zeigt.
10 ist ein Flussdiagramm, das den Ablauf eines Prozesses zeigt, bei dem der Moduswechsel in Abhängigkeit davon erfolgt, ob die Fokussierung erreicht wird.
11 ist ein Flussdiagramm, das den Ablauf eines Prozesses zeigt, bei dem der Moduswechsel unter Verwendung von Informationen erfolgt, die von einem externen Gerät gesendet werden.
12 ist ein Flussdiagramm, das den Ablauf eines Prozesses zeigt, bei dem die Spitze des Roboterarms nahe an ein Werkstück gebracht wird, indem der Roboterarm in Echtzeit durch Echtzeit-Kooperation zwischen der Bildverarbeitungssteuerung und der Robotersteuerung gesteuert wird.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Eine Ausführungsform, in der eine Kamera und ein Robotersystem gemäß der vorliegenden Offenbarung auf eine bestimmte Art und Weise offengelegt werden, wird im Folgenden ausführlich beschrieben, wobei erforderlichenfalls auf die beigefügten Zeichnungen verwiesen wird. Unnötig detaillierte Beschreibungen können jedoch vermieden werden. So können z.B. detaillierte Beschreibungen bekannter Gegenstände und doppelte Beschreibungen von Bestandteilen, die im Wesentlichen dieselben bereits beschriebenen Elemente aufweisen, weggelassen werden. Dies soll verhindern, dass die folgende Beschreibung unnötig redundant wird, und dadurch das Verständnis für den Fachmann zu erleichtern. Die folgende Beschreibung und die beigefügten Zeichnungen sollen es den Fachmännern ermöglichen, die Offenbarung ausreichend zu verstehen, und sind nicht dazu bestimmt, den in den Ansprüchen dargelegten Gegenstand einzuschränken.
1 ist ein Diagramm, das die Konfiguration eines Robotersystems 11 entsprechend der Ausführungsform zeigt. Das Robotersystem 11 entsprechend der Ausführungsform besteht aus einem Roboter 13, einer Kamera 15 und einer Steuerung (z.B. Robotersteuerung 17 und Bildverarbeitungssteuerung 19).
Der Roboter 13 ist mit einem Roboterarm 21 ausgestattet. Der Roboter 13 ist z.B. ein 6-achsiger (z.B. J1-Achse, J2-Achse, J3-Achse, J4-Achse, J5-Achse und J6-Achse) Knickarmroboter mit sechs Servomotoren 23. Ein für einen Werkstückzweck geeignetes Werkzeug ist an einer Spitze des Roboterarms 21 angebracht. In der Ausführungsform ist ein Beispielwerkzeug ein Handteil 27 mit einem Paar Fingerelemente 25. Das Handteil 27, das durch die Steuerung verschiedener Aktuatoren, wie z.B. eines Luftzylinders, eines Elektrozylinders oder eines Motors, feine Werkstückarbeiten ausführen kann, kann ein Werkstück W greifen und tragen.
Die J1-Achse des Roboters 13 dient als Rotationszentrum beim Schwenken des gesamten Roboters 13 wie bei einer Schwenkdrehung. Die J2-Achse des Roboters 13 dient als Rotationszentrum bei der Bewegung des Roboterarms 21 in einer Vorwärts-RückwärtsRichtung wie bei einer Kippdrehung. Die J3-Achse des Roboters 13 dient als Rotationszentrum bei der Bewegung des Roboterarms 21 in vertikaler Richtung wie bei der Kipprotation. Die J4-Achse des Roboters 13 dient als Rotationszentrum bei der Drehung des Handgelenks des Roboterarms 21 in vertikaler Richtung wie bei der Kipprotation. Die J5-Achse des Roboters 13 dient als s ein Rotationszentrum beim Schwenken des Handgelenks des Roboterarms 21. Die J6-Achse des Roboters 13 dient als s ein Rotationszentrum bei der Drehung des Handteils 27 des Roboterarms 21 wie bei einer Schwenkdrehung.
Die Steuerung, die bewirkt, dass der Roboter 13 einen vorgeschriebenen Vorgang ausführt, ist über ein Kabel 29 mit dem Roboter 13 verbunden. Die Achsen J1 bis J6 des Roboters 13 werden unabhängig voneinander durch eine Steuereinheit 69 (siehe 7) der Robotersteuerung 17 gesteuert. Die Robotersteuerung 17 kann den Roboter 13 korrekt in eine vorgesehene Position bewegen, indem sie mit Hilfe einer Eingabeeinheit 33 Koordinaten des Roboters 13 bestimmt, die auf einem Monitor 31 angezeigt werden.
Die Eingabeeinheit 33 verfügt über Eingabetasten und kann integriert mit dem Monitor 31 ausgestattet werden. Wenn ein Bediener wünscht, dass der Roboter 13 einen vorgeschriebenen Setzvorgang ausführt, gibt er oder sie mit Hilfe der Eingabetasten Daten mathematischer Ausdrücke ein, die er durch Modellierung einer Bewegungsbahn erhält, der der Roboter 13 bei der Ausführung des Setzvorgangs folgen soll.
Es ist beispielsweise möglich, den Roboter 13 mit Achskoordinatensystemen, die den jeweiligen Achsen des Roboters 13 zugeordnet sind, und einem orthogonalen Koordinatensystem, dessen Ursprung in einem freien Raum liegt, arbeiten zu lassen und Teile vom Ursprung bis zu den Spitzen des Handteils 27 des Roboters 13 zu korrelieren.
2 ist eine vergrößerte perspektivische Ansicht eines wesentlichen Teils einer Spitze 35 des Roboterarms 21. Im Roboterarm 21 ist ein Handgelenkbasisteil 39 mit einer Armspitze 37 so verbunden, dass es um die Achse J4 drehbar ist. Eine Handgelenkspitze 41 ist mit dem Handgelenkbasisteil 39 so verbunden, dass sie um die J5-Achse schwenkbar ist. Das Handgelenkbasisteil 39 und die Handgelenkspitze 41 bilden ein Handgelenk 43. Ein Handteil 27 ist mit der Handgelenkspitze 41 so verbunden, dass es um die J6-Achse drehbar ist. In der Handgelenkspitze 41 ist ein Servomotor 23 (siehe 1) für den Drehantrieb des Handteils 27 eingebaut.
Eine Basis 45 des Handteils 27 wird durch den in der Handgelenkspitze 41 eingebauten Servomotor 23 um die J6-Achse gedreht. Die Basis 45 hat zum Beispiel die Form einer kreisförmigen Scheibe, die senkrecht zur J6-Achse steht. Eine Halterung 49, die mit einer Fingerelementbewegungsnut 47 ausgebildet ist, ist an der Spitzenfläche der Basis 45 befestigt. Ein Paar Fingerelemente 25, die sich einander annähern und voneinander entfernen können, sind an der Klammer 49 befestigt. Das Paar Fingerelemente 25 kann sich einander nähern und voneinander entfernen, indem es entlang der Fingerelementbewegungsnut 47 gleitet. Alternativ können sich die Fingerspitzen des Paares von Fingerelementen 25 einander annähern und voneinander entfernen, da ihre Fingerbasisteile drehbar von den jeweiligen Stützschäften 51 getragen werden. In dem in der Ausführungsform verwendeten Handteil 27 wird das Paar Fingerelemente 25 drehbar von den entsprechenden Stützschäften 51 getragen.
Beim Roboter 13 bildet die Armspitze 37 zum Handteil 27 die Spitze 35 des Roboterarms 21.
Die Kamera 15 ist am Handteil 27 der Spitze 35 des Roboterarms 21 befestigt. Genauer gesagt, die Kamera 15 ist an der Halterung 49 befestigt, die an der Basis 45 in der Ebene einschließlich ihres Schwerpunkts befestigt ist. Die Befestigungsposition der Kamera 15 ist jedoch nicht auf diese Position der Halterung 49 beschränkt; die Kamera 15 kann an jeder beliebigen Stelle an der Spitze 35 des Roboterarms 21 befestigt werden. Die Kamera 15 ist über ein Übertragungskabel 53 mit der Bildverarbeitungssteuerung 19 verbunden.
3 ist eine vergrößerte perspektivische Ansicht der Kamera 15. Die Kamera 15 ist mit einem Kameragehäuse 55, das an der Spitze 35 des Roboterarms 21 befestigt ist, und einer Kameraeinheit 57, die im Kameragehäuse 55 untergebracht ist, ausgestattet. Zum Beispiel ist das Kameragehäuse 55 an der Halterung 49 des Handteils 27 in der Ebene einschließlich seines Schwerpunkts befestigt.
Das Kameragehäuse 55 ist in der Mitte zwischen den beiden Fingerelementen 25 angeordnet, die an der Spitze 35 des Roboterarms 21 befestigt sind, so dass sie sich einander nähern und voneinander entfernen können (in der durch Pfeil a in 2 angegebenen Richtung).
Die Kameraeinheit 57 ist so konfiguriert, dass eine Überkopfkamera 59 und zwei Nahbereichskameras 61, die sich im Arbeitsabstand von der Überkopfkamera 59 unterscheiden, miteinander integriert sind.
Bei der einen Überkopfkamera 59 und den beiden Nahbereichskameras 61 handelt es sich jeweils um Kameras mit kleinem Durchmesser, deren Außendurchmesser z.B. kleiner oder gleich 6 mm ist. Das Kameragehäuse 55, in dem die eine Überkopfkamera 59 und die beiden Nahbereichskameras 61 untergebracht sind, ist so groß, dass es z.B. in einen Kreis mit einem Durchmesser kleiner oder gleich 15 mm passt. Damit ist die Kamera 15 kleiner und leichter als die in der konventionellen Technik verwendete Anordnungszustandserfassungseinheit.
Das Kameragehäuse 55, das in einen Kreis passt, dessen Durchmesser kleiner oder gleich 15 mm ist, hat die Form eines Kreises, einer Ellipse, eines länglichen Kreises, eines Polygons wie z.B. eines Rechtecks (einschließlich eines Trapezes und einer Raute), eines Fünfecks oder eines Sechsecks, eines Halbkreises oder einer Tropfenform in einer Vorderansicht, von der Themenseite aus gesehen.
In der Ausführungsform sind die eine Überkopfkamera 59 und die beiden Nahbereichskameras 61 so angeordnet, dass ihre optischen Achsen 63 parallel zueinander verlaufen. Die optischen Achsen 63 befinden sich an den Scheitelpunkten eines Dreiecks in einer Ebene, die senkrecht zu den optischen Achsen 63 verläuft.
In der Kamera 15 ist das oben erwähnte Dreieck nach der Ausführungsform ein regelmäßiges Dreieck. Das Dreieck, in dem die eine Überkopfkamera 59 und die beiden Nahbereichskameras 61 angeordnet sind, ist nicht auf ein regelmäßiges Dreieck beschränkt und kann ein gleichschenkliges Dreieck oder ein schiefwinkliges Dreieck sein.
Das Kameragehäuse 55, in dem die Kameras mit kleinem Durchmesser an den jeweiligen Scheitelpunkten eines Dreiecks untergebracht sind, kann ein dreieckiger Zylinder sein. In der Kamera 15 werden die Kameras mit kleinem Durchmesser integriert befestigt, indem z.B. Harz in einem Zustand aufgetragen wird, in dem die Kameras mit kleinem Durchmesser innerhalb der jeweiligen Kanten des dreieckigen Zylinders angeordnet sind.
In der Kamera 15 sind in den Mittelpunkten der jeweiligen Seiten des Dreiecks Beleuchtungsöffnungen 65 ausgebildet. In jede Beleuchtungsöffnung 65 kann eine Lichtaustrittsendfläche eines Lichtleiters, der eine optische Faser ist, eingesetzt werden. Alternativ kann in jede Beleuchtungsöffnung 65 eine LED selbst als Beleuchtungslichtquelle eingesetzt werden.
4 ist eine vergrößerte perspektivische Ansicht einer modifizierten Version des Kameragehäuses 55. Das Kameragehäuse 55, das die Kameras mit kleinem Durchmesser an den jeweiligen Scheitelpunkten eines Dreiecks aufnimmt, kann ein Kreiszylinder sein. Auch in diesem Fall werden die Kameras mit kleinem Durchmesser integriert befestigt, indem Harz in den Innenraum des kreiszylindrischen Kameragehäuses 55 in einem Zustand eingefüllt wird, in dem die Kameras mit kleinem Durchmesser an den jeweiligen Spitzen des Dreiecks angebracht sind. In der Kameraeinheit 57 dieser modifizierten Version entfallen die Beleuchtungsöffnungen 65.
Die Kamera 15 ist integriert mit mehreren Kameravorrichtungen (z.B. Überkopfkamera und Nahbereichskameras) ausgestattet, die zur Abbildung eines Werkstücks W dienen und sich in ihren optischen Eigenschaften unterscheiden. Die optischen Merkmale sind Arbeitsabstand, Blickwinkel usw. Die Verringerung der Positionsgenauigkeit des Handteils 27 zum Greifen eines Werkstücks W wird unterdrückt, indem die in ihren optischen Eigenschaften unterschiedlichen Kameravorrichtungen entsprechend dem Abstand zum Werkstück W geschaltet werden. Der Begriff „Arbeitsabstand“ bezeichnet den Abstand von der Linsenspitze jeder Kameravorrichtung zu einem Objekt (z.B. Werkstück W), d.h. einen Abstand, mit dem die Fokussierung erreicht wird. Der Begriff „Blickwinkel“ bezeichnet einen Winkelbereich, in dem ein Bild durch das Objektiv aufgenommen werden kann.
Bei der Kamera 15 ist der Arbeitsabstand WD1 und der Blickwinkel AV1 der Überkopfkamera 59 z.B. auf 100 bis 300 mm bzw. 70° eingestellt. Der Arbeitsabstand WD2 und der Blickwinkel AV2 jeder Nahbereichskamera 61 sind z.B. auf 5 bis 99,9 mm bzw. 100° eingestellt. Die Umschaltung auf die Kameravorrichtung mit einem Weitwinkelobjektiv bei der Abbildung eines Werkstücks W aus der Nähe ermöglicht eine Weitwinkelabbildung, d.h. die Erfassung des gesamten Werkstücks W, auch aus der Nähe des Werkstücks W.
Die Überkopfkamera 59 erkennt die Position eines Werkstücks W, indem sie das gesamte Werkstück W durch ein einziges Objektiv abbildet. Die Überkopfkamera 59 ermöglicht es, eine ungefähre Entfernung zum Werkstück W zu berechnen, indem sie für die Größe des Werkstücks W einen Größenvergleich zwischen einem Bild des Werkstücks W und CAD-Daten durchführt, die im Voraus in einem Speicher 83 gespeichert werden. Die CAD-Daten des Werkstücks W enthalten Daten, die eine Größe des Werkstücks W angeben, wie z.B. eine Erscheinungsform und einen Umriss. Wenn ein Bild des Werkstücks W aufgenommen wird, das klein ist, bedeutet dies, dass der Abstand zum Werkstück W groß ist, und wenn ein Bild des Werkstücks W aufgenommen wird, das groß ist, bedeutet dies, dass der Abstand zum Werkstück W klein ist. Die Überkopfkamera 59 ermöglicht es, eine ungefähre Entfernung zu berechnen, indem sie die Größe des aufgenommenen Bildes mit der durch die CAD-Daten angegebenen Größe vergleicht. Die Überkopfkamera 59 hat eine geringe Auflösung, obwohl sie eine große Brennweite hat.
Dagegen dienen die Nahbereichskameras 61 zur Entfernungsmessung, indem sie ein Werkstück W ganz oder teilweise durch zwei Objektive abbilden. Was ein Verfahren zur Entfernungsmessung betrifft, so sind die beiden Nahbereichskameras 61 horizontal angeordnet und nehmen zwei Bilder (ein Beispiel für ein Bildpaar) mit einer Parallaxe gleichzeitig auf. Die Nahbereichskameras 61 müssen ein Werkstück nicht gleichzeitig abbilden, wenn das Werkstück W oder der Roboterarm 21 während der Abbildung nicht bewegt wird. Die Nahbereichskameras 61 ermöglichen es, durch Berechnung Informationen in Tiefenrichtung des Werkstücks W zu erhalten, d.h. Informationen über das Subjekt als dreidimensionalen Körper, und auf der Grundlage von zwei aufgenommenen Bildern einen Abstand der Nahbereichskameras 61 zum Werkstück W zu berechnen. Die Nahbereichskameras 61 haben eine hohe Auflösung, obwohl sie einen kurzen Arbeitsabstand haben. In der Kameraeinheit 57 wird je nach Bedarf zwischen der Überkopfkamera 59 und den Nahbereichskameras 61 umgeschaltet.
Eine Bildverarbeitungseinheit 77 der Bildverarbeitungssteuerung 19 kann ein Bild (Bilder) erfassen, das (die) von der Überkopfkamera 59 oder den Nahbereichskameras 61 in einem kurzen Zyklus aufgenommen wurde(n) (z.B, 0,002 s oder kürzer) erfassen, eine geradlinige Entfernung von der Kamera 15 zum Werkstück W und eine Positionsabweichung des Werkstücks W, wie es von der Kamera 15 aus gesehen wird (mit anderen Worten, eine Abweichung einer relativen Position des Werkstücks W in einer Blickrichtung von der Spitze 35 des Roboterarms 21), auf der Grundlage des Bildes/der Bilder, das/die von der Überkopfkamera 59 oder den Nahbereichskameras 61 aufgenommen wurde(n), berechnen, die (Rück-)Berechnungsergebnisse in Echtzeit an die Robotersteuerung 17 senden (z.B., innerhalb von 0,002 s oder kürzer nach der Aufnahme) als Rückmeldedaten an die Robotersteuerung 17 senden (siehe 12). Zum Beispiel kann die Bildverarbeitungseinheit 77 einen geradlinigen Abstand zwischen der Kamera 15 und dem Werkstück W und eine Positionsabweichung des Werkstücks W, wie es von der Kamera 15 aus gesehen wird, berechnen, indem sie ein von der Überkopfkamera 59 aufgenommenes Bild mit CAD-Daten des Werkstücks W vergleicht, die vorab im Speicher 83 gespeichert wurden (z.B. durch Vergleich einer Größe des Werkstücks W im aufgenommenen Bild und den CAD-Daten). Alternativ kann z.B. die Bildverarbeitungseinheit 77 eine geradlinige Entfernung zwischen der Kamera 15 und dem Werkstück W und eine Positionsabweichung des Werkstücks W, wie es von der Kamera 15 aus gesehen wird, auf der Grundlage des gesamten Werkstücks W oder eines Teils davon in zwei Bildern (ein Beispiel für ein Bildpaar) berechnen, die von den Nahbereichskameras 61 durch zwei Objektive aufgenommen wurden.
Die Robotersteuerung 17 steuert die Teile des Roboterarms 21 auf der Grundlage von Rückmeldedaten, die von der Bildverarbeitungssteuerung 19 in Echtzeit gesendet werden, so dass die Spitze 35 des Roboterarms 21 näher an das Werkstück W herankommt. Da der Roboterarm 21 von der Robotersteuerung 17 auf der Grundlage der Rückmeldedaten gesteuert wird, die von der Bildverarbeitungssteuerung 19 in Echtzeit gesendet werden, kann die Spitze 35 mit höherer Genauigkeit und Geschwindigkeit näher an das Werkstück W herangeführt werden und das Werkstück W richtig greifen.
12 ist ein Flussdiagramm, das den Ablauf eines Prozesses zeigt, bei dem die Spitze 35 des Roboterarms 21 nahe an ein Werkstück W gebracht wird, indem der Roboterarm 21 in Echtzeit durch Echtzeit-Kooperation zwischen der Bildverarbeitungssteuerung 19 und der Robotersteuerung 17 gesteuert wird.
Im Schritt StD1 beurteilt die Bildverarbeitungseinheit 77 der Bildverarbeitungssteuerung 19, ob das gesamte Werkstück W in einem Bild der Überkopfkamera 59 oder das gesamte Werkstück W oder ein Teil davon in Bildern der Nahbereichskameras 61 gefunden wird. Wenn das gesamte Werkstück W nicht in dem von der Überkopfkamera 59 aufgenommenen Bild oder das gesamte Werkstück W oder ein Teil davon nicht in den von den Nahbereichskameras 61 aufgenommenen Bildern (StD1: NEIN) gefunden wird, ist der in 12 dargestellte Prozess beendet.
Wenn andererseits das gesamte Werkstück W in dem von der Überkopfkamera 59 aufgenommenen Bild oder das gesamte Werkstück W oder ein Teil davon in den von den Nahbereichskameras 61 aufgenommenen Bildern gefunden wird (StD1: JA), berechnet die Bildverarbeitungseinheit 77 im Schritt StD2 eine geradlinige Entfernung von der Kamera 15 zum Werkstück W und eine Positionsabweichung des Werkstücks W, wie es von der Kamera 15 aus gesehen wird (mit anderen Worten, eine Abweichung einer relativen Position des Werkstücks W in einer Blickrichtung von der Spitze 35 des Roboterarms 21). Beim Schritt StD3 sendet die Bildverarbeitungseinheit 77 die Berechnungsergebnisse des Schritts StD2 als Rückmeldedaten in Echtzeit an die Robotersteuerung 17 (Feedback).
Im Schritt StD4 steuert die Robotersteuerung 17 die Teile des Roboterarms 21 auf der Grundlage der von der Bildverarbeitungssteuerung 19 in Echtzeit gesendeten Rückmeldedaten so, dass die Spitze 35 des Roboterarms 21 nahe an das Werkstück W herankommt. Im Schritt StD5 beurteilt die Bildverarbeitungseinheit 77 der Bildverarbeitungssteuerung 19 z.B. anhand der von den Nahbereichskameras 61 aufgenommenen Bilder, ob sich die Fingerelemente 25 der Spitze 35 an solchen Positionen befinden, dass sie das Werkstück W greifen können. Der in 12 dargestellte Prozess ist beendet, wenn beurteilt wird, ob die Fingerelemente 25 der Spitze 35 sich an solchen Positionen befinden, dass sie in der Lage sind, das Werkstück W zu greifen (StD5: JA). Andererseits kehrt das Verfahren zu Schritt StD2 zurück, wenn festgestellt wird, dass sich die Fingerelemente 25 der Spitze 35 nicht an solchen Positionen befinden, dass sie das Werkstück W greifen können (StD5: NEIN). Das heißt, die Schritte StD2-StD5 werden wiederholt ausgeführt, bis die Fingerelemente 25 der Spitze 35 sich an solchen Positionen befinden, dass sie das Werkstück W durch Echtzeit-Kooperation zwischen der Robotersteuerung 17 und der Bildverarbeitungssteuerung 19 greifen können.
6B ist ein Diagramm zur Beschreibung eines Betriebs, bei der die Musterbeleuchtung von einer Lichtquelle in einem Zustand durchgeführt wird, in dem die in 1 gezeigte Kamera 15 in einem Überkopfmodus arbeitet. 6C ist ein Diagramm zur Beschreibung einer Beziehung zwischen den Farben eines Montagetisches DPT und eines Werkstücks W und einem projizierten Muster. Wie in 6C dargestellt, kann es, wenn ein Werkstück Wa und ein mit ihm montierter Montagetisch DPT farblich nahe beieinander liegen, vorkommen, dass die Überkopfkamera 59 eine Form des Werkstücks Wa nicht erkennen kann (d.h. Bildkanten können nicht erkannt werden), in welchem Fall eine Berechnung zur Abstandsmessung nicht durchgeführt werden kann. Eine Gegenmaßnahme ist die Installation einer Lichtquelle, die in der Lage ist, ein gewünschtes Muster PT1 in die zwischen den beiden Nahbereichskameras 61 gebildete Beleuchtungsöffnung 65 zu projizieren und das Muster PT1 abzubilden. Mit dieser Maßnahme wird es möglich, selbst wenn eine Form des Werkstücks Wa nicht erkannt werden kann, eine Entfernung zum Werkstück Wa zu messen, indem ein Bild eines musterprojizierten Werkstücks PT2 erkannt wird. Beispiele für das gewünschte Muster sind ein punktförmiges Muster, wie es von einem Laserpointer projiziert wird, oder ein bestimmtes Muster, wie ein Kreis, ein Rechteck, ein Dreieck oder Streifen.
5 ist eine vergrößerte Seitenansicht der Spitze 35 des Roboterarms 21 in einem Zustand, in dem die Überkopfkamera 59 der in 1 gezeigten Kamera 15 in Betrieb ist. Wenn der Abstand zu einem Werkstück W größer oder gleich 100 mm ist, arbeitet die Kamera 15 mit einem Benutzungsmodus, der von einem Nahbereichsmodus auf einen Überkopfmodus umgeschaltet ist. Das heißt, wenn der Abstand zu einem Werkstück W größer oder gleich 100 mm ist, arbeitet die Kamera 15 im Überkopfmodus.
6A ist eine vergrößerte Seitenansicht der Spitze 35 des Roboterarms 21 in einem Zustand, in dem die Kamera 15 im Nahbereichsmodus arbeitet. Wenn der Abstand zu einem Werkstück W kürzer als oder gleich 99,9 mm ist, arbeitet die Kamera 15 mit dem Benutzungsmodus, der vom Überkopfmodus in den Nahbereichsmodus geschaltet ist. Das heißt, wenn der Abstand zu einem Werkstück W kürzer als oder gleich 99,9 mm ist, arbeitet die Kamera 15 im Nahbereichsmodus.
7 ist ein Blockdiagramm der in 1 gezeigten Robotersteuerung 17. Die Steuerung erzeugt auf der Grundlage der von der Kamera 15 erfassten Bildinformationen ein Steuersignal zur Steuerung eines Betriebs des Roboterarms 21. In der Ausführungsform hat die Steuerung die Robotersteuerung 17 und die Bildverarbeitungssteuerung 19. Die Robotersteuerung 17 und die Bildverarbeitungssteuerung 19 können zusammen in Form eines Prozessors integriert sein, der als CPU (Zentraleinheit), DSP (digitaler Signalprozessor), FPGA (feldprogrammierbares Gate-Array) o.ä. implementiert ist und die Steuerung bildet.
Die Robotersteuerung 17 verfügt über eine Konvertierungseinheit 67, eine Steuereinheit 69, eine Redundanzeinheit 71 und einen Speicher 73. Die Konvertierungseinheit 67, die Steuereinheit 69, die Redundanzeinheit 71 können einen Prozessor 75 bilden.
Die Konvertierungseinheit 67 wandelt Daten mathematischer Ausdrücke, die über die Eingabeeinheit 33 eingegeben werden, in Antriebsprogramme für den Antrieb der Servomotoren 23 des Roboters 13 um, wobei z.B. kinetische Geometrie und Algebra verwendet werden.
Die Steuereinheit 69 veranlasst den Roboter 13, einen Setzvorgang gemäß den von der Konvertierungseinheit 67 durch Konvertierung erzeugten Antriebsprogrammen durchzuführen. Die Steuereinheit 69 verfügt über einen Prozessor wie z.B. einen DSP (digitaler Signalprozessor), ein spezielles Rechengerät, einen Speicher usw. Die Steuereinheit 69 leitet Bewegungszielpositionen der sechs jeweiligen Achsen durch Multiplizieren-Akkumulieren-Operationen auf der Grundlage dreidimensionaler Positionsbeziehungen zwischen orthogonalen Standardkoordinaten des Roboters 13 und orthogonalen Koordinaten des Roboters 13, die von einem Bediener eingestellt werden, augenblicklich ab und gibt Steuersignale an die Servomotoren 23 aus.
Die Redundanzeinheit 71 fügt Redundanzprogramme zur Durchführung einer Redundanzoperation, die sich von der Einstelloperation unterscheidet, den von der Konvertierungseinheit 67 durch Konvertierung erzeugten Antriebsprogrammen hinzu. Die Redundanzoperation ist zum Beispiel eine Operation, bei der der Roboter 13 in eine Zielposition bewegt wird, während ein Hindernis unmittelbar vor oder nach der Kollision mit ihm während einer Bewegung des Roboters 13 vermieden wird.
Der Speicher 73 speichert die Daten von mathematischen Ausdrücken, die über die Eingabeeinheit 33 eingegeben werden, die von der Konvertierungseinheit 67 erzeugten Antriebsprogramme, die im Voraus erzeugten Redundanzprogramme usw.
8 ist ein Blockdiagramm der in 1 gezeigten Bildverarbeitungssteuerung 19. Aufgenommene Bilddaten, die von der Kamera 15 gesendet werden, werden in die Bildverarbeitungssteuerung 19 eingegeben. Die Bildverarbeitungssteuerung 19 verfügt über eine Bildverarbeitungseinheit 77, eine Kamerasteuereinheit 79, eine Robotersteuereinheit 81, einen Speicher 83 und einen Speicher 85. Die Bildverarbeitungseinheit 77, die Kamerasteuereinheit 79, die Robotersteuereinheit 81 können einen Prozessor 87 bilden.
Die Bildverarbeitungseinheit 77 führt die Bildverarbeitung auf der Grundlage der aufgenommenen Bilddaten durch, die von der Kamera 15 gesendet werden. Die von der Bildverarbeitungseinheit 77 erzeugten bildverarbeiteten Daten werden an die Kamerasteuereinheit 79 gesendet.
Die Kamerasteuereinheit 79 erfasst die Brennpunktdaten der Überkopfkamera und die Brennpunktdaten der Nahbereichskamera auf der Grundlage der von der Bildverarbeitungseinheit 77 gesendeten bildverarbeiteten Daten. Die erfassten Kamerafokuspunktdaten werden an die Robotersteuereinheit 81 gesendet. Die Kamerabrennpunktdaten werden im Speicher 85 gespeichert.
Die Robotersteuereinheit 81 erfasst die Kamerabetriebsdaten auf der Grundlage der von der Kamerasteuereinheit 79 gesendeten Kamerafokuspunktdaten und anderer Daten. Die erfassten Kamerabetriebsdaten werden an die Robotersteuerung 17 gesendet. Die Kamerabetriebsdaten werden im Speicher 85 gespeichert.
9 ist ein Flussdiagramm, das den Ablauf eines Prozesses zeigt, der durch die Bildverarbeitungssteuerung 19 ausgeführt wird. Im Robotersystem 11, im Schritt StA1, nimmt die Überkopfkamera 59 der Kameraeinheit 57 ein Werkstück W und seine Nachbarschaft gemäß einem von der Bildverarbeitungssteuerung 19 gesendeten Steuersignal auf.
Wenn das Handteil 27 gemäß einem von der Robotersteuerung 17 gesendeten Steuersignal bewegt wird und sich dem Werkstück W nähert, wird im Schritt StA2 der Benutzungsmodus der Kameraeinheit 57 vom Überkopfmodus in den Nahbereichsmodus umgeschaltet.
Im Schritt StA3 misst die Kameraeinheit 57 mit Hilfe der Nahbereichskameras 61 einen Abstand zum Werkstück W.
Im Schritt StA4 bringt die Bildverarbeitungssteuerung 19 den Roboterarm 21 auf der Grundlage des gemessenen Abstands näher an das Werkstück W und weist die Robotersteuerung 17 an, ein Steuersignal zum Greifen des Werkstücks W durch die Fingerelemente 25 der Spitze 35 des Roboterarms 21 zu erzeugen.
Im Schritt StA5 empfängt der Roboterarm 21 das von der Robotersteuerung 17 erzeugte Steuersignal und die Fingerelemente 25, die im Handteil 27 der Spitze 35 vorgesehen sind, werden gesteuert.
10 ist ein Flussdiagramm, das den Ablauf eines Prozesses zeigt, bei dem der Moduswechsel in Abhängigkeit davon erfolgt, ob die Fokussierung erreicht wird. Beim Robotersystem 11 muss die Umschaltung in der Kameraeinheit 57 vorgenommen werden, da die Überkopfkamera 59 und die Nahbereichskameras 61 unterschiedliche Arbeitsabstände haben.
Beispielsweise kann die Steuerung so konfiguriert werden, dass der Betriebsmodus der Kameraeinheit 57 zwischen dem Überkopfmodus und dem Nahbereichsmodus zu einem solchen Zeitpunkt umgeschaltet wird, dass die Überkopfkamera 59 oder die Nahbereichskameras 61 unscharf werden.
In diesem Fall beurteilt die Steuerung zunächst im Schritt StB1, ob die Scharfstellung durch die Überkopfkamera 59 erreicht wird. Wenn die Scharfstellung erreicht ist, wird im Schritt StB2 der Benutzungsmodus der Kameraeinheit 57 auf den Überkopfmodus umgeschaltet. Wird die Scharfeinstellung durch die Überkopfkamera 59 nicht erreicht, wird in Schritt StB3 beurteilt, ob die Scharfeinstellung durch die Nahbereichskameras 61 erreicht wird. Wenn die Scharfstellung erreicht ist, wird im Schritt StB4 die Betriebsart der Kameraeinheit 57 auf den Nahbereichsmodus umgeschaltet.
11 ist ein Flussdiagramm, das den Ablauf eines Prozesses zeigt, bei dem der Moduswechsel unter Verwendung von Informationen erfolgt, die von einem externen Gerät gesendet werden.
Die Steuerung kann so konfiguriert werden, dass der Benutzungsmodus der Kameraeinheit 57 auf der Grundlage von Informationen, die von einem externen Gerät gesendet werden, auf den Überkopfmodus oder den Nahbereichsmodus umgeschaltet wird. In diesem Fall beurteilt die Steuerung zunächst im Schritt StC1 auf der Grundlage der von der Robotersteuerung 17 gesendeten Informationen, ob die Höhe der Spitze 35 des Roboterarms 21 um 100 mm oder mehr größer als die des Werkstücks W ist. Wenn die Höhe der Spitze 35 des Roboterarms 21 um 100 mm oder mehr größer als die des Werkstücks W ist (StC1: JA), wird im Schritt StC2 der Benutzungsmodus der Kameraeinheit 57 in den Überkopfmodus geschaltet. Wenn andererseits die Höhe der Spitze 35 des Roboterarms 21 nicht um 100 mm oder mehr größer als die des Werkstücks W ist (StC1: NEIN), wird im Schritt StC3 beurteilt, ob die Höhe der Spitze 35 des Roboterarms 21 um weniger als 100 mm größer als die des Werkstücks W ist. Wenn die Höhe der Spitze 35 des Roboterarms 21 um weniger als 100 mm größer als die des Werkstücks W ist (StC3: JA), wird im Schritt StC4 der Benutzungsmodus der Kameraeinheit 57 auf den Nahbereichsmodus umgeschaltet.
Als nächstes wird die Funktionsweise der oben beschriebenen Konfigurationen beschrieben.
Die Kamera 15 entsprechend der Ausführungsform ist mit dem Kameragehäuse 55, das an der Spitze 35 des Roboterarms 21 befestigt ist, und der Kameraeinheit 57, die im Kameragehäuse 55 untergebracht ist, ausgestattet. Mehrere Kameravorrichtungen, die sich in ihren optischen Eigenschaften unterscheiden, sind in der Kameraeinheit 57 miteinander integriert. Die mehreren Kameravorrichtungen, die sich in ihren optischen Eigenschaften unterscheiden, sind zum Beispiel die eine Überkopfkamera 59 und die beiden Nahbereichskameras 61, die sich in Arbeitsabstand und Blickwinkel unterscheiden und miteinander integriert sind.
In der Kamera 15 ist entsprechend der Ausführungsform die Kameraeinheit 57 in der Spitze 35 des Roboterarms 21 vorgesehen. Die Kameraeinheit 57 ist so konfiguriert, dass die eine Überkopfkamera 59 und die beiden Nahbereichskameras 61 im Kameragehäuse 55 untergebracht sind. Das heißt, die Kameraeinheit 57 ist eine an der Spitze montierte Kamera mit drei Linsen, in der mehrere Kameras mit unterschiedlichen Brennweiten miteinander kombiniert sind.
Es ist vorzuziehen, dass die Kamera, die an der Spitze 35 des Roboterarms 21 angebracht ist, eine kleine Kamera wie die Kamera 15 entsprechend der Ausführungsform ist, damit die Kamera die Bewegung des Roboterarms 21 nicht einschränkt. Mit anderen Worten, es ist schwierig, die Kamera 15 mit einem Autofokus-Mechanismus auszustatten, wie er in herkömmlichen Kameras vorgesehen ist. Mit der Kamera 15 entsprechend der Ausführungsform ist es jedoch möglich, auf einfache Weise eine Positionskontrolle am Handteil 27 bis zum Greifen eines Werkstücks W durchzuführen und dabei weiterhin die Position des Werkstücks W zu erkennen, indem man eine oder mehrere der Kameravorrichtungen veranlasst, das Werkstück W weiterhin abzubilden, indem man die Kamera 15 mit Kameravorrichtungen mit mehreren verschiedenen Arbeitsabständen (WDs) (kurze Brennweiten) ausstattet. Da die Kameraeinheit 57 der Kamera 15 über das Kameragehäuse 55 in der Spitze 35 des Roboterarms 21 vorgesehen ist, entsteht kein blinder Bereich wie bei dem herkömmlichen Robotersystem, bei dem die Kamera über dem Magazin angeordnet ist. Somit ist die Kamera 15 frei von dem Problem, dass das Handteil 27 oder der Roboterarm 21 selbst einen toten Bereich bilden und eine Position (Koordinaten) eines Werkstücks W unbekannt gemacht wird. Dadurch wird es möglich, eine Verringerung der Positionsgenauigkeit des Handteils 27 zum Greifen eines Werkstücks W zu unterdrücken und dadurch die Effizienz des Werkstücks zu erhöhen.
Da die Kamera 15 leicht ist, kann ein Kostenanstieg der Steuerung unterdrückt werden, obwohl die Kamera 15 im Roboterarm 21 vorgesehen ist. Das heißt, wenn eine schwere Kamera angebracht ist, muss, um ein Werkstück W richtig zu greifen, eine geeignete Maßnahme getroffen werden, um zu verhindern, dass der Handteil 27 während einer Armbewegung unter Berücksichtigung des Gewichts der Kamera abweicht. Dies macht es notwendig, Getriebe und Motoren so herzustellen, dass sie eine hohe Steifigkeit aufweisen, was zu einer Kostensteigerung des Robotersystems führt. Da die Kamera 15 im Gegensatz dazu leicht ist, können normale Getriebe und Motoren verwendet werden, wodurch es möglich ist, den Kostenanstieg des Roboterarms 21 zu unterdrücken.
Da die Kamera 15 zudem klein ist, ragt kein großer Teil davon aus dem Handteil 27 heraus. Selbst wenn also ein bestimmter Gegenstand um den Handteil 27 herum vorhanden ist, ist es nicht notwendig, eine große Aktion durchzuführen, um den Gegenstand zu entfernen. Auf diese Weise kann verhindert werden, dass der Fahrbereich des Roboterarms 21 eingeengt wird.
Bei der Kamera 15 handelt es sich bei den beiden Nahbereichskameras 61 um dieselben Kameravorrichtungen mit demselben Arbeitsabstand, die dasselbe Werkstück W zur gleichen Zeit abbilden, um ein Bildpaar mit einer Parallaxe zu erhalten, und die bewirken, dass auf der Grundlage des Bildpaars ein Abstand der beiden Nahbereichskameras 61 zum Werkstück W berechnet wird.
Indem man die beiden Nahbereichskameras 61 in horizontaler Richtung anordnet und sie zwei Bilder mit einer Parallaxe gleichzeitig aufnehmen lässt, kann man aus den beiden Bildern ein Bildpaar mit einer Parallaxe erhalten, die einer Differenz zwischen den Kamerapositionen entspricht. Die Kamera 15 ermöglicht es, Informationen in Tiefenrichtung, d.h. dreidimensionale Informationen, über das Werkstück W und Informationen über den Abstand der Nahbereichskameras 61 zum Werkstück W zu erhalten, indem sie eine Berechnung auf der Grundlage der so erhaltenen Bildinformationen veranlasst. Die Genauigkeit der Berechnung eines Abstands nimmt mit abnehmendem Abstand zwischen den Nahbereichskameras 61 und dem Werkstück W zu. Die Kamera 15 realisiert eine Positionierung, deren Genauigkeit allmählich zunimmt, indem sie eine Entfernung mehrmals berechnet, wenn sie sich dem Werkstück W nähert.
In der Kamera 15 wird der Benutzungsmodus der Kameraeinheit 57 vom Überkopfmodus, in dem die Überkopfkamera 59 verwendet wird, auf den Nahbereichsmodus, in dem die Nahbereichskameras 61 verwendet werden, umgeschaltet.
In der Kamera 15 wird, wenn das in der Spitze 35 des Roboterarms 21 vorgesehene Handteil 27 nahe an ein Werkstück W herankommt, der Benutzungsmodus der Kameraeinheit 57 vom Überkopfmodus, in dem die Überkopfkamera 59 verwendet wird (d.h. die Nahbereichskameras 61 werden nicht verwendet), auf den Nahbereichsmodus umgeschaltet, in dem die beiden Nahbereichskameras 61 verwendet werden (d.h. die Überkopfkamera 59 wird nicht verwendet). Wenn in der Kameraeinheit 57 auf den Nahbereichsmodus umgeschaltet wird, wird die Auflösung eines aufgenommenen Bildes höher und es können genauere Positionsinformationen erhalten werden. Dies ermöglicht eine hochpräzise Betriebssteuerung des Roboterarms 21 und des Handteils 27.
In der Kamera 15 wird der Benutzungsmodus der Kameraeinheit 57 vom Nahbereichsmodus, in dem die Nahbereichskameras 61 verwendet werden, auf den Überkopfmodus, in dem die Überkopfkamera 59 verwendet wird, umgeschaltet.
Wenn bei der Kamera 15 das in der Spitze 35 des Roboterarms 21 vorgesehene Handteil 27 von einem Werkstück W weggeht, wird der Benutzungsmodus der Kameraeinheit 57 vom Nahbereichsmodus, in dem die beiden Nahbereichskameras 61 verwendet werden (d.h. die Überkopfkamera 59 wird nicht verwendet), auf den Überkopfmodus, in dem die Überkopfkamera 59 verwendet wird (d.h. die Nahbereichskameras 61 werden nicht verwendet), umgeschaltet. In der Kameraeinheit 57 wird beim Umschalten in den Überkopfmodus die Brennweite vergrößert und es können Positionsinformationen über das gesamte Werkstück W gewonnen werden. Dadurch ist es möglich, den Roboterarm 21 und den Handteil 27 so zu steuern, dass sie in weiten Bereichen arbeiten.
Die eine Überkopfkamera 59 und die beiden Nahbereichskameras 61 sind so angeordnet, dass ihre optischen Achsen 63 parallel zueinander verlaufen und an den jeweiligen Scheitelpunkten eines Dreiecks in einer Ebene liegen, die senkrecht zu den optischen Achsen 63 verläuft.
Bei der Kamera 15 können die drei Kameras mit kleinem Durchmesser (genauer gesagt eine Überkopfkamera 59 und zwei Nahbereichskameras 61), deren optische Achsen 63 parallel zueinander verlaufen, so angeordnet werden, dass sie sich an den jeweiligen Scheitelpunkten eines Dreiecks in einer Ebene senkrecht zu den optischen Achsen 63 befinden. Das Kameragehäuse 55 kann so geformt werden, dass es die Form eines dreieckigen Prismas annimmt, mit dem die drei Kameras mit kleinem Durchmesser auf kompakteste Weise abgedeckt werden können. Eine gewünschte Seitenfläche des Kameragehäuses 55, die eine dreieckige Prismenform annimmt, kann mit hoher Festigkeit an der Spitze 35 (z.B. Handteil 27) des Roboterarms 21 befestigt werden. In diesem Fall kann das Paar Kameras mit kleinem Durchmesser, die sich an beiden Enden der Basis des Dreiecks befinden und somit voneinander beabstandet sind, als Nahbereichskamera 61 und die obere Kamera mit kleinem Durchmesser als Überkopfkamera 59 verwendet werden. Wenn der Handteil 27 so konfiguriert ist, dass das Paar Fingerelemente 25 sich einander annähern und voneinander entfernen kann, können die Nahbereichskameras 61 in der Nähe der Fingerelemente 25 angeordnet werden.
Bei der Kamera 15 kann das Dreieck, das durch die Positionen definiert ist, an denen sich die drei Kameras mit kleinem Durchmesser (genauer gesagt eine Überkopfkamera 59 und zwei Nahbereichskameras 61) in einer Ebene senkrecht zu den optischen Achsen 63 befinden, ein regelmäßiges Dreieck sein.
Bei der Kamera 15 kann das Kameragehäuse 55 im Gegensatz zu den Fällen, in denen das Dreieck ein gleichschenkliges Dreieck oder ein schiefwinkliges Dreieck ist, minimiert und die Positionsabweichungen der Überkopfkamera 59 und der Nahbereichskameras 61 in Bezug auf die Fingerelemente 25 klein gemacht werden.
In der Kamera 15 wird die Beleuchtungsöffnung 65 in der Mitte jeder Seite des Dreiecks gebildet.
In der Kamera 15 kann jede der mehreren Beleuchtungsöffnungen 65 in gleichen Abständen zu den beiden benachbarten der einen Überkopfkamera 59 und der beiden Nahbereichskameras 61 gebildet werden. Die mehreren Kameras mit kleinem Durchmesser und die Beleuchtungsöffnungen 65 können kompakt und mit hoher Dichte angeordnet werden, was eine Miniaturisierung des Kameragehäuses 55 ermöglicht.
In der Kameraeinheit 57 wird zwischen den beiden Nahbereichskameras 61 eine Beleuchtungsöffnung 65 gebildet.
Die Beleuchtungsöffnungen 65 sind in der Kamera 15 angeordnet. In vielen Fällen ist eine Beleuchtungseinrichtung separat von einer Kamera angeordnet. Wo Beleuchtungsvorrichtungen in der Kamera 15 vorgesehen sind, da die Kamera 15, die die Beleuchtungsvorrichtungen enthält, klein ist und daher kein großer Teil von ihr aus dem Handteil 27 herausragt. Selbst wenn also ein bestimmter Gegenstand um das Handteil 27 herum vorhanden ist, ist es nicht notwendig, eine große Aktion durchzuführen, um den Gegenstand freizugeben. Auf diese Weise kann verhindert werden, dass der Fahrbereich des Roboterarms 21 eingeengt wird.
In jeder Beleuchtungsöffnung 65 ist eine Lichtquelle zur Beleuchtung eines Werkstücks W vorgesehen.
Die in jeder Beleuchtungsöffnung 65 vorgesehene Beleuchtungsvorrichtung kann eine optische Faser oder eine LED sein. Die Menge des ausgestrahlten Lichts kann entsprechend einer erforderlichen Lichtintensität eingestellt werden.
Eine Lichtquelle, die ein vorgeschriebenes Muster projizieren kann, ist in einer Beleuchtungsöffnung 65 vorgesehen.
Eine Beleuchtungsvorrichtung, die in der Lage ist, ein bestimmtes Muster zu projizieren, kann in einer Beleuchtungsöffnung 65 vorgesehen werden. Es kann der Fall eintreten, dass die Form eines Werkstücks W nicht erkannt werden kann (d.h. Bildkanten können nicht erkannt werden), weil das Werkstück W und ein Montagetisch, der mit dem Werkstück W montiert ist, farblich nahe beieinanderliegen. In einem solchen Fall ist es möglich, die Form des Werkstücks W zu erkennen, indem man es mit Licht mit einem bestimmten Muster beleuchtet. Wenn man zum Beispiel ein Streifenmuster projiziert, kann die Form des Werkstücks W auf der Grundlage beurteilt werden, wie ein Bild eines Teils des Werkstücks W, das auf einen Abschnitt des Streifenmusters projiziert wird, der sich in der Höhe von der Höhe des Montagetisches unterscheidet, entsteht.
Die beiden Nahbereichskameras 61 haben den gleichen Arbeitsabstand, bilden gleichzeitig ein vorgeschriebenes Muster ab, das von der Lichtquelle projiziert wird, um ein Paar Musterbilder mit einer Parallaxe zu erhalten, und bewirken die Berechnung eines Abstands der beiden Nahbereichskameras 61 zu einer Musterprojektionsfläche, auf die das Muster projiziert wird.
Wenn ein Werkstück W und ein mit ihm montierter Montagetisch farblich nahe beieinanderliegen, kann der Fall eintreten, dass die Form des Werkstücks W nicht erkannt werden kann (d.h. Bildkanten können nicht erkannt werden), so dass eine Berechnung zur Abstandsmessung nicht möglich ist. Eine Gegenmaßnahme ist die Installation einer Lichtquelle, die in der Lage ist, ein gewünschtes Muster in die zwischen den beiden Nahbereichskameras 61 gebildete Beleuchtungsöffnung 65 zu projizieren und ein projiziertes Muster abzubilden. Mit dieser Maßnahme wird es selbst dann, wenn die Form des Werkstücks W nicht erkannt werden kann, möglich, einen Abstand zum Werkstück W zu messen, indem ein Bild eines musterprojizierten Werkstücks erkannt wird. Beispiele für das gewünschte Muster sind ein punktförmiges Muster, wie es von einem Laserpointer projiziert wird, oder ein bestimmtes Muster, wie ein Kreis, ein Rechteck, ein Dreieck oder Streifen.
Bei der Kamera 15 ist das Kameragehäuse 55 in der Mitte zwischen dem Paar Fingerelemente 25 angeordnet, die an der Spitze 35 eines Roboterarms 21 befestigt sind, so dass sie sich einander nähern und voneinander entfernen können.
Bei der Kamera 15 ist das Kameragehäuse 55 in der Mitte zwischen den beiden Fingerelementen 25 angeordnet, die sich einander annähern und voneinander entfernen können. Das Kameragehäuse 55 ist in der Spitze 35 des Roboterarms 21 angeordnet, genauer gesagt in der Mitte eines Liniensegments, das das Paar Fingerelemente 25 in einer imaginären Ebene verbindet, die senkrecht zum Liniensegment steht und dieses kreuzt. Folglich kann die Kamera 15 immer in der Mitte zwischen dem Paar Fingerelemente 25 angeordnet werden, die sich in dieser Ebene einander nähern und voneinander entfernen können, wodurch die Positionsinformation eines Arbeitspunktes 89 (siehe 2) als Mittelpunkt eines Werkstücks W leicht erkannt werden kann.
Die Überkopfkamera 59, die am Scheitelpunkt eines dreieckigen Endes einer dreieckigen Prismenform des Kameragehäuses 55 angeordnet ist, kann in der Mitte zwischen den beiden Fingerelementen 25 angeordnet werden. Dadurch ist es möglich, Positionsabweichungen (Lücken) der Überkopfkamera 59 in Bezug auf die Fingerelemente 25 auf kleine Werte zu unterdrücken. Dies wiederum ermöglicht es, auf eine Kalibrierung zu verzichten.
Das Robotersystem 11 ist gemäß der Ausführungsform mit dem an der Spitze 35 des Roboterarms 21 befestigten Kameragehäuse 55, der Kamera 15 einschließlich der im Kameragehäuse 55 untergebrachten Kameraeinheit 57, in der die eine Überkopfkamera 59 und die beiden Nahbereichskameras 61, die sich im Arbeitsabstand von der Überkopfkamera 59 unterscheiden, miteinander integriert sind, und der Steuerung ausgestattet, die auf der Grundlage der von der Kamera 15 erfassten Bildinformationen ein Steuersignal zur Steuerung des Betriebs des Roboterarms 21 erzeugt.
Im Robotersystem 11 wird gemäß der Ausführungsform ein Abstand zu einem Werkstück W, der erforderlich ist, um eine Steuerung durchzuführen, die bewirkt, dass der Handteil 27 das Werkstück W greift, von der Kamera 15 erfasst, die in der Spitze 35 des Robotersystems 11 angeordnet ist. Da die Kamera 15 in der Spitze 35 des Roboterarms 21 angeordnet ist, wird kein blinder Bereich gebildet, anders als bei dem herkömmlichen Robotersystem, bei dem die Kamera über dem Stapler angeordnet ist. Somit ist die Kamera 15 frei von dem Problem, dass das Handteil 27 oder der Roboterarm 21 selbst einen toten Bereich bildet und eine Position (Koordinaten) eines Werkstücks W unbekannt gemacht wird. Dadurch wird es möglich, eine Zunahme der Anzahl der Werkstücke W zu unterdrücken, die von dem Handteil 27 nicht gehalten werden können.
Der in Patentdokument 1 offen gelegte Roboterarm ist mit der Haltezustandserfassungskamera ausgestattet, die (durch Bildgebung) einen Haltezustand eines Werkstücks W, das vom Handteil gehalten wird, erkennen soll und nicht einen Abstand zum Werkstück W erkennen soll, um das Halten des Werkstücks W durch das Handteil zu steuern.
Da die Kamera 15 klein ist, kann sie sogar an einer Position installiert werden, die so nahe am Handteil 27 liegt, dass eine Kalibrierung zur Korrektur von Koordinatenunterschieden nicht erforderlich ist. Folglich kann das Robotersystem 11 die Berechnung der Steuerinformationen für den Betrieb des Roboterarms 21 vereinfachen und dadurch den Roboterarm 21 schneller betreiben, als wenn eine komplexe Kalibrierung durchgeführt werden muss. Darüber hinaus ermöglicht das Robotersystem 11 entsprechend der Ausführungsform die Unterdrückung einer Erhöhung der Anzahl der Werkstücke W, die vom Handteil 27 nicht gehalten werden können.
Zu dem Zeitpunkt, an dem eine oder mehrere Kameraeinheiten (z.B. Überkopfkamera 59 und Nahbereichskameras 61), die sich in ihren optischen Eigenschaften unterscheiden, unscharf werden, schaltet die Steuerung den Benutzungsmodus der Kameraeinheit 57 auf einen Modus um, der der oder den anderen Kameraeinheiten aus der Mehrzahl der Kameraeinheiten entspricht.
Da sich beim Robotersystem 11 der Arbeitsabstand zwischen der Überkopfkamera 59 und den Nahbereichskameras 61 unterscheidet, ist es notwendig, von der Überkopfkamera 59 auf die Nahbereichskameras 61 oder in umgekehrter Richtung, d.h. von den Nahbereichskameras 61 auf die Überkopfkamera 59 umzuschalten. Das Umschalten zwischen der Überkopfkamera 59 und den Nahbereichskameras 61 erfolgt zu einem Zeitpunkt, wenn eine oder mehrere von ihnen unscharf werden. Zum Beispiel wird die Überkopfkamera 59 ausgeschaltet und die Nahbereichskameras 61 werden eingeschaltet, wenn die Überkopfkamera 59 unscharf ist. Umgekehrt werden die Nahbereichskameras 61 ausgeschaltet und die Überkopfkamera 59 eingeschaltet, wenn die Nahbereichskameras 61 unscharf sind.
Die Steuerung kann den Benutzungsmodus der Kameraeinheit 57 auf der Grundlage von Informationen, die von einem externen Gerät gesendet werden, auf einen Modus umschalten, der einem oder mehreren Kamerageräten (z. B. Überkopfkamera 59 und Nahbereichskameras 61) entspricht, die sich in ihren optischen Eigenschaften unterscheiden.
Wenn im Robotersystem 11 von der Steuerung gelieferte Informationen anzeigen, dass die Höhe des Roboterarms 21 von einem Ziel kleiner als ein vorgegebener Wert ist, wird die Überkopfkamera 59 ausgeschaltet und die Nahbereichskameras 61 eingeschaltet. Umgekehrt wird, wenn die Höhe des Roboterarms 21 von einem Ziel größer oder gleich dem vorgeschriebenen Wert ist, der Benutzungsmodus so umgeschaltet, dass die Nahbereichskameras 61 ausgeschaltet und die Überkopfkamera 59 eingeschaltet werden.
Obwohl die Ausführungsform oben mit Bezug auf die Zeichnungen beschrieben wurde, versteht es sich von selbst, dass die Offenbarung nicht auf dieses Beispiel beschränkt ist. Es ist offensichtlich, dass diejenigen, die sich auf diesem Gebiet auskennen, verschiedene Änderungen, Modifikationen, Ersetzungen, Ergänzungen, Streichungen oder Äquivalente innerhalb der Grenzen der Ansprüche erdenken würden, und sie werden so ausgelegt, dass sie in den technischen Umfang der Offenbarung fallen. Bestandteile der oben beschriebenen Ausführungsform können in gewünschter Weise kombiniert werden, ohne vom Geist und Umfang der Erfindung abzuweichen.
INDUSTRIELLE ANWENDBARKEIT
Die Offenbarung ist nützlich bei der Bereitstellung von Kameras und Robotersystemen, die in der Lage sind, die Verringerung der Positionsgenauigkeit eines Handteils zum Greifen eines Werkstücks zu unterdrücken und dadurch die Effizienz des Werkstücks zu erhöhen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2013078825 A [0003]

Claims

Kamera mit: einem Kameragehäuse, das an der Spitze eines Roboterarms befestigt ist; und eine im Kameragehäuse untergebrachte Kameraeinheit, wobei die Kameraeinheit eine Mehrzahl von Kameravorrichtungen enthält, die sich in ihren optischen Eigenschaften zum Abbilden eines Werkstücks unterscheiden.
Kamera nach Anspruch 1, wobei die Kameraeinheit eine Überkopfkamera und zwei Nahbereichskameras umfasst, die sich im Arbeitsabstand von der Überkopfkamera unterscheiden.
Kamera nach Anspruch 2, wobei die zwei Nahbereichskameras die gleichen Kameravorrichtungen mit dem gleichen Arbeitsabstand haben, ein gleiches Werkstück gleichzeitig abbilden, ein Bildpaar mit einer Parallaxe erfassen, und bewirken, dass ein Abstand der beiden Nahbereichskameras zu dem Werkstück auf der Grundlage des Bildpaars berechnet wird.
Kamera nach Anspruch 2, wobei ein Benutzungsmodus der Kameraeinheit von einem Überkopfmodus, in dem die Überkopfkamera verwendet wird, auf einen Nahbereichsmodus umgeschaltet wird, in dem die beiden Nahbereichskameras verwendet werden.
Kamera nach Anspruch 2, wobei ein Benutzungsmodus der Kameraeinheit von einem Nahbereichsmodus, in dem die zwei Nahbereichskameras verwendet werden, auf einen Überkopfmodus umgeschaltet wird, in dem die Überkopfkamera verwendet wird.
Kamera nach einem der Ansprüche 2 bis 5, wobei die eine Überkopfkamera und die beiden Nahbereichskameras so angeordnet sind, dass die optischen Achsen der einen Überkopfkamera und der beiden Nahbereichskameras parallel zueinander sind und die optischen Achsen an jeweiligen Scheitelpunkten eines Dreiecks in einer Ebene angeordnet sind, die senkrecht zu den optischen Achsen ist.
Kamera nach Anspruch 6, wobei das Dreieck ein regelmäßiges Dreieck ist.
Kamera nach Anspruch 6 oder 7, wobei eine Beleuchtungsöffnung in der Mitte jeder Seite des Dreiecks ausgebildet ist.
Kamera nach Anspruch 2, wobei eine Beleuchtungsöffnung zwischen den beiden Nahbereichskameras ausgebildet ist.
Kamera nach Anspruch 9, wobei in der Beleuchtungsöffnung eine Lichtquelle zum Beleuchten des Werkstücks vorgesehen ist.
Kamera nach Anspruch 9, wobei eine Lichtquelle, die zum Projizieren eines vorgeschriebenen Musters konfiguriert ist, in der Beleuchtungsöffnung vorgesehen ist.
Kamera nach Anspruch 11, wobei die beiden Nahbereichskameras einen gleichen Arbeitsabstand haben, gleichzeitig Licht des vorgeschriebenen Musters abbilden, das von der Lichtquelle projiziert wird, ein Paar von Musterbildern mit einer Parallaxe erfassen und die Berechnung eines Abstands von den beiden Nahbereichskameras zu einer Musterprojektionsfläche, auf die das Licht des Musters projiziert wird, bewirken.
Kamera nach einem der Ansprüche 1 bis 12, wobei das Kameragehäuse in der Mitte zwischen einem Paar von Fingerelementen angeordnet ist, die an einer Spitze eines Roboterarms befestigt sind, so dass sie sich einander nähern und voneinander entfernen können.
Robotersystem mit: einem Kameragehäuse, das an der Spitze eines Roboterarms befestigt ist; einer Kameraeinheit, die in dem Kameragehäuse untergebracht ist und eine Mehrzahl von Kameravorrichtungen aufweist, die sich in ihren optischen Eigenschaften für die Abbildung eines Werkstücks unterscheiden; und einer Steuerung, die auf der Grundlage der von der Kameraeinheit erfassten Bildinformationen ein Steuersignal zur Steuerung des Betriebs des Roboterarms erzeugt.
Robotersystem nach Anspruch 14, wobei zu einem Zeitpunkt, wenn eine der mehreren Kameravorrichtungen, die sich in den optischen Eigenschaften unterscheiden, unscharf wird, die Steuerung einen Benutzungsmodus auf eine andere der mehreren Kameravorrichtungen, die sich in den optischen Eigenschaften unterscheiden, umschaltet.
Robotersystem nach Anspruch 14, wobei die Steuerung auf der Grundlage von Informationen, die von einem externen Gerät gesendet werden, einen Benutzungsmodus auf eine beliebige der Mehrzahl von Kameravorrichtungen umschaltet, die sich in den optischen Eigenschaften unterscheiden.