DE69105476T2 - Verfahren zum kalibrieren eines optischen sensors. - Google Patents

Verfahren zum kalibrieren eines optischen sensors.

Info

Publication number
DE69105476T2
DE69105476T2 DE69105476T DE69105476T DE69105476T2 DE 69105476 T2 DE69105476 T2 DE 69105476T2 DE 69105476 T DE69105476 T DE 69105476T DE 69105476 T DE69105476 T DE 69105476T DE 69105476 T2 DE69105476 T2 DE 69105476T2
Authority
DE
Germany
Prior art keywords
robot
calibration
optical sensor
coordinate system
calibration device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69105476T
Other languages
English (en)
Other versions
DE69105476D1 (de
Inventor
Atsushi Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE69105476D1 publication Critical patent/DE69105476D1/de
Application granted granted Critical
Publication of DE69105476T2 publication Critical patent/DE69105476T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40605Two cameras, each on a different end effector to measure relative position
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10TTECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00Metal working
    • Y10T29/49Method of mechanical manufacture
    • Y10T29/49764Method of mechanical manufacture with testing or indicating
    • Y10T29/49769Using optical instrument [excludes mere human eyeballing]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Description

  • Verfahren zum Kalibrieren eines optischen Sensors Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Kalibrieren eines optischen Sensors, insbesondere auf ein Verfahren zum Kalibrieren eines optischen Sensors mittels eines Kalibrierungsteils, das bewegbar von einem Roboter gehalten ist
  • Es sind Robotersysteme bekannt, die eine Montage- oder Zusammenbauoperation, eine Palettieroperation usw. für Werkstücke in einer Fertigungsstraße durch Benutzung von optischer Information aus einem oder mehreren optischen Sensoren durchführen. Außerdem ist eine Technik für das bewegbare Halten eines optischen Sensors mittels eines Roboterarms bekannt, um Veränderungen der Werkstückposition meistern zu können. Gemäß den Robotersystemen dieser Art wird der optische Sensor kalibriert, um die Sensor-Koordinatenwerte den Roboter-Koordinatenwerten vor dem Roboter- Betrieb entsprechen zu lassen, um auf diese Weise die optische Information für den Roboter-Betrieb verfügbar zu machen. Herkömmlicherweise wird z. B. eine Kamera (im allgemeinen ein optischer Sensor), die auf dem Roboterarm montiert ist, durch Benutzung eines ausschließlich für diesen Zweck vorgesehenen Teils, welches innerhalb des Bereichs der Kamera angeordnet ist, kalibriert.
  • Im allgemeinen weist die herkömmliche Kalibrierungsvorrichtung jedoch große Abmessungen auf und erfordert daher einen breiten Einstellraum. Dieses Erfordernis ist insbesondere mißlich, wenn die Kalibrierungsvorrichtung auf der Arbeitslinie angeordnet ist. Ferner nimmt das genaue Einstellen der herkömmlichen Kalibrierungsvorrichtung Zeit in Anspruch, so daß ein besonderer Vorrichtungs-Einstellungsmechanismus zum genauen Einstellen der Kalibrierungsvorrichtung vorgesehen werden muß.
  • In der Druckschrift US-A-4,796,200 ist ein Kalibrierungsverfahren für einen optischen Sensor offenbart, das eine Kalibrierungsvorrichtung benutzt, die auf einem Roboter montiert ist, welcher durch den optischen Sensor betrachtet wird, um ihn zu kalibrieren. Die auf einem Roboter montierte Kalibrierungsvorrichtung wird durch ihren Roboter bewegt, um der Reihe nach die Kontur eines herzustellenden Gegenstands, beispielsweise eines Automobils, im Raum neu wiederzugewinnen, so daß optische Überwachungs-Sensoren, die an einer Tragkonstruktion angebracht sind, bei Schlüsselmeßpunkten angeordnet werden können. Dieses System vermeidet die Notwendigkeit, ein Musterteil für den Fahrzeugkörper zu konstruieren. Solche Musterteile sind sehr teuer, groß und extrem schwer.
  • Gemäß der vorliegenden Erfindung ist ein Verfahren zum Kalibrieren eines optischen Sensors vorgesehen, das eine Kalibrierungsvorrichtung benutzt, die auf einem Roboter montiert ist, der durch den optischen Sensor optisch erfaßt wird, um ihn zu kalibrieren,
  • dadurch gekennzeichnet, daß
  • der optische Sensor auf einem anderen Roboter montiert ist,
  • die Kalibrierungsvorrichtung aus einem Musterteil gebildet ist und
  • das Verfahren zum Kalibrieren Schritte umfaßt zum
  • (a) Erzeugen von ersten Kalibrierungs-Musterdaten, welche die Koordinatenwerte der Kalibrierungsvorrichtung in einem gemeinsamen Koordinatensystem enthalten,
  • (b) Erzeugen von zweiten Kalibrierungs-Musterdaten, welche die Koordinatenwerte der Kalibrierungsvorrichtung in einem Koordinatensystem des optischen Sensors enthalten, in Übereinstimmung mit optischen Informationsdaten für die Kalibrierungsvorrichtung, die mittels des optischen Sensors gewonnen sind, der auf dem anderen Roboter montiert ist, und
  • (c) Kalibrieren des optischen Sensors durch Vergleichen der ersten Kalibrierungs-Musterdaten mit den zweiten Kalibrierungs-Musterdaten und Berechnen der Kalibrierungsdaten zum Verbinden des gemeinsamen Koordinatensystems mit dem optischen Koordinatensystem.
  • Die Erfindung kann ein Kalibrierungsverfahren schaffen, bei dem ein optischer Sensor, der an einem Roboter angebracht ist, leicht, schnell und genau ohne Benutzung eines Mechanismus zum genauen Einstellen einer Vorrichtung oder ohne Notwendigkeit eines großen Einstellraums kalibriert werden kann.
  • Gemäß der vorliegenden Erfindung, wie sie zuvor beschrieben ist, kann der optische Sensor durch Benutzung der Kalibrierungsvorrichtung kalibriert werden, die auf einem Roboter montiert ist, wobei der optische Sensor auf dem anderen Roboter montiert ist. Die Kalibrierungsvorrichtung, welche aus einem Musterteil gebildet ist, ist in ihren Abmessungen kleiner und in ihrer Konstruktion einfacher als eine herkömmliche Vorrichtung, und sie ist beweglich mittels des Roboters gehalten, so daß die Vorrichtung leicht, schnell und genau in eine gewünschte Position ohne Erfordernis eines großen Vorrichtungs-Einstellraums gebracht werden kann. Außerdem kann der optische Sensor leicht, schnell und genau auf der Grundlage der ersten Kalibrierungsmusterdaten, welche die Koordinatenwerte der Kalibrierungsvorrichtung in dem gemeinsamen Koordinatensystem enthalten, und der zweiten Kalibrierungsmusterdaten, die in Übereinstimmung mit den optischen Informationsdaten für die Kalibrierungsvorrichtung erzeugt sind, welche mittels des optischen Sensors gewonnen sind und die Koordinatenwerte der Kalibrierungsvorrichtung in dem Koordinatensystem für den optischen Sensor enthalten, kalibriert werden. Demzufolge besteht keine Notwendigkeit für einen speziellen Mechanismus zum genauen Einstellen der Kalibrierungsvorrichtung.
  • Fig. 1 zeigt eine schematische Darstellung, die ein Robotersystem zum Ausführen eines Kalibrierungsverfahrens für einen optischen Sensor gemäß einem Ausführungsbeispiel der vorliegenden Erfindung angibt.
  • Fig. 2 zeigt eine vergrößerte Draufsicht, die eine Musterplatte gemäß Fig. 1 im einzelnen darstellt.
  • Fig. 3 zeigt eine schematische Darstellung, die eigen Fall angibt, in dem ein Roboter, auf dem eine Kamera montiert ist, in Richtung auf ein Werkstück bewegt wird, nachdem die Kalibrierung beendet ist.
  • Fig. 4 zeigt eine schematische Teilansicht, die eine Modifikation des Robotersystems gemäß Fig. 1 angibt.
  • Fig. 5 zeigt eine schematische Teilansicht, die eine weitere Modifikation des Robotersystems angibt.
  • Fig. 6 zeigt eine schematische Teilansicht, die eine weitere Modifikation des Robotersystems angibt.
  • Gemäß Fig. 1 umfaßt ein Robotersystem entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung einen ersten und einen zweiten Roboter 1 u. 4 und eine erste und eine zweite Robotersteuereinrichtung 10 u. 11 zum Treiben des Roboters 1 bzw. 4. Beide der Roboter 1 u. 4 sind mit bekannten Lagen in bekannten Positionen in einem gemeinsamen Koordinatensystem (nicht gezeigt) angeordnet, das in einem Robotersystemraum festgelegt ist.
  • Der erste Roboter 1 ist z. B. aus einem Vielgelenk-Roboter gebildet, der einen Arm 2 hat, welcher aus einer Vielzahl von Gelenken zusammengesetzt ist, die mittels benachbarter Verbindungen miteinander verbunden sind. Eine Musterplatte 3 zur Verwendung als Kalibrierungsvorrichtung, die auf dem körperfernen Ende des Arms montiert ist (Werkzeug-Mittelpunkt (TCP)) ist mit einer gewünschten Lage in einer gewünschten Position in einem ersten Roboter-Koordinatensystem (oder einem nicht gezeigten gemeinsamen Koordinatensystem) für den ersten Roboter 1 angeordnet. Die Musterplatte 3, die in ihrem Aufbau einfach ist und geringe Abmessungen aufweist, kann auf einfache Weise gefertigt und auf dem Roboter 1 montiert werden. Für die Kalibrierung ist die Musterplatte 3 nur einer einzigen Art erforderlich. Wie in Fig. 2 gezeigt, ist die Musterplatte 3 mit einem rechtwinkligen Punktmuster gebildet, das z. B. aus 25 Punkten 3a, 3b, 3c, ... zusammengesetzt ist, welche längs der vier Seiten der Musterplatte angeordnet sind. Der Punkt 3a für den Nullpunkt ist im Durchmesser größer als die anderen Punkte 3b, 3c, ... Theoretisch sind nur sechs Punkte für das Punktmuster, welches für die Kalibrierung benutzt wird, ausreichend. In dem vorliegenden Ausführungsbeispiel ist indessen die Anzahl der Punkte im Interesse einer genaueren Kalibrierung erhöht.
  • Der zweite Roboter 4 ist wie der erste Roboter 1 z. B. aus einem Vielgelenk-Roboter gebildet, bei dem eine Kamera 6 (allgemein ein optischer Sensor), die auf dem körperfernen Ende eines Arms 5 befestigt ist oder auf dem körperfernen Ende des Arms zur Drehung in bezug auf die Armachse und eine Achse senkrecht zu der Armachse montiert ist, in einer gewünschten Lage in einer gewünschten Position in einem zweiten Roboter-Koordinatensystem oder gemeinsamen Koordinatensystem (nicht gezeigt) für den zweiten Roboter 4 angeordnet ist. Ferner ist die Kamera 6 mit einem Kamera-Koordinatensystem (im allgemeinen ein Koordinatensystem für den optischen Sensor (nicht gezeigt)) zum Bestimmen der Position eines Bildpunkts auf dem Kamera-Bildschirm versehen.
  • Jede der ersten und zweiten Roboter-Steuereinrichtungen 10 u. 11 hat eine Funktion zum Erfassen der augenblicklichen Koordinatenwerte (Position und Lage) des körperfernen Endes des Arms des ersten oder zweiten Roboters entsprechend dem ersten oder zweiten Roboter-Koordinatensystem auf der Grundlage des Gelenkwinkels und eine Funktion zum Koordinaten-Transformieren aus den gemeinsamen Koordinatenwerten in die Roboter-Koordinatenwerte und zum Koordinaten-Tansformieren aus den Roboter-Koordinatenwerten in die gemeinsamen Koordinatenwerte und kann den Roboter in dem gemeinsamen Koordinatensystem treiben. Ferner berechnet die erste Roboter-Steuereinrichtung 10 erste Kalibrierungs-Musterdaten (CPDr) 12a, weiche kennzeichnend für die Koordinatenwerte der Punktmusterelement-Punkte 3a, 3b, 3c, ... in dem gemeinsamen Koordinatensystem sind, auf der Grundlage der Koordinatenwerte des körperfernen Endes des Arms, der bekannten Montageposition und der Lage der Musterplatte 3 in bezug auf den ersten Roboter 1 und der betreffenden be kannten Anordnungspositionen der Punkte 3a, 3b, 3c, ... auf der Musterplatte 3 und lädt die berechneten Daten in den eingebauten Speicher 12 derselben.
  • Überdies umfaßt das Robotersystem eine Steuereinrichtung 20 für einen optischen Sensor zum Kalibrieren der Kamera 6 auf der Grundlage der ersten Kalibrierungs-Musterdaten 12a und von Videodaten (im allgemeinen optische Informationsdaten) aus der Kamera 6. Die Steuereinrichtung 20 umfaßt einen Prozessor (CPU) 21, einen Nur-Lesespeicher (ROM) 22, der mit einem Steuerprogramm 22a für die Kalibrierungsoperation geladen ist, und erste bis dritte Speicher mit wahlfreiem Zugriff (RAMs) 23 bis 25. Außerdem umfaßt die Steuereinrichtung 20 für den optischen Sensor einen Bildprozessor 26, eine Schnittstelle 27, die jeweils mit der ersten und der zweiten Roboter-Steuereinrichtung 10 bzw. 11 mittels Verbindungsleitungen 13 u. 13' verbunden ist, und eine Kamera-Schnittstelle 28, die mit der Kamera 6 verbunden ist. Die Elemente 22 bis 28 sind mit dem Prozessor 21 mittels Busleitungen verbunden. Das Robotersystem ist wie erforderlich mit einer Tastatur (nicht gezeigt) versehen, die mit der Steuereinrichtung 20 für den optischen Sensor durch eine Tastatur-Schnittstelle (nicht gezeigt) verbunden ist.
  • Das Folgende stellt eine Beschreibung der Kalibrierungsoperation des Robotersystems gemäß Fig. 1 dar.
  • Vor dem Starten des Betriebs des Robotersystems gibt eine Bedienungsperson Punktmuster-Daten (DPD) 24a, die kennzeichnend für die Punktmusterelement-Punkte 3a, 3b, 3c, .... auf der Musterplatte 3 sind, in die Steuereinrichtung 20 für den optischen Sensor mittels der Tastatur ein. Alternativ dazu können die Daten 24a vorab in dem Steuerprogramm 22a beschrieben sein. In Reaktion auf die Dateneingabe durch die Tastatur oder auf ein Datenauslesen aus dem Steuerprogramm werden die Musterdaten 24a unter Steuerung durch den Prozessor 21 in den RAM 24 geladen.
  • Wenn die Kalibrierungsoperation unter der Steuerung des Prozessors 21 gestartet wird, der in Übereinstimmung mit dem Steuerprogramm in dem ROM 22 arbeitet, wird der erste Roboter 1 zunächst durch die Roboter-Steuereinrichtung 10 getrieben, und die Musterplatte 3, welche auf dem körperfernen Ende des Arms 2 montiert ist, wird in eine gewünschte Position gebracht, d. h. in eine vorbestimmte Position auf einer Arbeitslinie. Die erste Roboter-Steuereinrichtung 10 erfaßt die Koordinatenwerte des körperfernen Endes des Arms des ersten Roboters 1 in dem ersten Roboter-Koordinatensystem und gewinnt die betreffenden Koordinatenwerte der einzelnen Punktmusterelement-Punkte 3a, 3b, 3c, ... in dem ersten Roboter-Koordinatensystem auf der Grundlage der erfaßten Koordinatenwerte, der bekannten Montageposition und der Lage der Musterplatte 3 in bezug auf den ersten Roboter 1 und der bekannten Punktmuster-Anordnungsposition auf der Musterplatte 3. Anschließend gewinnt die erste Roboter- Steuereinrichtung 10 die ersten Kalibrierungs-Musterdaten (CPDr) 12a durch Transformieren der Koordinatenwerte in dem ersten Roboter-Koordinatensystem für jeden Punkt in Koordinatenwerte in dem gemeinsamen Koordinatensystem und lädt die Daten 12a in den Speicher 12. Die ersten Kalibrierungsmuster-Daten 12a werden aus dem Speicher 12 in den RAM 23 über die Verbindungsleitung 13 und die Schnittstelle 27 übertragen, um in den RAM 23 unter der Steuerung durch den Prozessor 21 geladen zu werden.
  • sDann wird der zweite Roboter 4 mittels der zweiten Roboter- Steuereinrichtung 11 durch Positionierung der Kamera 6, die auf dem körperfernen Ende des Arms 5 montiert ist, getrieben, so daß die Musterplatte 3 in den Bereich der Kamera 6 gerät. Die Kamera 6 nimmt ein Bild des Punktmusters der Musterplatte 3 auf und liefert Punktmuster-Videodaten. Die Punktmuster-Videodaten werden über die Kamera-Schnittstelle 28 zu dem RAM 25 übertragen, um unter der Steuerung durch den Prozessor 21 in den RAM 25 geladen zu werden. Der Bildprozessor 26 liest die Punktmuster-Daten (DPD) 24a aus dem RAM 24 aus und holt außerdem die Punktmuster-Videodaten ab. Auf der Grundlage der Daten 24a und der Videodaten berechnet der Bildprozessor 26 zweite Kalibrierungsmuster-Daten (CPDc) 25a, die kennzeichnend für die Koordinatenwerte der einzelnen Punktmusterelement-Punkte in dem Kamera-Koordinatensystem sind, und lädt die berechneten Daten 25a in den RAM 25.
  • Der Prozessor 21 liest die ersten und zweiten Kalibrierungsmuster-Daten 12a u. 25a aus den RAMs 23 bzw. 25 aus, vergleicht die zwei Sätze von Muster-Daten 12a u. 25a und berechnet Kalibrierungs-Daten (CD) 23a, welche Kamera-Parameter (z. B. Richtungs-Cosinuswerte der Kamera-Achse in bezug auf die einzelnen Koordinaten-Achsenrichtungen des gemeinsamen Koordinatensystems beinhalten und das gemeinsame Koordinatensystem dem Kamera-Koordinatensystem zuordnen, so daß die gemeinsamen Koordinatenwerte und die Kamera-Koordinatenwerte einander glatt entsprechen. Beispielsweise gewinnt der Prozessor 21 die Kamera-Parameter durch gleichzeitiges Lösen von Gleichungen, welche die ersten und zweiten Kalibrierungsmuster-Daten 12a u. 25a, die in der zuvor genannten Weise gewonnen sind, und unbekannte Kamera-Parameter als Variablen enthalten. Dann werden die berechneten Daten 23a in den RAM 23 geladen, woraufhin die Kalibrierung der Kamera 6 beendet ist.
  • Beim Betrieb der Roboter zur Bearbeitung eines Werkstücks wird die Nusterplatte 3 aus der Arbeitslinie herausgenommen oder von dem ersten Roboter 1 entfernt, wenn dies erforderlich ist, und das Werkstück (nicht gezeigt) wird dann zu einer vorbestimmten Position auf der Arbeitslinie transportiert. Das Werkstück (nicht gezeigt) wird mittels der Kamera 6 aufgenommen, die auf dem zweiten Roboter 4 montiert ist, und die Koordinatenwerte-Daten des Werkstücks in dem gemeinsamen Koordinatensystem werden mittels des Prozessors 21 auf der Grundlage der sich ergebenden Werkstück-Videodaten und der Kalibrierungs-Daten 23a, welche aus dem RAM 23 ausgelesen sind, gewonnen. Danach werden die Werstück- Koordinatenwerte-Daten an die erste Roboter-Steuereinrichtung 10 geliefert, um den ersten Roboter 1, welcher von der Musterplatte 3 befreit ist, z. B. zu veranlassen, den Roboterbetrieb durchzuführen, und es wird der Roboterbetrieb unter der Steuerung der ersten Roboter-Steuereinrichtung 10 gestartet. Alternativ dazu kann der Roboterbetrieb mittels eines dritten Roboters (nicht gezeigt) ausgeführt werden, der in dem gemeinsamen Koordinatensystem angeordnet ist.
  • Anders als in dem zuvor beschriebenen Fall, in welchem der zweite Roboter 4 sich vor und nach der Kalibrierung in derselben Position befindet, kann der zweite Roboter 4, auf dem die Kamera 6 montiert ist, von der Position für die Kalibrierung, welche durch das Symbol A in Fig. 3 gekennzeichnet ist, zu einer anderen Position B bewegt werden, ohne erneut eine wesentliche Kalibrierung durchzuführen. Im einzelnen wird in diesem Fall die Bewegung des zweiten Roboters 4 aus der Position A zu der Position B in dem gemeinsamen Koordinatensystem mittels der zweiten Roboter- Steuereinrichtung 11 berechnet, und die berechnete Bewegung wird in den eingebauten Speicher (nicht gezeigt) der Einrichtung 11 geladen. Dann werden Videodaten, die durch Aufnehmen eines speziellen Punkts 40a des Werkstücks 40 mittels der Kamera 6 gewonnen sind, von der Kamera 6 an die Steuereinrichtung 20 für den optischen Sensor geliefert, und es werden Koordinatenwerte-Daten des speziellen Punkts 40a in dem gemeinsamen Koordinatensystem mittels der Steuereinrichtung 20 für den optischen Sensor auf der Grundlage der Bewegungsdaten, der Videodaten und der Kalibrierungs- Daten 23a berechnet, die vor der Bewegung des zweiten Roboters 4 gewonnen sind. Die berechneten Koordinatenwerte-Daten werden danach für die Roboterbetrieb-Steuerung benutzt. In anderen Worten ausgedrückt heißt dies, daß die Kalibrierungs-Daten 23a abhängig von der Bewegung des zweiten Roboters 4 korrigiert werden.
  • Außerdem muß, wie zuvor beschrieben, die Kalibrierung selbst dann, wenn der zweite Roboter 4, auf dem die Kamera montiert ist, nach der Kalibrierung bewegt wird, nicht wiederholt werden. Demzufolge kann das Werkstück ohne Behinderung auf der Arbeitslinie aufgenommen werden, und zwar selbst dann, wenn die Kamera 6 zu einer Position bewegt ist, die der Arbeits linie gegenübersteht, nachdem die Kalibrierung in einer Position entfernt von der Arbeitslinie ausgeführt ist.
  • Die vorliegende Erfindung ist nicht auf das zuvor beschriebene Ausführungsbeispiel beschränkt, und es können verschiedene Modifikationen in diesem bewirkt werden.
  • In Verbindung mit dem zuvor beschriebenen Ausführungsbeispiel ist z. B. die Kalibrierung der Kamera 6, welche auf dem zweiten Roboter 4 montiert ist, beschrieben worden. Alternativ dazu können indes sen die Kamera 6 und die Musterplatte 3 auf dem ersten Roboter 1 bzw. dem zweiten Roboter 4 montiert sein, so daß die Kamera auf dem ersten Roboter kalibriert werden kann. Demzufolge kann gemäß der vorliegenden Erfindung die Kamera in einem Robotersystem kalibriert werden, das ein Paar von Robotern enthält, und zwar in einer Weise, daß der gewünschte Roboter, auf dem die Kamera montiert ist, und der andere Roboter, der mit einer Musterplatte ausgerüstet ist, miteinander zusammenarbeiten.
  • Ferner ist die vorliegende Erfindung nicht auf ein Robotersystem beschränkt, das die zwei Roboter umfaßt, sondern kann auch auf ein Robotersystem angewendet werden, das drei oder mehr Roboter umfaßt. In diesem Fall ist eine Musterplatte 3 auf einem gewünschten Roboter des Robotersystems montiert, und es sind Kameras einzeln auf anderen Robotern montiert. Wie z. B. in Fig. 4 gezeigt, ist die Musterplatte 3 auf einem ersten Roboter 1 montiert, und Kameras 6b u. 6c sind auf einem zweiten bzw. einem dritten Roboter 4 bzw. 30 montiert. Fig. 5 zeigt einen Fall, in dem die Musterplatte 3 auf dem zweiten Roboter 4 montiert ist und Kameras 6a u. 6c auf dem ersten bzw. dem dritten Roboter 1 bzw. 30 montiert sind. Fig. 6 zeigt einen Fall, in dem die Musterplatte 3 auf dem dritten Roboter 30 montiert ist und die Kameras 6a u. 6b auf dem ersten bzw. zweiten Roboter 1 bzw. 4 montiert sind.
  • Außerdem kann in den Robotersystemen entsprechend den zuvor beschriebenen Modifikationen, die drei oder mehr Roboter umfassen, wobei eine Kamera auf jedem von zwei oder mehr Robotern montiert ist, jede Kamera in derselben Art und Weise wie in dem vorhergehenden Ausführungsbeispiel kalibriert werden. In dem in Fig. 4 gezeigten Robotersystem werden z. B die Kameras 6b u. 6c einzeln bewegt, so daß die Musterplatte 3 in die betreffenden Bereiche der Kameras 6b u. 6c kommt, und die Kalibrierungs-Daten für jede Kamera werden dann in derselben Art und Weise wie derjenigen des zuvor beschriebenen Ausführungsbeispiels mittels der Steuereinrichtung 20 für den optischen Sensor gemäß Fig. 1 auf der Grundlage von Videodaten gewonnen, welche durch Aufnehmen der Musterplatte 3 mittels jeder Kamera gewonnen sind. Demzufolge können entsprechend der vorliegenden Erfindung die Kameras flexibel abhängig von der Robotersystem-Anordnung selbst dann kalibriert werden, wenn verschiedene Robotersystem gegeben sind, welche zwei oder mehr Kameras umfassen.
  • Obgleich eine Kamera als der optische Sensor in dem Ausführungsbeispiel und dessen Modifikationen, die beschrieben worden sind, benutzt wird, kann stattdessen eine Laser- Meßeinrichtung benutzt werden. In dem zuvor beschriebenen Ausführungsbeispiel werden indessen die ersten Kalibrierungsmuster-Daten 12a mittels der ersten Roboter-Steuereinrichtung 10 in die Steuereinrichtung 20 für den optischen Sensor eingegeben. Alternativ dazu können indessen die Daten 12a manuell über die Tastatur eingegeben werden.

Claims (1)

1. Verfahren zum Kalibrieren eines optischen Sensors (6), das eine Kalibrierungsvorrichtung (3) benutzt, die auf einem Roboter (1) montiert ist, der durch den optischen Sensor (6) optisch erfaßt wird, um ihn zu kalibrieren,
dadurch gekennzeichnet, daß
der optische Sensor (6) auf einem anderen Roboter (4> montiert ist,
die Kalibrierungsvorrichtung (3) aus einem Musterteil gebildet ist und
das Verfahren zum Kalibrieren Schritte umfaßt zum
(a) Erzeugen von ersten Kalibrierungs-Musterdaten (12a), welche die Koordinatendaten der Kalibrierungsvorrichtung (3) in einem gemeinsamen Koordinatensystem enthalten,
(b) Erzeugen von zweiten Kalibrierungs-Musterdaten (25a), welche die Koordinatenwerte der Kalibrierungsvorrichtung (3) in einem Koordinatensystem des optischen Sensors (3) enthalten, in Übereinstimmung mit optischen Informationsdaten für die Kalibrierungsvorrichtung (3), die mittels des optischen Sensors (6) gewonnen sind, der auf dem anderen Roboter (4) montiert ist, und
(c) Kalibrieren des optischen Sensors (6) durch Vergleichen der ersten Kalibrierungs-Musterdaten (12a) mit den zweiten Kalibrierungs-Musterdaten (25a) und Berechnen der Kalibrierungsdaten (23a) zum Verbinden des gemeinsamen Koordinatensystems mit dem optischen Koordinatensystem.
2. Verfahren zum Kalibrieren eines optischen Sensors (6) nach Anspruch 1, bei dem der Schritt (a) enthält:
(a1) Erfassen der Koordinatenwerte des körperfernen Endes eines Arms (2) des Roboters (1), das mit der Kalibrierungsvorrichtung (3) zusammengebaut ist, in einem Roboter-Koordinatensystem,
(a2) Gewinnen der Koordinatenwerte der Kalibrierungsvorrichtung (3) in dem Roboter-Koordinatensystem auf der Grundlage der Koordinatenwerte des körperfernen Endes des Arms in dem Roboter-Koordinatensystem und bekannter Daten, die bezeichnend für die Montageposition und die Lage der Kalibrierungsvorrichtung (3) in bezug auf den Roboterarm (2) sind, und
(a3) Gewinnen der Koordinatenwerte der Kalibrierungsvorrichtung (3) in dem gemeinsamen Koordinatensystem durch Transformieren der Koordinatenwerte der Kalibrierungsvorrichtung (3 in dem Roboter-Koordinatensystem.
3. Verfahren zum Kalibrieren eines optischen Sensors (6) nach Anspruch 1 oder 2, bei dem die Kalibrierungsvorrichtung (3), die in dem Schritt (a) benutzt wird, aus einem Musterteil gebildet ist, das ein auf sich ausgebildetes Punktmuster hat.
4. Verfahren zum Kalibrieren eines optischen Sensors (6) nach den Ansprüchen 2 und 3, wenn diese kombiniert sind, bei dem sowohl bekannte Daten, die bezeichnend für die betreffenden Ausbildungspositionen der Punkte (3a usw.) sind, welche das Punktmuster auf dem Musterteil ausmachen, das die Kalibrierungsvorrichtung (3) bildet, als auch die Koordinatenwerte des körperfernen Endes des Arms in dem Roboter-Koordinatensystem und die bekannten Daten, welche bezeichnend für die Montageposition und die Lage der Kalibrierungsvorrichtung (3) in bezug auf den Roboterarm (2) sind, in dem Schritt (a2) benutzt werden und die Koordinatenwerte der Punkte (3a usw.), welche das Punktmuster in dem gemeinsamen Koordinatensystem ausmachen, in dem Schritt (a3) gewonnen werden.
5. Verfahren zum Kalibrieren eines optischen Sensors (6) nach einem der vorhergehenden Ansprüche, bei dem die zweiten Kalibrierungs-Musterdaten (25a) durch optisches Verarbeiten der optischen Informationsdaten in dem Schritt (b) erzeugt werden.
6. Verfahren zum Kalibrieren eines optischen Sensors (6) nach einem der vorhergehenden Ansprüche, das ferner Schritte enthält zum
(d) Gewinnen der Distanz (A-B) der Bewegung des anderen Roboters (4) aus der Position (A) für die Ausführung der Kalibrierung heraus zu einer neuen Position (B), die nach dem Ende der Kalibrierung erreicht ist, und
(e) Korrigieren der Kalibrierungsdaten, die in dem Schritt (c) berechnet sind, durch Benutzen der Distanz (A-B) der Bewegung des anderen Roboters (4)
. Verfahren zum Kalibrieren eines optischen Sensors (6) nach einem der vorhergehenden Ansprüche, das auf ein Robotersystem angewendet ist, welches einen Roboter, der mit der Kalibrierungsvorrichtung (3) ausgestattet ist, und eine Vielzahl von Robotern, wovon jeder mit einem optischen Sensor ausgestattet ist, enthält und bei dem die Schritte (a), (b) und (c) für jeden der Vielzahl von Robotern ausgeführt werden.
8. Verfahren zum Kalibrieren eines optischen Sensors (6) nach einem der vorhergehenden Ansprüche, bei dem eine Kamera und/oder eine Laser-Meßeinrichtung als der oder jeder optische Sensor benutzt wird.
DE69105476T 1990-07-19 1991-07-18 Verfahren zum kalibrieren eines optischen sensors. Expired - Fee Related DE69105476T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2190958A JP2686351B2 (ja) 1990-07-19 1990-07-19 視覚センサのキャリブレーション方法
PCT/JP1991/000960 WO1992001539A1 (fr) 1990-07-19 1991-07-18 Procede d'etalonnage d'un capteur visuel

Publications (2)

Publication Number Publication Date
DE69105476D1 DE69105476D1 (de) 1995-01-12
DE69105476T2 true DE69105476T2 (de) 1995-04-13

Family

ID=16266507

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69105476T Expired - Fee Related DE69105476T2 (de) 1990-07-19 1991-07-18 Verfahren zum kalibrieren eines optischen sensors.

Country Status (5)

Country Link
US (1) US6114824A (de)
EP (1) EP0493612B1 (de)
JP (1) JP2686351B2 (de)
DE (1) DE69105476T2 (de)
WO (1) WO1992001539A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018108728B4 (de) 2017-04-19 2019-09-19 Shinya Hirano Kalibriersystem

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3394278B2 (ja) * 1992-12-03 2003-04-07 ファナック株式会社 視覚センサ座標系設定治具及び設定方法
JP3394322B2 (ja) 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
JP3421608B2 (ja) 1999-04-08 2003-06-30 ファナック株式会社 教示モデル生成装置
DE20003381U1 (de) * 2000-02-24 2001-07-05 KUKA Schweissanlagen GmbH, 86165 Augsburg Prüfeinrichtung für bewegliche optische Messeinrichtungen
US6615112B1 (en) 1999-06-26 2003-09-02 Kuka Schweissanlagen Gmbh Method and device for calibrating robot measuring stations, manipulators and associated optical measuring devices
JP4108342B2 (ja) * 2001-01-30 2008-06-25 日本電気株式会社 ロボット、ロボット制御システム、およびそのプログラム
CA2369845A1 (en) 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
WO2003064116A2 (en) * 2002-01-31 2003-08-07 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
US7090134B2 (en) * 2003-03-04 2006-08-15 United Parcel Service Of America, Inc. System for projecting a handling instruction onto a moving item or parcel
US7063256B2 (en) 2003-03-04 2006-06-20 United Parcel Service Of America Item tracking and processing systems and methods
DE10319253B4 (de) * 2003-04-28 2005-05-19 Tropf, Hermann Dreidimensional lagegerechtes Zuführen mit Roboter
JP2008506953A (ja) 2004-07-14 2008-03-06 ブレインテック カナダ インコーポレイテッド 機械視覚のための方法及び装置
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける3次元視覚センサの再校正方法及び装置
DE102005045854B3 (de) * 2005-09-26 2007-04-12 Siemens Ag Verfahren und System zur Kalibrierung einer Kamera in Produktionsmaschinen
WO2007041696A2 (en) * 2005-10-04 2007-04-12 Alexander Eugene J System and method for calibrating a set of imaging devices and calculating 3d coordinates of detected features in a laboratory coordinate system
WO2007041690A2 (en) * 2005-10-04 2007-04-12 Alexander Eugene J Device for generating three dimensional surface models of moving objects
EP1960941A4 (de) * 2005-11-10 2012-12-26 Motion Analysis Corp Einrichtung und verfahren zum kalibrieren einer bildgebungseinrichtung zur erzeugung dreidimensionaler oberflächenmodelle beweglicher objekte
WO2008036354A1 (en) 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
JP4886560B2 (ja) * 2007-03-15 2012-02-29 キヤノン株式会社 情報処理装置、情報処理方法
US7957583B2 (en) 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US8923602B2 (en) * 2008-07-22 2014-12-30 Comau, Inc. Automated guidance and recognition system and method of the same
JP2010139329A (ja) * 2008-12-10 2010-06-24 Fanuc Ltd キャリブレーション用の校正治具および校正治具を備えた画像計測システム
TWI408037B (zh) 2010-12-03 2013-09-11 Ind Tech Res Inst 機械手臂的定位方法及校正方法
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
CN103878774A (zh) * 2014-02-25 2014-06-25 西安航天精密机电研究所 一种基于机器人的视觉标定方法
PL3012695T3 (pl) 2014-10-23 2018-03-30 Comau S.P.A. Układ do monitorowania i sterowania zakładem przemysłowym
WO2016119829A1 (en) * 2015-01-28 2016-08-04 Abb Schweiz Ag Multiple arm robot system and method for operating a multiple arm robot system
JP6122065B2 (ja) * 2015-05-29 2017-04-26 ファナック株式会社 搬送物を吊り下げて搬送するロボットシステム
WO2018181249A1 (ja) * 2017-03-31 2018-10-04 パナソニックIpマネジメント株式会社 撮像システムおよび校正方法
JP7122694B2 (ja) 2017-03-31 2022-08-22 パナソニックIpマネジメント株式会社 撮像システムおよび校正方法
US10471478B2 (en) 2017-04-28 2019-11-12 United Parcel Service Of America, Inc. Conveyor belt assembly for identifying an asset sort location and methods of utilizing the same
JP7003462B2 (ja) * 2017-07-11 2022-01-20 セイコーエプソン株式会社 ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法
IT201800005091A1 (it) 2018-05-04 2019-11-04 "Procedimento per monitorare lo stato di funzionamento di una stazione di lavorazione, relativo sistema di monitoraggio e prodotto informatico"
JP6740288B2 (ja) * 2018-07-13 2020-08-12 ファナック株式会社 物体検査装置、物体検査システム、及び検査位置を調整する方法
JP2020066066A (ja) * 2018-10-22 2020-04-30 セイコーエプソン株式会社 ロボットシステム、ロボットの校正治具、ロボットの校正方法
CN109411268A (zh) * 2018-12-11 2019-03-01 四川艾德瑞电气有限公司 一种铁路牵引变电所控制柜按钮视觉定位方法
JP2020154208A (ja) * 2019-03-22 2020-09-24 本田技研工業株式会社 カメラ焦点調整治具、及びカメラ焦点調整方法
CN111203862B (zh) * 2020-01-07 2021-03-23 上海高仙自动化科技发展有限公司 数据的显示方法、装置、电子设备及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3890552A (en) * 1972-12-29 1975-06-17 George C Devol Dual-armed multi-axes program controlled manipulators
US4146924A (en) * 1975-09-22 1979-03-27 Board Of Regents For Education Of The State Of Rhode Island System for visually determining position in space and/or orientation in space and apparatus employing same
US4441817A (en) * 1980-07-29 1984-04-10 Diffracto Ltd. Electro-optical sensors with fiber optic bundles
US5148591A (en) * 1981-05-11 1992-09-22 Sensor Adaptive Machines, Inc. Vision target based assembly
US4481592A (en) * 1982-03-05 1984-11-06 Texas Instruments Incorporated Calibration system for a programmable manipulator
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
JPS59227382A (ja) * 1983-06-10 1984-12-20 株式会社日立製作所 精密位置決めシステム
JPS6037007A (ja) * 1983-08-08 1985-02-26 Hitachi Ltd 画像処理装置の座標変換パラメタ決定方式
EP0151417A1 (de) * 1984-01-19 1985-08-14 Hitachi, Ltd. Verfahren zur Korrektur von Koordinatensystemen eines mit einem Sichtgerät ausgerüsteten Roboters und Apparatur dafür
JPS6142004A (ja) * 1984-08-06 1986-02-28 Toyota Central Res & Dev Lab Inc 追従ロボツト装置
US4851905A (en) * 1984-10-12 1989-07-25 Diffracto Ltd. Vision target fixture construction
US4796200A (en) * 1986-12-09 1989-01-03 Diffracto Ltd. Target based determination of robot and sensor alignment
US4639878A (en) * 1985-06-04 1987-01-27 Gmf Robotics Corporation Method and system for automatically determining the position and attitude of an object
JPS6257884A (ja) * 1985-09-09 1987-03-13 株式会社東芝 マニピユレ−タ装置
JPH069795B2 (ja) * 1985-10-29 1994-02-09 日産自動車株式会社 ロボットの手首部位置決め方法
US4853771A (en) * 1986-07-09 1989-08-01 The United States Of America As Represented By The Secretary Of The Navy Robotic vision system
US4979135A (en) * 1988-01-27 1990-12-18 Storage Technology Corporation Vision system illumination calibration apparatus
US5034904A (en) * 1988-01-27 1991-07-23 Storage Technology Corporation Vision system illumination calibration apparatus
JPH01205994A (ja) * 1988-02-08 1989-08-18 Toshiba Corp ロボット視覚認識装置
JPH01237802A (ja) * 1988-03-18 1989-09-22 Tokico Ltd 工業用ロボットのティーチングデータ変換装置
JPH079606B2 (ja) * 1988-09-19 1995-02-01 豊田工機株式会社 ロボット制御装置
JP2786225B2 (ja) * 1989-02-01 1998-08-13 株式会社日立製作所 工業用ロボットの制御方法及び装置
US5023426A (en) * 1989-06-21 1991-06-11 Honeywell Inc. Robotic laser soldering apparatus for automated surface assembly of microscopic components
JPH08381B2 (ja) * 1989-07-27 1996-01-10 株式会社不二越 産業用ロボットシステム及びその制御方法
US4983797A (en) * 1989-12-29 1991-01-08 Dana Corporation Method for manufacturing a composite camshaft
JP2964113B2 (ja) * 1992-07-20 1999-10-18 東京エレクトロン株式会社 処理装置
US5083073A (en) * 1990-09-20 1992-01-21 Mazada Motor Manufacturing U.S.A. Corp. Method and apparatus for calibrating a vision guided robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018108728B4 (de) 2017-04-19 2019-09-19 Shinya Hirano Kalibriersystem
US10906183B2 (en) 2017-04-19 2021-02-02 Toyota Jidosha Kabushiki Kaisha Calibration system

Also Published As

Publication number Publication date
JP2686351B2 (ja) 1997-12-08
EP0493612B1 (de) 1994-11-30
JPH0475887A (ja) 1992-03-10
DE69105476D1 (de) 1995-01-12
US6114824A (en) 2000-09-05
WO1992001539A1 (fr) 1992-02-06
EP0493612A1 (de) 1992-07-08
EP0493612A4 (en) 1993-03-17

Similar Documents

Publication Publication Date Title
DE69105476T2 (de) Verfahren zum kalibrieren eines optischen sensors.
DE69103871T2 (de) Eichsystem für einen optischen sensor.
DE102010032840B4 (de) Vorrichtung und Verfahren zum Messen der Position eines Werkzeugmittelpunktes eines Roboters
DE102016116702B4 (de) Messsystem zum Kalibrieren der mechanischen Parameter eines Roboters
DE69411130T2 (de) Verfahren und Vorrichtung zum Eichen der Bewegungsachsen eines Industrierobotors
DE69223127T2 (de) Automatische kalibriereinrichtung
DE69125986T2 (de) Verfahren und gerät zur messung des winkels eines werkstücks
DE69736348T2 (de) Roboterkraftsteuersystem mit visuellem sensor für zusammenfügungsarbeiten
DE102009034529B4 (de) Automatisches Führungs- und Erkennungssystem sowie Verfahren für dieses
DE102015001527B4 (de) Robotersystem, das visuelle Rückmeldung verwendet
DE602004013107T2 (de) Vorrichtung zur Korrektur einer gelernten Position
DE4006989C2 (de) Nachführende Abstandsmeßvorrichtung
DE68918318T2 (de) Echtzeitsteuersystem für einen industriellen Roboter zum Folgen eines Standardweges.
DE102013021917B4 (de) Robotersystemanzeigevorrichtung
EP1342050B1 (de) Ermittlung von korrekturparametern einer dreh- schwenkeinheit mit messendem sensor ( koordinatenmessgerät ) über zwei parameterfelder
DE69603066T2 (de) Vorrichtung und verfahren zum korrigieren der fortbewegungsroute eines roboters
DE69602745T2 (de) Verfahren und einrichtung zum eichen der bewegungen eines industrieroboters
DE3854235T2 (de) Automatische einstellung der werkzeugspitze.
EP2603767B1 (de) Verfahren zum kalibrieren eines messsystems und vorrichtung zum durchführen des verfahrens
DE3143834C2 (de)
DE3731704A1 (de) Verfahren und anordnung zur eichung eines an der hand eines industrieroboters montierten sensors
EP0913707A1 (de) Verfahren zur berührungsfreien Messung des Abstands eines Objekts nach dem Prinzip der Laser-Triangulation
DE2952443A1 (de) Verfahren und vorrichtung zum ermitteln der lage eines gegenstandes
DE102005045854B3 (de) Verfahren und System zur Kalibrierung einer Kamera in Produktionsmaschinen
DE69220504T2 (de) Verfahren und vorrichtung zum eichen der bewegungsachsen eines industriroboters

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)
8339 Ceased/non-payment of the annual fee