DE69637413T2

DE69637413T2 - Kompositdetektionssystem für roboter

Info

Publication number: DE69637413T2
Application number: DE69637413T
Authority: DE
Inventors: Takashi Jyumonji
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 1995-12-27
Filing date: 1996-12-24
Publication date: 2009-01-22
Anticipated expiration: 2016-12-25
Also published as: DE69637413D1; EP0812662B1; WO1997024206A1; JP3904605B2; EP0812662A4; US5987591A; EP0812662A1

Description

Die Erfindung betrifft ein Mehrfachsensor-Robotersystem, das zur Fabrik-Automation eingesetzt werden kann, und insbesondere eine Kombination von einem Roboter und einem Mehrfachsensor.
Bei Zusammensetz- und Bearbeitungsschritten an Produktionsstrecken ist es allgemein üblich, dass die Position und Gestalt verschiedener Objekte jeweils durch unterschiedliche Sensorarten ermittelt werden. In der Regel misst ein Sensor zum Aufnehmen eines zweidimensionalen Bildes (z. B. ein visueller Sensor, der eine CCD-Kamera einsetzt) die allgemeine Position des Objekts. Andererseits misst ein Lasersensor die Position und Gestalt von einem örtlich eingeschränkten Abschnitt des Objekts.
Ein Lasersensor lässt sich leicht am Armende eines Roboters anbringen. Wird die Ausgabe des Lasersensors in die Robotersteuerung übermittelt, können die Position und die Gestalt von einem örtlich eingeschränkten Abschnitt des Objekts detailliert und akkurat in Echtzeit gemessen werden, indem ein Laserstrahl von einer nahe gelegenen Position auf das Objekt projiziert wird. Die Messdaten können zudem zur Korrektur der Roboterposition verwendet werden.
Deshalb ist ein Robotersystem mit einem Lasersensor auf dem Gebiet der Bogenschweißroboter, Versiegelungsroboter, Messroboter usw. sehr populär.
Lasersensoren werden in zwei große Typen eingeteilt: einen Punktlichtprojektionstyp und einen Lichtschnittprojektionstyp. Bei diesen beiden Typen müssen ein Punktlicht bzw. ein Lichtschnitt akkurat auf die Oberfläche eines Objekts projiziert werden. Solange das Objekt sich mit einem gewissen Grad der Genauigkeit an einer festen Position befindet, lässt sich dieser Zustand, nämlich dass ein Punktstrahl oder Lichtschnitt auf das Objekt projiziert wird, leicht erzielen, indem zuvor eine nahe gelegene Position der festen Position als Annäherungsposition in den Roboter eingelernt wird.
Je nach der Anwendung ist aber möglicherweise die Position des Objekts oft unpräzise oder nicht sehr verlässlich. Dann muss nach dem Objekt gesucht werden, indem ein Punktlicht- oder Lichtschnittstrahl des Lasersensors als Sonde verwendet wird, wobei der Roboter entlang eines geeigneten eingelernten Pfades bewegt wird. Wenn das Objekt nicht gefunden werden kann, kann die Hauptmessung (z. B. die Gestaltsmessung) mit dem Lasersensor nicht gestartet werden.
Weil der Lasersensor an sich für die Messung eines großen Bereichs ungeeignet ist, sind die Suche nach dem Objekt und die anschließende Annäherung an das Objekt zeitraubend. In einigen Fällen ist eine zuverlässige Suche selbst schwierig. Sogar wenn das Objekt erfolgreich gefunden werden kann, kann dies möglicherweise nicht für eine direkte Korrektur der Roboterposition genutzt werden. Zum Beispiel ist es nicht immer einfach, eine Position und eine Richtung (z. B. die Position von dem Anfang der Schweißstrecke und die Verlängerungsrichtung), die je nach der Haltung des Objekts vorgegeben ist, anhand der Laserausgabe auseinander zu halten, die für das Objekt in einer unbekannten Haltung erhalten wird.
Ein Beispiel für ein Mehrfachsensor-Robotersystem mit den Merkmalen der Präambel von Anspruch 1 ist in JP UM 52666/1993 zu finden.
Eine Aufgabe der Erfindung ist die Bereitstellung eines Mehrfachsensor-Robotersystems, das mit der Messung eines Objekts beginnen kann, wobei der Roboter sich schnell an das Objekt annähern kann, obwohl die Position und die Haltung des Objekts zu Beginn unbekannt sind.
Eine weitere Aufgabe der Erfindung ist eine bessere Zuverlässigkeit bei der Durchführung verschiedener Arbeitsschritte unter Verwendung eines Roboters und eine Verringerung der Zyklusdauer.
Erfindungsgemäß wird ein Mehrfachsensor-Robotersystem mit den in Anspruch 1 dargelegten Merkmalen bereitgestellt.
Vorzugsweise haben die Einrichtung zur Verarbeitung des Bildsignals, das von der ersten Sensoreinrichtung erhalten wird, und die Einrichtung zum Verarbeiten des Messausgabesignals von der zweiten Sensoreinrichtung die Form eines gemeinsamen Bildprozessors.
Die Verarbeitung zum Ermitteln der Position von dem Objekt aus dem Ausgabesignal der zweiten Sensoreinrichtung beinhaltet vorzugsweise eine Verarbeitung, bei der das Ausmaß der Abweichung von einer Bezugsposition des Objekts erhalten wird. Die Annäherungsposition wird bestimmt als eine Position, die durch Korrigieren einer eingelernten Annäherungsposition anhand des erhaltenen Ausmaßes der Abweichung erhalten wird.
Bei einer modifizierten Ausführungsform der Erfindung enthält das Mehrfachsensor-Robotersystem eine Bildanzeigeeinrichtung zum Anzeigen des zweidimensionalen Bildes, das durch die erste Sensoreinrichtung erhalten wird, und eine Einrichtung zum Eingeben der Annäherungsposition auf dem zweidimensionalen Bild, das von der Bildanzeigeeinrichtung angezeigt wird. Bei dieser Ausführungsform kann ein Bediener die Annäherungsposition auf dem zweidimensionalen Bild kennzeichnen, das von der Bildanzeigeeinrichtung angezeigt wird.
Gemäß einem Merkmal der Erfindung wird mit einem Roboter ein Mehrfachsensor kombiniert, wobei der Nachteil des zweiten Sensors (z. B. des Lasersensors), der eine Position und Haltung des Objekts in einem vergleichsweise großen Bereich nur schlecht suchen und ermitteln kann, kompensiert wird durch eine Fähigkeit des ersten Sensors (z. B. eines zweidimensionalen visuellen Sensors, der eine CCD-Kamera verwendet.
Also kann die Zeit, die bis zum Starten der Messung in einem vergleichsweise kleinen Bereich durch den zweiten Sensor benötigt wird, sogar dann verringert werden, wenn man nicht die genaue Position und Haltung von einem Objekt kennt, das gemessen werden soll. Indem ein Bildprozessor verwendet wird, der als Verarbeitungseinrichtung für die Verarbeitung des von der ersten Sensoreinrichtung erhaltenen Bildsignals und zudem als Verarbeitungseinrichtung zum Verarbeiten des Messausgabesignals von der zweiten Sensoreinrichtung dient, und indem der erste Sensor und der zweite Sensor ein Element gemeinsam haben, können die Anzahl der Hardware-Komponenten und die Produktionskosten gesenkt werden.
Kurze Beschreibung der Zeichnungen
Es zeigt:
1 ein Diagramm der allgemeinen Anordnung von einem Mehrfachsensor-Robotersystem nach einer Ausführungsform I, das zudem ein Beispiel für eine Messung unter Verwendung des Robotersystems darstellt;
3 ein Diagramm von der allgemeinen Struktur eines Lasersensors für die Verwendung bei der Ausführungsform I;
3 ein Diagramm, das ein Verfahren zum Messen einer dreidimensionalen Position von einem Punktstrahl-Reflexionspunkt durch den in 2 dargestellten Lasersensor veranschaulicht;
4 ein Blockdiagramm einer Anordnung von einem Bildprozessor für die Verwendung bei den Ausführungsformen I und II und der Beziehung zu den zugehörigen Elementen;
5 ein Fließdiagramm von einem Verfahren, das in einer Robotersteuerung ausgeführt werden soll, für die Durchführung der Schrittverteilungsmessung mit der in 1 gezeigten Anordnung;
6 ein Fließdiagramm von einem Verfahren, das in einem Bildprozessor ausgeführt werden soll, zur Durchführung der Schrittverteilungsmessung mit der in 1 gezeigten Anordnung;
7 ein Diagramm der allgemeinen Anordnung von einem Mehrfachsensor-Robotersystem nach einer erfindungsgemäßen Ausführungsform II und ein Beispiel für eine Messung unter Verwendung des Robotersystems;
8 ein Diagramm der Struktur und des Messprinzips von einem Lichtschnittprojektions-Lasersensor;
9 ein Fließdiagramm von einem Verfahren, das in einer Robotersteuerung ausgeführt werden soll, für die Durchführung der Schrittverteilungsmessung mit der in 7 gezeigten Anordnung;
10 ein Fließdiagramm von einem Verfahren, das in einem Bildprozessor ausgeführt werden soll, zur Durchführung der Schrittverteilungsmessung mit der in 7 gezeigten Anordnung;
11 ein Diagramm der allgemeinen Anordnung von einem Mehrfachsensor-Robotersystem nach einer Ausführungsform III und ein Beispiel für eine Messung unter Verwendung des Robotersystems; und
12 ein Fließschema von dem Verfahren für eine Annäherungsbewegung, das in einer Roboter-Steuerung ausgeführt werden soll, zur Durchführung der Schrittverteilungsmessung mit der in 11 gezeigten Anordnung.
1 zeigt ein Diagramm der allgemeinen Anordnung von einem Mehrfachsensor-Robotersystem nach einer ersten Ausführungsform (Ausführungsform I) und ein Beispiel für eine Messung unter Verwendung des Systems. Als Beispiel wird das System auf eine Anwendung angewendet, bei der die Schritte eines Werkstücks gemessen werden. Ein Großbereichssensor von einem Mehrfachsensor ermittelt ein Werkstück, das an einer ungewissen Position und in ungewisser Haltung in einem vergleichsweise großen Bereich bereitgestellt wird. Ein Kleinbereichssensor von dem Mehrfachsensor misst eine Schrittverteilung nach der Annäherung an das Werkstück. Es sollte beachtet werden, dass die Ausführungsform I zur Erläuterung bereitgestellt wird und nicht erfindungsgemäß ist, weil der Groß- und der Kleinbereichssensor keinen gemeinsamen Lichtempfangsabschnitt haben.
Siehe 1: Das gesamte System umfasst eine Robotersteuerung 1, einen Bildprozessor 2, einen Lasersensor 10, einen Lasersensorsteuerabschnitt 20, eine CCD-Kamera 30 und einen Roboter 40. Der Lasersensor 10 ist an einem Armende (nahe dem Tool Center Point (TCP)) des Roboters 40 montiert. Die CCD-Kamera 30 befindet sich außerhalb des Roboters 40.
Die CCD-Kamera 30, die zusammen mit dem Bildprozessor 2 den Großbereichssensor (die erste Sensoreinrichtung) bildet, ist derart angebracht, dass ihr Bildfeld 31 einen Zufuhrbereich 50, dem das Werkstück W zugeführt wird, mit einem Seitenbereich abdeckt.
Der Lasersensor 10, der als Kleinbereichssensor (zweite Sensoreinrichtung) dient, kann entweder zu dem bekannten Punktlichtprojektionstyp oder zu dem bekannten Lichtschnittprojektionstyp gehören; bei dieser Ausführungsform wird ersterer eingesetzt.
Die Abtastlaserstrahlen LB1, LB2, LB3 werden von einem Laserstrahlemissionsabschnitt 13 je nach der Position des Roboters emittiert. Der von dem Roboter reflektierte Laserstrahl wird von einem Lichtermittlungsabschnitt 14 empfangen. Das Bildfeld der Kamera 30 ist genügend groß, während der Abtastbereich (Messbereich) des Laserstrahls LB1, LB2, LB3 von dem Lasersensor 10 recht klein ist verglichen mit dem Bereich, den das Bildfeld 31 der Kamera 30 abdeckt.
Der Lasersensor 10 ist mit dem Bildprozessor 2 über den Lasersensorsteuerabschnitt 20 verbunden. Die CCD-Kamera 30 ist ebenfalls mit dem Bildprozessor 2 verbunden. Somit teilen sich der Lasersensor (der Hauptabschnitt 10 und der Steuerabschnitt 20) und die CCD-Kamera 30 den Bildprozessor 2.
Die CCD-Kamera 30 nimmt ein Foto auf, wenn das Werkstück W zugeführt wird. Ein zweidimensionales Bild, das mittels Fotografieren erhalten wird, wird an den Bildprozessor 2 übertragen. Der Bildprozessor 2 analysiert das Bild und ermittelt die Position und Haltung des Werkstücks W. Auf Basis des Ergebnisses dieser Ermittlung lässt die Robotersteuerung 1 den Roboter 40 sich an das Werkstück W annähern.
In 1 ist die Position 1 eine Startposition für die Annäherung. Eine Position 2 ist eine Annäherungsposition. Die Annäherungsposition 2 ist eine geeignete Position für den Beginn der Schrittmessung, wobei der Laserstrahl LB2 auf das Werkstück W projiziert wird. Sie wird je nach der Zufuhrposition des Werkstücks W festgelegt.
Unter praktischen Gesichtspunkten variiert die Zufuhrposition für ein einzelnes Werkstück W wahrscheinlich in einem Zufuhrbereich 50. Bei dieser Ausführungsform wird in den Roboter im Vorhinein die optimale Annäherungsposition (die einzulernende Annäherungsposition) eingelernt, wenn sich das Werkstück W an einer geeigneten Bezugsposition befindet. Eine Abweichung eines einzelnen Werkstücks von der Bezugsposition (einschließlich der Haltung) wird von der CCD-Kamera 30 und dem Bildprozessor 2 ermittelt. Es erfolgt eine Berechnung, in deren Folge der Roboter verlagert (Positions- und Haltungskorrektur), die Abweichung in Bezug auf die eingelernte Annäherungsposition kompensiert und die Annäherungsposition 2 erreicht wird.
Nachdem die Annäherung beendet ist, misst der Roboter 40 stetig einen Schritt d, während er sich von der Position 2 auf eine Position 3 (Messungsendposition) bewegt. Die Position 3 ist der Endpunkt von einem Pfadabschnitt, der bei der Position 2 beginnt. Sie wird in den Roboter im Vorhinein eingelernt, wobei angenommen wird, dass sich das Werkstück W an der Bezugsposition befindet. Beim tatsächlichen Betrieb wird die Messungsendposition in der Robotersteuerung 1 als die Position 3 berechnet, indem der Roboter verlagert wird (Positions- und Haltungskorrektur), wodurch die Abweichung des ermittelten Werkstückes W in Bezug auf die gelehrte Bezugsposition kompensiert wird.
Die Struktur und die Messprinzipien des Punktlichtprojektions-Lasersensors sind bekannt und werden deshalb hier nur kurz anhand von 2 beschrieben. Der Laserstrahlemissionsabschnitt 13 von dem Lasersensor (Hauptabschnitt) 10 verfügt über einen Laseroszillator 11 und einen Schwenkspiegel (ein Galvanometer) 12 zum Abtasten mit dem Laserstrahl. Der Lichtermittlungsabschnitt 14 hat ein Lichtempfangselement 14a und ein fokussierendes optisches System 14b.
Der Lasersensorsteuerabschnitt 20 ist verbunden mit einem Spiegelantrieb 21 zum schwenkbaren Bewegen des Schwenkspiegels 12, einem Laserantrieb 22 zum Antreiben des Laseroszillators 11, so dass Laserstrahlen erzeugt werden, und einem Signaldetektor 23 zum Ermitteln der Position aus einer Position, an der der Laserstrahl durch das Lichtempfangselement 14a empfangen wird. Der Spiegelantrieb 21, der Laserantrieb 22 und der Signaldetektor 23 sind mit einer (nachstehend beschriebenen) Lasersensorschnittstelle des Bildprozessors 2 über eine Schaltung 24 verbunden.
Wird ein Betriebsbefehl für den Lasersensor von dem Bildprozessor 2 über die Schaltung empfangen, treibt der Laserantrieb den Laseroszillator 11 an, so dass der Laserstrahl LB erzeugt wird. Parallel dazu wird die schwenkbare Bewegung des Schwenkspiegels 12 durch den Spiegelantrieb 21 gestartet, so dass der von dem Laseroszillator 11 erzeugte Laserstrahl über die Oberflächen eines Objekts bewegt wird.
Der zerstreute und an einem Reflexionspunkt S auf der Oberfläche des Objekts reflektierte Laserstrahl bildet je nach der Position des Reflexionspunktes S ein Bild auf dem Lichtempfangselement 14a durch das optische System 14b ab. Das Lichtempfangselement 14a kann ein CCD oder PSD (positionssensitiver Detektor) usw. sein.
Bei dieser Ausführungsform wird eine eindimensionale CCD-Anordnung als Lichtempfangselement 14a verwendet. Das Licht (das Bild des reflektierten Lichts), das auf die Lichtempfangsoberfläche des Lichtempfangselementes 14a trifft, wird in Fotoelektronen umgewandelt. Diese werden in Zellen des Lichtempfangselementes 14a gespeichert. In den Zellen gespeicherte Ladungen werden in jedem zuvor festgelegten Zyklus gemäß einem CCD-Abtastsignal von dem Signaldetektor 23 nacheinander vom Ende der Anordnung her ausgegeben und über den Signaldetektor 23 und die Schaltung 24 an den Bildprozessor gesendet.
Der Abtastzyklus des CCD wird derart eingestellt, dass er angemessen (zum Beispiel Hundertstel) kürzer ist als der Abtastzyklus des Schwenkspiegels 12. Eine Änderung im Schwenkwinkel des Schwenkspiegels 12 und eine Änderung im Ausgabestatus des CCD-Elements können stetig durchgeführt werden. Auf den Ausgabezustand des CCD-Elements wird in Form der Zellenposition mit maximaler Ausgabe (Zellennummer) und der Zellenposition zugegriffen, an welcher der Einfall von reflektiertem Licht ermittelt wird. Anhand der ermittelten Zellenposition wird die Position von dem Reflexionspunkt S des Laserstrahls LB berechnet. Eine Software-Verarbeitung für diese Positionsermittlung erfolgt im Bildprozessor 2.
3 zeigt ein Diagramm, das veranschaulicht, wie eine Koordinatenposition (X, Y) von dem Reflexionspunkt S des Sensors auf Basis der Position xa erhalten wird, die vom Lichtempfangselement 14a ermittelt wird. Es wird angenommen, dass der Sensorursprung (0, 0) sich auf einer Geraden befindet, die durch den Mittelpunkt des optischen Systems 14b und den Mittelpunkt des Lichtempfangselements 14a geht. Die Gerade ist als die Y-Achse definiert. Die Achse senkrecht zur Y-Achse ist als die X-Achse definiert.
Die Koordinatenposition (X, Y) von dem Reflexionspunkt S, an dem der Laserstrahl LB auf das Objekt trifft, von dem reflektiert werden soll, ist durch folgende Gleichungen gegeben: X = xa·[(L1 – L0) ·tanθ + D]/(xa + L2·tanθ) (1) Y = [L1·xa + L2·(L0·tanθ – D)]/(xa + L2·tanθ) (2)wobei L1 ein Abstand vom Ursprung zur Mitte des optischen Systems ist, L2 ein Abstand von der Mitte des optischen Systems zum Mittelpunkt des Lichtempfangselements 14b ist, D ein Abstand vom Sensorursprung zur Mitte der Schwenkbewegung des Schwenkspiegels 12 in X-Achsenrichtung ist, L0 ein Abstand auf der Y-Achse vom Sensorursprung zur Mitte der Schwenkbewegung des Schwenkspiegels 12 ist, θ ein Winkel des reflektierten Laserstrahls in Bezug auf die Y-Achse ist und xa eine Position auf der Lichtempfangsoberfläche des Lichtempfangselementes 14a ist, an der das reflektierte Licht empfangen wird.
Der Bildprozessor 2 wird im Einzelnen anhand des Blockdiagramms in 4 beschrieben, das eine Hardware-Architektur des Bildprozessors 2 und die Beziehung zwischen der Hardware-Architektur des Bildprozessors 2 und seinen zugehörigen Elementen darstellt. Siehe 4: Der Bildprozessor 2 hat eine CPU (Central Processing Unit) 201, die über einen Bus BS verbunden ist mit einer Lasersensor-schnittstelle 202, einer Kameraschnittstelle 203, einem Bildspeicher 204, einem Programmspeicher 205, einer Bildver arbeitungseinrichtung 206, einem Datenspeicher 207, einer Monitorschnittstelle 208 und einer Konsolenschnittstelle 209.
Die Lasersensorschnittstelle 202 dient als Eingabe-Ausgabe-Einrichtung für den Lasersensorsteuerabschnitt 20, der mit dem Hauptabschnitt des Lasersensors 10 verbunden ist und den Betrieb des Lasersensors 10 über den Spiegelantrieb 21 und den Laserantrieb 22 auf die oben beschriebene Weise steuert. Die Lasersensorschnittstelle 202 wandelt die über den Signaldetektor 23 empfangenen Ermittlungssignale von analog nach digital um und speichert die digitalen Ermittlungssignale im Datenspeicher 207. Die im Datenspeicher 207 gespeicherten Daten werden verwendet, wenn ein im Programmspeicher 205 gespeichertes Schrittberechnungsprogramm gestartet wird. Die Verbindung zu einem Lichtschnittprojektionsabschnitt 131 ist mit einer gestrichelten Linie dargestellt. Er wird mit einem Lichtschnittprojektions-Lasersensor verwendet und in Verbindung mit einer zweiten Ausführungsform (Ausführungsform II) noch eingehend beschrieben.
Die Kameraschnittstelle 203 dient als Eingabe-Ausgabe-Einrichtung für die CCD-Kamera 30 und sendet ein Fotografiersignal an die CCD-Kamera 30, nachdem sie einen Fotografierbefehl von der CPU 201 empfangen hat. Ein mittels Fotografieren aufgenommenes Bild wird in eine Grauskala umgewandelt und im Bildspeicher 204 gespeichert. Das gespeicherte Bild wird ausgelesen, wenn ein Positionsermittlungsprogramm gestartet wird, das im Programmspeicher 205 gespeichert ist. Das Bild wird zur Bildanalyse durch die Bildverarbeitungseinrichtung 206 verwendet. Bei dieser Ausführungsform werden die Positionen von zwei Merkmalspunkten P, Q von dem Werkstück W mittels Bildanalyse unter Verwendung der Bildverarbeitungseinrichtung 206 ermittelt.
Die Monitorschnittstelle 208 ist mit einem TV-Monitor verbunden. Nach Empfangen eines Monitor-Bildanzeigebefehls von der CPU 201 werden das derzeitige mit der CCD-Kamera 30 aufgenommene oder das im Bildspeicher 204 gespeicherte Bild auf dem Bildschirm des TV-Monitors angezeigt.
Eine Konsole 211, die an die Konsolenschnittstelle 209 angeschlossen ist, wird zum Ausgeben verschiedener Betriebsbefehle für den Bildprozessor 2 von der CPU 201 durch manuelle Eingabe verwendet. So werden verschiedene Programme und Stellparameter registriert, editiert und gestartet. Eine Kommunikationsschnittstelle 210 dient zum Übermitteln von Befehlen und Daten an die Robotersteuerung 1. Diese ist herkömmlich und umfasst eine CPU, einen ROM, einen RAM, eine Achsenregeleinrichtung, eine Servoschaltung, eine Kommunikationsschnittstelle usw. Deshalb entfällt hier die Beschreibung ihrer Bauweise und Funktion.
Die allgemeinen Prozesse, die in der Robotersteuerung 1 und im Bildprozessor 2 ausgeführt werden müssen, so dass die Schrittverteilungsmessung mit der in 1 dargestellten Anordnung durchgeführt wird, werden anhand der Fließdiagramme in 5 (das in der Robotersteuerung 1 ausgeführte Verfahren) und 6 (das im Bildprozessor 2 ausgeführte Verfahren) erläutert. Zuvor werden Kalibrierungen des Lasersensors 10 und der CCD-Kamera 30 abgeschlossen. Die Bilddaten von der Bezugsposition des Werkstücks W, der Annäherungsstartposition (der Position 1), der eingelernten Annäherungsposition und der Position der eingelernten Messungsendposition sind bereits in die Robotersteuerung 1 eingelernt worden.
Zunächst liest die Robotersteuerung 1 einen Block von dem Betriebsprogramm, der einen Befehl zum Bewegen des Roboters 40 auf die Position 1 (Annäherungsstartposition) beschreibt (Schritt R1). Sie führt ein übliches Verfahren zum Bewegen des Roboters 40 auf die Position 1 aus (Schritt R2). Die Bewegung erfolgt in Form einer Bewegung der jeweiligen Achsen oder einer linearen Bewegung.
Nach Beendigung der Bewegung auf die Position 1 sendet die Robotersteuerung 1 einen Werkstückpositionsermittlungsbefehl an den Bildprozessor 2 (Schritt R3). Sie tritt in den Standby-Status ein, in dem sie das Ergebnis der Ermittlung von den Positionen des Werkstücks (die Positionen P, Q) empfangen kann (Schritt R4). Nach Empfang der Sensordaten, die das Ergebnis der Ermittlung wiedergeben, berechnet die Robotersteuerung 1 Daten, die eine Abweichung des Werkstücks W in Bezug auf die Bezugsposition im Roboter-Koordinatensystem wiedergeben. Dann berechnet sie das notwendige Ausmaß für die Korrektur der Roboterposition (Schritt R5). Die Daten, die das Ausmaß der Korrektur der Roboterposition wiedergeben, können berechnet werden in Form von Daten einer homogenen 4-x-4-Translationsmatrix, die einen Vektor PQ von P nach Q und die Abweichung von P von der Bezugsposition darstellt.
Dann liest die Robotersteuerung 1 einen Block, der einen Befehl zum Bewegen des Roboters an die Position 2 (Annäherungsposition) beschreibt, (Schritt R6) und bewegt den Roboter 40 auf die Annäherungsposition 2 (Schritt R7). Die Annäherungsposition 2 wird erhalten, indem die eingelernte Annäherungsposition um das in Bezug auf das Werkstück W erhaltene Ausmaß für die Korrektur der Roboterposition verschoben wird. Die Bewegung bei der Annäherung hat die Form einer Bewegung der jeweiligen Achsen oder einer linearen Bewegung.
Nachdem die Annäherung beendet ist, sendet die Robotersteuerung 1 einen Lasersensorstartbefehl an den Bildprozessor 2 (Schritt R8). Dann liest die Robotersteuerung 1 einen Block, der einen Befehl zum Bewegen des Roboters an die Position 3 (Mes sungsendposition) beschreibt, (Schritt R9). Sie bewegt den Roboter 40 an die Position 3 (Schritt R10). Die Position 3 wird erhalten, indem die eingelernte Messungsendposition um das oben genannte Ausmaß zur Korrektur der Roboterposition verschoben wird. Die Bewegung während der Messung hat die Form einer linearen Bewegung in Richtung der Verlängerung von dem Schritt des Werkstücks 40. Ist die Bewegung an die Position 3 abgeschlossen, sendet die Robotersteuerung 1 einen Lasersensorendbefehl (Schritt R11) und beendet das Verfahren.
In der Zwischenzeit tritt der Bildprozessor 2 in einen Status ein, in dem er einen Werkstückpositionsermittlungsbefehl von der Robotersteuerung 1 empfangen kann (Schritt S1). Nachdem er den Werkstückpositionsermittlungsbefehl empfangen hat, gibt der Bildprozessor 2 einen Fotografierbefehl an die CCD-Kamera 30 aus (Schritt SS2). Er ruft ein Bild von dem Werkstück W im Bildfeld 31 ab und speichert das Bild im Bildspeicher 204 (Schritt S3).
Dann startet der Bildprozessor 2 das im Programmspeicher 205 gespeicherte Positionsermittlungsprogramm und liest die gespeicherten Bilddaten, so dass das Bild von der Bildverarbeitungseinrichtung 206 analysiert wird, Dadurch werden die Positionen von zwei Merkmalspunkten P, Q von dem Werkstück ermittelt (Schritt S4).
Der Bildprozessor 2 sendet das Ergebnis der Ermittlung sofort an die Robotersteuerung 1 (Schritt S5) und tritt in einen Status ein, in dem er einen Lasersensorstartbefehl von der Robotersteuerung 1 empfangen kann (Schritt S6). Nach dem Empfangen des Lasersensorstartbefehls sendet der Bildprozessor 2 einen Lasersensorstartbefehl an den Lasersensorsteuerabschnitt 20 und beginnt mit der Messung von dem Schritt des Werkstücks, wobei mit dem Speichern der Messergebnisse begonnen wird (Schritt S7). Das Speichern der Messergebnisse erfolgt, indem im Datenspeicher 207 alle Messdaten oder abgefragten Daten gespeichert werden, die durch Abfragen der Messdaten in einem geeigneten Abtastzyklus erhalten werden.
Die Messung durch den Lasersensor 10 wird fortgesetzt, bis ein Lasersensorendbefehl empfangen wird, unmittelbar nachdem der Roboter 40 an der Messendposition 3 eingetroffen ist (Schritt S8). Nachdem er den Lasersensorendbefehl von der Robotersteuerung 1 empfangen hat, sendet der Bildprozessor 2 an den Lasersensorsteuerabschnitt 20 den Lasersensorendbefehl, so dass die Messung von dem Schritt des Werkstücks beendet wird und die Ergebnisse dieser Messung gespeichert werden (Schritt S9). Damit ist der im Bildprozessor 2 ausgeführte Prozess abgeschlossen.
Das Diagramm in 7 zeigt eine allgemeine Anordnung von einem Mehrfachsensor-Robotersystem nach einer zweiten Ausführungsform (Ausführungsform II) und ein Beispiel für ein Messverfahren unter Verwendung des Systems. Die zweite Anordnung (Ausführungsform II) in 7 unterscheidet sich von der Anordnung (Ausführungsform I) in 1 in folgenden Punkten:

(1) Es wird ein Lichtschnittprojektions-Lasersensor verwendet.
(2) Die Kamera ist zusammen mit dem Lasersensor am Armende des Roboters montiert.
(3) Die Kamera dient erfindungsgemäß als Großbereichssensor und zudem als Lichtempfangsabschnitt für den Lasersensor (Kleinbereichssensor).

Bei dieser Ausführungsform wird das System ebenfalls auf eine Anwendung angewendet, bei der Schritte von einem Werkstück gemessen werden. Ein Großbereichssensor eines Mehrfachsensors ermittelt ein Werkstück, das in einer ungewissen Haltung und an einer ungewissen Position innerhalb eines vergleichsweise breiten Bereichs zugeführt wird. Ein Kleinbereichssensor des Mehrfachsensors misst eine Schrittverteilung nach Annäherung an das Werkstück.
Siehe 7: Das System umfasst eine Robotersteuerung 1, einen Bildprozessor 2, einen Lichtschnittprojektionsabschnitt 131, einen Lasersensorsteuerabschnitt 20, eine CCD-Kamera 30 und einen Roboter 40. Der Lichtschnittprojektionsabschnitt 131 und die Kamera 30 sind an einem Armende (nahe dem Tool Center Point, TOP) des Roboters 40 montiert und bilden zusammen den Lichtschnittprojektionslaser 101.
Wie oben unter (3) beschrieben, dient nämlich die Kamera 30 gleichzeitig als Großbereichssensor und zudem als Lichtempfangsabschnitt für den Lichtschnittprojektions-Lasersensor (Kleinbereichssensor) 101.
Wird die Kamera 30 als Großbereichssensor (erste Sensoreinrichtung) mit dem Bildprozessor 2 verwendet, wird sie automatisch oder manuell an einer geeigneten Position angebracht, an der das Bildfeld 31 der Kamera 30 einen Zufuhrbereich 50 abdeckt, dem das Werkstück W zugeführt werden soll.
Lichtschnittstrahlen SB1, SB2, SB3 werden vom Lichtschnittprojektionsabschnitt 131 emittiert. Das Bild einer hellen Linie auf dem Werkstück W wird von der Kamera 30 fotografiert.
Das Bildfeld der Kamera 30 wird derart eingestellt, dass es genügend groß ist, während der Projektionsbereich (Messbereich) der Lichtschnittstrahlen SB1, SB2, SB3 verglichen mit dem Bildfeld 31 recht schmal ist, wenn die Kamera 30 als Großbereichssensor verwendet wird.
Der Lichtschnittprojektionsabschnitt 131 von dem Lasersensor 101 ist mit dem Bildprozessor 2 über den Lasersensorsteuerabschnitt 20 verbunden. Die CCD-Kamera 30 ist ebenfalls mit dem Bildprozessor 2 verbunden.
Die CCD-Kamera 30 wird zunächst als Großbereichssensor verwendet, wenn das Werkstück W zugeführt wird, und nimmt eine Fotografie von dem Werkstück W von einer vergleichsweise entfernten Position (Prä-Annäherungsposition) auf. Ein mittels Fotografieren erhaltenes zweidimensionales Bild wird an den Bildprozessor 2 gesendet. Der Bildprozessor 2 analysiert das Bild und ermittelt die Position und die Haltung des Werkstücks W. Auf Basis des Ermittlungsergebnisses lässt die Robotersteuerung 1 den Roboter 40 sich an das Werkstück W annähern.
In 7 ist die Position 1 eine Annäherungsstartposition. Die Position 2 ist eine Annäherungsposition. Die Annäherungsposition 2 ist dazu geeignet, die Messung von dem Schritt des Werkstücks W durch Projizieren des Laserstrahls LB2 auf das Werkstück W zu starten. Sie wird in Abhängigkeit von einer Zufuhrposition des Werkstücks W bestimmt.
Praktisch gesehen variiert die Zufuhrposition des einzelnen Werkstücks W wahrscheinlich in einem Zufuhrbereich 50. Bei dieser Ausführungsform wird zuvor die optimale Annäherungsposition (die einzulernende Annäherungsposition) in den Roboter eingelernt, während sich das Werkstück W an einer geeigneten Bezugsposition befindet. Eine Abweichung eines einzelnen Werkstücks von der Bezugsposition (einschließlich der Haltung) wird von der CCD-Kamera 30 und dem Bildprozessor 2 ermittelt. Dann führt die Robotersteuerung eine Berechnung des Verschiebens (Positions- und Haltungskorrektur) durch, womit die Abweichung in Bezug auf die eingelernte Annäherungsposition kompensiert wird, so dass die Annäherungsposition 2 erreicht wird.
Nachdem die Annäherung beendet ist, misst der Roboter 40 stetig ein oder mehr Schritte d, während er sich von der Position 2 zu einer Position 3 (nicht dargestellt) bewegt.
Wenn die Messung an der Position 3 durchgeführt wird, wird die Position 3 zuvor in den Roboter eingelernt. Dabei wird angenommen, dass sich das Werkstück W an der Bezugsposition befindet. Beim tatsächlichen Betrieb wird in der Robotersteuerung 1 eine Messungsendposition als Position 3 berechnet, indem man ein Verschieben (Positions- und Haltungskorrektur) zum Kompensieren der Abweichung des ermittelten Werkstücks W von der gelehrten Bezugsposition durchführt.
Die Struktur und die Messprinzipien des Lichtschnittprojektions-Lasersensors sind bekannt und werden deshalb hier nur kurz anhand von 8 beschrieben.
Der Lichtschnittprojektionsabschnitt 131 hat ein oder mehr (in diesem Beispiel zwei) Laseroszillatoren LS1, LS2, jeweils mit eingebauter zylindrischer Linse, und einen an ein Galvanometer angeschlossenen Deflektionsspiegel MR, der von einem Stepper-Motor SM angetrieben wird. Nachdem sie einen Lichtemissionsbefehl vom Bildprozessor 2 empfangen haben, emittieren die Laseroszillatoren LS1, LS2 im Lichtschnittprojektionsabschnitt 131 zwei Laserstrahlen (Lichtschnitt), die durch zylindrische Linsen abgeflacht werden. Jeder Lichtemissionsbefehl enthält einen Positionsbefehl für den Stepper-Motor SM, wodurch der Winkel des Deflektionsspiegels MR geregelt wird.
Die beiden Laserstrahlen (Lichtschnitt) werden auf das Werkstück (Objekt) W von einem Projektionsfenster (nicht dargestellt) projiziert, während sie durch den Stepper-Motor SM je nach den Werten der Positionsbefehle in eine festgelegte Richtung deflektiert werden. Bei dieser Ausführungsform werden zwei Schnittstrahlen SB1, SB2 auf das Werkstück (Objekt) W projiziert, wodurch die hellen Linien b1–b5 und b6–b10 erzeugt werden.
Nachdem sie einen Fotografierbefehl vom Bildprozessor 2 empfangen hat, nimmt die CCD-Kamera 30 ein Bild auf, das die hellen Linien b1–b5 und b6–b10 enthält, und sendet das Bild an den Bildprozessor 2.
Der Bildprozessor 2 analysiert das Bild, das die hellen Linien b1–b5 und b6–b10 enthält, und ermittelt unter Verwendung seiner Bildverarbeitungsfunktion dreidimensionale Positionen, wie Endpunkte und Krümmungspunkte b1, b2, ..., b10, von den hellen Linien. Der Schritt D wird aus den dreidimensionalen Positionsdaten berechnet.
Die Prinzipien für die Ermittlung dreidimensionaler Positionen von Krümmungspunkten und Endpunkten und das Kalibrierungsverfahren sowie die Einzelheiten der zugehörigen Berechnungsverfahren sind bekannt, weshalb ihre Beschreibung hier entfällt.
Die Hardware-Architektur des Bildprozessors 2 bei der Ausführungsform II und die Beziehung zwischen der Hardware-Architektur des Bildprozessors 2 und dessen zugehörigen Elementen sind mit Ausnahme des Lasersensors und seiner zugehörigen Elemente identisch zur Ausführungsform I. Deshalb konzentriert sich die folgende Beschreibung zur Vermeidung von Wiederholungen auf den Lasersensor und seine zugehörigen Elemente, wobei wiederum auf 4 Bezug genommen wird.
Bei der Ausführungsform II dient die Lasersensorschnittstelle 202 als Eingabe-Ausgabe-Einrichtung für den Lasersensorsteuerabschnitt 20, der mit dem Projektionsabschnitt für zerlegtes Licht 131 verbunden ist. Die CPU 201 erteilt Betriebsbefehle (Befehle zum Energetisieren und Deenergetisieren der Laseroszillatoren LS1, LS2 und einen Be fehl zum Drehen des Stepper-Motors SM), wodurch der Lichtschnittprojektionsabschnitt 131 geregelt wird.
Die Kameraschnittstelle 203 dient als Eingabe-Ausgabe-Einrichtung für die CCD-Kamera. Nachdem sie einen Fotografierbefehl von der CPU 201 empfangen hat, sendet sie ein Fotografiersignal an die CCD-Kamera 30. Ein mittels Fotografieren aufgenommenes Bild wird in eine Grauskala umgewandelt und im Bildspeicher 204 gespeichert.
Das gespeicherte Bild wird ausgelesen, wenn ein Positionsermittlungsprogramm gestartet wird, das im Programmspeicher 205 gespeichert ist. Es wird zur Analyse des Bildes durch die Bildverarbeitungseinrichtung 206 verwendet. Bei dieser Ausführungsform werden zwei verschiedene Bildanalysen durchgeführt. Wird die Kamera 30 als Großbereichssensor verwendet, wird kein Lichtschnittstrahl emittiert, und es wird ein gewöhnliches Bild von dem Werkstück W aufgenommen. Ebenso wie bei der Ausführungsform I werden die Positionen der zwei Merkmalspunkte P, Q ermittelt.
Wird die Kamera 30 als Kleinbereichssensor verwendet, werden Lichtschnittstrahlen emittiert. Ein Bild der hellen Linien b1–b5, b6–b10 auf dem Werkstück W wird erhalten, so dass dreidimensionale Positionen der in dem Bild enthaltenen Endpunkte/Krümmungspunkte b1–b5, b6–b10 ermittelt werden (8).
Bei dieser Ausführungsform ist wie bei der Ausführungsform I die Robotersteuerung von üblicher Art und umfasst eine CPU, einen ROM, einen RAM, eine Achsenregelvorrichtung, eine Servoschaltung, eine Kommunikationsschnittstelle usw. Deshalb entfällt hier ihre ausführliche Beschreibung.
Die allgemeinen Verfahren, die in der Robotersteuerung 1 und im Bildprozessor 2 zur Messung der Schrittverteilung mit der Anordnung der 7 ausgeführt werden müssen, werden anhand der Fließdiagramme der 9 (Verarbeitung in der Robotersteuerung 1) und 10 (Verarbeitung im Bildprozessor 2) erläutert.
Zuvor werden die Kalibrierungen des Lasersensors 10 und der CCD-Kamera 30 beendet. Die Bilddaten von der Bezugsposition des Werkstücks W, der Annäherungsstartposition (Position 1), der eingelernten Annäherungsposition und der Position der eingelernten Messungsendposition sind bereits in den Roboter eingelernt worden.
In der folgenden Beschreibung wird Lichtschnitt nur an die Annäherungsposition (Position 2) projiziert. Zur Messung der Schritte des Roboters wird der Roboter nicht bewegt. Beim Lichtschnittprojektions-Lasersensor kann der Lichtschnitt durch Schwenken des Deflektionsspiegels MR in einem bestimmten Winkelbereich emittiert werden.
Zunächst liest die Robotersteuerung 1 einen Block von dem Betriebsprogramm, der einen Befehl zum Bewegen des Roboters 40 an die Position 1 (Annäherungsstartposition) beschreibt (Schritt RR1).
Sie führt eine übliche Verarbeitung zum Bewegen des Roboters 40 an die Position 1 durch (Schritt RR2). Die Bewegung hat die Form einer Bewegung der jeweiligen Achsen oder einer linearen Bewegung.
Nachdem die Bewegung auf die Position 1 beendet ist, sendet die Robotersteuerung 1 einen Werkstückermittlungsbefehl an den Bildprozessor 2 (Schritt RR3) und tritt in einen Standby-Zustand ein, in dem sie das Ergebnis der Ermittlung von den Positionen des Werkstücks (den Positionen P, Q) empfangen kann (Schritt RR4). Nach Empfang von Sensordaten, die das Ergebnis der Ermittlung wiedergeben, berechnet die Robotersteuerung 1 Daten, die die Abweichung des Werkstücks W von der Bezugsposition im Roboter-Koordinatensystem wiedergeben. Dann berechnet sie das zur Korrektur der Roboterposition benötigte Ausmaß (Schritt RR5). Die Daten, die aus Ausmaß für die Korrektur der Roboterposition wiedergeben, können berechnet werden als Daten einer homogenen 4 × 4 Translationsmatrix, die den Vektor PQ von P nach Q und eine Abweichung P von der Bezugsposition darstellt.
Dann liest die Robotersteuerung 1 einen Block, der einen Befehl zum Bewegen des Roboters auf die Position 2 (Annäherungsposition) beschreibt, (Schritt RR6) und bewegt den Roboter 40 auf die Annäherungsposition 2 (Schritt RR7). Die Annäherungsposition 2 wird erhalten durch Verschieben der eingelernten Annäherungsposition um das Ausmaß zur Korrektur der Roboterposition, das in Bezug auf das Werkstück W erhalten wird. Die Bewegung bei der Annäherung hat die Form einer Bewegung der jeweiligen Achsen oder einer linearen Bewegung.
Nachdem die Annäherung beendet ist, sendet die Robotersteuerung 1 einen Lasersensorstartbefehl an den Bildprozessor 2 (Schritt RR8). Dann wartet die Robotersteuerung 1 (Schritt RR9) auf ein Signal von dem Bildprozessor 2, dass die Messung des Roboterschrittes beendet ist. Nach Empfangen dieses Signals sendet die Robotersteuerung 1 einen Lasersenorendbefehl an den Bildprozessor 2, wodurch das Messverfahren beendet wird.
Inzwischen tritt der Bildprozessor 2 zunächst in einen Status ein, in dem er zum Empfangen eines Werkstückpositionsermittlungsbefehls von der Robotersteuerung 1 bereit ist (Schritt SS1). Nachdem der den Werkstückpositionsermittlungsbefehl empfangen hat, gibt der Bildprozessor 2 einen Fotografierbefehl an die CCD-Kamera 30 aus (Schritt SS2) und ruft ein Bild von dem Werkstück W im Bildfeld 31 ab, das im Bildspeicher 204 gespeichert wird (Schritt SS3). Dann startet der Bildprozessor 2 das Positionsermittlungsprogramm, das im Programmspeicher 205 gespeichert ist. Er liest die gespeicherten Bilddaten und analysiert das Bild mittels 205. Er liest die gespeicherten Bilddaten und analysiert das Bild mit der Bildverarbeitungseinrichtung 206, so dass die Positionen zweier Merkmalspunkte P, Q von dem Werkstück W ermittelt werden (Schritt SS4).
Der Bildprozessor 2 sendet das Ergebnis der Ermittlung sofort an die Robotersteuerung 1 (Schritt SS5) und tritt in einen Status ein, in dem er zum Empfangen eines Lasersensorstartbefehls von der Robotersteuerung 1 bereit ist (Schritt SS6). Nachdem er den Lasersensorstartbefehl empfangen hat, sendet der Bildprozessor 2 einen Lasersensorstartbefehl an den Lasersensorsteuerabschnitt 20. Die Messung von dem Schritt des Werkstücks wird gestartet, so dass mit dem Speichern der Ergebnisse dieser Messung begonnen wird (Schritt SS7).
Dann gibt der Bildprozessor 2 einen Fotografierbefehl an die CCD-Kamera aus (Schritt SS8) und ruft das Bild von den hellen Linien b1–b5, b6–b10, die sich auf dem Werkstück W bilden, in den Bildprozessor 2 ab. Die Bilddaten werden im Bildspeicher 204 gespeichert (Schritt SS9).
Man kennt verschiedene Berechnungsverfahren, mit denen ein Schritt aus den dreidimensionalen Positionen der Endpunkte/Krümmungspunkte b1, b2, ..., b10 erhalten werden kann. Siehe 8: Zum Beispiel wird eine Gerade b1b6 aus den Krümmungspunkten b1, b6 erhalten. Ebenso wird eine Gerade b3b8 aus den Krümmungspunkten b3, b8 erhalten. Danach kann ein Schritt d aus dem Abstand zwischen den beiden Geraden erhalten werden. Weil dreidimensionale Positionen im Sensor-Koordinatensystem erhalten werden können, muss bei diesem Verfahren keine Koordinatenumwandlungsverarbeitung zwischen dem Sensor- und dem Roboter-Koordinatensystem durchgeführt werden, und die Haltung des Roboters muss nicht berücksichtigt werden.
Damit die Messgenauigkeit besser wird, sendet der Bildprozessor 2 vorzugsweise Roboterbewegungsbefehle an den Stepper-Motor SM und wiederholt die Schritte SS7–SS9 unter verschiedenen Bedingungen, wobei die Lichtschnittemissionsrichtung verändert wird. Dadurch wird der Schritt d erhalten.
Nachdem er den Lasersensorendbefehl von der Robotersteuerung 1 erhalten hat (Schritt SS11), deenergetisiert der Bildprozessor 2 den Lasersensor (die Lichtschnittprojektionseinrichtung 131) (Schritt SS12), so dass das Messverfahren beendet wird.
Bei den vorhergehenden Ausführungsformen 1 und II wird von dem Bildprozessor ein Bild analysiert, das von der Kamera 30 als Großbereichssensor aufgenommen wurde. Somit nähert sich der Roboter 40 automatisch an. Die Annäherungsposition wird ermittelt, indem eine zuvor eingelernte Annäherungsposition anhand von Abweichungsdaten korrigiert wird, die durch die Bildanalyse erhalten werden.
Bei der im Folgenden beschriebenen Ausführungsform III wird ein Bild, das von der Kamera 30 als Großbereichssensor aufgenommen wird, auf dem Schirm der Anzeigeeinrichtung angezeigt. Ein manueller Vorschub auf dem Anzeigeschirm wird in die Annäherungsbewegung des Roboters integriert. Die allgemeine Anordnung des Systems ist in 11 dargestellt. Bei dieser Ausführungsform wird wie bei den Ausführungsformen I und II das System auf die Messung von einem Schritt eines Werkstücks angewendet. Es sollte jedoch beachtet werden, dass Ausführungsform III wie Ausführungsform I nur zur Erläuterung bereitgestellt wird und nicht erfindungsgemäß ist.
Siehe 11: Das System umfasst eine Robotersteuerung 1, einen Lasersensor (Punktlichtprojektionstyp oder Lichtschnittprojektionstyp) 10, einen Lasersensorsteuerabschnitt 20, eine CCD-Kamera 30, einen Roboter 40 und eine Einlern-Steuerkonsole TP mit einer Anzeige DP.
Der Lasersensor 10 ist an einem Armende (nahe des Tool Center Point, TOP) an dem Roboter 40 montiert. Die CCD-Kamera 30 befindet sich außerhalb des Roboters 40.
Die als Großbereichssensor dienende CCD-Kamera 30 befindet sich über einem Tisch TB und dem Roboter 40, so dass das Bildfeld 31 den Tisch mit einem Bereich, der zu dem Werkstückzufuhrbereich äquivalent ist, sowie den Roboterannäherungsbereich abdeckt. Eine optische Achse der Kamera 30 erstreckt sich vertikal nach unten (in Richtung der Z-Achse eines Roboter-Koordinatensystems).
Der Typ der Robotersteuerung 1 ist bekannt. Sie hat einen eingebauten Bildprozessor und weist folgende Funktionen auf: Erteilen eines Fotografierbefehls an die Kamera 30, so dass ein Bild aufgenommen wird, Anzeigen des Bildes auf der Anzeige DP sowie Berechnen einer Position (X, Y) im Roboter-Koordinatensystem anhand der Position, die auf dem Bildschirm mit einem Cursor oder dergleichen angezeigt wird. Auf Basis der Ausgabesignale des Lasersensors 10, die über den Steuerabschnitt 20 empfangen werden, wird das Schrittmessungsverfahren auf die oben genannte Weise durchgeführt.
Die Einlern-Steuerkonsole TP mit den Bedientasten- oder -knopfgruppen K1, K2, K3 hat die Funktion, dass sie auf dem Anzeigeschirm eine manuelle Bewegungszielposition zuweist, und zudem die Funktion einer üblichen Einlernbedienkonsole.
Zum Beispiel wird die Gruppe K1, K2 bei einem üblichen manuellen Vorschub in die XYZ-Richtungen um die XYZ-Achsen und um die Roboterachse verwendet. Die Gruppe K3 dient als Cursor-Tastengruppe zum Bewegen des Cursors (nicht dargestellt) in XY-Richtung auf dem Anzeigeschirm.
Eine Kamera 30 kann mit ihrem Bildfeld mindestens das Armende des Roboters 40 in der Standby-Position und den Tisch TB abdecken. Deshalb werden Bilder von dem Roboter 40 in Prä-Annäherungsposition (Position 1), dem Lasersensor 10 (hintere Seite) und dem Werkstück W als Bilder 40', 10', W' angezeigt.
Wenn ein Bediener, der den Bildschirm beobachtet, die Cursor-Taste der Gruppe K3 benutzt, so dass ein nicht dargestellter Cursor an einer als Annäherungsposition 2 geeigneten Position platziert wird, und eine Bestätigung ausführt (z. B. Drücken einer einzelnen Taste der Gruppe K3), wird die Cursor-Position an die Robotersteuerung 1 übermittelt. So wird eine XY-Positon (im Roboter-Koordinatensystem) erhalten, der die Cursorposition entspricht.
Führt der Bediener zudem einen Annäherungsstartschritt aus (z. B. Drücken einer einzelnen Taste der Gruppe K3 zweimal hintereinander), bewegt sich der Roboter 40 auf die erhaltene XY-Position. Der Roboter 40 kann nach der Bewegung in XY-Richtung auf eine geeignete Z-Position bewegt werden. Vorzugsweise wird jedoch der Z-Achsen-Vorschub durch einen geeigneten Schritt (z. B. Drücken einer einzelnen Taste der Gruppe K1) während des manuellen Vorschubs auf dem Schirm befohlen.
In dem Fließschema in 12 ist das allgemeine Verfahren dargestellt, das in der Robotersteuerung 1 ausgeführt werden muss. Diese Ausführungsform ist durch die Annäherungsbewegung gekennzeichnet und ähnelt den Ausführungsformen I oder II in der Messung von dem Schritt des Werkstücks W durch den Lasersensor (in der Regel ein Sensor für dreidimensionale Positionen), nachdem die Annäherung abgeschlossen ist. Deshalb wird das Verfahren bei zum Abschluss der Annäherung beschrieben.
Ein Fotografierbefehl wird an die CCD-Kamera 30 gesendet, so dass ein Bild, einschließlich Bildern von dem Roboterarm und dem Werkstück, abgerufen wird (Schritt T1). Dann werden die Bilder 40', 10', W' auf dem Monitorschirm (d. h. der Anzeige DP, die zur Einlern-Steuerkonsole TP gehört) angezeigt (Schritt T2).
Durch eine Cursor-Tastenbedienung durch den Bediener wird die Annäherungsposition 2 zugewiesen, indem der Cursor an einer gewünschten Annäherungsposition auf dem Schirm platziert wird (Schritt T3). Anschließend wird die von dem Cursor zugewiesene Position in eine Position (X, Y) im Roboterkoordinatensystem umgewandelt (Schritt T4).
Nachdem sie den Annäherungsstart erhalten hat, lässt zudem die Robotersteuerung 1 den Tool Center Point des Roboters 40 sich auf die angegebene Position 2 (X, Y) bewegen. Im Hinblick auf die Z-Position wird der Roboter 40 justiert, indem der vertikale Abstand zwischen dem Lasersensor 10 und dem Werkstück W mit dem unbewaffneten Auge gemessen wird. Nach Empfang eines manuellen Vorschub-Befehls auf der Z-Achse beim manuellen Vorschub auf dem Schirm erzeugt zu diesem Zweck die Robotersteue rung 1 einen Befehl, mit dem eine Z-Achsenbewegung angewiesen wird, und übermittelt den Befehl an ein Servosystem, das dann den Tool Center Point TCP des Roboters 40 in Z-Achsenrichtung bewegt (Schritt T). Damit ist die Annäherungsbewegung abgeschlossen. Zudem muss die Roboterhaltung am Ende des Prozesses justiert werden. Hinsichtlich der Roboterposition um die Z-Achse kann man die Annäherungsposition 2 auch derart zuweisen, dass sie eine bestimmte Haltung um die Z-Achse enthält, indem man dem Cursor eine Haltungszuweisungsfunktion gibt.
Bei den vorhergehenden Ausführungsformen wird zur Schrittmessung ein Mehrfachsensor mit einem Messroboter kombiniert. Für die Verwendung bei einer anderen Anwendung kann der Mehrfachsensor mit einem anderen Roboter kombiniert werden.
Erfindungsgemäß wird der Nachteil eines Kleinbereichssensors, z. B. eines Lasersensors, durch einen Großbereichssensor kompensiert, beispielsweise eine CCD-Kamera, die ein zweidimensionales Bild aufnehmen kann. Deshalb kann man sogar bei einer Anwendung, bei der die Detailposition und -haltung von einem Gegenstand gemessen werden müssen, den Roboter sich schnell an das Objekt annähern und das Messverfahren akkurat durch den Kleinbereichssensor beginnen lassen.
Infolgedessen lässt sich bei verschiedenen Anwendungen die Zyklusdauer verringern. Durch gemeinsame Verwendung eines Bildprozessors, einer Lichtermittlungseinrichtung usw. in dem System kann man vereinfachte Hardware einsetzen und die Produktionskosten senken.

Claims

Mehrfachsensor-Robotersystem als Kombination aus einem Roboter (40) und einem Mehrfachsensor (101) mit einer ersten Sensoreinrichtung (30) zum Erhalten eines zweidimensionalen Bildes innerhalb eines vergleichsweise großen Bereichs (50), wobei die erste Sensoreinrichtung (30) einen visuellen Sensor umfasst, der eine Kamera verwendet, und einer zweiten Sensoreinrichtung (30, 131) zum Messen einer dreidimensionalen Position innerhalb eines vergleichsweise kleinen Bereichs durch Projizieren von Licht auf den vergleichsweise kleinen Bereich, wobei die zweite Sensoreinrichtung einen Lasersensor umfasst, der ein Laser-Punktlicht oder einen Laser-Lichtschnitt verwendet, wobei das System umfasst: eine Einrichtung zum Ausgeben eines Betriebsbefehls für die erste Sensoreinrichtung (30); eine Einrichtung zum Ausgeben eines Betriebsbefehls für die zweite Sensoreinrichtung (30, 131); eine Einrichtung (2) zum Verarbeiten eines Bildsignals, das von der ersten Sensoreinrichtung (30) erhalten wird; eine Einrichtung zum Verarbeiten eines Messausgabesignals, das von der zweiten Sensoreinrichtung (30, 131) ausgegeben wird, und eine Robotersteuereinrichtung (1) zum Steuern des Roboters (40); wobei die Bildsignalverarbeitungseinrichtung (2) derart betrieben werden kann, dass die Verarbeitung des Bildsignals von der ersten Sensoreinrichtung (30) eine Verarbeitung enthält zum Ermitteln einer Position von einem Objekt (W), die in dem vergleichsweise großen Bereich (50) gemessen werden soll; wobei die Robotersteuereinrichtung (1) eine Einrichtung enthält, mit der man den Roboter (40) eine Annäherungsbewegung an das Objekt (W) auf Basis der ermittelten Position des Objekts (W) ausführen lassen kann; und die Messausgabesignal-Verarbeitungseinrichtung derart betrieben werden kann, dass die Verarbeitung des Messausgabesignals von der zweiten Sensoreinrichtung (30, 131) eine Verarbeitung des Messausgabesignals beinhaltet, das ausgegeben wird, nachdem die zweite Sensoreinrichtung (30, 131) durch die Annäherungsbewegung an eine Annäherungsposition bewegt worden ist; dadurch gekennzeichnet, dass der Mehrfachsensor (101) einen Lichtempfangsabschnitt (30) enthält, den die erste Sensoreinrichtung (30) und die zweite Sensoreinrichtung (30, 131) gemeinsam haben, wobei der gemeinsame Lichtempfangsabschnitt die Kamera (30) ist, die der visuelle Sensor in der ersten Sensoreinrich tung verwendet, und die Kamera (30) des visuellen Sensors in der ersten Sensoreinrichtung auch als Lichtempfangsabschnitt des Lasersensors (131) der zweiten Sensoreinrichtung verwendet wird.
Mehrfachsensor-Robotersystem nach Anspruch 1, umfassend einen Bildprozessor, der als Bildsignalverarbeitungseinrichtung (2) und zudem als Messausgabesignal-Verarbeitungseinrichtung dient.
Mehrfachsensor-Robotersystem nach Anspruch 1 oder 2, wobei die Bildsignalverarbeitungseinrichtung derart betrieben werden kann, dass die Verarbeitung zum Ermitteln einer Position von dem Objekt (W), die gemessen werden soll, eine Verarbeitung enthält zum Erhalten eines Ausmaßes an Abweichung von einer Bezugsposition des Objekts (W) und die Annäherungsposition (2) bestimmt wird als eine Position, die erhalten wird durch Korrigieren einer angelernten Annäherungsposition je nach dem erhalten Ausmaß an Abweichung.
Mehrfachsensor-Robotersystem nach einem der Ansprüche 1 bis 3, das zudem umfasst: eine Bildanzeigeeinrichtung zum Anzeigen des zweidimensionalen Bildes, das durch die erste Sensoreinrichtung erhalten wird, und eine Einrichtung zum Eingeben der Annäherungsposition auf dem zweidimensionalen Bild, das von der Bildanzeigeeinrichtung angezeigt wird.
Mehrfachsensor-Robotersystem nach einem vorhergehenden Anspruch, wobei die erste (30) und die zweite (30, 131) Sensoreinrichtung zusammen an einem Armende des Roboters (40) montiert sind.