-
Die
Erfindung betrifft eine Vorrichtung zur Erkennung von Position und
Orientierung, die sich zum Beispiel für eine Reihe von Automatisierungen
in Fabriken eignet, und insbesondere eine zusammengesetzte Vorrichtung
zur Erkennung von Position und Orientierung mit einem Sensor zur
Gewinnung zweidimensionaler Information und einem Sensor zur Gewinnung
dreidimensionaler Information.
-
Das
Erfassen von Position und Form verschiedener Zielarbeiten (Werkstücke) mit
verschiedenen Sensoren ist häufig
erforderlich bei Zusammenbau- und Verarbeitungsvorgängen oder
dergleichen in einer Produktionsstraße. Ein Sensor, der ein zweidimensionales
Bild erhalten kann, wird gewöhnlich
im Großen
und Ganzen zur Messung der Position des Zielwerkstücks verwendet.
Wird eine CCD-Kamera verwendet, kann beispielsweise ein vergleichsweise
breites Sichtfeld leicht bereitgestellt werden, indem man korrekt
ein optisches System (eine Linse) wählt. Dagegen wird ein Lasersensor
effizient zur dreidimensionalen Messung der lokalen Position und Form
des Zielwerkstücks
verwendet.
-
Lasersensoren
können
leicht an der Handgelenksposition eines Roboters befestigt werden.
Sie können
die Position und die Form oder dergleichen von Einzelheiten des
Zielwerkstücks
genau und auf Echtzeitbasis messen, indem man Laserstrahlen aus sehr
nahen Vierteln zum Zielwerkstück
sendet, wenn sie derart ausgelegt sind, dass sie den Ausgang von dem
Lasersensor in einer Robotersteuerung verwenden. Aus diesem Grund
ist ein Lasersensor häufig
an einem Robotersystem oder dergleichen befestigt, was die Anwendung
auf weiten Gebieten erlaubt, wie beispielsweise Lichtbogenschweißen, Schweißen und
Messen oder dergleichen.
-
Eine
Art Lasersensor führt
die Abtastung mit einem Laserstrahl in der Form eines Punktstrahls aus,
und eine andere Art erzeugt einen Spaltstrahl. Bei der Verwendung
beider Lasersensorarten muss man den Punkt- oder Spaltstrahl sicher
auf eine Oberfläche
des Zielwerkstücks
richten. Befindet sich das Zielwerkstück mit einem bestimmten Grad
an Genauigkeit an einer festen Stelle und wird dem Roboter vorher
zudem eine Stelle nächst
der festen Position als Annäherungsposition
einprogrammiert, kann man leicht einen Zustand erzeugen, bei dem
ein Punktstrahl oder Spaltstrahl schnell auf die Oberfläche des
Zielwerkstücks
gesendet werden kann.
-
Je
nach Anwendung kann in vielen Fällen
die Position eines Zielwerkstücks
jedoch unbekannt bleiben, weil keine Positionierung durchgeführt wird
oder die Genauigkeit der Positionierung des Zielwerkstücks nicht
verlässlich
ist. In einem solchen Fall kann man keine Hauptmessung (beispielsweise
eine Formmessung) mit dem Lasersensor starten, bis das Zielwerkstück durch
Suche mit dem Punktlichtstrahl oder Spaltstrahl des Laserstrahls
als Sonde erfasst wird, während
der Lasersensor mit einer Übertragungsvorrichtung,
wie einem Roboter, bewegt wird.
-
Im
allgemeinen sind Lasersensoren nicht geeignet für die Messung in einem breiten
Bereich, da die Suche nach dem Zielwerkstück und die anschließende Annäherung an
das Zielwerkstück
Zeit benötigt.
Je nach den Umständen
kann es schwierig sein, einen Lasersensor zu veranlassen, ein Zielwerkstück sicher
zu suchen.
-
In
EP-A-0812662 ist die Bereitstellung eines zusammengesetzten Sensor-Robotersystems gemäß dem Oberbegriff
des beigefügten
Anspruchs 1 offenbart, wobei ein Bild eines Werkstücks von
einer ersten Sensorvorrichtung mit einem breiten Sichtfeld aufgenommen
wird, und dann eine von einem Lasersensor bereitgestellte zweite
Sensorvorrichtung veranlasst wird, die von der ersten Sensorvorrichtung
erfasste Position des Werkstücks
einer Annäherungsposition
zu nähern,
an der Oberflächeneigenschaften des
Werkstücks,
beispielsweise eine Stufe darauf, erfasst und gemessen werden können. Die
tatsächliche
Gewinnung der Position des Zielwerkstücks erfolgt jedoch nur durch
die erste Sensorvorrichtung und stellt daher keine sehr genaue Lokalisierung
der Position des Werkstücks
dar.
-
Ein
weiteres zusammengesetzten Sensor-Robotersystem ist in US-A-4985846
offenbart.
-
Erste
und zweite Aspekte der Erfindung sind durch die beigefügten Ansprüche 1 und
9 bereitgestellt.
-
In
der Erfindung wird eine Position und Orientierung der zweiten Sensorvorrichtung,
die sich zur Erkennung des Zielwerkstücks eignet, aus einer Raumgeraden
ermittelt, die aus der von der ersten Sensorvorrichtung ermittelten
Position des Zielwerkstücks
berechnet wird. Diese geeignete Position und Orientierung der Sensorvorrichtung
ist eine Position und Orientierung davon, welche es der zweiten
Sensorvorrichtung erlaubt, die Position und Orientierung des Zielwerkstücks innerhalb
eines Bereichs zu ermitteln, der von der ersten Sensorvorrichtung
erfasst wurde.
-
Eine
Ausführungsform
der Erfindung kann eine Erkennungsvorrichtung bereitstellen, die
die Verwendung eines Sensors, wie eines Lasersensors, ermöglicht,
der nur zur Erfassung eines relativ schmalen Bereichs anwendbar
ist, und die es daneben ermöglicht,
dass der Sensor sicher die zwei- oder dreidimensionale Information
eines Zielwerkstücks
in einer richtigen Position und Orientierung erkennt, selbst wenn
die Position und Orientierung des Zielwerkstücks unbekannt bleiben.
-
Eine
erfindungsgemäße Erkennungsvorrichtung
umfasst als vorausgesetzte Bestandteile eine erste Sensorvorrichtung
zur Gewinnung von zweidimensionaler Information in einem Zielbereich
und eine zweite Sensorvorrichtung zum Gewinnen von Information in
einem relativ schmaleren Zielbereich als der vorstehende Zielbereich.
Erfindungsgemäß ist die
von der zweiten Sensorvorrichtung erhaltene Information zwei- und/oder dreidimensionale
Information.
-
Gemäß der grundlegenden
Eigenschaften der Erfindung umfasst die Erkennungsvorrichtung eine
Vorrichtung zum Erfassen einer Raumgeraden, die ein Zielwerkstück mit der
ersten Sensorvorrichtung verbindet, auf der Basis der Position und
Orientierung der ersten Sensorvorrichtung und der zweidimensionalen
Information, die Information über
das Zielwerkstück
beinhaltet, die von der ersten Sensorvorrichtung erhalten wird,
eine Vorrichtung zum Feststellen der Position und Orientierung der
zweiten Sensorvorrichtung, die es erlaubt, dass die zweite Sensorvorrichtung
das Zielwerkstück
erkennt, aus der vorstehenden Geraden, und eine Vorrichtung zum
Bewegen der zweiten Sensorvorrichtung an die so festgestellte Position
und Orientierung.
-
Gemäß der erfindungsgemäßen Erkennungsvorrichtung
erhält
die zweite Sensorvorrichtung zweidimensionale Information über das
Zielwerkstück
oder dreidimensionale Positions- und Orientierungsinformation über das
Zielwerkstück,
so dass die zwei- oder dreidimensionale Information über das
Zielwerkstück
erkannt wird, nachdem die Übertragungsvorrichtung
die zweite Sensorvorrichtung zur festgestellten Position und Orientierung
bewegt.
-
Kann
die zweite Sensorvorrichtung zweidimensionale Information erhalten,
kann die erste Sensorvorrichtung auch für die zweite Sensorvorrichtung oder
umgekehrt verwendet werden. Die zweite Sensorvorrichtung kann Lichtprojektionsvorrichtungen und
einen Photodetektor umfassen und kann auch mit einer Funktion für die dreidimensionale
Messung der Position und Orientierung ausgestattet sein.
-
In
diesem Fall kann der Photodetektor als zweidimensionaler Sensor
zur Gewinnung der zweidimensionalen Information bereitgestellt werden,
und die zweite Sensorvorrichtung darf auch als erste Sensorvorrichtung
dienen.
-
Hat
die zweite Sensorvorrichtung eine Lichtprojektionsvorrichtung und
einen Photodetektor und ist sie mit der Funktion für die dreidimensionale
Messung der Position und Orientierung ausgestattet, kann die Position
und Orientierung der zweiten Sensorvorrichtung zur Erkennung des
Zielwerkstücks derart
bestimmt werden, dass die Strahlungsrichtung aus der Lichtprojektionsvorrichtung
mit der vorstehenden festgestellten Geraden (der Geraden, die das
Zielwerkstück
mit der ersten Sensorvorrichtung verbindet) übereinstimmt, oder dass die
Richtung einer optischen Achse des Photodetektors mit der vorstehenden
Geraden übereinstimmt.
-
In
jedem der vorstehend beschriebenen Fälle können Vorrichtungen zum Gewinnen
der Raumgeraden oder Vorrichtungen zum Feststellen der Position
und Orientierung der zweiten Sensorvorrichtung in einer Robotersteuerung
eines Arbeitsroboters bereitgestellt werden. Der Arbeitsroboter
kann zudem als Vorrichtung zur Bewegung der zweiten Sensorvorrichtung
an die Position und Orientierung verwendet werden, die als geeignete
Stelle zur Erkennung festgestellt wurde.
-
Ein
wichtiger Punkt kann sein, dass nach dem Feststellen der Raum- (tatsächlich dreidimensionalen
Raum-)"geraden", die die erste Sensorvorrichtung
mit einem Zielwerkstück
verbindet, bei der Suche des Zielwerkstücks mit der ersten Sensorvorrichtung,
die zweidimensionale Information in einem relativ breiten Bereich
gewinnen kann, die "festgestellte
Gerade" zur Bestimmung
der "Position und Orientierung,
die sich zur Erkennung (Messung) des Zielwerkstücks eignet" für
die zweite Sensorvorrichtung verwendet wird, die sich zur Gewinnung
von zwei- oder dreidimensionaler Information in einem relativ schmalen
Bereich eignet.
-
Gemäß einem
spezifischen Verfahren erkennt die Erkennungsvorrichtung die Position
des Zielwerkstücks
auf dem zweidimensionalen Bild des Zielbereichs, indem zuerst das
zweidimensionale Bild des Zielbereichs mit dem ersten Sensor erhalten wird,
und dann das erhaltene zweidimensionale Bild verarbeitet wird, damit
der Zielbereich auf dem zweidimensionalen Bild erfasst wird. Erfindungsgemäß bedeutet
der "Zielbereich" einen Bereich, der
einen Bereich so gut abdeckt, in der sich das Zielwerkstück mit einer
gewissen Wahrscheinlichkeit befindet.
-
In
dieser Stufe stellt sich heraus, dass sich die (tatsächlich dreidimensionale)
räumliche
Position des Zielwerkstücks
auf einer "Sichtlinie" befindet, mit der
die Kamera des ersten Sensors das Zielwerkstück aufnimmt. Der Abstand zwischen
der Kamera und dem Zielwerkstück
auf der Sichtlinie bleibt dagegen unbekannt. Die "Sichtlinie" kann auf der Basis der
durch die Kamerakalibrierung des ersten Sensors erhaltenen Daten
als Gerade bestimmt werden, die die Mitte einer Kameralinse mit
einer Abbildungsposition des Zielwerkstücks auf der an sich bekannten
Bildebene verbindet.
-
Demnach
kann die Beziehung zwischen der "Abbildungsposition
des Zielwerkstücks
auf der Bildebene" oder
die "Position des
Zielwerkstücks
auf dem Bild" und
die Position und Richtung der Sichtlinie" auf der Basis der durch die Kamerakalibrierung erhaltenen
Daten gewonnen werden.
-
Wird
im Allgemeinen eine Position (u, v) auf einem Bild- (zweidimensionalen)
Raum festgestellt, dann wird die durch die Position verlaufende
Sichtlinie (eine Gerade) festgestellt. Eine durch die Sichtlinie
(die Gerade) gegebene Gleichung wird auch als "Gleichung einer Sichtlinie" bezeichnet.
-
Folglich
kann die Sichtlinie auch verwendet werden als "Gerade, welche die erste Sensorvorrichtung
mit dem Zielwerkstück
verbindet". Man
sollte genau genommen beachten, dass die "Position des Zielwerkstücks" bedeutet: "die Position eines
bestimmten Punktes (welcher als charakteristischer Punkt bezeichnet
wird) auf dem Zielwerkstück", und demzufolge
ist "die Gerade,
die die erste Sensorvorrichtung mit dem Zielwerkstück verbindet" äquivalent zu einer "Geraden, die die
erste Sensorvorrichtung mit dem charakteristischen Punkt auf dem
Zielwerkstück
verbindet".
-
In
diesem Zusammenhang wird die wie vorstehend beschrieben erhaltene "Gerade, die die erste
Sensorvorrichtung mit dem Zielwerkstück verbindet", zur Bestimmung
von Position und Orientierung des zweiten Sensors verwendet, der
für eine
genauere Erkennung (der genaueren Position, Orientierung, Form und
Abmessung oder dergleichen des Zielwerkstücks) geeignet ist.
-
Da
das Zielwerkstück
sicher auf der so ermittelten "Raumgeraden" existiert, kann
das Zielwerkstück
sicher erfasst werden, wenn der zweite Sensor zu einer Position
auf der Raumgeraden oder einer Position nächst der Raumgeraden bewegt
wird und das Sichtfeld des zweiten Sensors in der Richtung orientiert
wird, die der vorstehenden Geraden entspricht.
-
Hat
der zweite Sensor beispielsweise eine Lichtprojektionsvorrichtung
und einen Photodetektor und ist er mit der Funktion zur dreidimensionalen Messung
der Position und Orientierung ausgestattet, reicht die Bestimmung
der Orientierung des zweiten Sensors auf der Basis der Strahlungsrichtung
oder der Richtung der optischen Achse des Photodetektors aus.
-
KURZE BESCHREIBUNG DER
ZEICHNUNGEN
-
Die
vorstehenden und anderen Eigenschaften der Erfindung werden aus
der folgenden Beschreibung der bevorzugten Ausführungsformen der Erfindung
anhand der beigefügten
Zeichnungen ersichtlich. Es zeigt:
-
1 eine Übersicht
der Gesamtanordnung einer Vorrichtung zur Erkennung von Position
und Orientierung gemäß der ersten
Ausführungsform
der Erfindung;
-
2 eine Übersicht über die
Konfiguration und den Betrieb eines Lasersensors;
-
3,
eine Ansicht der Positionsbeziehung zwischen zwei Ebenen, die die
beiden Laserspaltstrahlen LB1, LB2 trägt, einer Schnittlinie LC dieser beiden
Laserspaltstrahlen, eines Laserstrahlabschnitts und eines Photodetektors
oder dergleichen;
-
4 ein
Fließschema
zur Erklärung
eines Verfahrens des Betriebs der Vorrichtung zur Erkennung von
Position und Orientierung von 1;
-
5,
eine Ansicht eines zweidimensionales Bild, erhalten durch eine erste
Sensorvorrichtung in der Vorrichtung zur Erkennung von Position
und Orientierung von 1;
-
6 eine
Ansicht der Beziehung zwischen einer Sichtlinie und einem Zielwerkstück; und
-
7 eine Übersicht über die
Gesamtanordnung einer Vorrichtung zur Erkennung der dreidimensionalen
Position und Orientierung gemäß einer zweiten
Ausführungsform
der Erfindung.
-
Zuerst
wird anhand der 1 eine Übersicht über eine Vorrichtung zur Erkennung
der dreidimensionalen Position und Orientierung gemäß einer
ersten erfindungsgemäßen Ausführungsform
beschrieben. Diese Vorrichtung zur Erkennung der dreidimensionalen
Position und Orientierung wird beispielsweise bei der Bearbeitung
(Aufnahme und Beförderung) der
Werkstücke
durch einen Arbeitsroboter (der nachstehend einfach als Roboter
bezeichnet wird) angewendet. Bei der erfindungsgemäßen Ausführungsform
wird angenommen, dass eine Anzahl von Werkstücken in verschiedenen Positionen
und Orientierungen untergebracht wird. Diese Vorrichtung zur Erkennung
der Position und Orientierung erfüllt ihre Eigenschaften bei
Beginn der Bearbeitung der Werkstücke, die in der vorstehenden
Lage untergebracht sind.
-
Wie
in der 1 gezeigt, umfasst die Vorrichtung zur Erkennung
der Position und Orientierung eine Robotersteuerung 1,
eine Bildverarbeitungseinheit 2, einen Lasersensorkörperabschnitt
(der nachstehend einfach als Lasersensor bezeichnet wird) 10, einen
Lasersensorsteuerabschnitt 20, eine CCD-Kamera 30 und
einen Roboter 40.
-
Der
Lasersensor 10 ist an einem Handgelenksabschnitt (in der
Nähe eines
Werkzeugmittelpunkts (TCP)) des Roboters 40 befestigt.
Die CCD-Kamera 30 ist beispielsweise über einer Werkstückpalette 50 installiert,
ohne dass sie am Roboter 40 befestigt ist. Die CCD-Kamera 30 und
die Bildverarbeitungseinheit 2 machen einen Weitbereichssensor
(eine erste Sensorvorrichtung) aus. Aus diesem Grund werden die
Installationsposition und Orientierung der CCD-Kamera 30 derart
bestimmt, dass ein Sichtfeld 31 der CCD-Kamera die gesamte
Werkstückpalette 50 abdeckt,
die als Zufuhrbereich eines Werkstücks W bereitgestellt wird.
-
Man
nimmt an, dass die Kalibrierung der CCD-Kamera 30 zur Gewinnung
von Information über
die Beziehung zwischen einer Position (u, v) auf einem Bildzweidimensionalen)
Raum und einer Sichtlinie (einer Geraden) bereits vorher fertiggestellt wurde.
Daten, die die Beziehung zwischen einer Position (u, v) auf einem
Bild und einer Position auf einem dreidimensionalen Koordinatensystem
(einem geeignet eingestellten Werkstückkoordinatensystem) veranschaulichen,
werden vorher in einem Speicher in der Bildverarbeitungseinheit 2 gespeichert.
-
Der
als Schmalbereichssensor (eine zweite Sensorvorrichtung) verwendete
Lasersensor 10 kann entweder ein bekannter Typ Punktlichtbestrahlung oder
Spaltlichtbestrahlung sein. Anhand der 2 wird jedoch
die Vorrichtung zur Erkennung der Position und Orientierung im Fall
der Verwendung des Sensors des letzteren Typs beschrieben.
-
Ein
Laserbestrahlungsabschnitt 13 des Lasersensors 10 hat
erste und zweite Laseroszillatoren 11, 12, wohingegen
ein Photodetektorabschnitt (Photoempfängerabschnitt) 14 einen
Photodetektor 14a und ein optisches System zum Bilderzeugung
aufweist. Der erste und zweite Laseroszillator 11, 12 geben
jeweils erste und zweite Spaltstrahlen LB1, LB2 durch eine zylindrische
Linse aus, die sich nächst
der Strahlenöffnung
befindet.
-
Der
Lasersensor 10 ist an die Bildverarbeitungseinheit 2 über die
Lasersensorsteuervorrichtung 20 angeschlossen. Die CCD-Kamera 30 ist ebenfalls
an die Bildverarbeitungseinheit 2 angeschlossen. Wie vorstehend
beschrieben wird die Bildverarbeitungseinheit 2 durch den
Lasersensor (den Körperabschnitt 10 und
den Steuerabschnitt 20) und auch durch die CCD-Kamera 30 verwendet.
-
Bei
Erhalt eines Lasersensor-Betriebsbefehls aus der Bildverarbeitungseinheit 2 über eine
Linie 24 beginnen erste und zweite Laserantriebsabschnitte 21, 22 mit
dem Antrieb der ersten und zweiten Laseroszillatoren 11, 12,
die erste und zweite Laserspaltstrahlen LB1 und LB2 erzeugen.
-
Laserstrahlen,
die einer diffusen Reflektion von einem Reflektionspunkt S1 (einem
Einfallspunkt des gewünschten
Einzelstrahls L1 in dem ersten Spaltstrahl LB1) und einem Reflektionspunkt
S2 (einem Einfallspunkt des gewünschten
Einzelstrahls L2 in dem zweiten Spaltstrahl LB2) auf der Oberfläche des
Zielwerkstücks
unterliegen, erzeugen ein Bild auf dem Photodetektor 14a über das
optische System 14b gemäß den Positionen
der Reflektionspunkte S1, S2. CCD oder dergleichen ist bei dem Photodetektor
anwendbar. Bei der vorliegenden Ausführungsform wird eine zweidimensionale
CCD-Anordnung als Photodetektor 14a verwendet.
-
Die 3 zeigt
die Positionsbeziehung zwischen den beiden Ebenen, die die ersten
und zweiten Laserspaltstrahlen LB1, LB2, eine Schnittlinie LC dieser
Laserstrahlen, den Laserstrahlungsabschnitt 13 und den
Photodetektorabschnitt 14 oder dergleichen tragen. Es wird
angenommen, dass die Kalibrierung des Lasersensors 10 bereits
beendet ist, und ihr Ergebnis (die Kalibrierungsdaten) vorher in
dem Speicher bei der Bildverarbeitungseinheit 2 gespeichert werden.
Die Kalibrierungsdaten am Lasersensor 10 enthalten Daten über die
Position und die Orientierung (Festwerte) von jeder der ersten und
zweiten Ebenen, die die ersten und zweiten Laserspaltstrahlen LB1,
LB2 in Bezug auf den Körper
des Lasersensors 10 tragen. Die Schnittlinie LC lässt sich
auch aus den Daten über
diese Ebenen zu jedem Zeitpunkt berechnen.
-
Wird
folglich die Beziehung zwischen dem Koordinatensystem, das am Körper des
Lasersensors 10 eingestellt ist, und dem Koordinatensystem, das
am Roboter eingestellt ist (das Roboter-Koordinatensystem ist dasjenige
Koordinatensystem, das beispielsweise am Armende des Roboters 40 fixiert ist)
vorher erhalten, kann die Position und die Richtung auf dem Roboterkoordinatensystem
in Bezug auf jede der ersten und zweiten Ebenen, die die ersten
und zweiten Laserspaltstrahlen LB1, LB2 und die Schnittlinie LC
tragen, festgelegt werden. Wie an sich bekannt, wird die vorstehende
Beziehung im Allgemeinen ausgedrückt
in der Form einer homogenen Transformationsmatrix, die man bei der
Kalibrierung des Lasersensors erhält. in dieser Stufe ist die
Kalibrierung des Lasersensors bereits beendet, und die Kalibrierungsdaten
werden vorher im Speicher in der Bildverarbeitungseinheit 2 gespeichert.
-
Nun
wird anhand der 4 bis 6 ein Verfahren
zum Betrieb der Vorrichtung zur Erkennung der Position und Orientierung
gemäß der vorliegenden
Ausführungsform
beschrieben.
-
Die
Bildverarbeitungseinheit 2 wartet darauf, dass ein Werkstück-Erfassungsbefehl
von der Robotersteuerung 1 gesendet wird (Schritt S1).
Empfängt die
Bildverarbeitungseinheit 2 diesen Werkstück-Erfassungsbefehl,
wird eine Verarbeitungsabfolge zum Erfassen des Werkstücks begonnen,
so dass ein Photographierbefehl an die CCD-Kamera 30 ausgegeben
wird (Schritt S2). Anschließend
wird ein zweidimensionales Bild der gesamten Werkstückpalette 50,
einschließlich
eines Bildes des Werkstücks
W zum Speichern im Rahmenspeicher in der Bildverarbeitungseinheit 2 erhalten
(Schritt S3).
-
Die 5 zeigt
ein Beispiel für
das so erhaltene Bild. In der 5 bezeichnet
die Bezugszahl 70 einen charakteristischen Punkt (beispielsweise
eine Schwerpunktsmitte eines Werkstückumrissbildes) des erfassten
Werkstücks
W, und die zweidimensionale Bildposition (u70, v70) des charakteristischen Punktes 70 wird
mit einem Bildprozessor in der Bildverarbeitungseinheit 2 ermittelt.
Zudem wird eine Sichtlinie 32 (siehe 6)
entsprechend der zweidimensionalen Bildposition (u70, v70) des charakteristischen
Punktes aus den durch Kalibrierung erhaltenen Daten berechnet.
-
Da
der Punkt 70, der das Werkstück W veranschaulicht, auf der
Sichtlinie existiert, entspricht die Position und die Orientierung
(eine Gleichung auf dem Arbeitskoordinatensystem) dieser Sichtlinie
der "(Information über die)
Position und Orientierung des Werkstücks W", die in dieser Stufe erkannt wurde. Bei
diesem Verfahren sind Daten erforderlich, die durch Umformen der
Information der Position und Orientierung des Arbeitsstücks W zu
Daten des Roboterkoordinatensystems erhalten wurden (Schritt S4).
Im Übrigen
werden Koordinatensystemstelldaten (die 4 × 4 homogene Transformationsmatrix,
die die Beziehung zwischen dem Roboterkoordinatensystem und dem
Arbeitskoordinatensystem veranschaulicht), welche in dem Speicher
der Robotersteuerung 1 für die vorstehende Transformation
verwendet.
-
Man
beachte in dieser Stufe, dass die Position des Arbeitsstücks W, die
durch den Punkt 70 veranschaulicht wird, unsicher bleibt.
Obwohl der 6 zufolge die dreidimensionale
Raumposition des Werkstücks
W (des charakteristischen Punktes 70) auf die Sichtlinie 32 gemäß den Prinzip
der perspektivischen Transformation eingeschränkt ist, bleibt der Abstand
demnach zwischen dem Werkstück
W und der Kamera 30 unbekannt. Somit kann man nicht bestimmen,
ob sich das Werkstück
W an einer Position 75 der Sichtlinie oder einer Position 76 befindet,
die beispielsweise von der Kamera weiter entfernt ist als die Position 75.
-
Die
Information (Roboter-Koordinatensystem-Information) der Sichtlinie 32 wird
an die Robotersteuerung 1 als Information gesendet, welche "eine Gerade, die
die erste Sensorvorrichtung mit dem Zielwerkstück verbindet" veranschaulicht
(Schritt S5).
-
Anschließend wird
die Position und die Orientierung des am Roboter 40 befestigten
Lasersensors 10 (der zweiten Sensorvorrichtung), der sich zum
Erkennen (Messen) des Zielwerkstücks
W eignet, berechnet (Schritt S6). Die vorstehende Berechnung der
Position und der Orientierung kann in der Robotersteuerung 1 durchgeführt werden.
Eine der Anforderungen, die für
diese Berechnung erforderlich ist, ist "das Veranlassen, dass die Sichtlinie 32 mit
der Schnittlinie LC (siehe 3) übereinstimmt". Eine zusätzliche
Bedingung, wie weit der Lasersensor 10 entfernt sein sollte,
kann erfüllt
werden, indem man vorher eine geeignete Bedingung auferlegt.
-
Die
zusätzliche
Bedingung wird erfüllt,
indem man das Werkstückkoordinatensystem
so einstellt, dass dessen X-Y-Ebene auf der Palette 50 untergebracht
wird und man dann "die
Z-Koordinate der Position des Roboters 40 auf dem Werkstückkoordinatensystem
auf einen Festwert Z0 einstellt".
Die Robotersteuerung 1 bewegt den Roboter 40 zu
einer Position und Orientierung, die unter diesen Bedingungen berechnet
werden. Im Übrigen
ist die Information, die "die
Richtung" der Schnittlinie
LC des Lasersensors spezifiziert, erforderlich. Diese Anforderung
wird erfüllt,
indem man einem Bestandteil (auf dem Werkstück-Koordinatensystem) der Orientierung
des Roboters 40 (oder durch Bestimmen einer Robotersteuerung,
so dass der Lasersensor nach unten schaut) eine Bedingung auferlegt.
-
Bei
Beendigung der Roboterbewegung wird der Lasersensor 10 in
einem bereiten Zustand zum Strahlen der Laserspaltstrahlen LB1,
LB2 dort untergebracht, wo die Schnittlinie LC dieser Strahlen mit der
Sichtlinie 32 übereinstimmt
und weiter die Schnittlinie LC das Zielwerkstück am Punkt 70 trifft.
-
Nach
Beendigung der Bewegung des Roboters informiert die Robotersteuerung 1 die
Bildverarbeitungseinheit 2 über die Beendigung der Bewegung.
Dann gibt die Bildverarbeitungseinheit 2 einen Fotographiebefehl
(einen Betriebsbefehl) an den Lasersensor 10 aus (Schritt
S7). Dann beginnt der Lasersensor 10 mit dem Betrieb zur
Aussenden der Laserspaltstrahlen LB1, LB2, und die Schnittlinie
LC dieser Strahlen trifft auf das Zielwerkstück am Punkt 70 (Schritt
S8)
-
In
der vorliegenden Ausführungsform
kann die dreidimensionale Position des durch Punkt 70 veranschaulichten
Zielwerkstück
gemessen werden, da der Lasersensor 10 ein dreidimensionaler
Sensor ist. Die Orientierung des Zielwerkstücks kann ebenfalls aus dem
reflektierten Bild (auf dem Photodetektor 14a) entsprechend
der Laserspaltstrahlen LB1, LB2 erfasst werden (Schritt S9).
-
Selbst
wenn das Werkstück
W in einer schrägen
Haltung auf einem anderen Werkstück
untergebracht ist oder wenn die Höhe jedes Werkstücks nicht gleichmäßig ist,
kann der Lasersensor 10 somit die Höhe und die Neigung des Werkstücks erfassen. Folglich
kann die Position und die Orientierung des Greifabschnitts in dem
Roboter 40 auf der Basis der Höhe und Orientierung des Werkstücks W gesteuert werden.
-
Wurde
im Übrigen
das Werkstück
W einmal auf der Schnittlinie LC des Lasersensors 10 erfasst, kann
eingehendere Information leicht erhalten werden, indem man die Position
und die Orientierung des Roboters leicht verändert, und dann die Messung unter
einer Bedingung durchführt,
wo die Schnittlinie auf einen anderen Punkt als Punkt 70 einfällt.
-
Nachstehend
wird eine Übersicht über eine Vorrichtung
zur Erkennung der dreidimensionalen Position und Orientierung gemäß einer
zweiten erfindungsgemäßen Ausführungsform
anhand von 7 beschrieben. Die Vorrichtung
der zweiten Ausführungsform
ist für
einen Fall geeignet, bei dem die Größe einer Palette 50 (der
Bereich der mit dem Weitbereichssensor abgedeckt werden soll) nicht recht
groß.
-
Ein
Unterschied zwischen der zweiten Ausführungsform von 7 und
der ersten Ausführungsform
von 2 ist, dass bei der zweiten Ausführungsform
die Kamera 30 am Roboter 40 als Photodetektorabschnitt 140 eines
Lasersensors 110 befestigt ist, so dass eine Anforderung
erfüllt
wird, dass der Photodetektorabschnitt auch als erste Sensorvorrichtung
dienen sollte. Ein Laserstrahlungsabschnitt 130 der 7 ähnelt dem
Laserstrahlungsabschnitt 13 des Lasersensors 10 von 1.
Die Vorrichtungen von 7 und 1 haben
auch bei den anderen Bestandteilen gemeinsame Strukturen.
-
Systembetriebssoftware,
die in der Bildverarbeitungseinheit 2 oder der Robotersteuerung 1 gespeichert
ist, wird derart verändert,
dass die CCD-Kamera 30 des Lasersensors 110 umgeschaltet
werden kann zwischen einem ersten Modus (ähnlich demjenigen der ersten
Ausführungsform),
der zur Gewinnung des zweidimensionalen Bildes zum Aufnahmezeitpunkt
verwendet wird und einem zweiten Modus zum Erfassen des reflektierten
Lichts des Laserspaltstrahls aus dem Lasersensor 110. Zudem
wird angenommen, dass die Kalibrierung des Photoerfassungsabschnitts
(man beachte, dass dieser Photoerfassungsabschnitt mit einer Abbildungslinse
ausgestattet ist) 140 ähnlich
wie bei der Kalibrierung der CCD-Kamera bereits beendet ist, und
die durch Kalibrierung erhaltenen Daten wurden bereits in einem Speicher
der Bildverarbeitungseinheit 2 gespeichert.
-
Die Übersicht über ein
Verfahren des Betriebs der Positionserkennungsvorrichtung gemäß der zweiten
Ausführungsform
ist nachstehend beschrieben. Man beachte jedoch, dass die Beschreibung
der Schritte, welche die gleichen sind wie die Arbeitsschritte der
Positionserkennungsvorrichtung gemäß der ersten Ausführungsform,
hier soweit wie möglich
nicht wiederholt wird.
-
Empfängt die
Bildverarbeitungseinheit 2 einen Arbeitserfassungsbefehl
von der Robotersteuerung 1, wird ein Betriebsbefehl in
einem normalen Photographiemodus an den Lasersensorsteuerabschnitt 20 ausgegeben.
Dann wird ein zweidimensionales Bild der ganzen Werkstückpalette 50,
einschließlich
eines Bildes des Werkstücks
W, zum Speichern in einen Rahmenspeicher in der Bildverarbeitungseinheit 2 erhalten.
-
Die 5 zeigt
ein Beispiel des so erhaltenen Bildes. Entsprechend der vorstehenden
ersten Ausführungsform
wird die Sichtlinie 32 auf der Basis der Position (u70,
v70) des charakteristischen Punktes 70 auf dem zweidimensionalen
Bild durch Verwendung der durch die Kalibrierung erhaltenen Daten
berechnet.
-
Information
(auf dem Roboterkoordinatensystem) über die Sichtlinie 32 (d.h.
eine optische Achse des Photodetektorabschnitts 140 des
Lasersensors 110) wird an die Robotersteuerung 1 als
Information gesendet, die eine "Gerade,
welche die erste Sensorvorrichtung mit dem Zielwerkstück verbindet" veranschaulicht.
-
Anschließend wird
die Position und die Orientierung des Werkstücks W mit dem Lasersensor 110 (der
zweiten Sensorvorrichtung), der am Roboter 40 befestigt
ist, welcher sich zum Erkennen (Messen) eignet, berechnet. Diese
Berechnung kann in der Robotersteuerung 1 durchgeführt werden.
Die Bedingungen, die bei dieser Berechnung angewendet werden sollen,
können
den Bedingungen ähneln,
die bei der Berechnung im Falle der ersten Ausführungsform angewendet werden.
Demzufolge umfassen solche Bedingungen eine Anforderung, dass "die Sichtlinie 32 mit
der Schnittlinie LC (siehe 3) übereinstimmen
sollte" und eine
weitere Bedingung zur Bestimmung, wie weit der Lasersensor 110 untergebracht werden
sollte.
-
Bei
Beendigung der Bewegung des Roboters informiert die Robotersteuerung 1 die
Bildverarbeitungseinheit 2 über das Bewegungsende, und
die Bildverarbeitungseinheit 2 gibt einen Aufnahmebefehl
in einem Laserspaltstrahlfotographiemodus an den Lasersensor 110 aus.
Dann beginnt der Lasersensor 110 mit der Aussendung der
Laserspaltstrahlen LB1, LB2, und die Schnittlinie LC trifft auf
das Zielwerkstück 70 an
Punkt 70. Das reflektierte Licht der Laserspaltstrahlen
LB1, LB2 erzeugt ein Bild auf dem Photodetektor der CCD-Kamera 30.
Die Bildverarbeitungseinheit 2 erhält die dreidimensionale Position und
Orientierung des Zielwerkstücks
W nach der Analyse des Ergebnisses der Erfassung gemäß der Softwareverarbeitung
zur Durchführung
der normalen Funktionen des Lasersensors 110.
-
Es
wird zwar ein dreidimensionaler Sensor als zweite Sensorvorrichtung
in den vorstehenden beiden Ausführungsformen
verwendet, ein zweidimensionaler Sensor kann jedoch selbstverständlich auch
je nach der Verwendung verwendet werden. Selbst bei dem Fall, bei
dem ein zweidimensionaler Sensor eingesetzt wird, wird die Position
und Orientierung der zweiten Sensorvorrichtung, die sich zur Erkennung
des Zielwerkstücks
eignet, auf der Basis der "Geraden,
die das Zielwerkstück
mit dem ersten Sensor verbindet" auf
die gleiche Weise bestimmt, wie bei dem Fall, bei dem ein dreidimensionaler
Sensor eingesetzt wird.
-
Der
Roboter wird zwar als Übertragungsvorrichtung
des Sensors in den vorstehenden Ausführungsformen verwendet, jedoch
ist es selbstverständlich,
dass auch andere Übertragungsvorrichtungen
verwendet werden können,
die die Position und Orientierung des Sensors (beispielsweise ein XYZ-Tisch,
dessen Orientierung steuerbar ist) steuern können.
-
Selbst
bei einem Fall, bei dem die Position, Höhe und Orientierung des Zielwerkstücks nicht
angegeben sind, kann erfindungsgemäß die Position und die Orientierung
der zweiten Sensorvorrichtung zur Erkennung korrekt bestimmt werden
auf der Basis der "Geraden,
die das Zielwerkstück
mit dem ersten Sensor verbindet",
welche mit Hilfe des von der ersten Sensorvorrichtung erhaltenen
zweidimensionalen Bildes bestimmt wird. Somit dient die Vorrichtung
zur Erkennung von Position und Orientierung sehr stark der Automatisierung
verschiedener Arbeitsschritte.