DE69913106T2

DE69913106T2 - Verfahren und gerät zur roboterausrichtung

Info

Publication number: DE69913106T2
Application number: DE69913106T
Authority: DE
Inventors: Armstrong Patrick Beaconsfield FINLAY
Original assignee: Armstrong Healthcare Ltd
Current assignee: Prosurgics Ltd
Priority date: 1998-02-18
Filing date: 1999-02-11
Publication date: 2004-08-26
Anticipated expiration: 2019-02-12
Also published as: WO1999042257A1; US6349245B1; GB9803364D0; EP1056572B1; DE69913106D1; EP1056572A1

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Ausrichten eines Roboters.
Insbesondere bezieht sich die Erfindung nach einem Aspekt auf eine Vorrichtung und ein Verfahren zum Ausrichten eines Roboters zu einem Werkstück, um es dem Roboter oder einem Teil des Roboters zu ermöglichen, in einer exakt bestimmten Position relativ zu dem Werkstück angeordnet zu werden, so daß der Roboter das Werkstück exakt bearbeiten kann, wobei die gewünschten Bearbeitungen in genau bestimmten Punkten des Werkstücks ausgeführt werden.
Ein alternativer Aspekt der Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Ausrichten eines Roboters, bei denen die exakte Position und Orientierung eines Werkzeugs, das von einem Teil des Roboters getragen wird, relativ zu dem Teil des Roboters bestimmt wird, so daß der Roboter nachfolgend das Werkzeug oder ein Teil des Werkzeugs in einer vorbestimmten Position positionieren kann.
In vielen Situationen, in denen Roboter genutzt werden, ist der Roboter zur Bearbeitung eines Werkstücks auf eine exakt bekannte Größe und Form programmiert. Ein Beispiel für eine solche Situation ist, wenn ein Roboter in einer Fahrzeugmontagelinie arbeitet, in welcher jedes Werkstück, d. h. jedes Fahrzeug, welches der Roboter zu bearbeiten hat, eine exakt bekannte Größe und Form aufweist. In einer solchen Situation kann der Roboter vorprogrammiert werden, um eine Folge von Bewegungen auszuführen, welche für die vom Roboter auszuführende Aufgabe geeignet sind.
Es gibt jedoch Situationen, in welchen der Roboter Aufgaben an einem Werkstück auszuführen hat, bei denen die Größe und die Form und andere Eigenschaften des Werkstücks näherungsweise bekannt sind, die exakten Details jedoch von Probe zu Probe variieren. Beispiele umfassen per Hand hergestellte Gegenstände, Gegenstände, die aus einem halbstarren oder verformbaren Material sind, und insbesondere lebendes Gewebe, beispielsweise in einer Situation, in der der Roboter auf einer Arbeitsbühne genutzt wird. In einer solchen Situation ist es nicht ungewöhnlich, daß die Aufgabe des Roboters Schritte zum Durchdringen des „Werkstücks" umfaßt, um auf ein spezielles inneres Ziel oder einen speziellen inneren Durchgang bzw. Weg zuzugreifen. Typischerweise sind das innere Ziel oder der innere Durchgang von der Oberfläche des Werkstücks nicht sichtbar, und insbesondere in der Situation, in der ein Roboter an einem menschlichen Patienten bei einer Operation arbeitet, ist es von Bedeutung, daß der Roboter das innere Ziel oder den inneren Durchgang exakt erreicht.
Ein geeignetes Verfahren, welches zum Spezifizieren geeigneter Koordinaten und Instruktionen für den Roboter bei dieser Art von Aufgaben genutzt wurde, umfaßt die Nutzung einer bildgeführten Technik. Bei der Nutzung dieser Technik wird ein Bild des Werkstücks erfaßt, beispielsweise mit Hilfe von Röntgenstrahlen, magnetischer Resonanzaufzeichnung, Ultraschall-Aufzeichnung oder einer anderen entsprechenden Technik. Die genutzte Aufzeichnungstechnik wird so gewählt, daß das innere Ziel oder der innere Durchgang aufgedeckt oder bestimmt werden kann.
Das Bild wird mit einem Computer verarbeitet und in einer Form angezeigt, die für einen menschlichen Betreiber geeignet ist. In Abhängigkeit von der Bevorzugung des Betreibers und der Natur des inneren Ziels oder des inneren Wegs kann die Anzeige als eine Folge von „Schnitten" durch das Werkstück, in Form drei orthogonaler Darstellungen durch einen bezeichneten Punkt oder alternativ als eine dreidimensionale Rekonstruktion dargestellt werden. Es gibt viele Arten von Bildverarbeitungsalgorithmen, die für diesen Zweck verfügbar sind.
Mit Hilfe einer Zeigeeinrichtung, beispielsweise einer Maus, kann der menschliche Betreiber nun auf der Computerdarstellung des Werkstücks spezifizieren, wo das Ziel oder der Weg lokalisiert sind. Der Betreiber kann auch den gewünschten Annäherungsweg des Roboters zum Erreichen des Ziels oder des Wegs von der Oberfläche des Werkstücks aufzeigen. Die Koordinaten der Schlüsselpunkte des gewünschten Annäherungswegs und auch das Ziel oder der Weg sind ohne weiteres aus den Bildpunkten (Pixel) oder Volumenelementen (Voxel) bestimmbar, die der Betreiber mit der Zeigeeinrichtung spezifiziert hat. Die Koordinaten können leicht in eine Folge von Instruktionen umgewandelt werden, die an eine Steueranordnung des Roboters übergegeben werden kann, so daß der Roboter die entsprechenden Bewegungen bewirkt, um zu veranlassen, daß die von dem Roboter getragene End-Bearbeitungseinrichtung dem gewünschten Annäherungsweg zu dem Ziel oder dem Weg folgt.
Der Roboter kann über oder benachbart zu dem tatsächlichen Werkstück angeordnet werden. Bevor er jedoch die von der Robotersteuerung gelieferten Instruktionen ausführen kann, muß ein Ausrichtungsprozeß ausgeführt werden, um die Referenzrahmen des Roboters, das Werkstück und die Computerdarstellung auszurichten. Mit anderen Worten, der Roboter muß anfänglich in einer Art und Weise positioniert werden, daß die End-Bearbeitungseinrichtung, welche von dem Roboter bewegt wird, den geeigneten Weg relativ zu dem Werkstück folgt, wenn der Roboter die Instruktionen ausführt, welche von der Robotersteuerungsanordnung übertragen wurden.
Es wurde vorgeschlagen (vgl. EP-A-0,755,660, aus welcher sich der nächstliegende Stand der Technik ergibt), die Referenzrahmen eines Roboters, eines Werkstücks und einer Computersteueranordnung auszurichten, indem Markierungen genutzt werden, die sowohl für das Auge als auch die genutzte Bildaufzeichnungstechnik sichtbar sind, wobei die Markierungen vor dem Ausführen der Bildaufzeichnung zeitweise an dem Werkstück angebracht sind. Zum Ausrichten zwischen dem Roboter und dem Werkstück wird die Computermaus genutzt, um eine erste Markierung auf dem computerdargestellten Bild anzuzeigen, und der Roboter wird dann so bewegt, daß das geeignete Teil der End-Bearbeitungseinrichtung, die von dem Computer getragen wird, die entsprechende Markierung auf dem tatsächlichen Werkstück berührt. Die End-Bearbeitungseinrichtung des Werkstücks wird so in eine vorbestimmte Position bewegt, welche eine bekannte Position in dem mittels Computer erzeugten Bild ist. Dieser Prozeß wird mit anderen Markierungen wiederholt. Danach können eine Drehung und eine Verschiebung festgelegt werden, welche den Koordinatenrahmen, der von dem Roboter genutzt wird, zur Ausrichtung mit dem Koordinatenrahmen des Werkstücks gemäß der Darstellung in dem mittels Computer erzeugten Bild bringen. Wenigstens drei Markierungen sind notwendig, in der Praxis werden jedoch bessere Ergebnisse erhalten, indem zwischen fünf und zehn Markierungen genutzt werden. Dieses wird auch dadurch erreicht, daß zwei oder drei Mal jede Markierung gelesen wird. Eine Fehlerquadratnäherung kann dann genutzt werden, um zum Erhalt einer besseren Anpassung die Daten zu manipulieren.
Diese Technik ist wirkungsvoll, für den Betreiber jedoch ermüdend und tendiert infolge von Fehlern beim Positionieren des Roboters oder der Maus zur Ungenauigkeit.
Nach einem Aspekt der Erfindung soll deshalb ein Verfahren zum Ausrichten eines Werkstücks mit einem Computermodell angegeben werden, welches die Nachteile des Standes der Technik nicht aufweist.
Bei einigen Arten von Roboteraufgaben wird verlangt, daß der Roboter mehr als ein Werkzeug oder ein Werkzeug mit verformbarer Form oder variabler Länge handhabt. Beispielsweise kann bei der Nutzung des Werkzeugs ein Teil des Werkzeugs abgenutzt sein. In vielen Situationen wird eine exakte Positionierung der Spitze des Werkzeugs verlangt, und folglich ist es notwendig, den Roboter auszurichten oder „zu kalibrieren", so daß die Position der Spitze des Werkzeugs relativ zu einem festen Punkt an dem Roboter exakt bekannt ist. Dieses versetzt den Roboter in die Lage, die Spitze des Werkzeugs in die verlangte Position zu bringen, unabhängig von der Ausbildung des Werkzeugs, welches genutzt wird, oder unabhängig von irgendeiner Verformung, die an dem Werkzeug auftreten kann. Nach einem anderen Aspekt der Erfindung soll deshalb ein Verfahren angegeben werden, bei dem eine solche Ausrichtung oder „Kalibrierung" ohne die Notwendigkeit einer Berührung der Spitze des Werkzeugs erreicht wird. Dieses ist beispielsweise bei Anwendungen von Bedeutung, in denen die Spitze des Werkzeugs leicht zerstört werden kann oder bei denen es wesentlich ist, die Spitze des Werkzeugs steril zu halten.
US-A-5,083,073 offenbart ein Verfahren einer Vorrichtung zum Kalibrieren eines bildgeführten Roboters mit einem Typ, der eine Schlitz- bzw. Spalt-Lichteinheit zum Beleuchten eines Werkstücks mit einem Zielbild aufweist. Eine Kamera ist zum Detektieren des Zielbildes vorgesehen, und eine Steuereinrichtung positioniert ein Werkzeug relativ zu einem Werkstück als Reaktion auf Bildsignale von der Kamera. In der beschriebenen Anordnung wird die Kamera in eine spezielle „Kalibrierungsposition" gebracht, in der die Kamera auf ein Ziel gerichtet ist, und ein Kamera-Korrekturwert wird mit Hilfe eines Vergleichs des mit Hilfe der Kamera empfangenen Zielbildes mit einem gespeicherten Zielbild erzeugt. Ein Kamera-Korrekturwert wird bestimmt, welcher in nachfolgenden Prozeduren benutzt wird.
Erfindungsgemäß wird ein Verfahren zum Ausrichten eines Roboters relativ zu einem Werkstück vorgeschlagen, welches mehrere sichtbare Markierungen aufweist, wobei der Roboter eine optische Bilderfassungsanordnung trägt, und wobei das Verfahren die folgenden Schritte umfaßt: einen anfänglichen Schritt zum Erfassen von Bildern des Werkstücks und der Markierungen, zum Speichern der Bilder und zum Vorbereiten von Befehlen für den Roboter bezüglich Koordinaten der gespeicherten Bilder, und nachfolgende Schritte zum Bestimmen von Daten mittels des Anordnen von Arbeitsteilen des Roboters in einer ersten Beziehung mit der optischen Bilderfassungsanordnung, wobei die Bilderfassungsanordnung in Richtung des Werkstücks gerichtet ist, zum Erfassen und zum Speichern eines Bildes des Werkstücks und der Markierungen und zum nachfolgenden Bewegen von Komponententeilen des Roboters, so daß die Bilderfassungsanordnung ein zweites anderes Bild des Werkstücks und der Markierungen erfaßt, und zum Wiederholen des Prozesses zum Erfassen von Daten, einschließlich mehrerer Abbildungen und Daten für jedes Bild, die die Position der Komponententeile des Roboters betreffen, wenn das Bild erfaßt wird, wobei die Daten gespeichert werden, und wo bei das Verfahren einen Schritt zum Vergleichen der anfänglich erfaßten Bilder des Werkstücks mit Bildern, die mit Hilfe der optischen Bilderfassungsanordnung in den nachfolgenden Schritten erfaßt wurden, und zum Bewirken einer Ausrichtung des Roboters umfaßt, um den Roboter in die Lage zu versetzen, eine oder mehrere Operationen bezüglich des Werkstücks auf Basis der Befehle auszuführen, die für den Roboter bezüglich der Koordinaten der gespeicherten, in dem Bild oder dem Schritt erfaßten Bilder vorbereitet wurden.
Zweckmäßig sind vier oder mehr sichtbare Markierungen auf dem Werkstück vorgesehen.
Eine Ausführungsform des Verfahrens kann nachfolgende Schritte zum Kalibrieren eines Werkzeugs umfassen, das von dem Roboter gehalten wird, wobei die nachfolgenden Schritte Schritte zum Nutzen der Bilderfassungsanordnung zum aufeinanderfolgenden Erfassen von Bildern eines mit Hilfe eines Teils des Roboters getragenen Werkzeugs, wenn das Teil des Roboters in unterschiedlichen Positionen ist, und zum nachfolgenden Bestimmen der exakten Position einer Spitze des Werkzeugs relativ zu dem Teil des Roboters umfassen.
Die Erfindung wird im folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf eine Zeichnung näher erläutert. Hierbei zeigen:
1 eine grafische Darstellung der Erfassung eines Bildes eines Werkstücks und des nachfolgenden Verarbeitens des Bildes;
2 eine grafische Darstellung eines Roboters und des Werkstücks;
3 ein Blockdiagramm der Steueranordnung für den Roboter nach 3;
4 ein Teil eines Roboters, welches eine End-Bearbeitungseinrichtung in Form eines Werkzeugs trägt; und
5 ein Blockdiagramm.
Gemäß 1 der Zeichnung weist ein Werkstück, welches ein lebloses Objekt oder eine lebende Form 1, beispielsweise für eine Operation, umfassen kann, mehrere sichtbare Markierungen 2 auf. Es wird bevorzugt, daß wenigstens drei Markierungen vorgesehen sind, wobei vorzugsweise eine größere Anzahl von Markierungen vorhanden ist. Wenn drei oder eine größere Anzahl von Markierungen vorgesehen sind, sollten die Markierungen nicht in Positionen angeordnet sein, die äquivalent zu den Ecken einer regulären geometrischen Figur sind, beispielsweise ein gleichseitiges Dreieck oder ein Quadrat, vielmehr sollten sie unregelmäßig verteilt sein.
Gemäß 1 wird eine Bilderfassungsanordnung 3 genutzt, um ein geeignetes Bild des Werkstücks und der Markierungen zu erfassen. Die Markierungen werden als „sichtbar" für die Bilderfassungsanordnung 3 ausgewählt. Die Bilderfassungsanordnung 3 kann jegliche geeignete Form aufweisen und deshalb eine Röntgenstrahl-Anordnung, eine Ultraschall-Abtastanordnung, eine magnetische Resonanzbild-Anordnung oder eine andere äquivalente Anordnung sein, die zum Erfassen eines geeigneten Bildes in der Lage ist. Das Bild wird verarbeitet 4 und gespeichert 5. Das gespeicherte Bild kann von einem Betreiber genutzt werden, um Befehle vorzubereiten, die nachfolgend von einem Roboter zu befolgen sind. Die Befehle können einen Weg spezifizieren, dem ein von dem Computer getragenes Werkzeug relativ zu dem Werkstück zu folgen hat, oder ein inneres Ziel spezifizieren, das von dem Roboter zu bearbeiten ist, beispielsweise wenn der Roboter das Schießen eines Teilchenstrahls oder eines schmalen Strahlungsstrahls auf einen speziellen Ort innerhalb des Werkstücks steuert.
Die Befehle 6 und das gespeicherte Bild werden in einem geeigneten Format vorgehalten.
2 zeigt schematisch einen Roboter 7, welcher benachbart zu dem Werkstück 1 mit den Markierungen 2 in Position gebracht ist.
Der Roboter 7 umfaßt ein Gehäuse 8, welches eine Stützsäule 9 trägt, an welcher ein Stützarm 10 schwenkbar angebracht ist, der einen End-Bearbeitungseinrichtung-Tragearm 11 trägt. Der End-Bearbeitungseinrichtung-Tragearm 11 trägt an seinem freien Ende ein Werkzeug oder eine andere End-Bearbeitungseinrichtung 12. Die verschiedenen Arme sind mit Hilfe von Drehverbindungen miteinander verbunden.
Auf dem End-Bearbeitungseinrichtung-Tragearm 11 ist eine Kamera oder eine Bilderfassungsvorrichtung 13 in Form einer Fernsehkamera, einer digitalen Kamera, einer CCD-Einrichtung oder dergleichen montiert. Die Kamera 13 ist zum Erfassen eines sichtbaren Bildes des Werkstücks 1 und der Markierungen 2 angepaßt.
Gemäß 3 erfaßt die Kamera 13 ein Bild des Werkstücks zusammen mit den sichtbaren Markierungen, und das Bild wird digitalisiert und in einen Speicher 14 gegeben. Der Speicher 14 speichert auch Daten, die sich auf die Position der Komponenten des Roboters beziehen.
Alle verschiedenen bewegbaren Teile des Roboters werden unter der Kontrolle einer anspruchsvollen Steueranordnung bewegt, und folglich können Daten leicht erzeugt werden 15, die die exakte Position aller Komponententeile des Roboters anzeigen.
Wenn ein erstes Bild gespeichert ist, wird der Roboter bewegt und ein zweites Bild aufgenommen. Dieser Prozeß wird mehrmals wiederholt.
Die in dem Speicher 14 gespeicherten Bilder werden in einem Komparator 16 mit gespeicherten Bildern aus dem Speicher 5 gemäß 1 verglichen. Auf das Vergleichen der gespeicherten Bilder wird eine Ausrichtungsprozedur 17 ausgeführt, in welcher die Position der Kamera 13, die von dem Roboter getragen wird, bezüglich des Referenzrahmens bestimmt wird, der durch die gespeicherten Bilder des Werkstücks identifiziert wird.
Folglich kann die Steueranordnung 18 des Roboters bezüglich der Koordinate des Referenzrahmens des Roboters die exakte Position und Orientierung des Werkstücks relativ zu dem Roboter bestimmen, was den Roboter dazu in die Lage versetzt, exakt den Befehlen 19 zu folgen, welche unter Referenz auf die ursprünglichen Bilder des Werkstücks abgeleitet sind.
Es wird deshalb darauf hingewiesen, daß der Roboter vorbestimmte Bearbeitungen an dem Werkstück exakt bewirkten kann, ohne daß irgendwelche Zeit für eine Vorausrichtung relativ zu dem Werkstück verbraucht wird, indem eine automatisierte Anordnung genutzt wird, die das Risiko von auftretenden Fehlern minimiert.
Es wird Bezug genommen auf die 4 und 5. 4 zeigt schematisch einen End-Bearbeitungseinrichtung-Tragarm 20 eines Roboters, auf dem eine Kamera-Bilderfassungsvorrichtung 21 montiert ist, beispielsweise eine Fernsehkamera, eine digitale Kamera oder eine CCD-Einrichtung. Die Kamera 21 ist so angeordnet, daß im Sichtbereich der Kamera ein Werkzeug 22 ist, welches von dem End-Bearbeitungseinrichtung-Tragarm 20 getragen wird.
Für die Steueranordnung in dem Roboter ist es zweckmäßig, Daten zu haben, die die exakte Position der Spitze des Werkzeugs 22 bezüglich des End-Bearbeitungseinrichtung-Arms 20 oder eines anderen Teils des Roboters anzeigen. Um diese Daten zu erfassen, wird die Spitze des Werkzeugs 22 mit der Kamera 21 dargestellt. Der Ort der Bildpunkte der Spitze des Werkzeugs wird beeinflußt, indem eine geeignete Schwellwert-Technik und Computeranalyse des gemessenen Bildes genutzt werden. Beim Darstellen der Spitze des Werkzeugs kann es für einen „Hintergrund" einer Kontrasthelligkeit oder -farbe angebracht sein, unmittelbar hinter dem mit der Kamera dargestellten Werkzeug angeordnet zu sein. Dieses erleichtert die Nutzung des Schwellwert-Verfahrens durch den Computer, um die Pixel zu identifizieren, in denen die Spitze angeordnet ist.
Es werden Daten gespeichert, die sich auf die Position des End-Bearbeitungseinrichtung-Trägers und den Bildpunktort der Spitze des Werkzeugs beziehen.
Anschließend wird der End-Bearbeitungseinrichtung-Träger bewegt, und der Prozeß der Darstellung der Spitze des Werkzeugs, der Bestimmung des Bildpunktorts der Spitze des Werkzeugs und der Speicherung der Daten betreffend die Position des End-Bearbeitungseinrichtung-Trägers und des Bildpunktorts der Spitze des Werkzeugs wird wiederholt. Dieser Prozeß kann oft wiederholt werden, bis für eine exakte Berechnung, die zur Bestimmung der Position der Spitze des Werkzeugs relativ zu dem End-Bearbeitungseinrichtung-Träger ausgeführt wird, ausreichend Daten akkumuliert wurden. Theoretisch ist es möglich, die Berechnung auszuführen, wenn drei Datenfolgen erfaßt wurden. Eine größere Genauigkeit wird jedoch erreicht, wenn eine größere Anzahl von Datenfolgen aufgenommen und gespeichert wird.

Claims

Verfahren zum Ausrichten eines Roboters relativ zu einem Werkstück (1), welches mehrere sichtbare Markierungen (2) aufweist, wobei der Roboter (7) eine optische Bilderfassungsanordnung (13) trägt, wobei das Verfahren die folgenden Schritte umfaßt: einen anfänglichen Schritt zum Erfassen von Bildern des Werkstücks und der Markierungen, zum Speichern der Bilder (5) und zum Vorbereiten von Befehlen für den Roboter bezüglich Koordinaten der gespeicherten Bilder, und nachfolgende Schritte zum Bestimmen von Daten mittels des Anordnen von Arbeitsteilen des Roboters (7) in einer ersten Beziehung mit der optischen Bilderfassungsanordnung (13), wobei die Bilderfassungsanordnung (13) in Richtung des Werkstücks gerichtet ist, zum Erfassen und zum Speichern (14) eines Bildes des Werkstücks und der Markierungen und zum nachfolgenden Bewegen von Komponententeilen des Roboters, so daß die Bilderfassungsanordnung ein zweites anderes Bild des Werkstücks und der Markierungen erfaßt, und zum Wiederholen des Prozesses zum Erfassen von Daten, einschließlich mehrerer Abbildungen und Daten für jedes Bild, die die Position der Komponententeile des Roboters betreffen, wenn das Bild erfaßt wird, wobei die Daten gespeichert werden, und wobei das Verfahren einen Schritt zum Vergleichen (16) der anfänglich erfaßten Bilder des Werkstücks mit Bildern, die mit Hilfe der optischen Bilderfassungsanordnuug (13) in den nachfolgenden Schritten erfaßt wurden, und zum Bewirken einer Ausrichtung des Roboters umfaßt, um den Roboter (7) in die Lage zu versetzen, eine oder mehrere Operationen bezüglich des Werkstücks auf Basis der Befehle auszuführen, die für den Roboter bezüglich der Koordinaten der gespeicherten, in dem Bild oder dem Schritt erfaßten Bilder vorbereitet wurden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß vier oder mehr sichtbare Markierungen (2) an dem Werkstück vorgesehen sind.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß das Verfahren nachfolgende Schritte zum Kalibrieren eines Werkzeugs (22) umfassen, das von dem Roboter (7) gehalten wird, wobei die nachfolgenden Schritte Schritte zum Nutzen der Bilderfassungsanordnung (13) zum aufeinanderfolgenden Erfassen von Bildern eines mit Hilfe eines Teils des Roboters getragenen Werkzeugs, wenn das Teil des Roboters in unterschiedlichen Positionen ist, und zum nachfolgenden Bestimmen der exakten relativen Position einer Spitze des Werkzeugs relativ zu dem Teil des Roboters umfassen.