DE102013110847B3

DE102013110847B3 - Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung

Info

Publication number: DE102013110847B3
Application number: DE102013110847.4A
Authority: DE
Inventors: Bernd Gombert; Leopold Krausen; Richard Roberts; András Ascai
Original assignee: Gomtec GmbH
Current assignee: ABB Schweiz AG
Priority date: 2013-10-01
Filing date: 2013-10-01
Publication date: 2015-01-22
Anticipated expiration: 2033-10-02
Also published as: KR101797169B1; JP2016538894A; CN105636542B; US9901411B2; WO2015049095A1; JP6284284B2; CN105636542A; US20160235489A1; KR20160071407A

Abstract

Die Erfindung betrifft eine Steuervorrichtung (25, 28, 29) zum Steuern eines Robotersystems (11) mit wenigstens einem Roboterarm (14, 18), an dem ein chirurgisches Instrument (15, 19) befestigt ist, das einen Endeffektor (17, 21) aufweist, wobei die Steuervorrichtung (25, 28, 29) ein Bilderfassungssystem (25, 28) umfasst, das die Steuervorgabe wenigstens einer Hand (30L, 30R) aufzeichnet, auswertet und in entsprechende Steuerbefehle für eine oder mehrere Komponenten des Robotersystems (11) umsetzt. Um die Steuerung des Robotersystems (11) zu vereinfachen und insbesondere intuitiv zu gestalten, wird vorgeschlagen, eine Steuereinheit (25) vorzusehen, die die Orientierung und/oder die Position und/oder den Öffnungsgrad des Endeffektors (15, 19) eines chirurgischen Instruments (15, 19) als erste Größe bzw. erste Größen ermittelt, und ferner die Orientierung und/oder die Position und/oder den Öffnungsgrad wenigstens einer Hand (30L, 30R) als zweite Größe bzw. zweite Größen ermittelt und im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe eine manuelle Steuerung des Endeffektors (17, 21) unterbindet, und im Falle einer Übereinstimmung einer oder mehrerer der ersten Größen mit der jeweils entsprechenden zweiten Größe eine Gestensteuerung freigibt, so dass das chirurgische Instrument (15, 19) von Hand betätigt werden kann.

Description

Die Erfindung betrifft eine Steuervorrichtung zum Steuern eines Robotersystems mit wenigstens einem Roboterarm, an dem ein chirurgisches Instrument mit einem Endeffektor befestigt ist, sowie ein Verfahren zum Steuern eines solchen Robotersystems mittels Gestensteuerung.
Chirurgische Eingriffe am menschlichen Körper werden heute in zunehmendem Maße in minimal invasiven Verfahren mit Unterstützung von Chirurgie-Robotern durchgeführt. Je nach Art des Eingriffs können die Chirurgie-Roboter mit verschiedenen chirurgischen Instrumenten, wie z. B. Endoskopen, Schneid-, Greif- oder Nähinstrumenten bestückt sein. Bei einer Operation werden die Instrumente mittels eines oder mehrerer Roboter über eine Schleuse in den Körper des Patienten eingeführt. Während der Operation wird das chirurgische Instrument dann von einem Chirurgen über eine Eingabevorrichtung des Robotersystems, wie z. B. ein Bildverarbeitungssystem zur Gestensteuerung, gesteuert.
Für den chirurgischen Einsatz werden verschiedenste Instrumente verwendet, wie z. B. Endoskope, laparoskopische Instrumente, Schneid-, Greif-, Halte-, Verbinde- oder Nähinstrumente sowie andere chirurgische Werkzeuge. Am distalen Ende der chirurgischen Instrumente bzw. Werkzeuge befindet sich der eigentliche Endeffektor, wie z. B. ein Skalpell, eine Schere, eine Nadel, ein Schaber, eine Feile, ein Greifer, eine Kamera, etc.. Die Endeffektoren können z. B. mittels eines Seilantriebs oder mit Hilfe eines im Schaft des Instruments integrierten Manipulators betätigt werden.
Bei einem Robotersystem mit einer Eingabevorrichtung zur Gestensteuerung kann der Benutzer das chirurgische Instrument und dessen Endeffektor durch manuelle Steuervorgaben steuern. Die Eingabevorrichtung des Robotersystems umfasst in diesem Fall eine Kamera, die innerhalb eines vorgegebenen Bilderfassungsbereichs die von einem Benutzer ausgeführten Gesten erfasst. Die von der Kamera aufgezeichneten Bilddaten werden von einer Bildverarbeitungseinheit (Software) verarbeitet und in entsprechende Steuerbefehle für die gesteuerten Komponenten des Robotersystems umgesetzt. Bei bekannten Gestensteuerungen kann der Benutzer in der Regel dynamische Gesten, wie z. B. Bewegungen, oder statische Gesten, wie z. B. Handzeichen, vorgeben, um eine bestimmte Komponente des Robotersystems zu steuern. Die gesteuerte Komponente wird dem Benutzer in der Regel auf einem Bildschirm angezeigt, so dass er die Reaktion des Robotersystems auf seine Steuervorgaben beobachten kann.
Aus der US 6 424 885 B1 ist ein Robotersystem für die minimal invasive Chirurgie bekannt, das mehrere manuelle Eingabegeräte umfasst, mit denen die chirurgischen Instrumente gesteuert werden. In Zusammenhang mit der Steuerung stellt sich das Problem, dass die Orientierung des Eingabegeräts mit der Orientierung eines Endeffektors eines chirurgischen Instruments in Übereinstimmung gebracht werden soll. Hierzu wird in der US 6,424,885 A ein Verfahren angewendet, das „mapping” genannt wird. Wie in 1 gezeigt ist, umfasst das Eingabegerät 1 zwei an einem Grundkörper 2 gelenkig befestigte Glieder 4, 5, die mit Hilfe der Finger einer Hand zusammengedrückt bzw. geöffnet werden können. Bei einer manuellen Betätigung der Glieder 4, 5 werden die Arbeitselemente 9, 10 des gesteuerten Endeffektors 6, der auf der rechten Seite dargestellt ist, entsprechend bewegt. Die Position des Eingabegeräts 1 wird durch einen Punkt P₁ bestimmt. Die Orientierung des Eingabegeräts 1 ist durch eine Längsachse 3 bestimmt, die durch den Punkt P₁ und den Grundkörper 2 zwischen den beiden Gliedern 4 und 5 verläuft. Analog dazu ist die Orientierung des Endeffektors 6 durch eine zwischen den Arbeitselementen 9 und 10 verlaufende Achse 8 festgelegt. Mittels des vorstehend genannten „mapping”-Verfahrens können die Orientierung des Eingabegeräts 1 und die Orientierung des Endeffektors in Übereinstimmung gebracht werden, so dass die beiden Achsen 3 und 8 in die gleiche Richtung verlaufen.
Das in der US 6 424 885 B1 beschriebene „mapping”-Verfahren ist jedoch nur dazu geeignet, die Orientierung eines Eingabegeräts 1 mit der Orientierung eines Endeffektors abzugleichen. Es ist jedoch nicht geeignet, die Orientierung, Position und/oder den Öffnungsgrad einer Hand mit derjenigen bzw. demjenigen eines Endeffektors abzugleichen.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Robotersystem mit einer Vorrichtung zur Gestensteuerung zu schaffen, bei dem ein Benutzer den Zustand seiner Hand einfach und schnell an den Zustand des gesteuerten Objekts anpassen kann.
Gelöst wird diese Aufgabe gemäß der Erfindung durch die in den unabhängigen Patentansprüchen angegebenen Merkmale. Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Gemäß der Erfindung wird eine Steuervorrichtung zum Steuern eines Robotersystems vorgeschlagen, das ein Bilderfassungssystem zur Gestensteuerung umfasst, welches die Steuervorgabe wenigstens einer Hand aufzeichnet, auswertet und in entsprechende Steuerbefehle für eine oder mehrere Komponenten des Robotersystems umsetzt. Die erfindungsgemäße Steuervorrichtung umfasst eine Steuereinheit, die die Orientierung und/oder die Position und/oder den Öffnungsgrad eines Endeffektors eines chirurgischen Instruments als eine erste Größe bzw. erste Größen, sowie die Orientierung und/oder die Position und/oder den Öffnungsgrad einer Hand als zweite Größe bzw. zweite Größen ermittelt und die im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe die Gestensteuerung des Endeffektors unterbindet, und die im Falle einer Übereinstimmung wenigstens einer der zweiten Größen mit der jeweils entsprechenden ersten Größe bzw. einer davon abhängigen Sollgröße eine Gestensteuerung des Endeffektors freigibt. Gemäß der Erfindung ist es also erforderlich, die Orientierung, die Position oder den Öffnungsgrad der Hand zunächst an die Orientierung, die Position und/oder den Öffnungsgrad des zu steuernden Instruments bzw. dessen Endeffektor anzupassen – also einen Abgleich durchzuführen. Nach einem solchen Abgleich lassen sich das chirurgische Instrument bzw. dessen Endeffektor dann manuell steuern.
Die Aktivierung der Gestensteuerung kann automatisch erfolgen. Sie kann aber auch aktiv geschaltet werden, wenn eine zusätzliche Bedingung erfüllt ist, wie z. B. dass der Benutzer die Gestensteuerung nochmals bestätigt. In diesem Fall wäre die Gestensteuerung erst dann möglich, wenn ein Abgleich zwischen Hand und Endeffektor sowie eine zusätzliche Bestätigung durch den Benutzer stattgefunden hat.
Gemäß einer bevorzugten Ausführungsform der Erfindung ist die Vorrichtung zur Gestensteuerung derart eingerichtet, dass zumindest zwei der Zustände: Orientierung, Position und Öffnungsgrad der steuernden Hand mit dem entsprechenden Zustand des Endeffektors übereinstimmen müssen, um die Gestensteuerung zu aktivieren.
Um den Benutzer zum Durchführen eines Abgleichs aufzufordern, ist die erfindungsgemäße Steuervorrichtung vorzugsweise derart ausgelegt, dass im Falle einer Abweichung wenigstens einer der Hand-Zustände von dem entsprechenden Zustand des Endeffektors ein Signal an den Benutzer ausgegeben wird. Dieses Signal kann beispielsweise ein optisches, akustisches oder haptisches Signal sein. Mit dem Signal wird der Benutzer dazu aufgefordert, die Orientierung und/oder Position und/oder den Öffnungsgrad der Hand an den entsprechenden Zustand des Endeffektors anzupassen.
Im Falle einer Übereinstimmung wenigstens eines der Zustände wird vorzugsweise ein Signal an den Benutzer ausgegeben, das dem Benutzer den erfolgreichen Abgleich anzeigt. So kann der Benutzer beispielsweise mittels eines optischen Signals auf den erfolgreichen Abgleich hingewiesen werden.
Um den Abgleich zwischen der Hand und dem Endeffektor zu erleichtern, kann z. B. ein virtuelles Element auf einem Bildschirm eingeblendet werden, dessen Orientierung und/oder Position und/oder Öffnungsgrad derjenigen bzw. demjenigen der Hand entspricht. Bei dem virtuellen Element kann es sich beispielsweise um eine Nachbildung des gesteuerten Endeffektors handeln. Im Falle einer Schere kann beispielsweise das Bild einer chirurgischen Schere, oder im Falle eines Skalpells das Bild eines Skalpells dargestellt werden.
Darüber hinaus kann ein weiteres Referenzelement angezeigt werden, das die Orientierung und/oder Position und/oder den Öffnungsgrad des gesteuerten Endeffektors darstellt und das dem Benutzer als Soll-Vorgabe für den Abgleich zwischen der Hand und dem Endeffektor dient. Der Benutzer kann somit einfach und intuitiv die Orientierung und/oder Position und/oder den Öffnungsgrad der Hand an die Soll-Vorgabe des Referenzelements anpassen. Den Abgleichungsprozess kann er dabei am Bildschirm verfolgen.
Zur Bestimmung der Orientierung, der Position oder des Öffnungsgrades einer Hand gibt es prinzipiell mehrere Möglichkeiten. Gemäß einer Ausführungsform der Erfindung kann die Position einer Hand beispielsweise ermittelt werden, indem auf der Hand oder dem zugehörigen Arm ein charakteristischer Punkt durch das Bilderfassungssystem erkannt und dieser Punkt als Referenzpunkt für die Position der Hand festgelegt wird. Das Bilderfassungssystem kann z. B. einen Handgelenkspunkt, einen Punkt auf der Fingerspitze, oder einen Punkt an einem Knöchel als Referenzpunkt ermitteln. Die Position dieses Punktes wird von der Steuereinheit vorzugsweise im Koordinatensystem des Bilderfassungssystems ermittelt.
Die Orientierung der Hand kann beispielsweise durch einen Vektor festgelegt werden, dessen Richtung im Koordinatensystem des Bilderfassungssystems ermittelt wird. Der Vektor kann z. B. auf einer Linie zwischen dem Handgelenk und der Fingerspitze des Zeigefingers, oder zwischen dem Handgelenk und der Spitze des Daumens liegen. Er könnte z. B. aber auch auf einer Linie liegen, die zwischen Daumen und Zeigefinger in Richtung des Handgelenks verläuft. Prinzipiell können beliebige Vektoren ermittelt werden, welche dann als Referenz für die Orientierung der Hand festgelegt werden. Die Erkennung des Orientierungsvektors bzw. der zugehörigen Linie erfolgt vorzugsweise automatisch durch das Bilderfassungssystem. Die Orientierung der Hand wird vorzugsweise im Koordinatensystem des Bilderfassungssystems bestimmt.
Der Öffnungsgrad der Hand kann beispielsweise ermittelt werden, indem zwei Vektoren festgelegt und der Winkel zwischen den Vektoren im Koordinatensystem des Bilderfassungssystems bestimmt wird. Ein erster Vektor kann beispielsweise von einem Punkt am Handgelenk in Richtung des Daumens, und ein zweiter Vektor von dem Punkt am Handgelenk in Richtung der Zeigefingerspitze zeigen. Die Vektoren bzw. die zugehörigen Linien können automatisch durch das Bilderfassungssystem ermittelt werden.
Die erfindungsgemäße Steuervorrichtung für das Robotersystem kann ferner ein handbetätigtes Hilfselement umfassen, das dazu dient, die Handbewegung des Benutzers zu führen. Gemäß einer bevorzugten Ausführungsform der Erfindung hat das Hilfselement gleich viele Bewegungs-Freiheitsgrade wie der gesteuerte Endeffektor des chirurgischen Instruments. Im Falle eines Greifers, bei dem sich zwei gegenüberliegend angeordnete Greifbacken um eine Achse aufeinander zu bzw. voneinander weg bewegen können, hat das Hilfselement vorzugsweise genau einen Freiheitsgrad. Es kann aber auch mehr oder weniger Freiheitsgrade aufweisen.
Die Form des handbetätigten Hilfselements entspricht vorzugsweise der Form des gesteuerten Endeffektors. Im Falle einer chirurgischen Schere oder eines Greifers kann das Hilfselement beispielsweise zwei Schenkel aufweisen, die über ein Gelenk miteinander verbunden sind und somit auf und zu bewegt werden können.
Gemäß einer Ausführungsform der Erfindung kann beispielsweise die Orientierung, die Position und/oder der Öffnungsgrad des Hilfselements durch das Bilderfassungssystem erfasst werden. Die so gewonnenen Informationen können dann als Referenzgrößen für die Orientierung, Position und/oder den Öffnungsgrad der Hand genutzt werden. Da das handbetätigte Hilfselement klar definierte Elemente aufweist, kann die Orientierung, die Position und/oder der Öffnungsgrad des Hilfselements und damit auch der Hand besonders einfach und genau bestimmt werden. Dieses Verfahren bietet somit Vorteile einer Erfassung von Punkten auf der Hand. Auf dem Hilfselement können gegebenenfalls Markierungen vorgesehen sein, um die Erkennung weiter zu vereinfachen.
Erfindungsgemäß können durch die Steuerung soviele Punkte auf der Hand oder dem Hilfselement festgelegt werden, wie zur Bestimmung der Orientierung, der Position und des Öffnungsgrades der Hände benötigt werden. Werden für die Gestensteuerung Hilfselemente genutzt, so können auch Punkte auf den Hilfselementen festgelegt werden. Beispielsweise können weitere Punkte bestimmt werden, die auf den Fingerspitzen oder den Gliedenden der Hilfselemente liegen.
Diese Punkte können dann auch genutzt werden, einen Vektor festzulegen. Beispielsweise kann der Vektor so definiert werden, dass er durch zwei Punkte durchlaufen muss. Alternativ können drei Punkte auf einer Hand und/oder auf dem Hilfselement genutzt werden, um eine virtuelle Ebene aufzuspannen, auf welcher der Vektor liegen muss.
Ferner können die auf den Spitzen bzw. auf den Gliedenden des Hilfselements befindlichen Punkte genutzt werden, um den Öffnungsgrad der Hände zu bestimmen, indem der Abstand zwischen den Fingerspitzen ermittelt wird. Je größer der Abstand zwischen zwei Punkten ist, desto größer ist der Öffnungsgrad der Finger.
Wahlweise oder zusätzlich kann das handbetätigte Mittel auch einen Sensor, insbesondere einen Inertialsensor umfassen, der z. B. die Lage im Raum und/oder eine Bewegung in bzw. um drei Raumachsen messen kann. Die Sensordaten können beispielsweise berührungslos an eine Steuereinheit übertragen werden. Die vom Sensor gelieferten Daten können wiederum dazu genutzt werden, die Orientierung, Position und/oder den Öffnungsgrad der Hand zu bestimmen.
Gemäß einer bevorzugten Ausführungsform der Erfindung werden die Orientierung, die Position und/oder der Öffnungsgrad der Hand durch wenigstens zwei der vorstehend genannten Methoden redundant ermittelt, d. h. durch optische Erkennung der Hand, optische Erkennung des Hilfselements und/oder mit Hilfe eines im Hilfselement integrierten Sensors. Dadurch kann die Fehleranfälligkeit der Gestensteuerung deutlich reduziert und die Zuverlässigkeit des Systems verbessert werden.
Eine Steuervergabe der Hand wird vorzugsweise mit einem vorgegebenen Skalierungsfaktor in eine entsprechende Bewegung des Endeffektors umgesetzt. Bei einem Skalierungsfaktor von eins bewegt sich der Endeffektor im selben Maßstab wie die Hand. Der Skalierungsfaktor kann aber auch größer oder kleiner eingestellt werden. So kann beispielsweise eine Handbewegung eine um den Faktor 2 reduzierte Bewegung des Endeffektors bewirken; d. h., dass eine Reduzierung des Öffnungsgrades der Finger um 20° eine Reduzierung des Öffnungswinkels der Arbeitsglieder um 10° bewirken würde. Für unterschiedliche Bewegungsarten oder Freiheitsgrade können auch unterschiedliche Skalierungsfaktoren definiert werden. z. B. könnte für jede Bewegung entlang und/oder um die Achsen x, y, z ein separater Skalierungsfaktor für die Handbewegungen sowie für das Verhältnis Öffnungswinkel und Öffnungsgrad gewählt werden. Auch bezüglich der Umsetzung der Strecke, der Geschwindigkeit und der Beschleunigung können jeweils unterschiedliche Skalierungsfaktoren definiert werden. Die Skalierungsfaktoren sind also erfindungsgemäß beliebig einstellbar. Sie können daher auch in Abhängigkeit vom Ort, an dem sich der Endeffektor befindet, variieren.
Wie eingangs erwähnt wurde, umfasst die Gestensteuerung ein Bilderfassungssystem, das die vom Benutzer ausgeführten manuellen Gesten aufzeichnet und auswertet. Die Steuerung des chirurgischen Instruments bzw. des Endeffektors ist vorzugsweise aktiv, solange sich die steuernde Hand innerhalb eines vorgegebenen Bilderfassungsbereichs befindet. Verlässt die Hand den Bilderfassungsbereich, wird die Steuerung vorzugsweise deaktiviert.
Die erfindungsgemäße Steuervorrichtung umfasst auch eine Kamera, die das gesteuerte Objekt aufzeichnet, und einen Bildschirm, auf dem das aufgezeichnete Bild dargestellt wird. Gemäß einer bevorzugten Ausführungsform der Erfindung wird das gesteuerte Objekt am Bildschirm so dargestellt, dass die Bewegung des Objekts am Bildschirm mit der entsprechenden Bewegung der Hand übereinstimmt. Das am Bildschirm abgebildete Objekt bewegt sich also in Bezug auf ein Koordinatensystem der Bildschirmanzeige in dieselbe Richtung wie die Bewegung der Hand in Bezug auf das Koordinatensystem des Bilderfassungssystems. Bewegt der Benutzer seine Hand beispielsweise nach oben (in z-Richtung des Koordinatensystems des Bilderfassungssystems), so bewegt sich das auf dem Bildschirm dargestellte Bild des Endeffektors ebenfalls nach oben (in z-Richtung des Koordinatensystems der Bildschirmanzeige). Die reale Bewegung des Endeffektors verläuft dagegen in der Regel in eine andere Richtung. Auf dem Bildschirm wird die Bewegung des Endeffektors jedoch in der derselben Richtung wie die Bewegung der Hand dargestellt. Eine solche Darstellung hat den wesentlichen Vorteil, dass ein Benutzer, wie z. B. ein Chirurg, das Robotersystem sehr einfach und intuitiv steuern kann. Es ist daher keine lange Einarbeitungszeit oder gar ein Umdenken erforderlich.
Um diese Art der Darstellung zu realisieren, ist der Kamera, die den Endeffektor aufnimmt, ein Koordinatensystem zugeordnet, das an den Bildachsen des von der Kamera aufgenommenen Bildes ausgerichtet ist. Das Koordinatensystem der Kamera hat in der Regel eine andere Orientierung als das Koordinatensystem des Bilderfassungssystems. Bezüglich der Kamera hat es aber vorzugsweise die gleiche Orientierung wie das Koordinatensystem des Bilderfassungssystems bezüglich des Erfassungsbereichs oder das Koordinatensystem der Bildschirmanzeige bezüglich des Bildschirms.
Bei einer Handbewegung innerhalb des Bilderfassungsbereichs wird der Endeffektor vorzugsweise so gesteuert, dass er sich im Koordinatensystem der Kamera in dieselbe Richtung bewegt wie im Koordinatensystem des Bilderfassungssystems. Führt der Benutzer beispielsweise eine Bewegung in z-Richtung im Koordinatensystem des Bilderfassungssystems durch, bewegt sich der Endeffektor ebenfalls in z-Richtung, aber im Koordinatensystem der Kamera. Die z-Koordinate der Kamera wird wiederum als z-Koordinate im Koordinatensystem des Bildschirms dargestellt. Entsprechendes gilt analog auch für die anderen Koordinaten. Die erfindungsgemäße Steuereinheit ist also so ausgelegt, dass eine Steuervorgabe einer Hand im Koordinatensystem des Bilderfassungssystems in eine entsprechende Aktion des Endeffektors im Koordinatensystem der Kamera umgesetzt wird.
Die Orientierung, die Position und/oder der Öffnungsgrad des Endeffektors sind bekannte Größen, da das Robotersystem üblicherweise eine Vielzahl von Sensoren aufweist, mit denen die genannten Größen gemessen werden können. Zur Erkennung der Orientierung, der Position und/oder des Öffnungsgrades des Endeffektors können somit die im System vorhandenen Informationen genutzt werden. Da die Steuereinheit die Steuerbefehle für den Endeffektor generiert, sind somit auch der Steuereinheit die genannten Größen bekannt.
Der Steuereinheit sind zudem alle Koordinatensysteme bekannt, so dass mittels einer Koordinatentransformation eine Größe von einem Koordinatensystem in eine entsprechende Größe des anderen Koordinatensystems umgerechnet werden kann. Somit können die Endeffektoren stets im Kamerakoordinatensystem betätigt werden, unabhängig davon, wie das Kamerakoordinatensystem zu einem anderen Koordinatensystem ausgerichtet ist.
Alternativ könnte die Orientierung, Position und/oder der Öffnungsgrad des Endeffektors aber auch aus den von einer Kamera aufgezeichneten Bilddaten gewonnen werden, analog zur Bilderfassung der Hand oder des Hilfselements.
Die Erfindung betrifft auch ein Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung. Gemäß der Erfindung werden die Orientierung und/oder die Position und/oder der Öffnungsgrad eines Endeffektors eines chirurgischen Instruments als eine erste Größe bzw. als erste Größen sowie die Orientierung und/oder die Position und/oder der Öffnungsgrad wenigstens einer Hand eine zweite Größe bzw. zweite Größen ermittelt. Im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe wird eine manuelle Steuerung des Endeffektors automatisch unterbunden. Sobald eine oder mehrere der korrespondierenden Größen übereinstimmen, wird die Gestensteuerung vorzugsweise automatisch freigegeben. Im letzteren Fall war der Abgleich zwischen Hand und dem gesteuerten Endeffektor erfolgreich – d. h. die Orientierung, die Position und/oder der Öffnungsgrad von Hand und Endeffektor stimmen überein. Nach dem Abgleich kann der Endeffektor durch Gestensteuerung gesteuert werden. Es kann aber auch vorgesehen sein, dass der Benutzer die Gestensteuerung nochmals bestätigen muss, um sie vollständig zu aktivieren.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 eine Darstellung eines aus dem Stand der Technik bekannten Eingabegeräts und einen damit gesteuerten Endeffektor;
2 eine perspektivische Ansicht eines Robotersystems für die minimal invasive Chirurgie mit zwei Roboterarmen und einer Steuervorrichtung zur Durchführung einer Gestensteuerung;
3 eine Seitenansicht mehrerer chirurgischer Instrumente, die in den Körper eines Patienten eingeführt sind;
4 eine Darstellung zweier Hände und verschiedener Bezugspunkte und – Linien zur Bestimmung der Orientierung, der Position und des Öffnungswinkels der Hände;
5 eine Darstellung zweier Hände ähnlich 4, wobei jede Hand ein Hilfselement zur Führung der Handbewegungen hält;
6 einen Bildschirm, an dem die mittels Gestensteuerung gesteuerten Endeffektoren sowie zwei virtuelle Endeffektoren dargestellt sind; und
7 eine schematische Darstellung verschiedener Verfahrensschritte eines Verfahrens zum Steuern eines Robotersystems mittels Gestensteuerung.
Bezüglich der Erläuterung von 1 wird auf die Beschreibungseinleitung verwiesen.
2 zeigt eine schematische Darstellung eines Robotersystems 11 für die minimal invasive Chirurgie mit zwei Roboterarmen 14, 18 und einer Steuervorrichtung 25, 28, 29 zum Steuern der verschiedenen Komponenten des Robotersystems 11 mittels Gestensteuerung. Die Roboterarme 14, 18 sind hier über eine Schiene 24 an einem OP-Tisch 12 befestigt. Die Roboterarme 14, 18 können dabei gleichartig oder unterschiedlich aufgebaut sein. Auf dem OP-Tisch 12 liegt ein Patient 13, an dem ein chirurgischer Eingriff vorgenommen werden soll.
Die Roboterarme 14 und 18 sind jeweils mit einem chirurgischen Instrument 15 bzw. 19 bestückt. Chirurgische Instrumente können prinzipiell alle Instrumente sein, die für einen chirurgischen Eingriff geeignet sind, wie z. B. ein Skalpell, ein Greifer, eine Schere, elektrochirurgische Instrumente, Endoskope, eine Kamera, Stapler, usw.. Das Instrument 15 kann beispielsweise als Schere, und das Instrument 19 als Greifer ausgebildet sein. Die Instrumente 15, 19 verfügen typischerweise über einen Schaft 16, 20, an dessen distalem Ende ein der Funktion des Instruments entsprechender Endeffektor 17, 21 angebracht ist (siehe 3).
Die Instrumente 15, 19 werden durch die Roboterarme 14 und 18 bewegt und über kleine künstliche Öffnungen in den Körper des Patienten 13 eingeführt. Durch eine Betätigung der Endeffektoren 17 bzw. 21 kann dann der eigentliche chirurgische Eingriff durchgeführt werden.
Zur Steuerung der Endeffektoren 17, 21 – hierunter soll im Folgenden die Positionierung und Orientierung im Raum als auch die Betätigung der eigentlichen Arbeitselemente verstanden werden – ist eine Steuervorrichtung mit einem Bildverarbeitungssystem 25, 28 vorgesehen. Das Bilderfassungssystem umfasst eine Kamera 28, die einen kubischen Erfassungsbereich 36 überwacht. Das Bilderfassungssystem ist dabei in der Lage, manuell ausgeführte Gesten zu erkennen und zu interpretieren. Die von der Kamera aufgezeichneten Bilddaten werden an eine Steuereinheit 25 weitergeleitet und von einer darin enthaltenen Auswerteeinheit (Software) ausgewertet. Die Steuereinheit 25 generiert dann entsprechend der erkannten Gesten Steuerbefehle, mit denen die Aktuatoren der gesteuerten Komponenten 14, 15, 17, 18, 19, 21 angesteuert werden. Dabei können die Roboterarme 14, 18, die Instrumente 15, 19 und/oder die Endeffektoren 17, 21 jeweils einzeln oder alle gleichzeitig betätigt werden.
Gemäß einem Ausführungsbeispiel kann z. B. mit der linken Hand 30 _L des Benutzers der linke Endeffektor 21, und mit der rechten Hand 30 _R der rechte Endeffektor 17 betätigt werden. Unter dem Begriff „Betätigung” des Endeffektors wird dabei verstanden, dass der Endeffektor 17, 21 im dreidimensionalen Raum positioniert bzw. orientiert sowie eine bestimmte Funktion, wie z. B. Schneiden, Greifen, oder Koagulieren, ausgeführt werden kann. Die Endeffektoren 17, 21 können wahlweise positions- und/oder geschwindigkeitsgesteuert bzw. -geregelt werden.
Die Roboterarme 14 und 18 stehen hier über jeweils ein Kabel 26 bzw. 27 mit der Steuereinheit 25 in Verbindung. Alternativ könnte auch eine drahtlose Steuerung vorgesehen sein.
Wie vorstehend erwähnt wurde, steht dem Benutzer ein vorgegebener Erfassungsbereich 36 zur Verfügung, in dem er manuelle Gesten ausführen kann, um das Robotersystem 11 zu steuern. Die Steuervorrichtung 25, 28, 29 ist vorzugsweise so ausgelegt, dass nur Gesten, die innerhalb dieses Bereichs 36 ausgeführt werden, von der Steuereinheit 25 in entsprechende Steuerbefehle umgesetzt werden. Außerhalb des Erfassungsbereichs 36 durchgeführte Gesten werden dagegen nicht in entsprechende Steuerbefehle umgesetzt.
Der Erfassungsbereich 36 hat ein erstes Koordinatensystem K_G, in dem die Positionen der Hände 30 _L, 30 _R sowie deren Orientierung im dreidimensionalen Raum eindeutig bestimmbar sind. So kann beispielsweise die Richtung bestimmt werden, in der die Hand 30 _L, 30 _R oder deren Finger zeigen, sowie die Abstände der Hände 30 _L, 30 _R oder Finger zueinander. Darüber hinaus kann auch die Bewegung der Hände 30 _L, 30 _R bzw. deren Finger bestimmt werden, wie z. B. die zurückgelegte Strecke, die Bewegungsgeschwindigkeit und/oder die Bewegungsrichtung.
Um die Position einer Hand 30 _L, 30 _R zu bestimmen, können mit Hilfe des Bilderfassungssystems 25, 28, ein oder mehrere Punkte auf einer Hand 30 _L, 30 _R und/oder dem zugehörigen Arm erkannt und als Referenzpunkt für die Position der jeweiligen Hand 30 _L, 30 _R verwendet werden. Wie in 4 gezeigt ist, können beispielsweise die Punkte P_1L der linken Hand 30 _L und P_1R der rechten Hand 30 _R, die jeweils auf dem Handgelenk der Hände 30 _L, 30 _R liegen, bestimmt werden. Die Position der beiden Hände 30 _L, 30 _R kann somit eindeutig im Koordinatensystem K_G beschrieben werden.
Darüber hinaus können auch weitere Punkte auf den Händen, wie z. B. die Punkte P_2L, P_2R und P_3L, P_3R auf den Fingerspitzen von Daumen und Zeigefinger der linken und rechten Hand 30 _L, 30 _R als Referenzpunkte definiert werden. Um die Orientierung der Hände 30 _L, 30 _R zu bestimmen, kann zwischen jeweils zwei Punkten der Hand 30 _L bzw. 30 _R eine Linie 31, 32, 33 oder 34 gelegt werden. Die Orientierung einer Hand 30 _L, 30 _R kann z. B. als Vektor definiert werden, der auf einer der genannten Linien 31 bis 34 liegt. Alternativ könnte aber auch ein Vektor V_1L, V_1R definiert werden, der zwischen den genannten Linien 31 und 32 bzw. 33 und 34 liegt. Ein solcher Vektor könnte in einer Ebene liegen, die durch die Punkte Punkte P_1L, P_2L und P_3L der linken Hand 30 _L bzw. durch die drei Punkte P_1L, P_2R und P_3R der rechten Hand 30 _R aufgespannt wird. Dieser Vektor V_1L, V_1R wird dann als Referenz für die Orientierung der Hand 30 _L bzw. 30 _R herangezogen.
Alternativ könnten die Vektoren V_1L und V_1R aber auch jeden beliebigen anderen Winkel einnehmen und z. B. direkt auf die Fingerspitze des Zeigefingers (Punkt P_3L bzw. P_3R) zeigen.
Der Öffnungsgrad einer Hand 30 _L, 30 _R zwischen dem Daumen und dem Zeigefinger kann beispielsweise durch den Winkel α_L bzw. α_R zwischen den Linien 31 und 32 bzw. 33 und 34 definiert werden. Dieser Winkel α_R, α_L ist abhängig vom Abstand zwischen Daumen und Zeigefinger. Der Öffnungsgrad einer Hand 30 _L, 30 _R kann aber auch durch den Abstand von zwei Punkten P_2L, P_2R, P_3L, P_3R auf der Hand 30 _L, 30 _R bestimmt werden, z. B. durch den Abstand von der Spitze des Zeigefingers P_3L und der Spitze des Daumens P_2L.
Die Position, Orientierung und der Öffnungsgrad einer Hand 30 _L, 30 _R sind somit eindeutig im Koordinatensystem K_G bestimmbar. Darüber hinaus kann zu jeder Veränderung der Position, Orientierung und des Öffnungsgrades eine zugehörige Geschwindigkeit oder Beschleunigung bestimmt werden.
Wie in 4 gezeigt, nehmen die Vektoren V_1L bzw. V_1R vorteilhafterweise stets den halben Öffnungswinkel α_L bzw. α_R zwischen den Linien 31 und 32 bzw. 33 und 34 ein.
Neben der vorstehend beschriebenen Erkennung von Hand- bzw. Armpunkten gibt es aber noch verschiedene weitere Möglichkeiten zur Bestimmung der Position, der Orientierung oder des Öffnungsgrades einer Hand. Wie in 5 gezeigt ist, kann die Steuervorrichtung 25, 28, 29 des Robotersystems 11 auch handbetätigte Hilfselemente 35 _L, 35 _R umfassen, die dazu dienen, eine Öffnungs- und Schließbewegung der Hand zwischen Daumen und Zeigefinger zu führen. Im dargestellten Ausführungsbeispiel ist für jede Hand 30 _L, 30 _R ein eigenes Führungselement 35 _L, 35 _R vorgesehen.
Jedes Hilfselement 35 _L, 35 _R umfasst zwei gelenkig miteinander verbundene Glieder, die in ihrer Form und Anordnung einem Greifer oder einer chirurgischen Schere entsprechen. Die Hilfselemente 35 _L, 35 _R haben jeweils genau einen Freiheitsgrad, d. h. es ist nur das aufeinander zu- bzw. auseinander Bewegen von Daumenspitze und Zeigefingerspitze um eine definierte Achse 37 möglich. Durch diese Limitierung der Bewegungsfreiheit von Daumen und Zeigefinger können daher Fehlinterpretationen bei der Gestenerkennung ausgeschlossen werden, da sich die Fingerspitzen nur entlang einer fest definierten Bahn bewegen können. Die beweglichen Glieder der Hilfselemente 35 _L, 35 _R können beispielsweise Schlaufen 36 _L, 36 _R aufweisen, in die der Benutzer seinen Daumen bzw. Zeigefinger stecken kann.
In analoger Weise zur Bestimmung markanter Punkte auf den Händen 30 _L, 30 _R können auch Punkte auf den Hilfselementen 35 _L, 35 _R ermittelt und daraus die Position, Orientierung und/oder der Öffnungsgrad der zugehörigen Hand 30 _L bzw. 30 _R bestimmt werden. Anstelle der Handgelenkspunkte P_1L bzw. P_1R könnten z. B. die Gelenks-Punkte 37 _L bzw. 37 _R des Hilfselements verwendet werden, die in 5 dargestellt sind. Anstelle der Vektoren V_1L und V_1R könnten z. B. die Gelenks-Achsen verwendet werden, die durch die Punkte 37 _L bzw. 37 _R verlaufen. Als Referenz für den Öffnungsgrad der Hand könnte z. B. der Winkel zwischen den gelenkig miteinander verbundenen Gliedern eines Hilfselements 35 _L bzw. 35 _R oder der Abstand zwischen den beiden Gliedenden (analog zu den Fingerspitzen) herangezogen werden.
Alternativ oder zusätzlich könnten die Hilfselemente 35 _L und 35 _R jeweils mit einer Sensorik 38 _L und 38 _R ausgerüstet sein. Diese Sensorik kann ebenfalls zur Bestimmung der Position, der Orientierung und/oder des Öffnungsgrades der Hand genutzt werden. Wenn z. B. ein Winkelsensor vorgesehen ist, der den Winkel der beiden gelenkig miteinander verbundenen Glieder misst, kann der Öffnungsgrad der Hand 30 _L bzw. 30 _R zwischen Daumen und Zeigefinger ermittelt werden. Darüber hinaus könnten auch magnetische Sensoren, Beschleunigungs- oder Inertialsensoren integriert sein, mit denen die Position, die Orientierung, aber auch einen Bewegungsgeschwindigkeit oder Beschleunigung der Hand 30 _L bzw. 30 _R erfasst werden können. Die Sensordaten können z. B. berührungslos an die Steuereinheit 25 übertragen werden. Redundante Informationen können miteinander verglichen werden, um mögliche Fehler zu detektieren oder zu beheben. Eine fehlende oder fehlerhafte Information kann z. B. auch durch eine redundant vorliegende Information ersetzt werden.
Bei einer minimal invasiven Operation wird der Ort, an dem der Eingriff stattfindet, durch eine oder mehrere Kameras 22, 23 überwacht. Hierzu sind ein oder mehrere laparoskopische Instrumente durch kleine künstliche Öffnungen in den Körper des Patienten 13 eingeführt, wie auch in 3 dargestellt ist. Das Bild der Kamera 23 wird auf einem Bildschirm 29 dargestellt, auf dem der Chirurg den Fortgang der Operation beobachten und überwachen kann. Darüber hinaus ist im Robotersystem 11 von 2 eine weitere Kamera 22 vorgesehen, die das Geschehen außerhalb des Körpers des Patienten 13 aufzeichnet. Diese Kamera 22 kann beispielsweise dazu verwendet werden, die Position und Orientierung der Roboterarme 14, 18 sowie der Instrumente 15 und 19 als auch der Kamera 23 zu erfassen. Das Bild der Kamera 22 und der Kamera 28 kann ebenso am Bildschirm 29 dargestellt werden. Zwischen den Kameras 22 und 23 kann auch automatisch oder manuell hin- und her geschaltet werden, je nachdem ob sich ein Endeffektor innerhalb oder außerhalb des Patienten befindet. Optional kann das Bild am Bildschirm 29 geteilt werden, um einen von der Kamera 22 erfassten Endeffektor und einen von der Kamera 23 erfassten Endeffektor anzuzeigen.
Vorzugsweise sind alle Kameras und/oder Bildschirme 3D-fähig. Hierzu können aus dem Stand der Technik bekannte Geräte verwendet werden, z. B. Stereoskopische Kameras oder Kameras mit zweifacher Bildaufzeichnung.
Um dem Chirurgen eine möglichst intuitive Steuerung der chirurgischen Instrumente 15, 19 einschließlich ihrer Endeffektoren 17, 21 zu ermöglichen, sollte wenigstens die Orientierung, vorzugsweise aber auch die Position und der Öffnungsgrad der steuernden Hand 30 _L bzw. 30 _R in Bezug zum Koordinatensystem K_G mit der Orientierung, der Position bzw. dem Öffnungsgrad des gesteuerten Endeffektors 17 bzw. 21 in Bezug zum jeweiligen Kamerakoordinatensystem K_K1 bzw. K_K2 übereinstimmen. Bei dem hier dargestellten Robotersystem 11 wird zu diesem Zweck ein Abgleichprozess durchgeführt, in dem der Benutzer die Orientierung und/oder die Position und/oder den Öffnungsgrad seiner Hand an den entsprechenden Zustand des gesteuerten Endeffektors 17 bzw. 21 anpassen kann.
Sobald eine Übereinstimmung wenigstens einer der genannten Zustandsgrößen, vorzugsweise aller Zustandsgrößen, erreicht wurde, wird der gesteuerte Endeffektor 17, 21 freigegeben bzw. aktiviert und kann danach von Hand gesteuert werden. Die Aktivierung kann automatisch erfolgen oder nochmals eine zusätzliche Bestätigung des Benutzers erfordern.
Um dem Benutzer den Abgleich zwischen seiner Hand 30 _L, 30 _R und dem gesteuerten Endeffektor 17, 21 zu erleichtern, wird in diesem Ausführungsbeispiel auf dem Bildschirm 29 ein virtueller Endeffektor 17' eingeblendet, dessen Orientierung, Position und Öffnungsgrad der Orientierung, Position und dem Öffnungsgrad der steuernden Hand, z. B. 30 _R, entspricht. Der virtuelle Endeffektor 17' repräsentiert somit den Zustand der steuernden Hand, z. B. 30 _R. Darüber hinaus wird im Fenster 40 ein weiterer Endeffektor 17'' abgebildet, der den Zustand des gesteuerten Endeffektors 17 darstellt. Der erste virtuelle Endeffektor 17' zeigt dem Benutzer somit einen Ist-Zustand seiner Hand 30 _R und der weitere Endeffektor 17'' den Soll-Zustand der Hand 30 _R an.
Wie in 6 gezeigt ist, differieren die Orientierung der Hand 30 _R und die Orientierung des Endeffektors 17 um einen Winkel Δω. Um die Orientierung der rechten Hand 30 _R in Übereinstimmung mit der Orientierung des Endeffektors 17 zu bringen, muss der Benutzer lediglich die Orientierung seiner Hand verändern. Das Robotersystem 11 kann dem Benutzer auch zusätzlich anzeigen, wie er seine Hand zu bewegen hat, z. B. durch Einblendung von Pfeilen. Wenn die Orientierung der Hand 30 _R mit der Orientierung des Endeffektors 17 übereinstimmt, kann ebenfalls eine Rückmeldung an den Benutzer erfolgen, wie z. B. durch Anzeigen eines Symbols am Bildschirm 29 oder durch farbliches Hervorheben des virtuellen Endeffektors 17'. Je nach Auslegung des Robotersystems 11 können für die Übereinstimmung der Orientierung Toleranzen angegeben sein. Eine exakte Übereinstimmung ist nicht unbedingt erforderlich.
In analoger Weise kann auch die Orientierung der linken Hand 30 _L in Übereinstimmung mit dem linken Endeffektor 21 gebracht werden. Nach dem Abgleich der Orientierung wird die Gestensteuerung der beiden Endeffektoren 17, 21 freigegeben. Zudem kann das Fenster 40 ausgeblendet werden. Als Voraussetzung für eine Aktivierung der Gestensteuerung kann vorgesehen sein, dass neben der Orientierung ein oder mehrere weitere Zustände der Hand 30 _R, 30 _L mit dem jeweils gesteuerten Endeffektor 17, 21 in Übereinstimmung gebracht werden müssen. So kann beispielsweise vorgesehen sein, dass die Öffnungsgrade α_L und α_R der beiden Hände 30 _L und 30 _R in Übereinstimmung mit den Öffnungswinkeln φ_L und φ_R der beiden Endeffektoren 17, 21 gebracht werden müssen. Der Abgleich der Öffnungsgrade kann analog zum Abgleich der Orientierung erfolgen, wie vorstehend beschrieben wurde. Demnach wird ermittelt, ob der Öffnungsgrad einer Hand 30 _L, 30 _R vom Öffnungsgrad des gesteuerten Endeffektors 17, 21 abweicht. Im Falle einer Abweichung kann der Benutzer wiederum aufgefordert werden, den Öffnungsgrad α_L, α_R seiner Hand 30 _L, 30 _R zu verändern. Nach erfolgter Anpassung kann die Gestensteuerung wiederum automatisch freigegeben werden. Bei dem Abgleich kann zwischen den Öffnungsgraden α_L und α_R der beiden Hände 30 _L und 30 _R und den Öffnungswinkeln φ_L und φ_R der beiden Endeffektoren 17, 21 ein Offset definiert werden. Dieser Offset kann z. B. bewirken, dass die Finger nicht ganz geschlossen werden müssen, um einen Endeffektor zu schließen. Dies ist insbesondere dann hilfreich, wenn mit den Händen ein Hilfselement 35 _L und 35 _R geführt wird, und sich dadurch die Finger nicht vollständig schließen lassen.
Voraussetzung für die Aktivierung der Gestensteuerung kann aber auch sein, dass zusätzlich noch die Position P_1L bzw. P_1R der steuernden Hand 30 _L bzw. 30 _R in Übereinstimmung mit der Position Q_1L bzw. Q_1R des gesteuerten Endeffektors 17 bzw. 21 gebracht wird. Das Verfahren zum Abgleich der Position kann wiederum analog zum Abgleich der Orientierung bzw. des Öffnungsgrades erfolgen. Wie in 6 gezeigt ist, ist die Position des Punktes Q_1R' des virtuellen Endeffektors 17' gegenüber dem Punkt Q_1R des Endeffektors 17 versetzt. Der Versatz kann z. B. durch einen Vektor 39 angezeigt werden. Der Benutzer kann nun die Position seiner Hand verändern, bis sie mit der Position des virtuellen Endeffektors 17'' übereinstimmt. Die Übereinstimmung kann dem Benutzer wiederum angezeigt werden. Nach dem Abgleich stimmt dann die relative Position der Hände 30 _L und 30 _R sowie der Endeffektoren 17, 21 zueinander. D. h. wenn sich die Fingerspitzen der linken Hand 30 _L und der rechten Hand 30 _R berühren, so sollten sich auch die Spitzen der Endeffektoren 17, 21 berühren.
Um die Steuerung des Robotersystems 11 so einfach wie möglich zu gestalten und insbesondere eine intuitive Steuerung zu ermöglichen, werden die am Bildschirm 29 dargestellten Objekte 17, 21, 17', 17'' vorzugsweise so dargestellt, dass sie einer Handbewegung genau in Richtung der Handbewegung folgen. Bewegt sich eine Hand 30 _L, 30 _R beispielsweise in x-Richtung im Koordinatensystem K_G des Bilderfassungssystems, so bewegt sich das gesteuerte Objekt im Bild, wie z. B. der Endeffektor 17 oder der virtuelle Endeffektor 17', ebenfalls in x-Richtung im Koordinatensystem K_B des Bildschirms 29. Entsprechendes gilt für Bewegungen mit einer Komponente in y-Richtung oder z-Richtung. Das Koordinatensystem K_B des Bildschirms 29 ist dabei in der gleichen Richtung orientiert wie das Koordinatensystem K_G des Bilderfassungssystems 25, 28 (die z-Achse zeigt z. B. nach oben und die x-Achse nach rechts). Eine Handbewegung nach rechts resultiert somit immer auch in einer Bewegung des gesteuerten Objekts 17, 17' am Bildschirm nach rechts, und eine Bewegung nach oben (in z-Richtung), in einer entsprechenden Bewegung des gesteuerten Objekts 17, 17' am Bildschirm nach oben. Die tatsächliche Bewegung des Objekts 17, 21 im Raum unterscheidet sich aber in der Regel von der am Bildschirm 29 angezeigten Bewegung. Um eine solche Darstellung zu realisieren, gibt es grundsätzlich verschiedene Möglichkeiten.
Bei dem in den 1 bis 6 dargestellten Robotersystem 11 ist jeder Kamera 22, 23 ein eigenes Koordinatensystem K_K1, K_K2 zugeordnet. Bei einem Schwenk der Kamera 22 oder 23 schwenkt auch das zugehörige Koordinatensystem K_K1 bzw. K_K2 mit der Kamera mit. Somit kann die Orientierung eines Kamerakoordinatensystems K_K1 bzw. K_K2 vorgenommen werden, indem die entsprechende Kamera 22 bzw. 23 verstellt wird. Beispielsweise kann Kamera 23 um ihre Achse 42 gedreht werden. Alternativ kann die Orientierung des Kamerakoordinatensystems K_K1 bzw. K_K2 vom Benutzer mittels der Steuerung 25 durch eine Koordinatentransformation beliebig angepasst werden, so dass die Kamera nicht zwangsweise verstellt werden muss.
Darüber hinaus sollte auch die Ausrichtung der Kamera-Koordinatensysteme K_K1 und K_K2 jeweils in Bezug auf die jeweilige Kamera 22, 23 identisch sein. Die X-Achse des Koordinatensystems K_K1 der Kamera 22 und die x-Achse des Koordinatensystems K_K2 der in den Patienten 13 eingeführten Kamera 23 können z. B. jeweils in Aufnahmerichtung der jeweiligen Kamera 22, 23 zeigen. Die Orientierung des Koordinatensystems K_B des Bildschirms 29 stimmt ebenfalls mit der Orientierung der Koordintatensysteme K_K1, K_K2 überein, wobei das Koordinatensystem K_B am Bildschirm 29 fix ausgerichtet ist. Beispielsweise zeigt die z-Achse von K_B stets vertikal nach oben und die x-Achse normal zur Bildschirmfläche in den Bildschirm 29 hinein. Wenn sich ein von der Kamera 23 aufgenommenes Objekt beispielsweise in z-Richtung im Koordinatensystem K_K1 bewegt, bewegt sich das Objekt auch am Bildschirm 29 in z-Richtung im Bildschirm-Koordinatensystem K_B. Das Robotersystem 11 erkennt automatisch, wo sich der Endeffektor 17, 21 befindet und steuert diesen entsprechend an. Das für den jeweiligen Endeffektor 17, 21 relevante Koordinatensystem wird vorzugsweise automatisch geändert, wenn der Endeffektor 17, 21 in den Patienten 13 hinein- oder herausgeführt wird.
Dem Erfassungsbereich 36 ist das Koordinatensystem K_G zugeordnet. Dieses Koordinatensystem kann entsprechend dem Koordinatensystem K_B des Bildschirms 29 ausgerichtet sein, muss aber nicht. Vorzugsweise ist jedoch die y-Achse des Koordinatensystems K_G im Wesentlichen parallel zu der y-Achse des Koordinatensystems K_B des Bildschirms 29 ausgerichtet. Die x-Achse des Koordinatensystems K_G ist im Wesentlichen in Bezug zum Benutzer frontal nach vorne gerichtet.
Die reale Bewegung eines Endeffektors 17, 21 im Raum stimmt aber in der Regel nicht mit der am Bildschirm 29 angezeigten Bewegungsrichtung und auch nicht mit der Bewegungsrichtung der steuernden Hand 30 _L, 30 _R im Raum überein. Die Endeffektoren 17, 21 werden nämlich im Kamerakoordinatensystem K_K1 bzw. K_K2 gesteuert. Je nachdem, wie die Kamera 22 bzw. 23 ausgerichtet ist, ist auch das Kamerakoordinatensystem K_K1 bzw. K_K2 unterschiedlich im Raum ausgerichtet. D. h. eine Handbewegung in z-Richtung des Koordinatensystems K_G bewirkt zwar eine Bewegung des Endeffektors in z-Richtung des jeweiligen Kamerakoordinatensystems K_K1 bzw. K_K2. Die tatsächliche Bewegung des Endeffektors im Raum hängt dann aber von der Ausrichtung der z-Achse des Kamerakoordinatensystems K_K1 bzw. K_K2 im Raum ab.
Die Position und Ausrichtung (Orientierung der x-, y- und z-Achsen) der Koordinatensysteme K_K1 und K_K2 sind dem Robotersystem 11 bzw. der Steuereinheit 25 bekannt und können durch eine Koordinatentransformation in ein globales Roboter-Koordinatensystem K_R umgerechnet werden. Folglich können sämtliche physikalischen Größen in jedem der Koordinatensysteme K_K1, K_K2, K_B, K_G mittels Koordinatentransformation in entsprechende Größen eines anderen Koordinatensystems umgerechnet werden. Somit könnten z. B. die Positionen der Punkte Q_1L und Q_1R durch Vektoren im globalen Roboter-Koordinatensystem K_R beschrieben werden. Ebenso könnten die Positionen der Punkte Q_1L und Q_1R vom Roboter-Koordinatensystem K_R in die Koordinatensysteme K_K1 und K_K2 der jeweiligen Kameras 22, 23 transformiert werden. Somit kann die Steuerung 25 die Bewegungsgrößen einer Hand 30 _L, 30 _R, die im Koordinatensystem K_G erfasst werden, in Steuergrößen für einen Endeffektor 17, 21 umrechnen, der im jeweiligen Kamera-Koordinatensystem K_K1 bzw. K_K2 betätigt wird.
Die Orientierung, Position und der Öffnungswinkel der Endeffektoren 17, 21 können in analoger Weise zur Hand 30 _L, 30 _R durch das Bilderfassungssystem 22, 23, 25 ermittelt werden. Der Öffnungswinkel kann beispielsweise durch einen Winkel zwischen den beiden Arbeitselementen festgelegt werden, wie in 3 dargestellt ist. Die Orientierung der Endeffektoren 17, 21 kann durch die Vektoren V_2L und V_2R festgelegt werden und die Position der Endeffektoren 17 und 21 kann durch die Position der Gelenkpunkte Q_1L bzw. Q_1R definiert werden. Wenn, wie zuvor definiert wurde, die Handvektoren V_1L und V_1R jeweils unter dem halben Winkel α_L bzw. α_R zwischen Daumen und Zeigefinger verlaufen, so wird vorteilhafterweise analog dazu definiert, dass die Endeffektor-Vektoren V_2L bzw. V_2R unter dem halben Öffnungswinkel φ_L bzw. φ_R zwischen den beiden Arbeitselementen des jeweiligen Hilfselementes 25 _L bzw. 25 _R verlaufen. Die einzelnen Größen können in einem beliebigen Koordinatensystem K_K1, K_K2, K_R beschrieben werden. Auf diese Weise können diversitär redundante Informationen gewonnen werden, die zur Kontrolle miteinander verglichen werden können.
Zur Erkennung der Position, der Orientierung und des Öffnungswinkels eines Endeffektors 17, 21 können die im Robotersystem 11 vorhandenen Daten genutzt werden. So kann z. B. die Steuereinheit 25 anhand der Stellung des Roboterarms 14 die Position des Endeffektors 17 bestimmen. Da die Steuereinheit 25 außerdem die Steuerbefehle für die Endeffektoren 17, 21 generiert, sind dieser somit auch die Orientierung und der Öffnungswinkel jedes Endeffektors 17, 21 bekannt.
Nach der Aktivierung der Gestensteuerung für einen der Endeffektoren 17, 21 kann der betreffende Endeffektor 17, 21 von Hand betätigt werden. Solange sich die steuernde Hand 30 _L, 30 _R im Erfassungsbereich 36 befindet, werden die vom Benutzer ausgeführten Steuervorgaben in entsprechende Steuerbefehle umgesetzt. Bewegt sich jedoch die steuernde Hand 30 _L bzw. 30 _R aus dem Erfassungsbereich 36 heraus, wird die Gestensteuerung vorzugsweise unterbrochen. D. h. der Endeffektor 17, 21 wird gestoppt. Somit kann ausgeschlossen werden, dass der Endeffektor 17, 21 eine nicht gewünschte Aktion ausführt.
Der betreffende Endeffektor 17, 21 kann wieder aktiviert werden, nachdem ein neuer Abgleichprozess ausgeführt wurde.
7 zeigt verschiedene Verfahrensschritte eines Verfahrens zum Steuern des Robotersystems 11 der 1 bis 6. In Schritt S1 werden die Hände 30 _L, 30 _R in den Erfassungsbereich 36 hinein bewegt und in Schritt S2 mittels der Kamera 28 erfasst. In Schritt S3 erfolgt die Bestimmung der Orientierung der Hände, wobei die Vektoren V_1L, V_1R festgelegt werden. In Schritt S4 wird die Orientierung der Endeffektoren 17, 21 ermittelt, und die Vektoren V_2L, V_2R werden festgelegt. In Schritt S5 folgt dann ein Soll-Ist-Vergleich der Orientierungen.
In Schritt S6 wird die Position der Hände 30 _L und 30 _R bestimmt, und es werden entsprechende Punkte P_1L, P_1R festgelegt. Danach folgt in Schritt S7 das Bestimmen der Position der Endeffektoren, wobei die Punkte P_2L und P_2R festgelegt werden. In Schritt S8 folgt schließlich ein Soll-Istwert-Vergleich der Positionen.
Schritt S9 beschreibt das Bestimmen des Öffnungsgrades der Finger, wobei die Winkel α_L und α_R ermittelt werden. Entsprechend werden dann in Schritt S10 die Öffnungswinkel der Endeffektoren 17, 21 ermittelt. In Schritt S11 folgt schließlich der Soll-Istwert-Vergleich der Öffnungsgrade bzw. Öffnungswinkel.
Im Falle einer Abweichung der Orientierungen, der Positionen und/oder der Öffnungsgrade wird in Schritt S12 eine Anweisung an den Benutzer ausgegeben, einen Abgleich durchzuführen. Sobald eine Übereinstimmung zumindest eines Ist-Werts mit dem jeweils zugehörigen Soll-Wert erreicht wurde, wird die Gestensteuerung aktiviert. Das Robotersystem 11 erkennt danach die vom Benutzer ausgeführten manuellen Steuervorgaben und steuert die Endeffektoren 17, 21 entsprechend der Vorgaben.
Wenn ein Parameter der Hand 30 _L oder 30 _R nicht mehr mit dem jeweiligen Parameter des Endeffektors 17, 21 übereinstimmt, wird die Steuerung dieses Endeffektors 17, 21 vorzugsweise deaktiviert (Schritt S15). Eine Deaktivierung des Endeffektors 17, 21 erfolgt vorzugsweise auch, wenn sich die steuernde Hand 30 _L, 30 _R aus dem Erfassungsbereich 36 heraus bewegt hat.
Der Endeffektor 17, 21 kann wieder aktiviert oder betätigt werden, wenn die Prozedur zur Übereinstimmung der jeweiligen Größen erneut durchlaufen wird. Wurde eine Hand aus dem Erkennungsbereich 36 bewegt, so muss sie zuerst wieder in den Erkennungsbereich 36 hinein bewegt werden (siehe Schritt S1). Sofern eine Nicht-Übereinstimmung von zumindest einer Größe der Auslöser der Unterbrechung war, während sich die Hände im Erfassungsbereich 36 befanden, kann unmittelbar mit der erneuten Bestimmung der jeweiligen Größe fortgefahren werden (siehe Schritt S2, S3, S6 und S9).
Die in 7 gezeigten Schritte können auf einem Speichermedium in der Steuerung 25 abgelegt sein, so dass die Steuerung 25 es jederzeit ausführen kann.

Claims

Steuervorrichtung (25, 28, 29) zum Steuern eines Robotersystems (11) mit wenigstens einem Roboterarm (14, 18), an dem ein chirurgisches Instrument (15, 19) befestigt ist, das einen Endeffektor (17, 21) aufweist, wobei die Steuervorrichtung (25, 28, 29) ein Bilderfassungssystem (25, 28) umfasst, das die Steuervorgabe wenigstens einer Hand (30 _L, 30 _R) aufzeichnet, auswertet und in entsprechende Steuerbefehle für eine oder mehrere Komponenten des Robotersystems (11) umsetzt, dadurch gekennzeichnet, dass eine Steuereinheit (25) vorgesehen ist, die – die Orientierung und/oder die Position und/oder den Öffnungsgrad des Endeffektors (17, 21) des chirurgischen Instruments (15, 19) als erste Größe bzw. erste Größen ermittelt, und ferner – die Orientierung und/oder die Position und/oder den Öffnungsgrad wenigstens einer Hand (30 _L, 30 _R) als zweite Größe bzw. zweite Größen ermittelt und im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe eine manuelle Steuerung des Endeffektors (17, 21) unterbindet, und im Falle einer Übereinstimmung einer oder mehrerer der ersten Größen mit der jeweils entsprechenden zweiten Größe eine Gestensteuerung freigibt, so dass der Endeffektor (17, 21) mittels der Gestensteuerung betätigt werden kann.
Steuervorrichtung (25, 28, 29) nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens zwei der zweiten Größen mit den jeweils entsprechenden ersten Größen übereinstimmen müssen, um die Gestensteuerung zu aktivieren.
Steuervorrichtung (25, 28, 29) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Steuereinheit (25) im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe ein Signal ausgibt, das den Benutzer des Robotersystems (11) dazu auffordern soll, die Orientierung und/oder Position und/oder den Öffnungsgrad wenigstens einer Hand (30 _L, 30 _R) an den entsprechenden Zustand des Endeffektors (17, 21) anzupassen.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (25) im Falle einer Übereinstimmung einer oder mehrerer der zweiten Größen mit der jeweils entsprechenden ersten Größe ein Signal ausgibt, das dem Benutzer signalisiert, dass ein Abgleich einer Hand (30 _L, 30 _R) mit dem gesteuerten Endeffektor (17, 21) erfolgreich war.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (25) ein virtuelles Element (17') auf einem Bildschirm (29) darstellt, dessen Orientierung und/oder Position und/oder Öffnungsgrad derjenigen bzw. demjenigen der Hand (30 _L, 30 _R) entspricht.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (25) ein weiteres Element (17'') auf einem Bildschirm (29) darstellt, dessen Orientierung und/oder Position und/oder Öffnungsgrad derjenigen bzw. denjenigen des gesteuerten Endeffektors (17) entspricht, und das als Soll-Vorgabe für den Abgleich zwischen der steuernden Hand (30 _L, 30 _R) und dem gesteuerten Endeffektor (19, 21) dient.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ferner ein handbetätigtes Hilfselement (35 _L, 35 _R) vorgesehen ist.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (25) die Position der Hand (30 _L, 30 _R) ermittelt, indem sie einen Punkt (P_1L, P_1R, 37 _L, 37 _R) auf der Hand oder dem zugehörigen Arm oder auf einem zugehörigen Hilfselement (35 _L, 35 _R) festlegt und diesen Punkt (P_1L, P_1R, 37 _L, 37 _R) in einem Koordinatensystem (K_G) des Bilderfassungssystems (25, 28) ermittelt.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (25) die Orientierung wenigstens einer Hand (30 _L, 30 _R) ermittelt, indem sie wenigstens einen Vektor (V_1L, V_1R) festlegt und diesen im Koordinatensystem (K_G) des Bilderfassungssystems (25, 28) bestimmt.
Steuervorrichtung (25, 28, 29) nach Anspruch 9, dadurch gekennzeichnet, dass die Steuereinheit (25) zur Festlegung des Vektors (V_1L, V_1R) zumindest einen weiteren Punkt (P_2L, P_2R, P_3L, P_3R, 37 _L, 37 _R) auf der Hand (30 _L, 30 _R) und/oder auf einem Hilfselement (35 _L, 35 _R) festlegt.
Steuervorrichtung (25, 28, 29) nach Anspruch 10, dadurch gekennzeichnet, dass der Vektor (V_1L, V_1R) auf einer Ebene liegt, die durch zumindest drei der festgelegten Punkte (P_1L, P_1R, P_2L, P_2R, P_3L, P_3R, 37 _L, 37 _R) aufgespannt wird.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (25) zumindest einen Punkt (P_2L, P_2R, P_3L, P_3R) auf der Hand (30 _L, 30 _R) und/oder auf einem Hilfselement (35 _L, 35 _R) festlegt, der auf einer Spitze eines Fingers oder des Hilfselements (35 _L, 35 _R) liegt.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (25) den Öffnungsgrad wenigstens einer Hand (30 _L, 30 _R) ermittelt, indem sie zwei Linien (31, 32, 33, 34) festlegt, und den Winkel (α_L, α_R) zwischen den Linien (31, 32, 33, 34) im Koordinatensystem (K_G) des Bilderfassungssystems (25, 28) bestimmt.
Steuervorrichtung (25, 28, 29) nach Anspruch 11, dadurch gekennzeichnet, dass die Steuereinheit (25) den Öffnungsgrad wenigstens einer Hand (30 _L, 30 _R) ermittelt, indem sie den Abstand zwischen zwei Punkten (P_2L, P_2R, P_3L, P_3R) auf der Hand (30 _L, 30 _R) bestimmt.
Steuervorrichtung (25, 28, 29) nach Anspruch 7, dadurch gekennzeichnet, dass das handbetätigte Hilfselement (36 _L, 36 _R) einen Inertialsensor umfasst, der eine Lage des Hilfselements im Raum und/oder eine Bewegung des Hilfselements (36 _L, 36 _R) in bzw. um drei Raumachsen messen kann.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (25) derart ausgelegt ist, dass eine Steuerbewegung einer Hand (30 _L, 30 _R) mit einem vorgegebenen Skalierungsfaktor in eine entsprechende Bewegung des Endeffektors (17, 21) umgesetzt wird.
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie einen Bildschirm (29) umfasst, auf dem das mittels Gestensteuerung gesteuerte Objekt (17, 21) dargestellt wird, wobei die Orientierung von nur höchstens zwei Achsen eines Koordinatensystems (K_G) des Bilderfassungssystems (25, 28) mit der Orientierung der entsprechenden Achsen eines Koordinatensystems (K_B) der Bildschirmanzeige übereinstimmt und das Objekt so angezeigt wird, dass es sich auf dem Bildschirm (29) in Bezug auf das Koordinatensystem (K_B) der Bildschirmanzeige in dieselbe Richtung bewegt wie die Bewegung der Hand in Bezug auf das Koordinatensystem (K_G) des Bilderfassungssystems (25, 28).
Steuervorrichtung (25, 28, 29) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Kamera (22, 23) vorgesehen ist, die den Endeffektor (17, 21) aufnimmt, und dass ein Koordinatensystem (K_K1, K_K2) der Kamera (22, 23) an den Bildachsen (41, 42) des von der Kamera (22, 23) aufgenommenen Bildes ausgerichtet ist, wobei eine der Achsen des Koordinatensystems (K_K1, K_K2) in Blickrichtung der Kamera (22, 23) zeigt.
Steuervorrichtung (25, 28, 29) nach Anspruch 18, dadurch gekennzeichnet, dass die Steuereinheit (25) derart ausgelegt ist, dass eine Steuervorgabe einer Hand (30 _L, 30 _R) im Koordinatensystem (K_G) des Bilderfassungssystems (25, 28) in eine entsprechende Bewegung des Endeffektors (17, 21) im Koordinatensystem (K_K1, K_K2) der Kamera (22, 23) umgesetzt wird.
Steuervorrichtung (25, 28, 29) nach Anspruch 19, dadurch gekennzeichnet, dass das aktive Koordinatensystem zur Steuerung des Endeffektors (17, 21) zwischen den Koordinatensystemen (K_K1, K_K2) der Kameras (22, 23) wechselt, je nachdem von welcher Kamera (22, 23) der Endeffektor (17, 21) aufgezeichnet wird.
Verfahren zum Steuern eines Robotersystems (11) mittels wenigstens einer Hand (30 _L, 30 _R) gekennzeichnet durch folgende Schritte: – Ermitteln der Orientierung und/oder der Position und/oder des Öffnungsgrades eines Endeffektors (17, 21) eines chirurgischen Instruments (14, 18) als eine erste Größe bzw. erste Größen; – Ermitteln der Orientierung und/oder der Position und/oder des Öffnungsgrades wenigstens einer Hand (30 _L, 30 _R) als zweite Größe bzw. zweite Größen; – Vergleichen wenigstens einer ersten Größe mit der jeweils entsprechenden zweiten Größe; – im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe, Unterbinden einer manuellen Steuerung des Endeffektors (17, 21); und – im Falle einer Übereinstimmung einer oder mehrerer der ersten Größen mit der jeweils entsprechenden zweiten Größe, Freigeben der Gestensteuerung, so dass der Endeffektor (17, 21) mit der Hand (30 _L, 30 _R) gesteuert werden kann.