DE102012110190A1

DE102012110190A1 - Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines Robotersystems

Info

Publication number: DE102012110190A1
Application number: DE102012110190.6A
Authority: DE
Inventors: Leopold Krausen; Bernd Gombert
Original assignee: MIS ROBOTICS GmbH; MIS-ROBOTICS GmbH
Current assignee: ABB Schweiz AG
Priority date: 2012-10-25
Filing date: 2012-10-25
Publication date: 2014-04-30
Anticipated expiration: 2032-10-26
Also published as: US20150293596A1; US9582079B2; DE102012110190B4; WO2014064025A1

Abstract

Die Erfindung betrifft eine Vorrichtung (2, 6) zur manuellen Steuerung eines Robotersystems, mit einer Eingabevorrichtung (2), die mittels wenigstens zweier Hände bedienbar ist und eine Sensorik (7, 10) zum Erfassen von Steuervorgaben einer ersten Hand (12) und Steuervorgaben einer zweiten Hand (13) aufweist. Gemäß der Erfindung umfasst die Steuervorrichtung (2, 6) eine erste Steuereinheit (19), die in Abhängigkeit von den Steuervorgaben der ersten Hand (12) eine Positionssteuerung durchführt, und eine zweite Steuereinheit (20), die in Abhängigkeit von den Steuervorgaben der zweiten Hand (13) eine Geschwindigkeitssteuerung oder eine Positionssteuerung durchführt.

Description

Die Erfindung betrifft eine Vorrichtung zum Steuern eines Robotersystems gemäß dem Oberbegriff des Patentanspruchs 1, eine Verwendung einer solchen Vorrichtung gemäß dem Oberbegriff des Patentanspruchs 10 sowie ein Verfahren zum Steuern eines Robotersystems gemäß dem Oberbegriff des Patentanspruchs 13.
Bekannte Robotersysteme, auf die im Folgenden Bezug genommen wird, umfassen ein Eingabegerät, wie z.B. einen Joystick oder ein Bilderfassungssystem, das von einem Benutzer manuell bedient wird. Die vom Benutzer eingegebenen Steuervorgaben werden vom Eingabegerät in entsprechende Steuerbefehle umgesetzt, welche von einem oder mehreren Robotern ausgeführt werden. Die bekannten Eingabevorrichtungen verfügen je nach Ausführung über verschiedene Sensoren, die die Steuervorgaben des Benutzers detektieren und in entsprechende Steuersignale umwandeln. Die Steuersignale werden dann in Steuer- oder Regelkreisen weiter verarbeitet, die schließlich Stellsignale erzeugen, mit denen die Aktuatoren eines Roboters oder eines am Roboter montierten Werkzeugs angesteuert werden, so dass der Roboter bzw. das Werkzeug die vom Benutzer gewünschten Vorgaben ausführt.
Aufgrund der Komplexität vieler Robotersysteme werden die Roboter oftmals mit zwei Händen gleichzeitig bedient. Dabei muss der Benutzer mit einer ersten Hand eine erste Steuerfunktion, wie z.B. eine Bewegung des Roboterkopfes in einer ersten Ebene, und mit einer zweiten Hand eine zweite Steuerfunktion, wie z.B. eine Bewegung des Roboterkopfes in einer zweiten Ebene, oder eine Betätigung eines am Roboter befestigten Werkzeugs ausführen.
Aus dem Stand der Technik sind beispielsweise Robotersysteme bekannt, die eine Eingabevorrichtung mit zwei Joysticks aufweisen, die der Benutzer mit seiner linken bzw. rechten Hand bedienen kann. Die Auslenkung der Joysticks wird dabei mittels einer Sensorik, typischerweise mittels Potentiometern, erfasst, und der Roboter entsprechend angesteuert. Die Robotersteuerung erfolgt dabei geschwindigkeitsgesteuert bzw. -geregelt. D.h. eine bestimmte Auslenkung des Joysticks wird umgesetzt in eine bestimmte Geschwindigkeit, mit welcher der Roboter in der jeweiligen Raumkoordinate verfahren wird. In einer bestimmten Joystickposition bewegt sich der Roboter somit mit einer bestimmten Geschwindigkeit. Wenn der Benutzer den Roboter anhalten möchte, muss er die Auslenkung des Joysticks wieder zurücknehmen und den Joystick in die Nulllage versetzen. Mit einem solchen System kann eine bestimmte Position mit dem Roboter aber nur relativ grob angefahren werden. Für die Feinsteuerung eines Roboters, wie sie insbesondere für hochpräzise Anwendungen z.B. im Bereich der roboterunterstützen Chirurgie erforderlich ist, ist die Methode der Geschwindigkeitssteuerung jedoch stark gewöhnungsbedürftig und erfordert eine aufwendige Einarbeitungszeit. Ein wichtiger Grund hierfür liegt unter anderem darin, dass der Roboter auch noch dann weiter verfährt, während der Benutzer den Joystick in die Nulllage zurückstellt, bis tatsächlich die Nulllage erreicht wurde. Der Benutzer müsste also das Verhalten des Roboters in allen Betriebszuständen erlernen und manuell ausregeln. Die Regelgüte des Menschen ist jedoch derjenigen von Maschinen weit unterlegen.
Es ist daher die Aufgabe der vorliegenden Erfindung, eine Vorrichtung zum Steuern eines Robotersystems zu schaffen, die manuell bedienbar ist und eine wesentlich genauere Steuerung des Robotersystems bzw. einer Komponente des Robotersystems ermöglicht.
Gelöst wird diese Aufgabe gemäß der Erfindung durch die in den Patenansprüchen 1, 10 und 13 angegebenen Merkmale. Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Gemäß der Erfindung wird eine Vorrichtung zum Steuern eines Robotersystems vorgeschlagen, mit einer manuell bedienbaren Eingabevorrichtung, die eine Sensorik zum Erfassen von Steuervorgaben wenigstens einer ersten Hand und einer zweiten Hand aufweist. Die erfindungsgemäße Vorrichtung umfasst ferner eine Steuerung, die die Steuervorgaben in entsprechende Stellsignale wandelt, mit denen ein oder mehrere Aktuatoren des Robotersystems angesteuert werden.
Die Steuerung umfasst gemäß der Erfindung wenigstens zwei Steuereinheiten, wobei eine erste Steuereinheit in Abhängigkeit von den Steuervorgaben der ersten Hand eine Positionssteuerung durchführt, und eine zweite Steuereinheit in Abhängigkeit von den Steuervorgaben der zweiten Hand eine Geschwindigkeitssteuerung oder ebenfalls eine Positionssteuerung durchführt. Wie eingangs beschrieben wurde, sind Roboter, die über eine reine Geschwindigkeitssteuerung gesteuert werden, relativ schwer handhabbar. Nur sehr erfahrene und geübte Nutzer sind in der Lage, mit solchen Robotern umzugehen und sich z.B. durch mehrmaliges kurzzeitiges Auslenken eines Joysticks an die gewünschte Zielposition heranzutasten, nachdem die Zielposition zuvor grob angefahren wurde. Positionssteuerungen sind dagegen wesentlich einfacher und intuitiver zu bedienen. Der Benutzer kann mit Hilfe der Positionssteuerung einen gewünschten Zielpunkt in der Regel wesentlich schneller und genauer ansteuern, ohne dafür lange geübt haben zu müssen. Die Handhabung eines Robotersystems mit wenigstens einer Positionssteuerung ist somit wesentlich einfacher und genauer.
Unter einem „Robotersystem“ wird im Rahmen dieses Dokuments insbesondere ein technisches System mit einem oder mehreren Robotern verstanden, das ferner ein oder mehrere roboterbetätigte Werkzeuge und/oder eine oder mehrere weitere Maschinen umfassen kann. Ein Robotersystem, das für den Einsatz in der minimal invasiven Chirurgie ausgerüstet ist, kann z. B. einen oder mehrere Roboter, die jeweils mit einem chirurgischen Instrument oder einem anderen Werkzeug bestückt sind, sowie einen elektrisch verstellbaren Operationstisch umfassen.
Unter einem „Roboter“ wird im Rahmen dieses Dokuments jede Maschine mit einem oder mehreren Gelenkarmen oder anderen beweglichen Elementen verstanden, die mittels eines oder mehrerer Aktuatoren, wie z.B. Elektromotoren, bewegbar sind.
Geeignete Eingabevorrichtungen zur Steuerung eines Robotersystems können z.B. sein: Joysticks, Mäuse, Tastaturen, Steuerpanels, Touchpanels, Touchscreens und/oder kamerabasierte Bildverarbeitungssysteme, sowie sämtliche andere bekannte Eingabevorrichtungen, die Steuervorgaben eines Benutzers erfassen und entsprechende Steuersignale erzeugen können.
Unter einer „Geschwindigkeitssteuerung“ wird im Rahmen dieses Dokuments eine Steuerung oder Regelung verstanden, die eine vom Benutzer ausgeführte Steuervorgabe, wie z.B. eine Handbewegung oder eine Auslenkung eines Joysticks, in eine Bewegung des gesteuerten Objekts mit entsprechender Geschwindigkeit umsetzt. Unter einer „Positionssteuerung“ wird dagegen eine Steuerung oder Regelung verstanden, die eine vom Benutzer ausgeführte Steuervorgabe in eine entsprechende Positionsänderung des gesteuerten Objekts umsetzt. Die Position der Hand bzw. der manuell bedienten Eingabevorrichtung bestimmt dabei die Position des gesteuerten Objekts. Die Steuervorgabe des Benutzers wird mit einem vorgegebenen Skalierungsfaktor in eine entsprechende Bewegung des gesteuerten Objekts umgesetzt.
Gemäß der Erfindung kann die Eingabevorrichtung unterschiedliche oder gleiche Eingabemittel für die erste und zweite Hand des Benutzers aufweisen. So kann der Benutzer beispielsweise mit beiden Händen jeweils einen Joystick oder ein Bilderfassungssystem, oder z.B. mit einer Hand einen Joystick und mit der anderen Hand ein Bilderfassungssystem bedienen. In einem anderen Beispiel könnte der Benutzer mit einer Hand ein Bilderfassungssystem und mit der anderen Hand eine Maus bzw. ein anderes Eingabemittel bedienen. Die Zahl der Freiheitsgrade der vom Benutzer bedienten Eingabemittel kann gleich oder unterschiedlich sein. Die erfindungsgemäße Eingabevorrichtung kann vorzugsweise auch Steuervorgaben von mehr als zwei Händen verarbeiten.
Gemäß einer bevorzugten Ausführungsform der Erfindung umfasst die Eingabevorrichtung wenigstens ein Bilderfassungssystem, das die Handbewegungen eines Benutzers und/oder manuelle Gesten und/oder Bewegungen anderer Körperteile, wie z. B. der Arme oder Füße, in entsprechende Steuersignale umsetzt. Ein solches System ist z.B. in US 2011/296353 A1 beschrieben und kann erfindungsgemäß genutzt werden. Dieses System weist eine Kamera auf, die innerhalb eines Bilderfassungsbereiches verschiedene Gesten eines Benutzers erfassen kann. Die erfassten Gesten können z. B. mit einer Datenbank abgeglichen werden, in der verschiedene bekannte Gesten abgespeichert sind. Bei Übereinstimmung der erfassten Geste mit der bekannten Geste wird ein der bekannten Geste zugewiesener Steuerbefehl ausgelöst. Der Einsatz eines derartigen Systems zur Ansteuerung eines Roboters ist z.B. in KR 10-2011-0003146 offenbart.
Mittels der erfindungsgemäßen Vorrichtung können grundsätzlich beliebige Komponenten eines Robotersystems – im Folgenden Objekte – gesteuert werden, wie z. B. Roboter beliebiger Bauform, roboterbetätigte Werkzeuge, aber auch beliebige andere Maschinen, oder einzelne Teile eines Objekts. Die erste und zweite Steuereinheit können beispielsweise zur Steuerung desselben bzw. derselben Aktuatoren eines oder mehrerer Roboter und/oder eines oder mehrerer Werkzeuge und/oder einer oder mehrerer anderer Maschinen vorgesehen sein. Alternativ können die erste und zweite Steuereinheit zur Steuerung eines oder mehrerer Aktuatoren eines oder mehrerer Objekte ausgelegt sein. So kann z.B. die erste Steuereinheit dazu ausgelegt sein, die Position eines Roboterkopfes bzw. eines vom Roboter getragenen Werkzeugs zu verstellen, und die andere Steuereinheit zum Betätigen des Werkzeugs.
Die Zuordnung einer vom Benutzer ausgeführten Steuervorgabe zu dem gesteuerten Objekt und/oder Aktuator ist vorzugsweise einstellbar. So können die Steuervorgaben der einen Hand z. B. in eine bestimmte Bewegung des Roboterkopfes, und die Steuervorgaben der anderen Hand in eine Bewegung eines Werkzeugs umgesetzt werden. In einem anderen Beispiel können die Bewegungen beider Hände in entsprechende Grob- oder Feinbewegungen eines Roboterkopfes bzw. derselben Komponente umgesetzt werden. Darüber hinaus kann auch vorgesehen sein, dass verschiedene Steuervorgaben derselben Hand bzw. desselben Körperteils, wie z. B. Auf/Ab- und Links/Rechts-Bewegungen, unterschiedliche Komponenten und/oder Aktuatoren ansteuern. Die jeweilige Zuordnung zwischen einer Steuervorgabe und der vom System ausgeführten Aktion kann vorzugsweise vom Benutzer eingestellt werden, z. B. durch Eingabe von Daten in eine Eingabemaske einer Steuerungssoftware, durch entsprechende Auswahl an einem Bedienpanel oder durch Ausführen spezieller Gesten, die von einem Bilderfassungssystem erkannt und als entsprechende Befehle interpretiert werden, neben vielen weiteren Möglichkeiten.
Wie vorstehend erwähnt wurde, kann die eine Steuereinheit eine Positionssteuerung und die andere Steuereinheit eine Geschwindigkeitssteuerung oder Positionssteuerung durchführen. Sofern beide Steuereinheiten eine Positionssteuerung durchführen, ist der Skalierungsfaktor, mit dem eine manuell ausgeführte Steuervorgabe in eine entsprechende Bewegung des gesteuerten Objekts umgesetzt wird, für beide Steuereinheiten vorzugsweise unterschiedlich groß. Der Benutzer kann somit mit einer Hand eine Grobsteuerung und mit der anderen Hand eine Feinsteuerung vornehmen. Der Skalierungsfaktor der einzelnen Steuereinheiten ist vorzugsweise einstellbar.
Wenn beide Steuereinheiten zur Steuerung desselben bzw. derselben Aktuatoren vorgesehen sind, werden das von der Eingabevorrichtung generierte erste und zweite Steuersignal, oder daraus erzeugte Signale, vorzugsweise zu einem Ausgangs- bzw. Stellsignal überlagert, mittels dessen der bzw. die gewünschten Aktuatoren angesteuert werden.
Gemäß einer Ausführungsform der Erfindung umfasst die Steuervorrichtung Mittel zum Erkennen einer dominanten Hand und/oder nicht-dominanten Hand. Ist der Benutzer beispielsweise Rechtshänder, so würde die erfindungsgemäße Steuervorrichtung die rechte Hand als dominante Hand und die linke Hand als nicht-dominante Hand erkennen. Die Mittel zum Erkennen der dominanten bzw. nicht-dominanten Hand können beispielsweise eine Vorrichtung zur Gesichtserkennung umfassen, die einen von der Kamera aufgenommenen Benutzer mit gespeicherten Daten vergleicht und somit identifizieren kann. Wenn die gespeicherten Daten ferner Informationen über die Händigkeit (Rechtshändigkeit, Linkshändigkeit oder auch Beidhändigkeit) enthalten, kann die Händigkeit des Benutzers automatisch erkannt werden. Das Bilderfassungssystem könnte alternativ bestimmte Gesten erkennen, die der Benutzer ausführen muss, um dem System die dominante bzw. nicht-dominante Hand anzuzeigen. Die dominante oder nicht-dominante Hand des Benutzers könnte beispielsweise auch markiert sein, beispielsweise mittels eines Rings oder einer farblichen Markierung, um dem System die dominante bzw. nicht-dominante Hand anzuzeigen. Eine andere Möglichkeit zur Erkennung der dominanten bzw. nicht-dominanten Hand umfasst eine Eingabevorrichtung, wie z.B. ein Eingabepanel oder eine Software-Eingabemaske, an der der Benutzer seine dominante oder nicht-dominante Hand eingeben kann. Die von der dominanten Hand und der nicht-dominanten Hand ausgeführten Steuervorgaben werden dann mittels der Eingabevorrichtung in entsprechende Signale umgewandelt und signaltechnisch an die erste bzw. zweite Steuereinheit weitergeleitet.
Gemäß einer bevorzugten Ausführungsform der Erfindung werden die Steuersignale, welche die Steuervorgaben der dominanten Hand repräsentieren, einer ersten Steuereinheit zugeführt und von dieser verarbeitet. Die Steuersignale, die die Steuervorgaben der nicht-dominanten Hand repräsentieren, werden vorzugsweise einer zweiten Steuereinheit zugeführt und von dieser verarbeitet. Die genannte Zuordnung wird vorzugsweise beibehalten, auch wenn verschiedene Benutzer mit unterschiedlicher Händigkeit das Robotersystem nutzen. Die erste Steuereinheit verarbeitet somit immer die Steuervorgaben der dominanten Hand, und die zweite Steuereinheit die Steuervorgaben der nicht-dominanten Hand. Die erste Steuereinheit führt vorzugsweise eine Positionssteuerung aus, und die zweite Steuereinheit eine Geschwindigkeits- oder Positionssteuerung.
Um die Zuordnung der dominanten/nicht-dominanten Hand zu jeweils einer bestimmten Steuereinheit zu gewährleisten, sind geeignete Mittel vorgesehen, wie z. B: eine Schalteinrichtung, die die Ausganssignale der Eingabevorrichtung oder die Eingangssignale der Steuereinheiten automatisch tauscht, wenn sich die Händigkeit des Benutzers ändert. Das Steuersignal, welches die Steuervorgaben der dominanten Hand repräsentiert, gelangt somit immer auf den Eingang derselben Steuereinheit (z.B. der ersten Steuereinheit), und das Steuersignal, welches die Steuervorgaben der nicht-dominanten Hand repräsentiert, auf den Eingang der anderen Steuereinheit (z.B. der zweiten Steuereinheit). Der Benutzer wird mit seiner dominanten Hand somit z.B. immer eine Feinsteuerung (mittels Positionssteuerung) und mit seiner nicht-dominanten Hand z. B. eine Grobsteuerung (mittels Geschwindigkeitssteuerung oder Positionssteuerung) durchführen, unabhängig davon, ob er Rechtshänder oder Linkshänder ist.
Ein mittels der erfindungsgemäßen Steuervorrichtung steuerbares Werkzeug umfasst vorzugsweise wenigstens ein Gelenk. Das Werkzeug kann z.B. ein Greif-, Halte-, Schneid-, Säge-, Schleif-, Verbinde-, Füge- oder ein anderes Werkzeug, insbesondere aus der Gruppe der chirurgischen Instrumente sein.
Gemäß einer bevorzugten Ausführungsform der Erfindung ist die Steuervorrichtung so ausgelegt, dass mittels der dominanten Hand des Benutzers ein Werkzeug betätigt wird (d.h. positioniert und gegebenenfalls auch bedient) und mittels der nicht-dominanten Hand ein anderes Objekt des Robotersystems, mittels einer Geschwindigkeitssteuerung gesteuert wird, um den mit dem Werkzeug durchgeführten Arbeitsvorgang zu unterstützen. So kann beispielsweise ein Arzt mit seiner dominanten Hand ein chirurgisches Instrument bedienen und mit seiner nicht-dominanten Hand den Roboterarm, an dem das Instrument befestigt ist, oder er kann einen zweiten Roboterarm, einen Operationstisch oder eine andere Vorrichtung steuern, die den Körper des Patienten bzw. ein Körperteil, wie z.B. ein Knie, in seiner Position verstellen kann. Durch die Kombination von Positionssteuerung und Geschwindigkeitssteuerung ist es möglich, einen chirurgischen Eingriff besonders genau und intuitiv durchzuführen.
Die erfindungsgemäße Eingabevorrichtung ist vorzugsweise derart ausgelegt, dass neben Handbewegungen oder manuellen Gesten auch Bewegungen anderer Körperteile, wie z. B. der Arme, Beine, des Kopfes, der Augen und/oder des Mundes erkannt werden können. Die Steuervorrichtung ist in diesem Fall so ausgelegt, das die Bewegungen des bzw. der anderen Körperteile in entsprechende Aktionen des Robotersystems umgesetzt werden. Einzelnen Objekten oder Aktuatoren des Robotersystems können prinzipiell beliebige Steuervorgaben beliebiger Körperteile des Benutzers zugewiesen werden.
In der Steuer- und Regelungstechnik wird typischerweise begrifflich getrennt zwischen einer Steuerung (= offener Regelkreis) und einer Regelung (= geschlossener Regelkreis). In diesem Dokument wird, abweichend davon, für beide Begriffe sowie deren grammatikalische Abwandlungen, sofern nicht explizit anders angegeben, nur von Steuern bzw. Steuerung gesprochen. D.h., die Begriffe Steuerung und Regelung werden synonym verwendet. Dem Fachmann ist klar, dass er die jeweiligen Steuervorrichtungen als Steuerung oder Regelung ausführen kann.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 ein Robotersystem gemäß einer ersten Ausführungsform der Erfindung;
2 ein Bilderfassungssystem und verschiedene von einem Benutzer ausgeführte Steuervorgaben;
3 ein Bilderfassungssystem und verschiedene von einem Benutzer ausgeführte Steuervorgaben;
4 ein Bilderfassungssystem und verschiedene von einem Benutzer ausgeführte Steuervorgaben;
5 ein Bilderfassungssystem und eine Möglichkeit zur Kennzeichnung einer dominanten oder nicht-dominanten Hand;
6 eine Robotersteuerung für einen Roboter gemäß 1;
7 ein Robotersystem mit zwei Robotern für den chirurgischen Einsatz;
8 eine Robotersteuerung für ein Robotersystem gemäß 7;
9A eine Pott’sche Schere als Beispiel für ein robotergesteuertes chirurgisches Instrument;
9B ein Skalpell als Beispiel für ein robotergesteuertes chirurgisches Instrument;
10 eine schematische Darstellung eines menschlichen Gewebes, das mittels eines robotergesteuerten chirurgischen Instrumentes geschnitten werden soll; und
11 eine Robotersteuerung gemäß einer weiteren Ausführungsform.
Ausführungsformen der Erfindung
1 zeigt ein Robotersystem, das sowohl für industrielle Zwecke als auch als im Bereich der Medizin, z. B. als Chirurgieroboter, insbesondere für die minimal invasive Chirurgie, eingesetzt werden kann. Das Robotersystem umfasst einen Roboter 1 mit z.B. zwei Gelenkarmen 50, die jeweils über ein oder mehrere Gelenke 4 miteinander verbunden sind. Die einzelnen Gelenke werden jeweils mittels eines Motors, hier eines Elektromotors (nicht gezeigt), angetrieben und können je nach Ausführung eine Schwenk- und/oder Rollbeweg der Arme 50 bewirken. Die Anzahl der Gelenke 4 bestimmt dabei den Freiheitsgrad des Roboterarms.
Der Roboterarm hat ein fest montiertes Ende 52, das an einer Basis 3 befestigt ist, und ein frei bewegliches Ende, das auch als Roboterkopf 51 bezeichnet werden kann. An dem Roboterkopf 51 ist ein Werkzeug 5 befestigt, das auf den jeweiligen Einsatzzweck des Roboters 1 abgestimmt ist. Für industrielle Anwendungen kann beispielsweise ein Schleif-, Bohr-, Schraub-, Fräs-, Span- oder Schweißwerkzeug, neben vielen anderen Möglichkeiten, vorgesehen sein. Für den chirurgischen Einsatz des Roboters kann der Roboterkopf 51 beispielsweise mit einem Endoskop, einem laparoskopischen Instrument, einem Schneid-, Greif-, Halte-, Verbinde-, Näh- oder einem anderen chirurgischen Werkzeug bzw. Instrument, insbesondere für die minimal invasive Chirurgie, bestückt sein. Der eigentliche Endeffektor des Werkzeugs 5, wie z.B. ein Skalpell, eine Schere, eine Nadel, ein Schaber, eine Feile, ein Greifer, etc., ist mit dem Bezugszeichen 46 bezeichnet.
Das in 1 dargestellte Robotersystem 1 wird mittels einer Eingabevorrichtung 2 gesteuert, die hier eine Bedienkonsole 7 mit zwei Joysticks 8, 9 umfasst. Die beiden Joysticks 8, 9 können von einem Benutzer manuell mit beiden Händen bedient werden. Die Auslenkung der Joysticks 8, 9 wird jeweils sensorisch erfasst und in entsprechende elektrische Signale umgesetzt. Die Ausgangssignale der Bedienkonsole 7 werden an eine in der Basis 3 integrierte Elektronik mit einer Robotersteuerung 6 übertragen, die die von der Bedienkonsole 7 empfangenen Steuersignale in entsprechende Stellsignale für die einzelnen Aktuatoren des Roboters 1 umsetzt, so dass sich der Roboterarm in der vom Benutzer vorgegebenen Weise bewegt. Das am Roboterkopf 51 befestigte Werkzeug 5 kann somit innerhalb der Reichweite des Roboterarms an jeden beliebigen Punkt gesteuert werden.
Darüber hinaus kann mittels der Bedienkonsole 7 auch das Werkzeug 5 selbst bedient werden. Sofern das Werkzeug 5 ein oder mehrere Gelenke aufweist, kann der Benutzer beispielsweise eine Kipp-, Schwenk- oder Drehbewegung ausführen, um den Endeffektor 46 in eine gewünschte Position zu bringen, oder um eine gewünschte Aktion, wie z.B. Schneiden, Bestrahlen, Greifen, Nähen, etc. durchzuführen.
Die Bedienkonsole 7 ist hier sowohl für Links- als auch für Rechtshänder ausgelegt. Die Zuweisung, welcher der beiden Joysticks 8, 9 für die dominante bzw. nicht-dominante Hand vorgesehen ist, kann vorzugsweise frei eingestellt werden, um die Bedienung der Eingabevorrichtung 2 sowohl für Links- als auch für Rechtshänder zu ermöglichen.
In Abhängigkeit von dieser Zuweisung, werden bei Betätigung der Joysticks 8, 9 unterschiedliche Steuerungs- oder Regelungsmodi ausgeführt, wobei z. B. von dem mit der dominanten Hand 12 bedienten Joystick 9 eine Feinpositionierung per Positionssteuerung und von dem mit der nicht-dominanten Hand 13 bedienten Joystick 8 eine Grobpositionierung per Geschwindigkeitssteuerung durchgeführt werden kann, wie später noch näher erläutert werden wird. Dadurch könnte z. B. mit dem von der nicht-dominanten Hand betätigten Joystick 8 der Roboterarm 1 grobpositioniert, und mit dem von der dominanten Hand betätigten Joystick 9 der Endeffektor 5 feinpositioniert werden.
Die Zuordnung der vom Benutzer ausgeführten Steuervorgaben und der jeweiligen Reaktion des Robotersystems kann fest vorgegeben sein, ist aber vorzugsweise frei einstellbar. So kann beispielsweise eingestellt werden, dass der linke Joystick 8 den Roboterarm, und der rechte Joystick 9 den Endeffektor 46 steuert. Alternativ könnten auch beide Joysticks 8, 9 den Roboterarm und/oder den Endeffektor 46 steuern. Für den Fall, dass der Roboterarm von beiden Joysticks gesteuert wird, könnte der Roboterarm z.B. mit dem linken Joystick 8 grob positioniert und mit dem rechten Joystick 9 fein positioniert werden. Der Bezugspunkt der Steuerung muss nicht unbedingt der Roboterkopf 51 oder der Endeffektor 46 sein. Gemäß einer speziellen Ausführungsform der Erfindung können beispielsweise auch einzelne Aktuatoren des Robotersystems individuell angesteuert werden.
2 zeigt eine alternative Eingabevorrichtung 2 für ein Robotersystem. Die Eingabevorrichtung 2 umfasst in diesem Fall ein Bilderfassungssystem mit einer Kamera, insbesondere einer 3D-Kamera 10, und eine Elektronik 11 mit einer Bildverarbeitungssoftware. Während des Betriebs zeichnet die Kamera 10 laufend Bilder auf, die von der Bildverarbeitungssoftware verarbeitet werden. Die Bildverarbeitungssoftware ist in der Lage, die Hände 12, 13, das Gesicht oder Körperteile des Benutzers, oder von Hand bediente Objekte oder Vorrichtungen, wie z.B. einen Zeigestab, eine Schere, ein Messer, etc. zu erkennen und in Reaktion auf die vom Benutzer ausgeführten Steuervorgaben entsprechende Steuersignale zu erzeugen.
In 2 sind die linke und rechte Hand 13 bzw. 12 eines Benutzers schematisch dargestellt, die von der Kamera 10 erfasst werden. Zur Steuerung des Robotersystems kann der Benutzer prinzipiell Bewegungen in allen drei kartesischen Raumkoordinaten (x, y, z) als auch rotatorische Bewegungen um jede Raumachse durchführen. Darüber hinaus kann der Benutzer auch bestimmte Gesten ausführen, um das Robotersystem zu steuern oder zu konfigurieren. Sowohl statische (z.B. Handzeichen) also auch dynamische Gesten (z.B. Winken der Hand) können von der Eingabevorrichtung 2 erfasst und als solche interpretiert werden.
Im dargestellten Beispiel bewegt der Benutzer seine linke Hand 13 von einem Punkt A zu einem Punkt B und schwenkt die Hand 13 dabei gleichzeitig nach hinten, wie durch einen Pfeil 49 angedeutet ist. Diese Bewegung wird von der Bildverarbeitungssoftware erkannt und in entsprechende Steuersignale umgesetzt. Je nach Konfiguration des Rotorsystems kann mit einer solchen Bewegung zum Beispiel die Position und/oder Lage des Endeffektors 46 entsprechend beeinflusst werden. Es könnten aber auch einzelne Aktuatoren des Roboterarms 1 oder des Werkzeugs 5 separat angesteuert werden. So könnte beispielsweise durch die translatorische Bewegung der Hand 13 von Punkt A nach Punkt B ein erstes Gelenk 4 des Roboterarms oder des Werkzeugs 5, und durch die Kippbewegung der Hand 13 ein zweites Gelenk 4 des Roboterarms oder des Werkzeugs 5 betätigt werden. Die resultierende Aktion des Robotersystems auf eine Steuervorgabe ist, wie erwähnt, vorzugsweise frei konfigurierbar. Hierzu ist vorzugsweise eine geeignete Software mit einer Eingabemaske oder eine andere Eingabeeinheit vorgesehen.
Die rechte Hand 12 des Benutzers führt im dargestellten Beispiel eine Schneidbewegung aus, indem der Zeigefinger und Mittelfinger der Hand 12 ähnlich wie bei einem Scherenschnitt bewegt werden (siehe Pfeil 47). Außerdem bewegt der Benutzer seine Hand 12 in Schnittrichtung 48 nach vorne (von Punkt C nach Punkt D), um beispielsweise einen Schnitt bei einer Operation auszuführen. Die Schneidbewegung 47 und Vorwärtsbewegung 48 werden wiederum von der Elektronik 11 erkannt und in entsprechende Steuersignale umgesetzt, die der Robotersteuerung 6 zugeführt und von dieser weiter verarbeitet werden. Die Robotersteuerung 6 erzeugt schließlich ein oder mehrere Stellsignale I1–I3 (siehe 6 oder 8), mit denen bestimmte Aktuatoren des Robotersystems so angesteuert werden, dass das am Roboterkopf 51 befestigte chirurgische Instrument den Steuervorgaben des Benutzers folgt und einen gewünschten Schnitt ausführt.
Wie erwähnt, könnte das Robotersystem beispielsweise auch mit einem von Hand betätigten Objekt, einem vom Benutzer betätigten Mechanismus oder mittels anderer Körperteile, wie z.B. der Füße, gesteuert werden. Das Bilderfassungssystem 10, 11 müsste in diesem Fall die jeweiligen Steuermittel erkennen und die vom Benutzer ausgeführte Bewegung in entsprechende Signale umzusetzen.
Das Bilderfassungssystem 10, 11 ist vorzugsweise nicht bloß zur Erkennung von Bewegungen, sondern auch von Gesten ausgelegt. Dadurch wird es möglich, das Robotersystem auch mittels bestimmter Gesten zu steuern oder zu konfigurieren. Zur Erkennung einer Geste können die von der Eingabevorrichtung 2 erfassten Gesten z. B. mit den in einer Datenbank (nicht gezeigt) abgelegten Gesten abgeglichen werden. Bei Übereinstimmung einer erfassten Geste mit einer in der Datenbank gespeicherten Geste kann ein der Geste zugewiesener Steuerbefehl ausgeführt werden.
Die Gesten-Datenbank kann beispielsweise in der Elektronik 11 enthalten sein. Die Elektronik 11 mit der Bilderkennungssoftware kann Teil der Eingabevorrichtung 2 sein, sie kann aber auch an anderer Stelle, z.B. in einem separaten Mikrokontroller implementiert oder zusammen mit der Robotersteuerung 6 in einer einzigen Steuereinheit kombiniert sein.
3 zeigt ein Bilderfassungssystem 10, 11 als Eingabevorrichtung 2 zur Steuerung eines Robotersystems. In diesem Ausführungsbeispiel kann das Robotersystem mittels verschiedener Gegenstände gesteuert werden, die der Benutzer in mindestens einer seiner beiden Hände 12, 13 hält. In 3 hält der Benutzer in seiner nicht-dominanten Hand 13 einen Stift 43, der mit einer Markierung versehen ist, und in der dominanten Hand 12 eine Schere 42. Die Markierung des Stifts 43 als auch die Schere 42 können vom Bilderfassungssystem 10, 11 gut erkannt und deren Bewegung entsprechend gut verfolgt werden kann. Die Steuervorgaben des Benutzers können daher sehr schnell und präzise in entsprechende Steuerbewegungen umgesetzt werden. Vom Benutzer durchgeführte Schneidbewegungen können zum Beispiel in entsprechende Schneidaktionen eines chirurgischen Instruments übertragen werden. Dem Fachmann ist klar, dass anstelle eines Stifts 43 oder einer Schere 42 beliebige andere Gegenstände oder Eingabemittel von Hand geführt werden können.
Die Robotersteuerung 6, die die von der Eingabevorrichtung ausgegebenen Steuersignale verarbeitet, ist vorzugsweise so ausgelegt, dass die von der einen Hand (z. B. 12) ausgeführten Steuervorgaben mittels einer Positionssteuerung in entsprechende Bewegungen des Robotersystems und die von der anderen Hand (z. B. 13) ausgeführten Steuervorgaben mittels einer Geschwindigkeitssteuerung in entsprechende Bewegungen des Robotersystems umgesetzt werden. Wahlweise könnte aber auch für beide Hände eine Positionssteuerung vorgesehen sein. Die Robotersteuerung 6 wird später noch anhand der 6 und 8 beispielhaft erläutert.
4 zeigt ein weiteres Szenario einer manuellen Steuerung eines Robotersystems. Dabei werden die Handbewegungen und / oder Gesten der rechten und linken Hand 12, 13 einschließlich der Eingabemittel 42, 43 wiederum mittels eines Bilderfassungssystems 10, 11 aufgezeichnet und in entsprechende Steuersignale umgesetzt. Die Robotersteuerung 6 verarbeitet die Steuersignale und erzeugt schließlich basierend auf den Bewegungen der Hände 12, 13 und / oder der Eingabemittel 42, 43 ein oder mehrere Stellsignale I1–I3 (siehe z. B. 6 oder 8), mit denen bestimmte Aktuatoren des Robotersystems so angesteuert werden, dass das am Roboterkopf 51 befestigte Werkzeug 5 den Steuervorgaben des Benutzers folgt und eine gewünschte Aktion ausführt.
Im vorliegenden Beispiel wird in Abhängigkeit von den Steuervorgaben der nicht-dominanten Hand 13 eine Geschwindigkeitssteuerung und in Abhängigkeit von den Steuervorgaben der dominanten Hand 12 eine Positionssteuerung durchgeführt. Eine bestimmte Bewegung der nicht-dominanten Hand 13, ausgehend von einer Startposition bzw. neutralen Position, bewirkt dabei eine Bewegung des gesteuerten Objekts mit einer bestimmten Geschwindigkeit, die vom Ausmaß der Handbewegung abhängt. Je nach Konfiguration kann somit z. B. die Geschwindigkeit eines bestimmten Gelenks 4, des Roboterkopfes 51, eines Werkzeugs 5 oder einer anderen Komponente eines Robotersystems vom Benutzer gesteuert werden. Um das gesteuerte Objekt anzuhalten, muss die Hand wieder in die neutrale Position zurück bewegt werden. Neben einer linearen Bewegung kann gleichermaßen auch eine Drehbewegung der Hand 13 in eine entsprechende Geschwindigkeit des gesteuerten Objekts umgesetzt werden, wie durch einen Pfeil 44 dargestellt ist.
Im Unterschied dazu werden die Steuervorgaben der dominanten Hand 12 durch eine Positionssteuerung umgesetzt. D.h., eine räumliche Bewegung der dominanten Hand 12 wird vom Robotersystem in eine entsprechende Bewegung des gesteuerten Objekts umgesetzt, wobei der Ort des Eingabemittels (z. B. der Hand oder eines von Hand betätigten Gegenstands) mit dem Ort des gesteuerten Objekts korreliert. Das gesteuerte Objekt folgt dabei quasi der Handbewegung bzw. Steuervorgabe. Um das gesteuerte Objekt anzuhalten, muss die Hand 12 lediglich an einer festen Position belassen werden.
5 zeigt eine spezielle Ausführungsform der Erfindung, bei der die Eingabevorrichtung 2 die dominante Hand 12 von der nicht-dominanten Hand 13 des Benutzers automatisch unterscheiden kann. Ist der Benutzer beispielsweise Rechtshänder, so würde die Eingabevorrichtung 2 die rechte Hand 12 als dominante Hand, und die linke Hand 13 als nicht-dominante Hand erkennen. Zur automatischen Erkennung der Händigkeit kann die Auswerteelektronik 11 beispielsweise eine Software zur Gesichtserkennung umfassen, mit der der Benutzer identifiziert werden kann. Wenn in einer Datenbank auch die Händigkeit (Rechtshändigkeit bzw. Linkshändigkeit oder auch Beidhändigkeit) der einzelnen Benutzer gespeichert ist, kann die Händigkeit der identifizierten Person einfach ermittelt werden.
Alternativ könnte der Benutzer auch dazu aufgefordert werden, mit seiner dominanten Hand 12 und/oder seiner nicht-dominanten Hand 13 eine bestimmte Geste auszuführen oder die jeweilige Hand bei Aufforderung in den Aufnahmebereich des Bilderfassungssystems 10 zu halten. Wahlweise könnte der Benutzer auch Daten in eine an einem Bildschirm angezeigte Eingabemaske eingeben, neben vielen anderen Möglichkeiten.
Im vorliegenden Ausführungsbeispiel ist die dominante Hand 12 des Benutzers durch eine Markierung, wie z.B. einen Ring 41, markiert. Wahlweise könnte aber auch eine Farbmarkierung oder eine beliebige andere Markierung wie z.B. ein Handschuh vorgesehen sein, die von dem Bilderfassungssystem 10, 11 erkannt werden kann. Wenn der Benutzer einen Gegenstand oder ein anderes Eingabemittel 42, 43 bedient, kann natürlich auch der Gegenstand bzw. das Eingabemittel 42, 43 markiert sein.
Nach der Erkennung bzw. Zuweisung der dominanten und/oder nicht-dominanten Hand 12, 13 des Benutzers kann das Robotersystem manuell gesteuert werden. Die von den Händen 12, 13 ausgeführten Aktionen werden dabei von der Eingabevorrichtung 2 erfasst und die entsprechenden Steuersignale S1, S2 an eine Robotersteuerung 6 übertragen, wie sie beispielhaft in 6 dargestellt ist. Die Robotersteuerung 6 umfasst eine erste Steuereinheit 19, die die Steuersignale S1 der nicht-dominanten Hand (z. B. linke Hand 13), und eine zweite Steuereinheit 20, die die Steuersignale S2 der dominanten Hand (z. B. rechte Hand 12) verarbeitet.
Die erfindungsgemäße Steuerung umfasst ferner eine Einheit 45, welche die Steuersignale S2 der dominanten Hand 12 immer auf den Eingang 14 der zweiten Steuereinheit 20, und die Steuersignale S1 der nicht-dominanten Hand 13 automatisch auf den Eingang 15 der ersten Steuereinheit 19 legt. Wenn die nicht-dominante Hand 13 beispielsweise das Signal S1 und die dominante Hand 12 das Signal S2 generiert, werden die beiden Signale einfach auf die entsprechenden Eingänge 14, 15 der Steuereinheiten 19, 20 durchgeschleift. Erzeugt dagegen z.B. aufgrund der Zuordnung der Hände im Erfassungssystem 2 die dominante Hand 12 das Signal S1 und die nicht-dominante Hand 13 das Signal S2, wird die Belegung der Eingänge 14, 15 der Steuereinheiten 19, 20 vorzugsweise automatisch vertauscht. Die Schalteinheit 45 kann z.B. Schalter aufweisen oder als Software ausgeführt sein. Die Einheit 45 kann z. B. in der Robotersteuerung 6, in der Eingabevorrichtung 2, oder in einem anderen Ort, wie z.B. in einem externen Computer, integriert sein.
Die erste Steuereinheit 19 dient in dem in 6 dargestellten Ausführungsbeispiel zur Durchführung einer Geschwindigkeitssteuerung und umfasst zwei Steuerglieder 17 und 18. Die zweite Steuereinheit 20 dient dagegen zur Durchführung einer Positionssteuerung und umfasst die Steuerglieder 16, 17 und 18, wobei die Steuerglieder 17 und 18 von beiden Steuereinheiten 19, 20 gemeinsam genutzt werden können. Die Steuereinheiten 19, 20 bzw. Steuerglieder 16–18 können wahlweise in Hardware und / oder Software ausgeführt sein.
In der ersten Steuereinheit 19 werden die von der nicht-dominanten Hand 13 erzeugten Steuersignale (S1) zunächst einem Steuerglied 17 zugeführt, das eine entsprechende Geschwindigkeitsvorgabe v erzeugt. Die Geschwindigkeitsvorgabe v wird dann einem weiteren Steuerglied 18 zugeführt, das, basierend darauf, eine oder mehrere Stellgrößen I1 bis I3 erzeugt, mit denen ein oder mehrere Aktuatoren des Robotersystems, z.B. ein oder mehrere Gelenke 4, der Roboterkopf 51 und / oder der Endeffektor 46, angesteuert werden. Die Stellgrößen I1 bis I3 können beispielsweise Ströme sein, mit denen Elektromotoren, insbesondere die der Gelenke 4, bestromt werden.
In der zweiten Steuereinheit 20 wird das Steuersignal (S2) der dominanten Hand 12 zunächst einem Steuerglied 16 zugeführt, das eine Positionsvorgabe x generiert. Die Positionsvorgabe x wird dann vom Steuerglied 17 in eine Geschwindigkeitsvorgabe v gewandelt und schließlich dem Steuerglied 18 zugeführt, das wiederum sämtliche Steuergrößen I1 bis I3 generiert, die notwendig sind, das Robotersystem gemäß der Steuervorgabe des Benutzers zu bewegen. Die Positionsvorgabe x bewirkt somit, dass das gesteuerte Objekt zielgerichtet beschleunigt und dann punktgenau verzögert wird, so dass das gesteuerte Objekt (z.B. ein oder mehrere Gelenke 4, der Roboterkopf 51 und / oder der Endeffektor 46) exakt die der Steuervorgabe entsprechende Bewegung ausführt. Hierzu kann z.B. in der Steuereinheit 20 ein Positions-, Geschwindigkeits- und / oder Beschleunigungsprofil implementiert sein, das unterschiedliche Signal-Verstärkungsfaktoren enthalten kann.
Die erste Steuervorrichtung 19 wird hier zur Grobpositionierung genutzt, mittels derer z.B. ein Roboterarm oder ein Endeffektor 5 in eine gewünschte Position bewegt werden kann. Da die Steuereinheit 19 Geschwindigkeitsvorgaben erzeugt, ist eine genaue Positionierung des gesteuerten Objekts nicht möglich. Dafür lässt sich ein Objekt mittels der Geschwindigkeitssteuerung schneller ansteuern, wodurch die Dynamik des Roboters 1 verbessert wird. Mittels der Positionssteuerung, die von der zweiten Steuereinheit 20 durchgeführt wird, ist dagegen eine Feinpositionierung des gesteuerten Objekts möglich.
Wenn der Benutzer mit beiden Händen denselben bzw. dieselben Aktuatoren gleichzeitig ansteuert, werden die jeweiligen, vom Eingang 15 kommenden Steuersignale S1 oder S2, und die vom Steuerglied 16 kommende Positionsvorgabe x im Steuerglied 17 überlagert und ein überlagertes Signal v generiert, das wiederum dem Steuerglied 18 zugeführt wird. Auf diese Weise kann ein anzusteuerndes Objekt synchron grob- und feinpositioniert werden.
Prinzipiell kann jedes bewegliche oder zu betätigende Element des Roboters 1 mittels der Steuerung 6 individuell durch den Benutzer angesteuert werden. Wird mit der Robotersteuerung 6 der Roboterkopf 51 oder das Werkzeug 5 vom Benutzer direkt angesteuert, so kann in einer vorteilhaften Ausgestaltung der Erfindung die Robotersteuerung 6 die notwendigen Vorgaben für die Gelenke 4 des Roboters 1 autonom und gleichzeitig generieren, so dass der Roboterkopf 51 oder das Werkzeug 5 die gewünschte Position anfährt, ohne dass der Benutzer jedes Gelenk 4 einzeln ansteuern muss.
7 zeigt ein Robotersystem mit zwei Robotern 1a, 1b, die jeweils mehrere Arme 50a, 50b und mehrere Gelenke 4a, 4b aufweisen. Andere Bauformen sind natürlich ebenfalls denkbar. Das Robotersystem ist hier als ein Chirurgie-Robotersystem ausgebildet, insbesondere zur Durchführung von minimalinvasiven chirurgischen Eingriffen. Die Roboter 1a, 1b sind daher mit speziellen chirurgischen Instrumenten, wie z.B. Endoskopen, Trokaren, Pinzetten, Zangen, Nahtgeräten, Skalpellen, Spreizern, Scheren oder je nach Einsatzzweck auch anderen Werkzeugen 5a, 5b ausgestattet, mit denen ein Patient 22 behandelt oder bewegt werden kann.
Das Robotersystem umfasst ferner einen elektromotorisch verstellbaren Operationstisch 21, der einen oder mehrere Aktuatoren aufweist, mit denen bewegliche Elemente des OP-Tisches 21, wie z.B. Rücken-, Fußteile oder Armstützen, bewegt werden können. Durch entsprechende Ansteuerung des Operationstisches ist es möglich, die Lage des Patienten bzw. einzelner Körperteile des Patienten zu verändern und somit die Operation zu unterstützen.
Der Operationstisch 21 ist mit einer Steuereinheit 23 verbunden und kann von dieser bei entsprechenden Steuervorgaben des Benutzers angesteuert werden. So kann der Benutzer den Operationstisch 21 z. B. über die Eingabevorrichtung 2 verstellen und damit bewegliche Elemente des Operationstischs 21 oder den gesamten Operationstisch 21 in der Höhe verstellen, kippen, neigen, drehen, etc.
Die Robotersteuerung 6 für dieses Robotersystem kann beispielsweise in einer Steuereinheit 23 integriert sein. Wahlweise können auch einzelne Steuereinheiten 19, 20 verteilt angeordnet sein, wie z.B. in der Basis der Roboter 1a, 1b. Alternativ könnte das Robotersystem aber auch aus mindestens zwei vollwertigen Robotern 1a und 1b aufgebaut werden, die jeweils eine komplette Robotersteuerung 6, wie in 6 oder 8 gezeigt, enthalten.
Die Steuerung der Roboter 1a und 1b kann nun analog zu den obigen Ausführungen erfolgen, wozu beide Roboter an die Steuerung 6 (gemäß 6) angeschlossen werden. D.h. das Steuerglied 18 kann Steuersignale sowohl für Roboter 1a als auch für Roboter 1b generieren. Um mit der Eingabevorrichtung 2 abwechselnd den einen oder den anderen Roboter anzusteuern, kann die Eingabevorrichtung 2 eine Auswahlmöglichkeit vorsehen, um die Steuerung 6 entweder mit dem Roboter 1a oder mit dem Roboter 1b zu koppeln. Beispielsweise kann eine bestimmte Handgeste mit dem Befehl verknüpft sein, die Roboter 1a und 1b abwechselnd zu aktivieren. Je nachdem, welcher Roboter aktiv ist, kann mit der Eingabevorrichtung 2 der eine oder der andere Roboter angesteuert werden.
Alternativ kann jeder einzelne Roboter 1a, 1b mit einer eigenen Eingabevorrichtung 2 und Robotersteuerung 6 verbunden werden. In diesem Fall könnte das Robotersystem von mehreren Benutzern gleichzeitig bedient werden, wobei jeder Roboter z. B. von einem anderen Benutzer gesteuert werden kann.
8 zeigt eine alternative Robotersteuerung 6, die insbesondere für ein Robotersystem mit mehreren Robotern 1a, 1b ausgelegt ist, wie es beispielhaft in 7 dargestellt ist. Die Robotersteuerung 6 umfasst wiederum eine erste Steuereinheit 19 und eine zweite Steuereinheit 20, die die an den zugehörigen Eingängen 15 bzw. 14 empfangenen Steuersignale S1, S2 separat verarbeiten und in entsprechende Ausgangssignale I11 bis I13 bzw. I21 bis I23 umsetzen, mit denen der erste Roboter 1a bzw. der zweite Roboter 1b angesteuert werden. Darüber hinaus generiert z. B. die erste Steuereinheit 19 auch ein Ausgangssignal I14, mit dem weitere Einrichtungen angesteuert werden können, wie z.B. der Operationstisch 21.
Im dargestellten Ausführungsbeispiel von 8 führt die Steuereinheit 19 eine Geschwindigkeitssteuerung und die Steuereinheit 20 eine Positionssteuerung durch. Wahlweise könnten aber auch beide Steuereinheiten 19, 20 eine Positionssteuerung ausführen. Die Steuereinheit 19 verarbeitet vorzugsweise die von der nicht-dominanten Hand 13 erzeugten Steuersignale, und die Steuereinheit 20 die von der dominanten Hand 12 erzeugten Steuersignale.
Die Steuersignale S1 der nicht-dominanten Hand 13 werden über den Eingang 15 einem Steuerglied 17 zugeführt, das wiederum eine entsprechende Geschwindigkeitsvorgabe v, z.B. für den Roboter 1a bzw. ein oder mehrere seiner Aktuatoren 4a, generiert, die dann mittels des Steuerglieds 18a in entsprechende Stellsignale I11–I14 umgesetzt wird. Die Steuersignale S2 der dominanten Hand 12 werden von der zweiten Steuereinheit 20 verarbeitet und dort über den Eingang 14 einem Stellglied 16 zugeführt, das daraus eine entsprechende Positionsvorgabe x erzeugt. Letztere wird vom Steuerglied 17 in eine Geschwindigkeitsvorgabe v gewandelt, die wiederum mittels des Steuerglieds 18b in entsprechende Stellsignale I21–I23 gewandelt wird, mit denen der Roboter 1b bzw. ein oder mehrere seiner Aktuatoren 4b angesteuert wird. Der Roboter 1a wird somit geschwindigkeitsgesteuert und der Roboter 1b positionsgesteuert. Der Operationstisch 21 wird hier ebenfalls geschwindigkeitsgesteuert, könnte aber auch positionsgesteuert werden.
Für beide Steuereinheiten 19, 20 wird hier ein einziges Steuerglied 17 genutzt. Alternativ kann auch jeweils ein separates Steuerglied 17 vorgesehen sein.
Das Robotersystem kann ferner eine Auswahlmöglichkeit vorsehen, um die Zuordnung der gesteuerten Aktion zu der jeweiligen Hand und/oder Steuervorgabe zu verändern. Dadurch kann je nach Wunsch z.B. der Roboter 1a mit der dominanten oder der nicht-dominanten Hand, und der Roboter 1b mit der jeweils anderen Hand gesteuert werden. Darüber hinaus kann das Robotersystem auch Mittel umfassen, mit denen die Art der Steuerung, insbesondere Positionssteuerung oder Geschwindigkeitssteuerung, für jede Hand ausgewählt werden kann. Hierzu kann der Benutzer beispielsweise aufgefordert werden, eine bestimmte Geste mit der Hand auszuführen oder eine bestimmte Eingabe am System vorzunehmen. Die Auswahl kann beispielsweise auch über eine Eingabemaske an einem Computer erfolgen.
Wie bereits schon bei der vorhergehenden Ausführung der Erfindung erläutert, ist es auch bei dieser Ausführung möglich, jedes Gelenk 4a, 4b einzeln anzusteuern oder direkt die beiden Werkzeuge 5a, 5b. Werden die Werkzeuge 5a, 5b direkt angesteuert, generiert die Robotersteuerung 6 die zur Ansteuerung der Gelenke 4a, 4b notwendigen Stellsignale automatisch, indem eine geeignete Bewegungsbahn der Roboterarme 1a und 1b zum Verfahren der Werkzeuge 5a bzw. 5b ermittelt wird und verfährt die Roboterarme 1a und 1b dementsprechend selbstständig.
In einer Weiterbildung der Erfindung können nicht nur die Roboter 1a, 1b bzw. deren Gelenke 4a, 4b einschließlich des Roboterkopfes 51 gesteuert werden, sondern die Werkzeuge 5a, 5b selbst. Hierzu zeigt 9A ein typisches chirurgisches Instrument – hier eine Pott’sche Schere – das bei einem Chirurgie-Robotersystem zum Einsatz kommen kann. 9B zeigt dagegen ein aus dem Stand der Technik bekanntes Skalpell.
Die verschiedenen Werkzeuge 5 haben jeweils mehrere Gelenke mit Gelenkachsen A1 bis A3, um die der jeweilige Endeffektor 46 gedreht bzw. geschwenkt werden kann. Im dargestellten Fall haben beide Werkzeuge 5 jeweils drei Gelenke, deren Achsen A1 bis A3 jeweils rechtwinklig aufeinander stehen. Die Endeffektoren 46 können daher verschiedene Schwenkbewegungen im Raum als auch rotatorische Bewegungen um die Längsachse A3 ausführen.
Die Pott’sche Schere 47 von 9A umfasst zwei Scherenblätter 53a, 53b, die entlang der Pfeile auf- und zubewegt werden können. Das in 9B dargestellte Skalpell 50 kann ebenfalls im Raum geschwenkt und um seine Längsachse A3 rotiert werden. Die beiden in den 9A und 9B gezeigten Werkzeuge 5 stehen stellvertretend für beliebige andere Werkzeuge, mit denen die Roboter 1, 1a, 1b je nach Einsatzzweck bestückt werden können.
Die Gelenke der Werkzeuge 5 können beispielsweise mittels mindestens eines im Werkzeug 5 integrierten, elektromotorisch betätigten Antriebs (z.B. Seilantrieb) individuell bewegt werden. Zur Ansteuerung jeder dieser elektromotorischen Werkzeugantriebe kann analog zur Steuerung der Robotergelenke 4, 4a, 4b die erfindungsgemäße Robotersteuerung 6 (gemäß 6 und / oder 8) genutzt werden.
Um z.B. einen sehr genau geführten Schnitt mit dem Skalpell 50 durchzuführen, kann das Gelenk A2 des Skalpells 50 der Positionssteuerung 20 unterliegen. Hingegen kann es genügen, das Skalpell 50 über das Gelenk A1 nur grob auszurichten, so dass das Gelenk A1 einer Geschwindigkeitssteuerung 19 unterliegen könnte. Ferner kann beispielsweise die Fingerbewegung 47 der Hand 12 (siehe 2) über die Eingabevorrichtung 2 erfasst werden. Ist die Eingabe der Hand 12 der Positionssteuerung unterworfen, so würden die Scherenblätter 53a, 53b der Pott’schen Schere 47 exakt positionsgesteuert werden. D.h. der Öffnungswinkel der beiden Scherenblätter 48a, 48b würde z.B. genau der jeweiligen Fingerstellung der Hand 12 folgen. Somit könnte ein Schnitt mit einer exakt vom Benutzer bestimmten Schnittlänge ausgeführt werden.
10 zeigt ein Stück eines menschlichen Gewebes 36, das z.B. mit Hilfe des Chirurgie-Robotersystems von 7 geschnitten werden soll. Der Schnitt soll dabei innerhalb vorgegebener Begrenzungslinien 25 erfolgen. Um einen solchen Schnitt auszuführen, kann der mit einem Skalpell bestückte Roboter 1 beispielsweise von der nicht-dominanten Hand mittels Geschwindigkeitssteuerung an den Startpunkt – in der Fig. unten rechts – gebracht werden.
Zur Betätigung des Schneidewerkzeugs 5, z.B. eine Schere, dient nun die Positionssteuerung 20, um exakte Steuervorgaben zu generieren. Dadurch kann die Position der beiden Schneiden 53a, 53b der Schere genau vorgegeben werden. Eine zu weite oder zu geringe Öffnungs- bzw. Schließbewegung der Schere kann so verhindert werden. Die Geschwindigkeitssteuerung 19 kann dabei, wie oben bereits ausgeführt, zur Steuerung des Roboterarms 1 und / oder seiner Gelenke 4 genutzt werden.
Da der Benutzer das Instrument mittels der Grobsteuerung nur relativ ungenau steuern kann, wird die Position, an der das Instrument zum Stehen kommt, vergleichsweise ungenau sein und z. B. zwischen den Punkten 26 und 27 liegen. Der Benutzer kann ggf. mittels der dominanten Hand den Startpunkt korrigieren und dann mittels Positionssteuerung einen geraden Schnitt 31 bzw. 32 ausführen, bis er an die erlaubten Bereichsgrenzen 25 stößt (siehe Punkte 28 bzw. 29). Je nach Ausgangpunkt 26 bzw. 27 kann der Schnitt innerhalb der Bereichsgrenzen 25 unterschiedlich lang ausgeführt werden. Daher wird erfindungsgemäß die Schneidebewegung positionsgesteuert durchgeführt, um die Schnittlänge exakt zu steuern. D.h. Gelenk A2 des Werkzeugs 5 unterliegt der Positionssteuerung. Nach dem Schnitt kann ausgehend von Position 28 oder 29 der Schnitt fortgesetzt werden. Dort muss das Instrument 5 neu ausrichten werden.
Infolge dessen kann durch die Positionssteuerung 20, mittels derer eine exakte Schnittlänge durch die genaue Vorgabe der Schneidebewegung erzielt werden kann, eine vergleichsweise grobe Positionierung oder Ausrichtung des Werkzeugs 5 mittels der Geschwindigkeitssteuerung 19 kompensiert werden. Dies setzt sich im weiteren Verlauf der Schneidearbeit fort. Ausgehend von Position 28 beispielsweise wird mittels der Grobpositionierung das Werkzeug 5 neu positioniert bzw. ausgerichtet. Je nach Winkellage des Werkzeugs 5 zu dem Gewebe 36 bzw. zur Schnittvorgabe 24 kann durch entsprechend angepasste Schnittlängen 33, 34 mittels der Positionssteuerung 20 verhindert werden, dass die Toleranzgrenze 25 an den Positionen 30 bzw. 35 verletzt wird.
Darüber hinaus kann auch vorgesehen sein, dass der Benutzer mit seiner nicht-dominanten Hand 13 den Schneidvorgang unterstützt, indem er entweder den Operationstisch 21 oder einen Roboter ansteuert, mit dem der Körper bzw. das operierte Körperteil, wie z.B. das Knie des Patienten 22, bewegt wird. Das Gewebestück 36 bzw. der zugehörige Körperteil des Patienten 22 kann somit in Richtung des Instruments 5 nachgeführt werden. Bei einer gekrümmten Schnittvorgabe 24, wie dargestellt, kann das Gewebestück 36 bzw. das zugehörige Körperteil des Patienten 22 z.B. rotatorisch/translatorisch bewegt werden, so dass auch gekrümmte Schnitte entlang der Schnittvorgabe 24 ausgeführt werden können. D.h. die positionsgesteuerte Schnittbewegung des Instruments 5 überlagert sich mit der geschwindigkeitsgesteuerten Nachführung des Objekts 36. Mit seiner dominanten Hand 12 kann der Benutzer dann z.B. an Ort und Stelle verharren und im Falle einer Schere z.B. lediglich Auf/Zu-Schneidbewegungen ausführen, während das Objekt 36 entsprechend der gewünschten Schnittvorgabe 24 an der Schere ausgerichtet wird.
Wie 11 zeigt, ist es ferner möglich, die Eingabevorrichtung 2 mit mehreren Steuerungen 6a, 6b zu koppeln, wobei jede Steuerung unterschiedliche Aktoren der Roboter 1, 1a, 1b und / oder der Werkzeuge 5, 5a, 5b steuert. Auf diese Weise lassen sich mit ein und derselben Handbewegung mehrere Aktoren gleichzeitig ansteuern, wobei die Ansteuerungsform unterschiedlich sein kann. Z.B. kann eine bestimmte Handbewegung 49, wie sie z. B. in 2 dargestellt ist, die Steuerung 6a veranlassen, lediglich den Roboterkopf 51 eines Roboters 1 zu betätigen, wohingegen die Handbewegung von A nach B die Steuerung 6b veranlasst, eines der anderen Gelenke 4 des Roboters 1 zu betätigen.
Analog dazu können beliebige Kombinationen zwischen beliebig vielen Steuerungen 6 und den Aktoren der Roboter 1, 1a, 1b und den Werkzeugen 5, 5a, 5b erstellt werden, so dass es prinzipiell möglich wäre, mit einer Eingabevorrichtung 2 sämtliche Aktoren des Robotersystems einschließlich der Werkzeuge gleichzeitig zu steuern. Insofern könnte z.B. die Steuerung 6a vorgesehen werden, den Roboter 1a zu betätigen und Steuerung 6b den Roboter 1b.
Ferner ist es gemäß der Erfindung möglich, dass die Eingabevorrichtung 2 Hand- und Armbewegungen voneinander unterscheiden kann. Wie in 5 gezeigt, kann eine Bewegung 54 des Arms 55 unabhängig von einer weiteren Handbewegung oder Handgeste als Winken erkannt werden. Demnach können zur Steuerung des Robotersystems den einzelnen Gelenkantrieben 4, 4a, 4b, 51 verschiedene Körperteile des Benutzers zugewiesen werden.
D.h. der Roboterarm 1a fungiert stellvertretend für den linken Arm des Benutzers, der Roboterarm 1b für den rechten Arm des Benutzers, sowie der linke Endeffektor 5a für die linke Hand des Benutzers und der rechte Endeffektor 5b für die rechte Hand des Benutzers. Die jeweiligen Vorgaben werden aus den von der Eingabevorrichtung 2 erfassten Hand- bzw. Armgesten erzeugt. Auf diese Weise ist dem Benutzer die Möglichkeit gegeben, das Robotersystem quasi wie seine eigenen beiden Arme bzw. Hände zu nutzen.
Dabei kann der Benutzer simultan mit der nicht-dominanten Hand eine Grobpositionierung des Roboters 1a bzw. des Werkzeugs 5a und mit der dominanten Hand eine Feinpositionierung des Roboters 1b bzw. des Werkzeugs 5b vornehmen. Da die Funktionsweise der Robotersteuerung 6 somit den natürlichen Gegebenheiten eines Menschen nachempfunden ist, bzw. dessen Anatomie stückweise nachbildet, sowie die Händigkeit des Benutzers darauf abgestimmt ist, ist ein äußerst intuitives Arbeiten mit dem Robotersystem implizit gegeben, was den besonderen Vorteil dieser erfindungsgemäßen Ausführungsvariante charakterisiert
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2011/296353 A1 [0014]
KR 10-2011-0003146 [0014]

Claims

Vorrichtung (2, 6) zum Steuern eines Robotersystems (1, 1a, 1b, 5, 5a, 5b, 21), mit einer manuell bedienbaren Eingabevorrichtung (2), die eine Sensorik (7, 10, 11) zum Erfassen von Steuervorgaben einer ersten Hand (12) und einer zweiten Hand (13) aufweist, gekennzeichnet durch eine Steuerung (6) mit – einer ersten Steuereinheit (19), die in Abhängigkeit von den Steuervorgaben der ersten Hand (12) eine Positionssteuerung durchführt, und – einer zweiten Steuereinheit (20), die in Abhängigkeit von den Steuervorgaben der zweiten Hand (13) eine Geschwindigkeitssteuerung oder eine Positionssteuerung durchführt.
Vorrichtung (2, 6) nach Anspruch 1, dadurch gekennzeichnet, dass sie Mittel zum Erkennen einer dominanten Hand (12) und einer nicht-dominanten Hand (13) eines Benutzers umfasst.
Vorrichtung (2, 6) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass sie derart ausgelegt ist, dass eine der Steuereinheiten (19, 20) entweder die Steuervorgaben der ersten (12) oder die Steuervorgaben der zweiten Hand (13) verarbeitet, je nachdem, welche Hand (12, 13) die dominante Hand ist.
Vorrichtung (2, 6) nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Steuerung (6) derart ausgelegt ist, dass sie in Reaktion auf Steuervorgaben einer dominanten Hand (12) eine Positionssteuerung, und in Reaktion auf Steuervorgaben einer nicht-dominanten Hand (13) eine Geschwindigkeitssteuerung durchführt.
Vorrichtung (2, 6) nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Steuerung (6) derart ausgelegt ist, dass sie in Reaktion auf Steuervorgaben einer dominanten Hand (12) eine Positionssteuerung, und in Reaktion auf Steuervorgaben einer nicht-dominanten Hand (13) ebenfalls eine Positionssteuerung durchführt.
Vorrichtung (2, 6) nach Anspruch 5, dadurch gekennzeichnet, dass die erste und zweite Steuereinheit (19, 20) eine von einem Benutzer ausgeführte Steuervorgabe jeweils mit einem bestimmten Skalierungsfaktor in eine entsprechende Bewegung eines gesteuerten Objekts übertragen, wobei der Skalierungsfaktor derjenigen Steuereinheit (19), die der nicht-dominanten Hand (13) zugeordnet ist, größer ist, als der Skalierungsfaktor derjenigen Steuereinheit (20), die der dominanten Hand (12) zugeordnet ist.
Vorrichtung (2, 6) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerung (6) ein Steuerglied (17) aufweist, das ein erstes Signal (S1, S2), das eine Steuervorgabe einer ersten Hand (13) repräsentiert, und ein zweites Signal (x), das eine Positionsvorgabe repräsentiert, die aus einer Steuervorgabe einer zweiten Hand (12) resultiert, überlagert und ein Ausgangssignal (v) erzeugt, mittels dessen wenigstens ein Aktuator des Robotersystems (1, 1a, 1b, 4, 4a, 4b, 5, 5a, 5b, 21, 51) angesteuert wird, um die von den Händen ausgeführten Steuervorgaben in eine entsprechende Bewegung umzusetzen.
Vorrichtung (2, 6) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Steuereinheit (19) und die zweite Steuereinheit (20) zur Steuerung desselben oder derselben Aktuatoren (4, 4a, 4b) eines oder mehrerer Roboter (1, 1a, 1b) und/oder eines oder mehrerer Werkzeuge (5, 5a, 5b) vorgesehen sind.
Vorrichtung (2, 6) nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die erste Steuereinheit (19) und die zweite Steuereinheit (20) zur Steuerung verschiedener Aktuatoren eines oder mehrerer Roboter (1, 1a, 1b) und/oder eines oder mehrerer Werkzeuge (5, 5a, 5b) vorgesehen sind.
Vorrichtung (2, 6) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensorik (2) ein Bilderfassungssystem mit wenigstens einer Kamera (10) umfasst.
Verwendung einer der vorstehend beanspruchten Vorrichtungen zur Steuerung eines oder mehrerer chirurgischer Roboter (1, 1a, 1b) und/oder chirurgischer Instrumente (5, 5a, 5b) und/oder eines Operationstisches (21) bei einer Operation.
Verwendung nach Anspruch 11, dadurch gekennzeichnet, dass das chirurgische Instrument (5, 5a, 5b) ein Greif-, Halte-, Schneid-, Säge-, Schleif-, Verbinde-, Füge- oder ein anderes Werkzeug aus der Gruppe der chirurgischen Instrumente ist.
Verfahren zum Steuern eines Robotersystems (1, 1a, 1b, 5, 21) mittels wenigstens zweier Hände (12, 13), umfassend folgende Schritte: – Erfassen von Steuervorgaben einer ersten Hand (12) und einer zweiten Hand (13) mittels einer Eingabevorrichtung (2), – Durchführen einer Positionssteuerung in Abhängigkeit von den Steuervorgaben der ersten Hand (12), und – Durchführen einer Geschwindigkeitssteuerung oder einer Positionssteuerung in Abhängigkeit von den Steuervorgaben der zweiten Hand (13).
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass erfasst wird, ob die erste Hand (12) eine dominante oder eine nicht-dominante Hand ist und/oder ob die zweite Hand (13) eine dominante oder eine nicht-dominante Hand ist.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Steuervorgaben einer Hand (12, 13) in Abhängigkeit davon, ob die Hand eine dominante oder eine nicht-dominante Hand ist, entweder von einer ersten oder einer zweiten Steuereinheit (19, 20) verarbeitet werden.
Verfahren nach Anspruch 13, 14 oder 15, dadurch gekennzeichnet, dass, sofern die eine Hand (12, 13) als dominante Hand (12) erkannt wurde, die zugehörige Steuereinheit (20) in Reaktion auf Steuervorgaben der dominanten Hand (12) eine Positionssteuerung durchführt, und/oder, sofern eine Hand (12, 13) als nicht-dominante Hand (13) erkannt wurde, die zugehörige Steuereinheit (19) in Reaktion auf eine Steuervorgabe der nicht-dominanten Hand (13) eine Geschwindigkeitssteuerung durchführt.
Verfahren nach Anspruch 13, 14 oder 15, dadurch gekennzeichnet, dass, sofern die eine Hand (12, 13) als dominante Hand (12) erkannt wurde, die zugehörige Steuereinheit (20) in Reaktion auf Steuervorgaben der dominanten Hand (12) eine Positionssteuerung durchführt, und/oder, sofern eine Hand (12, 13) als nicht-dominant erkannt wurde, die zugehörige Steuereinheit (19) in Reaktion auf eine Steuervorgabe der nicht-dominanten Hand (13) ebenfalls eine Positionssteuerung, jedoch mit einem anderen, insbesondere größeren Skalierungsfaktor, durchführt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Positionssteuerung (20) eine Feinpositionierung wenigstens eines Aktuators eines Roboters (1, 1a, 1b) und / oder eines Werkzeugs (5, 5a, 5b) und die Geschwindigkeitssteuerung (19) eine Nachführung eines Objektes (36) und / oder eine Grobpositionierung wenigstens eines Aktuators eines Roboters (1, 1a, 1b) und / oder eines Werkzeugs (5, 5a, 5b) durchführt.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass Ungenauigkeiten der Geschwindigkeitssteuerung (19) durch die Positionssteuerung (20) kompensiert werden.