DE69312053T2

DE69312053T2 - Teleoperateursystem und verfahren mit teleanwesenheit

Info

Publication number: DE69312053T2
Application number: DE69312053T
Authority: DE
Inventors: Philip Green
Original assignee: Stanford Research Institute
Current assignee: SRI International Inc
Priority date: 1992-01-21
Filing date: 1993-01-14
Publication date: 1997-10-30
Anticipated expiration: 2013-01-15
Also published as: JPH07504363A; US6223100B1; EP0776739A2; EP0776738A3; WO1993013916A1; ATE155059T1; JP4324511B2; ATE215430T1; DE69332914T2; EP0776738A2; EP0776739B1; DE69332914D1; CA2632123A1; EP0776738B1; JP5131598B2; ATE238140T1; EP0623066A1; EP0776739A3; DE69331789D1; JP2007325960A

Description

Diese Erfindung betrifft im allgemeinen ein Fernbedienungssystem und ein Verfahren gemäß den Oberbegriffen der Ansprüche 1 und 15 und besonders ein solches, das Einrichtungen einschließt, die dem Bediener einer entfernten Vorrichtung das gleiche Gefühl vermittelt, als ob er direkt mit seinen Händen an der Arbeitsstelle arbeiten würde.

Hintergrund der Erfindung

Fernbedienung schließt, wie bekannt, die Durchführung von Arbeiten an einer entfernten Stelle unter Verwendung von Manipulatoren ein. Fernpräsenz schließt ein, daß der Fembediener die gleiche Rückwirkung und Kontrolle hat, wie er sie hätte, wenn er tätsächlich an der Arbeitsstelle die Operation selbst mit eigenen Händen ausführen würde. Das Fernpräsenzverfahren schließt im allgemeinen die Verwendung einer ortsfesten Sichtanzeige, insbesondere einer stereographischen Sichtanzeige des entfernten Arbeitsplatzes ein. Stereoskopische Fernsehsysteme sind bekannt, zum Beispiel aus den US-Patenten Nr. 4,562,463 und 4,583,117 und aus der UK-Patentanmeldung GB 2,040,134.
Fernmanipulatoren, die stereoskopische Femsehbetrachtung zusammen mit Kraftrückkopplung verwenden, sind ebenfalls bekannt, wie sich zum Beispiel aus einem Artikel mit dem Titel "Controlling Remote Manipulators Through Kinesthetic Coupling" von Bejczy et al, Computers in Mechanical Engineering, July 1983 auf den Seiten 48-60 und aus einem Artikel mit dem Titel "Stereo Advantage for a Peg-in-Hole Task Using a Force-Feedback manipulator" von E.H. Spain, SPIE Vol 1256 Stereoscopic Displays and Applications, 1990 auf den Seiten 244-254 ergibt. In dem Artikel von Bejczy et al wird eine Kraft- Drehmomentrückkopplung beschrieben. In dem US-Patent Nr. 3,921,445 wird ein Manipulator gezeigt, der Kraft-, Drehkraft- und Gleitsensoren der Art einschließt, wie sie bei der vorliegenden Erfindung verwendet werden können.
Ein ferngesteuertes Master-Slave-System, welches den nächstliegenden Stand der Technik wiedergibt, wird in einem Artikel mit dem Titel "Tele-Existence Master Slave System for Remote Manipulation (II)" von Tachi et al., in dem Protokoll der 29th Conference on Decision and Control, Band 1 of 6 auf den Seiten 85-90 beschrieben. Das System umfaßt ein Mastersystem mit einer Sicht- und Hörpräsenzwahrnehmung, einem Computerkontrollsystem und einem anthropomorphen Arbeitsrobotermechanismus mit einem Arm mit sieben Freiheitsgraden. Die Kopf- und Armbewegungen des Bedieners werden in Echtzeit durch das Master-Bewegungsmeßsystem gemessen. Es werden dann Signale an vier Computer gesendet, welche eine Steuerungsposition der Bewegungen des mechanischen Armes und Kopfes erzeugen, um mit den Kopf- und Armbewegungen des Bedieners übereinzustimmen.
Obgleich der Bediener des Manipulators nach dem Stand der Technik mit einem stationären dreidimesionalen Bild des Arbeitsplatzes ausgestattet wird und die manuellen Steuerungseinrichtungen zum Steuern des Manipulators mit Rückkopplung ausgestattet sind, wird der Bediener doch nicht mit einem Gefühl der tatsächlichen Präsenz an der Arbeitsstelle ausgestattet. Die vorliegende Erfindung ist auf eine Betrachtungsanordnung für die Verwendung in einem Fernmanipulationssystem ausgerichtet, welche wesentlich zu dem Gefühl des Bedieners beiträgt, an dem entfernten Manipulationsort präsent zu sein.
Gemäß einem Aspekt der Erfindung wird ein Fernbedienungssystem zum Manipulieren eines Gegenstandes, der in einem Arbeitsraum an einer Arbeitsstelle angeordnet ist, durch einen Bediener von einer Bediener-Steuerstation aus, die von der Arbeitsstelle entfernt liegt, bereitgestellt, wobei das System einen Manipulator an der Arbeitsstelle, der einen bewegbaren Manipulatorarm und einen Endeffektor an einem Ende des bewegbaren Manipulatorarmes zum Manipulieren des Gegenstandes hat, eine Steuerung an der Bediener- Steuerstation mit einem handbetätigten bewegbaren Steuermechanismus, einem Servomechanismus, der den handbetätigten bewegbaren Steuermechanismus an den Manipulatorarm für Fernsteuerung des Manipulatorarmes koppelt, eine Videokamera zur Beobachtung des Arbeitsraumes und eine Videosichtanzeige, die wirkungsmäßig an die Videokamera gekoppelt ist, um ein Bild des Arbeitsraumes nahe dem handbetätigten bewegbaren Steuermechanismus zu erzeugen, umfaßt, dadurch gekennzeichnet, daß
die Steuerung weiterhin einen ortsfesten Träger zum Tragen des handbetätigten bewegbaren Steuermechanismus umfaßt, wobei der ortsfeste Träger Einrichtungen zur Erzeugung eines fixierten örtlichen Bezugspunktes auf dem handbetätigten bewegbaren Steuermechanismus umfaßt, der Servomechanismus den fixierten örtlichen Bezugspunkt zu einem fixierten entfernten Bezugspunkt auf dem Manipulatorarm derart projiziert, daß eine Bewegung des handbetätigten bewegbaren Steuermechanismus in bezug auf den fixierten örtlichen Bezugspunkt im wesentlichen gleich wie die Bewegung des Manipulatorarmes in beuzg auf den fixierten entfernten Bezugspunkt ist,
und die Videokamera in bezug auf den Manipulatorarm derart positioniert ist, daß die Bewegungsrichtung des einen Endes des Manipulatorarmes in bezug auf die Videokamera in Reaktion auf eine Betätigung des handbetätigten Steuermechanismus im wesentlichen gleich wie die Bewegungsrichtung des handbetätigten bewegbaren Steuermechanismus in bezug auf die Augen des Bedieners ist.
Gemäß einem anderen Aspekt der Erfindung wird ein Verfahren zum Manipulieren eines Gegenstandes an einer Arbeitsstelle von einer Steuerstation eines Bedieners entfernt von der Arbeitsstelle aus, bereitgestellt, wobei ein bewegbarer Arm eines Manipulators in der Nähe des Gegenstandes positioniert und die Bewegung des Armes mit einem handbetätigten Steuermechanismus gesteuert wird, der bei der Steuerstation des Bedieners angeordnet ist, dadurch gekennzeichnet, daß der handbetätigte Steuermechanismus bei einem fixierten örtlichen Bezugspunkt getragen wird,
der fixierte örtliche Bezugspunkt auf einen fixierten entfernten Bezugspunkt auf dem bewegbaren Arm des Manipulators projiziert wird,
der handbetätigte Steuermechanismus um den fixierten örtlichen Bezugspunkt bewegt wird und
der Manipulator derart gesteuert wird, daß eine Bewegung des Manipulators in bezug auf den fixierten entfernten Bezugspunkt im wesentlichen gleich der Bewegung des handbetätigten bewegbaren Steuermechanismus in bezug auf den fixierten örtlichen Bezugspunkt ist.
Ein solches Fernbedienungssystem und -verfahren kann für die Verwendung in einer breiten Vielfalt von Anwendungen geeignet sein, unter anderem der militärischen, industriellen, biomedizischen und ähnlichen mehr.
Die so an einem Arbeitsplatz befindlichen Manipulatoren werden durch handbetätigte Einrichtungen an einer entfernten Bediener-Steuerungsstation gesteuert. An den Manipulatoren werden Endeffektoren verwendet, um in einem Arbeitsraum an der Arbeitsstelle befindliche Gegenstände zu manipulieren, und Kraft-Drehmomentrückkopplung wird dazu verwendet, mechanischen Widerstand, auf den die Endeffektoren getroffen sind, an den Bediener zurückzuübermitteln. Stereographische Sichtanzeigen versorgen den Bediener mit einem Bild des Arbeitsraumes. Gemäß der vorliegenden Erfindung befindet sich das Bild in der Nähe der handbetätigten Einrichtung, so daß der Bediener in die Richtung der handbetätigten Einrichtung schaut, um das Bild nahe der handbetätigten Einrichtung zu betrachten. Es kann entweder ein reales oder ein virtuelles Bild des Arbeitsraumes in der Nähe der handbetätigten Einrichtung bereitgestellt werden. Anzeigeeinrichtungen zum Anzeigen eines realen Bildes können sich in der Nähe der handbetätigten Einrichtung befinden, damit der Bediener direkt das reale Bild betrachten kann. Zum Anzeigen eines virtuellen Bildes des Arbeitsraumes befindet sich ein Spiegel zwischen den Augen des Bedieners und der handbetätigten Einrichtung. In diesem Falle stellt die Anzeige ein echtes Bild bereit, welches von oben nach unten auf den Kopf gestellt ist, wobei das auf den Kopf gestellte Bild über den Spiegel betrachtet wird und wobei der Spiegel das Bild auf den Kopf stellt und den Bediener mit einem virtuellen Bild des Arbeitsraumes ausstattet, welcher sich in der Nähe der handbetätigten Einrichtung zu befinden scheint. Indem sich das Bild des Arbeitsraumes in der Nähe der handbetätigten Einrichtung befindet, wird beim Bediener trotz der Tatsache, daß sich die Endeffektoren an dem Arbeitsplatz befinden und die handbetätigte Einrichtung sich an der entfernten Bedienerstation befindet, ein Gefühl erweckt, als ob die Endeffektoren und die handbetätigte Einrichtung im wesentlichen einstückig wären. Es kann ein stereophonisches Klang-System eingeschlossen sein, um den Bediener mit stereophonischem Geräusch von der Arbeitsstelle zu versorgen. Eine Videokamera, von welcher man ein Bild des Arbeitraumes erhält, ist dafür vorgesehen, den Arbeitsraum zu überwachen. Es können sich verschiedene andere Sensoren und angeschlossene Responder an der Arbeitsstelle beziehungsweise an der Bedienerstation befinden, um Druck-, Tast-, Hitze-, Vibrations- und andere Informationen zur verbesserten Fernpräsenzoperation zu übertragen.
Abhängig von der Anwendung kann eine unterschiedliche Skalierung bei der Übertragung von Informationen zwischen der Bedienerstation und der Arbeitsstelle vorgesehen sein. So kann zum Beispiel für den Mikrozusammenbau, die Mikrochirurgie und ähnliche Tätigkeiten, die die Handhabung von kleinen Teilen beinhalten, die optische und/oder Videovergrößerung verwendet werden, um ein vergrößertes dreidimensionales Bild bereitzustellen, das von dem Bediener betrachtet werden kann. Mit gleicher Skalierung zwischen der handbetätigten Einrichtung und den Manipulatoren ist die Wahrnehmung des Bedieners im wesentlichen die, welche ein Miniaturbediener hätte, wenn er an der Arbeitsstelle wäre.

Kurze Beschreibung der Zeichnungen

Die Erfindung wird zusammen mit anderen Zielen und Vorteilen besser aus der folgenden Beschreibung unter Bezugnahme auf die beiliegenden Zeichnungen verständlich Es versteht sich, daß die Zeichnungen nur dem Zweck der Erläuterung dienen und lediglich Beispiele darstellen und daß die Erfindung nicht auf diese beschränkt ist. In den Zeichnungen beziehen sich gleiche Bezugszeichen auf die gleichen Teile in den verschiedenen Ansichten, wobei
Figur 1 eine schematische Ansicht eines die vorliegende Erfindung verkörpernden Fernbedienungssystems ist, wobei Seitenansichten einer Arbeitsstelle und der entfernten Steuerstation des Bedieners eingeschlossen sind,
Figur 2 eine vergrößerte Ansicht der Bedienerstation von hinten, im wesentlichen entlang der Linie 2-2 von Figur 1 ist,
Figur 3 eine vergrößerte Ansicht der Arbeitsstelle von hinten, im wesentlichen entlang der Linie 3-3 von Figur 1 ist,
Figur 4 eine vereinfachte Seitenansicht ist, welche Figur 1 ähnelt und die die Dimensionsverhältnisse zwischen den Elementen an der Arbeitsstelle und den Elementen an der Bedienerstation zeigt,
Figur 5 eine schematische Darstellung zur Erläuterung der visuellen Wahrnehmung durch ein virtuelles Miniaturauge ist, und Figur 6 eine schematische Darstellung zur Erläuterung der visuellen Wahrnehmung durch den Bediener ist, wenn die Bildvergrößerung verwendet wird,
Figur 7 eine schematische Darstellung ist, welche Figur 1 ähnelt, die aber das Fernbedienungssystem in Verwendung für Fernpräsenz-Chirurgie zeigt,
Figur 8 eine Sicht von hinten auf die in Figur 7 gezeigte Bedienerstation ist,
Figur 9 eine Sicht von hinten auf die in Figur 7 gezeigte Arbeitsstelle ist,
die Figuren 10 und 11 weggebrochene Seitenansichten von modifizierten Formen der Bedienerstation beziehungsweise des Manipulators mit verschiedenen Freiheitsgraden sind,
Figur 12 eine Seitenansicht einer modifizierten Form der Bedienerstation ist, bei der die Anzeige für das direkte Betrachten durch den Bediener positioniert ist,
Figur 13 eine Sicht von hinten auf die modifizierte Form der in Figur 12 gezeigten Bedienerstation ist, und
Figur 14 einen weggebrochenen Abschnitt des Einsatzabschnitts eines Endoskops für den Gebrauch mit der vorliegenden Erfindung zeigt.
Es wird nun Bezug auf auf die Figuren 1-3 genommen, bei denen das Fernbedienungssystem einschließlich einer Bedienerstation 20 (Figuren 1 und 2) und einer Arbeitsstelle 22 (Figuren 1 und 2) gezeigt ist. Ein Bediener 18 steuert an der Bedienerstation den Manipulator 24 an der entfernten Arbeitsstelle. Die Manipulatoreinrichtung 24 mit einem rechten und linken Manipulator 24R beziehungsweise 24L wird zum Manipulieren von Gegenständen, wie etwa dem Objekt 26, das sich auf einer Plattform oder einem Sockel 28 in einem in gestrichelter Linie gezeigten Arbeitsraum 30 befindlich dargestellt ist, verwendet. Nur zu Erläuterungszwecken und nicht, um zu beschränken, ist der rechte Manipulator 24R so gezeigt, daß er ein Gehäuse 32R umfaßt, das an dem Sockel 28 befestigt ist und von dem aus sich ein teleskopischer Arm 34R erstreckt. Das innere Ende 34R1 des Armes 34R ist für Schwenkbewegungen in jeder schwenkbaren Richtung unter Verwendung herkömmlicher Befestigungsmittel befestigt. So kann zum Beispiel das innere Ende des Armes 34R für Schwenkbewegungen um eine horizontale Schwenkachse 36 befestigt sein, wobei die Schwenkachse 36 ihrerseits für Schwenkbewegung um die vertikale Achse 38 angepaßt ist.
Der Arm 34R schließt einen ineinanderschiebbaren inneren Abschnitt 34R1 und einen äußeren Abschnitt 34R2 ein, wobei der äußere Abschnitt sowohl auf Axialbewegung in den inneren Abschnitt 34R1 hinein und aus ihm heraus als auch auf die Drehung um seine Längsachse herum ausgebildet ist. Ein Endeffektor 40R wird an dem äußeren Ende des Armes getragen, welcher, zu Erläuterungszwecken, mit einem Greifer gezeigt ist. Nicht gezeigte Motoren steuern die Schwenkbewegung des Armes 34R um die Schwenkachsen 36 und 38, die Axial- und Drehbewegung des äußeren Armabschnitts 34R2 entlang der und um die Längsachse des Armes herum sowie das Öffnen und Schließen des Greifers 40R. Die Motoren können zusammen mit den Motorsteuerkreisen zur Steuerung der Motoren in dem Gehäuse 32R eingeschlossen sein. Die Motoren stehen unter Kontrolle eines daran durch die rechte Manipulatorschnittstelle 44R angeschlossenen Computers 42 und der oben erwähnten Motorsteuerkreise.
Der linke Manipulator 24L hat im wesentlichen die gleiche Form wie der rechte Manipulator 24R und die gleichen Bezugsziffern, jedoch mit dem Suffix L statt des R, werden zur Kennzeichnung ähnlicher Teile verwendet. Zu Erläuterungszwecken ist der in Figur 3 gezeigte linke Endeffektor 40L mit Schneidklingen zu sehen, welche so arbeiten, daß sie in der Art eines Scherenklingenpaares schneiden.
Die Arbeitsstelle ist mit einem Paar Videokameras 46R und 46L zum Betrachten des Arbeitsraumes 30 aus verschiedenen Blickwinkeln ausgestattet, um stereoskopische Signalabgaben daraus über die Leitungen 48R und 48L zu erzeugen. Der Winkel γ zwischen den optischen Achsen der in Figur 3 gezeigten Kameras ist im wesentlichen der gleiche wie der interokulare Betrachtungswinkel γ des Bedieners eines Bildes des wie in Figur 2 gezeigten Arbeitsraumes.
Die Videokamerabilder werden über die Leitungen 48R und 48L an einen Bildspeicher 50 zur vorübergehenden Speicherung der Videofelder der rechten und linken Bilder von den Kameras geliefert. Die Felder der rechten und linken Bilder werden von dem Bildspeicher 50 abwechselnd durch die linke/rechte Schaltereinrichtung 52 zu der Sichtanzeigeeinrichtung 54, etwa einem Fernsehmonitor, überführt, um die Anzeige der beiden Bilder auf dem Bildschirm 54A des Monitors abwechselnd erscheinen zu lassen. Eine Zeitgeber- und Steuereinrichtung 56 gibt Zeitgeber- und Steuersignale an verschiedene Elemente des Systems ab, einschließlich der in dem stereographischen Anzeigesystem enthaltenen Elemente, um das Timing und die Steuerung des Systems vorzugeben. Wenn eine digitale Speichereinrichtung 50 verwendet wird, können die Umwandlung der Kamerabildsignale in digitale Signalform vor der Speicherung durch einen Analog-Digital-Wandler und die Umwandlung der digitalen Bildsignale von der linken/rechten Schaltereinrichtung in analoge Signalform zur Aufbereitung der Anzeige auf dem Monitor 54 erfolgen.
Eine elektrooptische Vorrichtung 58 steuert auf der Bildschirmfläche der Anzeigeeinrichtung 54 die Polarisierung des Lichts, das der Anzeigeeinrichtung 54 unter Kontrolle eines links/rechts-synchronisierenden Signals von der Zeitgeber- und Steuereinheit 56 empfangen wird. Das linke und rechte Bildfeld werden durch den Bediener 18 betrachtet, der eine passivpolarisierte Brille 60 trägt, die rechts und links polarisierende Elemente 62 und 64 hat, die in Orthogonalrichtungen polarisiert sind. Die Lichtpolarisierung von der Anzeige 54 durch die elektrooptische Vorrichtung 58 wird Feld für Feld synchronisiert so daß zum stereographischen Betrachten durch den Bediener das rechte Feld vor dem linken Auge verborgen und das linke Feld vor dem rechten Auge verborgen wird. Es sind andere Einrichtungen zum stereographischen Betrachten bekannt, zum Beispiel einschließlich jene, die aktivstereographische Brillen verwenden, welche bei der Anwendung dieser Erfindung verwendet werden können, um den Bediener mit einem stereoskopischen Anblick des entfernten Arbeitsraumes zu versorgen.
Die Vertikalablenk-Spulenverbindungen für den Monitor 54 sind umgekehrt, was den Monitor dazu bringt, von unten nach oben zu scannen, wodurch ein von oben nach unten gekehrtes Bild 30I des Arbeitsraumes 30 erzeugt wird. Die Buchstaben a, b, c und d werden verwendet, um die übereinstimmenden Ecken des Arbeitsraumes 30 und des umgekehrten Bildes des Arbeitsraumes 30I zu identifizieren. Das umgekehrte Bild des Arbeitsraumes 30I wird durch den Bediener über einen Spiegel 66 auf der Oberseite des Tisches 68 betrachtet, wobei der Spiegel das Bild 30I umkehrt, damit das von dem Bediener betrachtete Bild zu einer richtigen Stellung zurückkehrt. Indem er nach unten in Richtung auf den Spiegel schaut, betrachtet der Bediener ein virtuelles Bild 30V des Arbeitsraumes 30. Gemäß einem Aspekt der vorliegenden Erfindung befindet sich das durch den Bediener betrachtete Bild, welches in der Ausführungsform der Figuren 1-3 ein virtuelles Bild umfaßt, in der Nähe der Steuereinrichtung 70, die von dem Bediener zum Steuern des Manipulators 24 an der Arbeitsstelle verwendet wird.
Die Steuereinrichtung 70 wird als unter der Tischoberseite 68 befindlich gezeigt und schließt einen rechten und einen linken Regler 72R und 72L zum Steuern des jeweiligen rechten und linken Manipulators 24R und 24L ein. Der rechte und linke Regler haben im wesentlichen die gleiche Form, so daß eine Beschreibung von einem auf beide zutrifft. Wie bei den Manipulatoren werden die Suffixe R und L dazu verwendet, Elemente des rechten Reglers von denen des linken Reglers zu unterscheiden. Zu Erläuterungstwecken und nicht, um zu beschränken, wird der rechte Regler 72R mit einer Trägereinrichtung 74R gezeigt, die unter der Tischoberseite 68 befestigt ist und von der sich die handbetätigte Einrichtung 76R in Form eines teleskopischen Kontrollarmes oder Steuerknüppels erstreckt.
Der rechte und linke Steuerarm 76R und 76L sind mit dem gleichen Freiheitsgrad wie die angeschlossenen Manipulatorarme 34R beziehungsweise 34L versehen. Zum Beispiel ist das innere Ende des Steuerarmes 76R zur Schwenkbewegung um eine horizontale Schwenkachse, die mit einer Manipulator-Schwenkachse 36 übereinstimmt, befestigt, wobei diese Achse ihrerseits auf Schwenkbewegung um eine kreuzende Vertikalachse, die mit der Manipulatorachse 38 übereinstimmt, angepaßt ist. Der Steuerarm 76R schließt auch den inneren Abschnitt 76R1 und den äußeren Abschnitt 76R2 ein, wobei der äußere Abschnitt sowohl auf Axialbewegung in den inneren Abschnitt 76R1 hinein und aus ihm heraus als auch auf Drehung um seine Längsachse angepaßt ist. Es ist offensichtlich, daß der Steuerarm 76R mit den gleichen vier Freiheitsgraden wie der angeschlossene Manipulatorarm 34R ausgestattet ist. Zusätzlich befindet sich ein Sensor 78R zur Steuerung von Greifvorgängen des Greifers 40R in der Nähe des äußeren Endes des äußeren Armabschnitts 76R2. Ein ähnlicher Sensor 76L, der sich in der Nähe des äußeren Endes des Steuerarmes 76L befindet, ist auf die Verwendung bei Steuervorgängen des Scherenschneidblattes 40L eingestellt.
Der rechte und linke Regler 72R und 72L sind in einem Servomechanismus-System enthalten, bei dem die mechanische Bewegung der Steuerarme 76R und 76L die Position der Manipulatorarme 34R und 34L bestimmt, und der Druck auf die Sensoren 78R und 78L steuert das Öffnen und Schließen der Endeffektoren 40R beziehungsweise 40L. In Figur 1 sind die Steuer-Schnittstellen für die rechte beziehungsweise linke Hand 80R und 80L als in Verbindung mit den Reglereinrichtungen des Computers 42 stehend gezeigt. Servomechanismen zum Steuern mechanischer Bewegung an einer entfernten Stelle sind bekannt, einschließlich derer, die eine Kraft- und Drehmomentrückkopplung von dem Manipulator zu der handbetätigten Steuereinrichtung einschließen. Es kann bei der Anwendung der vorliegenden Erfindung jeder Servomechanismus nach dem Stand der Technik verwendet werden, wobei eine solche eingeschlossene Kraft- und Drehmomentrückkopplung für die Fernpräsenzbetriebsweise des Systems besonders bevorzugt wird. Bei dem erläuterten System sind ein rechtes und ein linkes Mikrophon an der Arbeitsstelle eingeschlossen, wobei die von diesen Mikrophonen abgegebenen Signale durch einen rechten und einen linken Verstärker verstärkt und an den rechten und den linken Lautsprecher bei der Bdienerstation weitergegeben werden, um ein stereophonisches Klangsignal bereitzustellen, damit der Bediener mit einer an der Arbeitsstelle vorhandenen Audioperspektive ausgestattet wird. In Figur 1 wird nur der rechte Kanal des stereophonischen Systems einschließlich des rechten Mikrophons 82R, des rechten Verstärkers 86R und des rechten Lautsprechers 88R gezeigt. Das linke Mikrophon und der linke Lautsprecher befinden sich direkt hinter dem entsprechenden rechten Mikrophon und Lautsprecher an der Arbeitsstelle und der Bediener-Steuerstation, wie sie in Figur 1 gezeigt wird. Natürlich können statt der Lautsprecher Kopfhöhrer zum Gebrauch durch den Bediener verwendet werden, was dazu beitrüge, Außengeräusche bei der Bediener- Steuerstation abzublocken. In Figur 1 ist auch eine Lichtblende 54B an dem Monitor gezeigt, um das direkte Betrachten der Monitor-Bildschirmfläche durch den Bediener zu verhindern.
Es wird nun Bezug auf Figur 4 genommen, in der eine vereinfachte schematische Ansicht des in den Figuren 1-3 erläuterten Systems gezeigt ist und in der verschiedene Längenund Winkelpositionen durch Bezugszeichen gekennzeichnet werden. In Figur 4 wird der Lichtweg zwischen den Kameras und einem Punkt F an dem Arbeitsraum durch das Bezugszeichen L gekennzeichnet. Ein damit übereinstimmender Lichtweg zwischen den Augen des Bedieners und dem Punkt F an dem virtuellen Bild des Arbeitsraumes wird durch den Abstand a + b gekennzeichnet, wobei a der Abstand von den Augen des Bedieners zu dem Spiegel 66 ist, und b der Abstand von dem Spiegel zu dem Punkt F an dem virtuellen Bild ist. Andere gezeigte Dimensionen schließen die Höhe G der Kameras über dem Schwenkpunkt des Manipulatorarmes 34R und die damit übereinstimmende Höhe g der Augen des Bedieners über dem Schwenkpunkt des Steuerarmes 76R ein. Während der Steuerarm 76R die Länge d hat, ist der Manipulatorarm 34R auf die Länge D eingestellt. Genauso wie der Steuerarm 76R einen Winkel βA in der Vertikalen hat, ist der Manipulatorarm 34R in dem gleichen vertikalen Winkel positioniert. Der Winkel gegenüber der Vertikalen, in welchem die Kameras den Arbeitsraum betrachten und die Augen das virtuelle Bild des Arbeitsraumes betrachten, wird durch α gekennzeichnet.
Zwischen den Elementen der Arbeitsstelle und der Bedienerstation bestehen die folgenden Beziehungen:
a + b = kL, (1)
d = kD, und (2)
g = kD (3)
wobei k eine Skalierfaktorkonstante ist.
Wenn k gleich list, so daß a + b = L, d = D und g = G, ist keine Skalierung der Arbeitsstellendimensionen notwendig.
Es kann jeder Skalierfaktor verwendet werden, die Erfindung ist nicht auf eine Manipulation im Maßstab 1 : 1 beschränkt. So kann zum Beispiel die Arbeitsstelle klein sein, einschließlich mikroskopischer Größe, in welchem Falle die optischen Parameter, einschließlich des Abstandes zu dem Objekt, des interokularen Abstandes und der Brennweite, und die mechanischen und Dimensions-Parameter entsprechend skaliert werden.
Durch Verwendung geeigneter Skalierung und Bildvergrößerung und Kraft- und Drehmomentrückkopplung und durch das Positionieren des Bildes 30V des Arbeitsraumes 30 in der Nähe der handbetätigten Steuereinrichtungen 76R und 76L ist der Bediener mit einem starken Gefühl ausgestattet, die Endeffektoren 40R und 40L direkt zu steuern. Dem Bediener wird ein Gefühl vermittelt, als ob die Endeffektoren 40R und 40L und die entsprechenden Steuerarme 76R und 76L im wesentlichen einstückig wären. Dieses nämliche Gefühl der Gesamtheit der handbetätigten Steuereinrichtung und Endeffektoren wird durch die Anordnungen nach dem Stand der Technik nicht vermittelt, bei denen das durch den Bediener betrachetete Bild sich nicht in der Nähe der handbetätigten Steuereinrichtung befindet. Selbst wo der Stand der Technik stereoskopisches Betrachten und Kraft- und Drehmomentrückkopplung einschließt, besteht ein Gefühl der Unverbundenheit der Handbewegungen mit dem sichtbaren Bild des Objektes, an dem gearbeitet wird.Die vorliegende Erfindung überwindet dieses Gefühl der Unverbundenheit, indem das Bild des Arbeitsraumes dort angeordnet wird, wo die Hand des Bedieners als direkte Kontrolle über die Endeffektoren ausübend erscheint.
Für Manipulationen in kleinem Maßstab, wie etwa bei chirurgischen Anwendungen, ist es erwünscht, die visuellen Wahrnehmungen wiederzugeben, die ein Beobachter in Miniaturform haben würde, wenn er dicht in der Nähe der tatsächlichen Arbeitsstelle wäre. In Figur 5 wird das virtuelle Auge 90 eines hypothetischen Beobachters in Miniaturform gezeigt, wie es einen tatsächlichen Arbeitsraum betrachtet. Licht aus einer Quelle an einem Punkt X, Y, Z in dem tatsächlichen Arbeitsraum erzeugt einen Reiz an dem Auge des Beobachters in Miniaturform 90 an einem als X'/M gekennzeichneten Punkt. In Figur 6 ist ein Auge 92 eines tatsächlichen Bedieners gezeigt, das ein vergrößertes Bild des virtuellen Arbeitsraumes betrachtet, das mittels einer Videokamera 94, die zum Betrachten des tatsächlichen Arbeitsraumes verwendet wird, erzeugt wird. Die dargestellte Kamera schließt eine lichtaufnehmende Linse 96 und eine Festkörper-Abbildungseinrichtung ein, wie etwa eine ladungsgekoppelte Bausteinanordnung 98 (CCD), wobei die Punktlichtquellen bei X, Y, Z bei den Punkten X, Y Yi, Z abgebildet gezeigt sind. Bei richtiger Skalierung wird eine übereinstimmende Lichtquelle bei den Punkten MXi, MYi, MZi entweder an der realen oder scheinbaren Position der Bildschirmfläche der Sichtanzeige erzeugt, welche aufgrund der stereoskopischen Wirkungsweise des Systems dem Bediener als von den Punkten MX, MY, MZ, die mit den Punkten X, Y, Z an der tatsächlichen Arbeitsstelle übereinstimmen, herrührend erscheinen. Auf der Netzhaut des tatsächlichen Auges 92 wird ein Reiz an dem Punkt XV erzeugt, der im Verhältnis zu Punkt X'/M auf dem Auge 90 des hypothetischen Betrachters die gleiche Position hat. Dieses Verhältnis wird sichergestellt, indem man einen korrekt skalierten Kameraabstand und eine Linsen-Brennweite derart auswählt, daß die optische Vergrößerung Mo = M/Mv beträgt, wobei M die gewünschte Gesamtvergrößerung und Mv die Videovergrößerung ist. Eine typische Videovergrößerung Mv, welche dem Verhältnis der Weite der CCD-Anordnung 98 zu der Anzeigenweite gleicht, ist etwa 40.
Es wird nun Bezug genommen auf die Figuren 7 bis 9, worin eine modifizierte Form dieser Erfindung für die medizinische Verwendung gezeigt wird. Hier werden der rechte und der linke Manipulator 100R und 100L gezeigt, welche von der rechten beziehungsweise linken Steuereinrichtung 102R und 102L gesteuert werden. Die Elemente des Abbildungssystems sind im wesentlichen die gleichen, wie sie bei dem in den Figuren 1-3 erläuterten Abbildungssystem verwendet und oben beschrieben werden, außer, daß ein vergrößertes virtuelles Bild 104V des tatsächlichen Arbeitsraumes 104 zur Betrachtung durch den Bediener bereitgestellt wird. Ebenso sind die Servomechanismuselemente für die Verbindung der rechten und der linken Steuerungseinrichtung 102R und 102L mit den jeweiligen Manipulatoren 100R und 100L im wesentlichen die gleichen wie die oben unter Bezugnahme auf die Figuren 1-3 beschriebenen. Bei der erläuterten Anordnung haben der rechte und der linke Manipulator wie auch die rechte und die linke Steuereinrichtung im wesentlichen die gleiche Konstruktion, so daß eine Beschreibung eines Manipulators und einer Steuereinrichtung auf beide zutrifft. Wiederum werden die Suffixe R und L dazu verwendet, zwischen den rechten und linken Elementen zu unterscheiden.
Die Manipulatoren schließen äußere Steuereinrichtungsabschnitte 100RA und 100LA und Einführabschnitte 100RB und 100LB ein, wobei die Einführabschnitte für die Einführung in einen Körperhohlraum durch nicht gezeigte zylindrische Röhren oder Kannülen angepaßt sind. Zu Erläuterungszwecken werden die Manipulatoren durch die Bauchwand 106 eines Subjekts hindurchgeführt gezeigt. Wie bekannt, wird für chirurgische Eingriffe in die Bauchhöhle die Wand 106 von den inneren Organen durch Aufblasen getrennt, wobei ein Gas durch irgendeine geeignete Einrichtung, die nicht gezeigt ist, in das Abdomen eingeführt wird. In den äußeren Steuereinrichtungsabschnitten 100RA und 100LA der Manipulatoren sind Manipulatormotoren und angeschlossene Motorsteuerkreise zur Steuerung der Einführabschnitte enthalten. Die Manipulatoren werden zusammen mit einem Endoskop zur Untersuchung der Bauchhöhle 108 zum Betrachten der Organe innerhalb des Hohlraumes durch eine fixierte Schiene 110 getragen, die einen Teil eines Operationstisches bildet, auf welchem das Subjekt lagert.
Die Einführabschnitte 100RB und 100LB der Manipulato ren ktnnen im wesentlichen die gleiche Form haben wie die oben unter Bezugnahme auf die Figuren 1-3 beschriebenen Manipulatorarme 34R und 34L. Die Einführabschnitte haben zur Verwendung innerhalb des Körpers eine verhältnismäßig kleine Größe. Der Einführabschnitt 100RB schließt einen teleskopischen inneren Abschnitt 112R1 und einen äußeren Abschnitt 11R2 ein, wobei der äußere Abschnitt sowohl für Axialbewegung in den inneren Abschnitt 112R1 hinein und aus ihm heraus als auch auf Drehung um seine Längsachse angepaßt ist. Die Endeffektoren 114R und 114L werden an den äußeren Enden des jeweiligen rechten und linken Abschnitts 112R und 112L zur Manipulation des Organs 116 gehalten. Der innere Abschnitt 112R1 ist an Schwenkbewegung um die sich kreuzenden senkrechten Achsen angepaßt, die sich im wesentlichen an dem Punkt P befinden, wo der Einführabschnitt die Wand 106 kreuzt. Ausschließlich zur Betätigung der Endeffektoren 114R und 114L sind die Manipulatorarme jeder mit vier Freiheitsgraden versehen, den gleichen, wie die in den Figuren 1-3 gezeigten. Die Endeffektoren 114R und 114L können im wesentlichen einfach mikrochirurgische Instrumente, deren Griffe entfernt sind, zum Beispiel Retraktoren, elektrochirurgische Schneider und Koagulatoren, Mikropinzetten, Mikronadelhalter, Präparierscheren, Schneidblätter, Spritzen und Nahteinrichtungen umfassen.
Das Laparoskop 108 zum Betrachten des Arbeitsraumes 104 wird mit einem äußeren Operationsabschnitt 108A und einem Einführabschnitt 108B gezeigt. Der äußere Endabschn itt 120 des Einführabschnittes 108B ist axial und schwenkbar innerhalb dessen innerem Ende beweglich und ist zum stereoskopischen Betrachten des Arbeitsraumes 104 mit einem Bild übertragungsfensterpaar 12, 124 ausgestattet. Das Laparoskop ist auch mit nicht gezeigten Beleuchtungsmitteln zum Ausleuchten des Arbeitsraumes und mit nicht gezeigten Flüssigkeitseinlaß- und auslaßmitteln für den Flüssigkeitstrom an den Fenstern vorbei ausgestattet. Videokameras innerhalb des Abschnitts 108A nehmen das durch die Betrachtungsfenster empfangene Licht auf, um linke und rechte elektronische Bilder an den Signalabgabeleitungen 48R und 48L zur Verbindung mit dem Bildspeicher 50 zu erzeugen. Auf der Anzeige 54 wird ein vergrößertes dreidimensionales Bild 1041 erzeugt, um durch den Bediener, der eine kreuzpolarisierte Brille 60 trägt, über den Spiegel 66 betrachtet zu werden. Wie bei der in den Figuren 1-3 gezeigten Ausführungsform wird ein virtuelles Bild 104V des Arbeitsrau mes 104 in der Nähe der Steuerarme 130R und 130L der Steuereinrichtungen 102R und 102L erzeugt. Die Steuerarme 130R und 130L sind von der gleichen Art wie die Steuerarme 76R und 76L, die in der oben in den Figuren 1-3 beschriebenen Ausführungsform eingeschlossen sind. Sie schließen teleskopische innere und äußere Abschnitte 132R1 und 132R2 und 132L1 und 132L2 ein. Die Sensoren 134R und 134L, die sich in der Nähe der äußeren Enden der Steuerarme befinden, steuern den Betrieb der Endeffektoren 114R beziehungsweise 11 4L auf die gleiche wie oben unter Bezugnahme auf die Figuren 1-3 beschriebenen Weise. Es soll hier angemerkt sein, daß der Winkel gegenüber der Vertikalen, aus welchem das Bild durch den Bediener betrachtet wird, nicht der gleiche zu sein braucht, wie der Winkel gegenüber der Vertikalen, aus welchem das Objekt durch die Kameras betrachtet wird. Bei der in den Figuren 7-9 erläuterten Anordnung wird der Bediener so gezeigt, daß er das Bild 104V in einem Winkel gegenüber der Vertikalen θ (Figur 7) betrachtet, wohingegen das Objekt 116 als direkt von oben nach unten betrachtet gezeigt wird. Ohne äußeren Bezug ist das Gefühl der Vertikalen innerhalb eines Körpers nicht besonders groß, und es wird keine Verwirrung in dem Gehirn des Bedieners als Ergebnis der verschiedenen Betrachtungs- und Kamerawinkel in bezug auf die Vertikale erzeugt.
Bei der Ausführungsform der Figuren 7-9 wird nicht nur ein vergrößertes virtuelles Bild 104V des Arbeitsraumes zum Betrachten durch den Bediener geschaffen, sondern es werden auch Steuerarme 130R und 130L verwendet, die eine Länge haben, die größer ist als die Länge der Manipulator-Einführabschnitte 100RB und 100LB. Es wird eine solche Servomechanismus-Skalierung der Axialbewegung der teleskopischen Steuerarme bereitgestellt, daß deren axiale Ausdehnung oder deren axialer Einzug zu einer kleineren Ausdehnung oder einem kleineren Einzug der teleskopischen Einführabschnitte führt. Die Winkelschwenkbewegung der Steuerarme 130R und 130L erzeugt die gleiche Winkelschwenkbewegung der Einführabschnitte 100Rb und 100LB, und die Drehbewegung der Endabschnitte 132R2 und 132L2 der Steuerarme erzeugt die gleiche Drehbewegung der Endabschnitte 112R2 und 112L2 der Einführabschnitte des rechten und linken Manipulators ohne Skalierung. Diese Ausführungsform der Erfindung mit ihrem vergrößerten Bild wird besonders auf dem Gebiet der Mikrochirurgie verwendet, und besonders in solchen Fällen, in denen der Chirurg einen Bereich aufgrund der Größeneinschränkungen nicht mit der Hand erreichen kann.
Die vorliegende Erfindung ist nicht auf die Verwendung mit Manipulatoren beschränkt, die eine besondere Anzahl an Freiheitsgraden haben. Bei der Anwendung dieser Erfindung können Manipulatoren mit verschiedenen Freiheitsgraden, welche nach dem Stand der Technik bekannt sind, verwendet werden. In den Figuren 10 und 11, auf die nunmehr Bezug genommen wird, sind eine Steuereinrichtung 140 beziehungsweise ein Manipulator 142 gezeigt, welche eine Handgelenksverbindung einschließen, um jene mit einer zusätzlichen Bewegungsfreiheit auszustatten. Die dargestellte Steuereinrichtung 140 schließt ein an dem Boden der Tischoberseite 68 befestigtes Gehäuse 144, auf welchem sich der Tischspiegel 66 befindet, ein. Es wird ein vergrößertes virtuelles Bild 146V des tatsächlichen Arbeitsraumes 146 in der Nähe der Hand des Bedieners 148 erzeugt, das von dem Bediener betrachtet werden kann, wenn er auf eine oben beschriebene Weise nach unten auf den Spiegel 66 schaut.
In dem Gehäuse 144 ist ein Steuerarm 150L mit einem inneren und äußeren Abschnitt 150L1 beziehungsweise 150L2 für Schwenkbewegung in jeglicher Schwenkrichtung befestigt, wie es durch die sich kreuzenden doppelköpfigen Pfeile 152 und 154 gekennzeichnet wird. Der äußere Abschnitt 152L2 ist für Axialbewegung in den inneren Abschnitt 150L1 hinein und aus ihm heraus in Richtung des doppel köpfigen Pfeils 156 angepaßt. Er ist ebenfalls für Drehung um seine Längsachse in der Richtung des doppelköpfigen Pfeils 158 angepaßt. Bei dieser Ausführungsform schließt der Steuerarm einen Endabschnitt 160 ein, der durch eine Handgelenksverbindung 162 schwenkbar an dem äußeren Abschnitt 150L2 zur Schwenkbewegung in der Richtung des doppel köpfigen Pfeils 164 angebracht ist. Der Endabschnitt 160 umfaßt den axial ausgerichteten inneren und äußeren Abschnitt 160A und 160B, wobei der äußere Abschnitt 160B um seine Längsachse in der Richtung des doppelköpfigen Pfeils 166 drehbar ist. Wie bei den oben beschriebenen Anordnungen befindet sich ein Sensor 168 in der Nähe des freien Endes des Steuerarmes zur Steuerung eines Endeffektors 170 an dem in Figur 11 gezeigten Manipulator 142.
Unter Bezugnahme auf Figur 11 ist ein Endeffektor 170 mit einem beweglichen Klemmbackenpaar gezeigt, das an einem Gelenk 172 mit axial ausgerichteten Verbindungen 172A und 172B angebracht ist. Das ußere Glied 172B ist in bezug auf das innere Glied 172A mittels eines nicht gezeigten Motors um seine Längsachse in der Richtung des doppelköpfigen Pfeils 166M in Reaktion auf die Drehung des Abschnitts 160B der hand betätigten Steuereinheit in der Richtung des Pfeils 166 drehbar. Das Gelenkglied 172A ist drehbar an dem Manipulatorvorderarm 174 zur Schwenkbewegung in der Richtung des doppel köpfigen Pfeils 164M in Reaktion auf die Schwenkbewegung des Endabschnitts 160 der handbetätigten Steuereinheit um die Schwenkachse 162 angebracht. Der Vorderarm 174 ist längs axial in der Richtung des doppel köpfigen Pfeils 156M in Reaktion auf die Axial bewegung des äußeren Abschnitts 150L2 des Steuerarmes 150L in der Richtung des doppel köpfigen Pfeils 156 beweglich. Er ist ebenso um seine Längsachse in der Richtung des doppel köpfigen Pfeils 158M in Reaktion auf die Drehung des äußeren Abschnitts 150L2 des Steuerarmes 150L in der Richtung des doppelköpfigen Pfeils 158 drehbar. Zusätzlich ist er schwenkbar um den Punkt 176 in den Richtungen der doppel köpfigen Pfeile 152M und 154M in Reaktion auf die Schwenkbewegung des Steuerarmes 150L in den Richtungen der doppelköpfigen Pfeile 152 beziehungsweise 154 beweglich. Für die biomedizinische Verwendung, wie etwa die entfernte Laparoskopiechirurgie, befindet sich der Schwenkpunkt 176 im wesentlichen auf der Höhe der Bauchwand 178, durch welche sich der Manipulator erstreckt. In Figur 11 ist der Manipulatorarm 174 gezeigt, wie er sich durch eine Kannüle 180 erstreckt, die die Bauchwand durchdringt.
Das äußere Operationsende des Manipulators ist zur Befestigung an einer nicht gezeigten Halteschiene des Operationstisches, auf welchem der Patient gelagert wird, angebracht. Es schließt einen Endeffektor-Antriebsmotor 182 zum Öffnen und Schließen des Greifers 170 ein. Der Gelenkantriebsmotor 184 steuert die Schwenkbewegung des Gelenks 172 in der Richtung des doppelköpfigen Pfeils 164M, und der Ausstreck-Antriebsmotor 186 steuert die Axial bewegung des Manipulatorarmes 174 in der Richtung des doppelköpfigen Pfeils 156M. Schwenksteuermotor und -verbindung des Vorderarmes, allgemein durch die Bezugsziffer 188 gekennzeichnet, stellen die Schwenkbewegung des Armes 174 um den Schwenkpunkt 176 in den Richtungen der Pfeile 152M und 154M bereit. Die Schwenkbewegung um den Punkt 176 wird durch die gleichzeitige Seitenbewegung des äußeren Operationsendes des Manipulators und die Schwenkbewegung des Armes 174 geschaffen. Die Bewegungen werden derart koordiniert, daß die Mitte der Drehung des Vorderarmes 174 in einem Raum an dem Punkt 176 auf der Höhe der Bauchwand fest ist.
Die Steuere inrichtung 140 und der Manipulator 142 sind in einem System, wie es etwa in den Figuren 7, 8 und 9 gezeigt ist, eingeschlossen, welches eine zweite Steuereinrichtung und einen Manipulator zur Verwendung durch die rechte Hand des Bedieners und einen nicht gezeigten angeschlossenen Servomechanismus jeder geeigneten Art zur entfernten Steuerung der Manipulatoren durch die handbetätigten Steuereinrichtungen einschließt. Es werden wie in Figur 9 gezeigte Videokameras an der Arbeitsstelle zusammen mit einer wie in Figur 7 gezeigten Anzeige verwendet, um den Bediener mit einem Bild des Arbeitsraumes an einer Stelle in der Nähe der linken und rechten handbetätigten Steuereinrichtung auszustatten. Durch Verwendung von Manipulatoren mit einer Gelenkverbindung wird ein zusätzlicher Freiheitsgrad zu deren verbesserten Manövrierfähigkeit und Verwendungsfähigkeit bereitgestellt. Jedoch ist, wie bereits oben bemerkt, die vorliegende Erfindung nicht auf die Verwendung von Manipulatoren mit irgendeinem bestimmten Freiheitsgrad beschränkt.
Es wird nun auf die Figuren 12 und 13 Bezug genommen, in denen eine modifizierte Form dieser Erfindung gezeigt ist, welche ein direktes Betrachten eines dreidimensionalen Bildes 240I eines nicht gezeigten Arbeits raumes ermöglicht. In den Figuren 12 und 13 wird nur die Bedienerstation gezeigt, welche die rechte und die linke Steuereinrichtung 242R und 242L und die angeschlossene rechte und linke handbetätigte Einrichtung 244R und 244L einschließt, welche die gleiche Art von Steuereinrichtungen und Steuerarmen wie oben beschrieben sein können. Die Bedienerstation ist auf die entfernte Steuerung der Manipulatoren eingestellt, welche ebenfalls soolche der oben beschriebenen Art sein können. Das dreidimensionale Bild 240I des Arbeitsraumes wird wie in der oben im Detail beschriebenen Weise durch eine Sichtanzeige 246 in Verbindung mit der elektrooptischen Vorrichtung 58 auf der Bildschirmfläche der Anzeige und der von dem Bediener getragenen kreuzpolarisierten Brille 60, wobei der Anzeige abwechselnd linke und rechte Videofelder von der linken und der rechten Videokamera, die den Arbeitsraum betrachten, geliefert werden, geschaffen. Es werden die Endeffektor- beziehungsweise Objektbilder 248 und 250 innerhalb des Bildes des Arbeitsraumes, wie es durch die Videokameras an der Arbeitsstelle erfaßt wird, gezeigt. Die Anzeige 246 befindet sich in der Nähe der linken und der rechten handbetätigten Einrichtung 244R und 244L zum direkten Betrachten durch den Bediener. Bei dieser Anordnung sind die Endeffektor- und Objektbilder zusammen mit der handbetätigten Einrichtung 244R und 244L gleichzeitig durch den Bediener zu betrachten. Da die handbetätigte Einrichtung ebenfalls sichtbar ist, wird der Bediener mit einem sichtbaren Gefühl der Verbindung zwischen den Endeffektoren und den handbetätigten Einrichtungen ausgestattet, wodurch sie als im wesentlichen einstückig erscheinen.
Es wird nun auf Figur 14 Bezug genommen, in welcher ein distaler Endabschnitt oder eine Spitze 260 des Einführabschnitts eines Endoskops gezeigt ist, welches im wesentlichen der gleiche Typ ist wie der in der oben erwähnten Veröffentlichung mit dem Titel "Introduction to a New Project for National Research and Development Program (Large-Scale Project) in FY 1991" gezeigte, wobei jenes Endoskop bei der Anwendung der vorliegenden Erfindung verwendet werden kann. Das Einführende des Endoskops schließt ein in Abstand voneinander angeordnetes Betrachtungsfensterpaar 262R und 262L und eine Beleuchtungsquelle 264 zum Betrachten und Beleuchten eines zu überwachenden Arbeitsraumes ein. An den Fenstern aufgefangens Licht wird durch eine nicht gezeigte Objektivlinse gebündelt und durch Lichtleitfaserbündel zu einem nicht gezeigten Kamerapaar an dem Arbeitsende des Endoskops übertragen. Die Kamerasignale werden zu einem dreidimensionalen Bild des Arbeitsraumes umgewandelt, wobei sich das Bild in der Nähe der handbetätigten Einrichtung bei der Bedienerstation befindet. Der rechte und der linke lenkbare Katheter 268R und 268L verlaufen durch Zugangskanäle in dem Endoskopkörper, wobei die Katheter, wie dargestellt, an die Erstreckung von dem distalen Endabschnitt aus angepaßt sind. Die Endeffektoren 270R und 270L sind an den Enden der Katheter vorgesehen, welche herkömmliche Endoskopinstrumente umfassen können. Es werden auch nicht gezeigte Kräftesensoren durch die Endoskopkanäle eingeführt. Lenkbare Katheter zur Verwndung bei dieser Erfindung, welche Steuerkabel zum Steuern der Krümmung der Katheter und zur Bedienung eines Endeffektors einschließen, sind bekannt. Die Steuermotoren zur Bedienung der Steuerleitungen sind an dem wirksamen Ende des Endoskops vorgesehen, wobei die Motoren in einem Servomechanismus eines Typs enthalten sind, der oben für die Betätigung der lenkbaren Katheter und der angeschlossenen Endeffektoren von einer entfernten Bedienerstation aus beschrieben wurde. Wie bei den anderen Ausführungsformen auch, überträgt der über Schnittstelle angeschlossene Computer in dem Servomechanismus-System die Handbewegung des Bedieners in das Koordinatensystem der Endeffektoren, und die Bilder der Endeffektoren sind in der Nähe der handbetätigten Steuereinrichtungen auf vorbeschriebene Weise sichtbar. Bei dieser Ausführungsform hat der Bediener die Empfindung, als ob er durch das Endoskop greifen könne, um seine Hand direkt auf die Endeffektoren zu legen, um diese zu steuern. Es können bei dieser Ausführungsform der Erfindung Endoskope verschiedener Art verwendet werden, solange sie einen oder mehrere Zugangskanäle zur Verwendung bei der Steuerung der Endeffektoren und geeignete Betrachtungseinrichtungen zur Verwendung bei der Schaffung einer Sichtanzeige des Arbeitsraumes einschließen. Es können zum Beispiel Magen-, Koloskopieund ähnliche Arten von Endoskopen verwendet werden.
Die Erfindung, die im Detail gemäß den Anforderungen der Patentgesetze beschrieben wurde, offenbart aus sich selbst heraus den Fachleuten verschiedene andere Änderungen und Modifikationen innerhalb der Anspruchsgedanken. So kann die Erfindung zum Beispiel, wie oben erwähnt, die Verwendung einer fühlbaren Rückkopplung zur Schaffung der flüchtigen Empfindung für das Abtasten und zur Manipulation von Geweben und Instrumenten einschließen. Um diese Rückkopplung zu schaffen, können Tastsensorreihen an den Endeffektoren eingeschlossen sein, welche mit Tastsensor-Erregerreihen an der handbetätigten Steeureinrichtung gekoppelt sind, welche die fühlbare Empfindung auf der Hand des Bedieners reproduzieren. Es ist eine Reihe von Übertragungstechnologien fiir das Fernbedienungs- Abtasten bekannt, wie mit Widerstand/Leitung, Halbleiter, piezoelektrischer Kapazität und photoelektrisch. Es können handbetätigte Steuereinrichtungen und Manipulatoren verschiedener Typen verwendet werden, die eine große Bandbreite bekannter Mechanismen und elektromechanischer Elemente verwenden, zum Beispiel einschließlich kardanischer Rahmen, Verbindungen, Riemenscheiben, Kabel, Antriebsriemen und -bänder, Getriebe, optischer oder elektromagnetischer Stellungsgeber, und Winkel- und Linearmotoren. Die Kraft- Rückkopplung an den Bediener macht die Verwendung von Körperkontakt mit den handbetätigten Steuereinrichtungen erforderlich. Sowohl die Handsteuereinrichtung der beschriebenen Art, als auch die Handsteuereinrichtungen des Steuerarmaturtyps sind für die Verwendung mit der vorliegenden Erfindung gut geeignet, um dem Bediener Kraft-Rückkopplung zu vermitteln. Die Handsteuereinrichtungen mit der Steuerarmatur schließen die Verwendung von Strukturen ein, bei denen positive Sensoren an dem Bediener an Gelenken befestigt sind, um die Gelenkwinkel zu messen. Die Kraft-Rückkopplung kann dann zu jedem Gelenk erfolgen. Genauso können Leichtgewebe-Handschuhe mit veränderbarem Widerstand oder an den Gelenken befestigte Lichtleitfaser-Wendesensoren zur Messung der Krümmung einzelner Finger verwendet werden. Handschuhe dieser Art können auch mit Kraft-Rückkopplung ausgestattet sein, um die Fernpräsenz-Wechselwirkung mit realen Objekten zu gestatten. Ungeachtet der Art der verwendeten handbetätigten Steuereinrichtung wird ein Bild des Arbeitsraumes in deren Nähe erzeugt, um dem Bediener ein Gefühl zu vermitteln, daß die Endeffektoren und die handbetätigten Steuereinrichtungen im wesentlichen einstückig sind. Auch sind, wie oben angemerkt, in der Roboter- und Fernbedienungssystemtechnik Servomechanismen vieler verschiedener Arten bekannt, und die Erfindung ist nicht auf einen besonderen Typ beschränkt. Jene, die die Kraft- und Drehrückkopplung an den Bediener einschließen, werden bevorzugt, um zu einem Gefühl der Operation in Fernpräsenz beizutragen. Zusätzlich sind viele verschiedene Einrichtungen zur Erzeugung eines stereoskopischen Bildes des Arbeitsraumes bekannt. So kann zum Beispiel statt der Verwendung von zwei Kameras eine einzelne Kamera zusammen mit umgeschalteten kreuzpolarisierenden Elementen in der Bildaufnahmeleitung verwendet werden. In diesem Fall wird ein in Abstand voneinander angeordnetes Stereoskoplinsenpaar zur Betrachtung des Arbeitsraumes von verschiedenen Winkeln aus und zur Bereitstellung von ersten und zweiten Bildern davon für die Kamera verwendet. Bei der Anordnung von Figur 9, bei der ein Laparoskop gezeigt ist, können andere Endoskoparten zur Betrachtung des Arbeitsraumes verwendet werden. Wie oben bemerkt, ist die Erfindung nicht auf irgendeine besondere Anwendung oder Verwendung beschränkt. In dem biomedizinischen Bereich schließen die Verwendungen zum Beispiel die offene Chirurgie, einschließlich der Chirurgie von einer entfernten Stelle aus, die Mikrochirurgie, und die minimal angreifende Chirurgie, wie etwa die Laparoskop- und Endoskopchirurgie, ein. Die Laboranwendung einschließlich der Mikroskopmanipulation ist ebenfalls in Betracht zu ziehen. Die lndustrieanwendung der Erfindung schließt zum Beispiel die Behandlung von gefährlichen Materialien, entfernte Operationen, Mikrozusammenbau und ähnliches ein. Die militärische und Unterwasserverwendung des Fernbedienungssystems dieses Systems ist offensichtlich.

Claims

1. Fernbedienungssystem zum Manipulieren eines Gegenstandes (26), der in einem Arbeitsraum an einer Arbeitsstelle (22) angeordnet ist, durch einen Bediener (18) von einer Bediener-Steuerstation (20) aus, die von der Arbeitsstelle (22) entfernt liegt, wobei das System einen Manipulator (24) an der Arbeitsstelle (22), der einen bewegbaren Manipulatorarm (34) und einen Endeffektor (40) an einem Ende des bewegbaren Manipulatorarmes (34) zum Manipulieren des Gegenstandes (26) hat, eine Steuerung (70) an der Bediener-Steuerstation (20) mit einem handbetätigten bewegbaren Steuermechanismus (72), einem Servomechanismus (42), der den handbetätigten bewegbaren Steuermechanismus (22) an den Manipulatorarm (34) für Fernsteuerung des Manipulatorarmes (34) koppelt, eine Videokamera (46) zur Beoabachtung des Arbeitsraumes und eine Videosichtanzeige (54), die wirkungsmäßig an die Videokamera (46) gekoppelt ist, um ein Bild des Arbeitsraumes nahe dem handbetätigten bewegbaren Steuermechanismus (72) zu erzeugen, umfaßt, dadurch gekennzeichnet, daß die Steuerung (70) weiterhin einen ortsfesten Träger (74) zum Tragen des handbetätigten bewegbaren Steuermechanismus (72) umfaßt, wobei der ortsfeste Träger (74) Einrichtungen zur Erzeugung eines fixierten örtlichen Bezugspunktes auf dem handbetätigten bewegbaren Steuermechanismus (72) umfaßt, der Servomechanismus (42) den fixierten örtlichen Bezugspunkt zu einem fixierten entfernten Bezugspunkt auf dem Manipulatorarm (34) derart projiziert, daß eine Bewegung des handbetätigten bewegbaren Steuermechanismus (72) in bezug auf den fixierten örtlichen Bezugspunkt im wesentlichen gleich wie die Bewegung des Manipulatorarmes (34) in bezug auf den fixierten entfernten Bezugspunkt ist,

und die Videokamera (46) in bezug auf den Manipulatorarm (34) derart positioniert ist, daß die Bewegungsrichtung des einen Endes des Manipulatorarmes (34) in bezug auf die Videokamera (46) in Reaktion auf eine Betätigung des handbetätigten Steuermechanismus (72) im wesentlichen gleich wie die Bewegungsrichtung des handbetätigten bewegbaren Steuermechanismus (72) in bezug auf die Augen des Bedieners ist.

2. Fernbedienungssystem nach Anspruch 1, bei dem der Manipulatorarm (34) schwenkbar an der Arbeitsstelle (22) an dem fixierten entfernten Bezugspunkt befestigt ist und der handbetätigte Steuermechanismus (72) schwenkbar an dem ortsfesten Träger (74) an dem fixierten örtlichen Bezugspunkt befestigt ist.

3. Fernbedienungssystem nach Anspruch 1, bei dem der handbetätigte Steuermechanismus (72) um erste und zweite senkrechte Achsen, die an dem fixierten örtlichen Bezugspunkt miteinander zusammenfallen, schwenkbar ist und der Manipulatorarm (34) um dritte und vierte Achsen (36, 38), die an dem fixierten entfernten Bezugspunkt miteinander zusammenfallen, schwenkbar ist, wobei der Servomechanismus (42) auf eine Bewegung des Steuermechanismus (72) um die ersten und zweiten Achsen reagiert, um eine entsprechende Bewegung des Manipulatorarmes um die dritten und vierten Achsen (36, 38) zu liefern.

4. Fern bedienungssystem nach Anspruch 1, bei dem der hand betätigte Steuermechanismus (72) entlang einer ersten Achse parallel zu dem handbetätigten Steuermechanismus (72) verschiebbar ist und der Manipulatorarm (34) entlang einer zweiten Achse parallel zu dem Manipulatorarm (34) verschiebbar ist, wobei der Servomechanismus (42) auf eine Verschiebung des Steuermechanismus (72) entlang der ersten Achse reagiert, um eine entsprechende Verschiebung des Manipulatorarmes (34) entlang der zweiten Achse zu liefern.

5. Fernbedienungssystem nach Anspruch 1, bei dem der handbetätigte Steuermechanismus (72) einen zweiten Endeffektor (78) und Einrichtungen zur Betätigung des zweiten Endeffektors (78) einschließt, wobei der Servomechanismus (42) auf eine Betätigung des zweiten Endeffektors (78) reagiert, um eine entsprechende Betätigung des ersten Endeffektors (40) auf dem Manipulatorarm (34) zu ergeben.

6. Fernbedienungssystem nach Anspruch 1, weiterhin mit Einrichtungen zum Abfühlen von fühlbaren Wahrnehmungen, die aus der Berührung zwischen dem Manipulatorarm (34) und dem Gegenstand (26) stammen, und Einrichtungen zur Erzeugung einer fühlbaren Rückkopplung zu dem handbetätigten Steuermechanismus (72) entsprechend den fühlbaren Wahrnehmungen auf dem Manipulatorarm (34).

7. Fernbedienungssystem nach Anspruch 6, bei dem die Abfühleinrichtung eine Anordnung fühlbarer Sensoren auf dem Manipulatorarm (34) umfaßt, wobei die fühlbare Rückkopplung eine Einrichtung bereitstellt, die eine Anordnung fühlbarer Sensorsimulatoren umfaßt, wobei die Anordnung fühlbarer Sensorsimulatoren wirkungsmäßig mit der Anordnung fühlbarer Sensoren gekoppelt ist, um die fühlbaren Wahrnehmungen auf dem Manipulatorarm (34) zu reproduzieren und diese fühlbaren Wahrnehmungen auf die Hände des Bedieners zu übertragen.

8. Fernbedienungssystem nach Anspruch 7, bei dem die fühlbaren Wahrnehmungen Kräfte und Drehmomente einschließen, die gegen den Manipulatorarm (34) durch den Gegenstand (26) ausgeöbt werden, wobei die fühlbaren Sensoren und fühlbaren Sensorsimulatoren eine Kraft- und Drehmomentrückkopplung zu dem handbetätigten Steuermechanismus (72) ergeben, welche Kraft- und Drehmomentfernpräsenz des Systems ergibt.

9. Fernbedienungssystem nach Anspruch 1, weiterhin mit einem zweiten Manipulator (24) an der Arbeitsstelle (22), der einen zweiten bewegbaren Manipulatorarm (34) und einen zweiten Endeffektor (40) an einem Ende des zweiten bewegbaren Manipulatorarmes (34) für ein Manipulieren des Gegenstandes (26) umfaßt, wobei die Steuerung (70) einen zweiten handbetätigten bewegbaren Steuermechanismus (72) hat, der von dem ortsfesten Träger (74) getragen wird.

10. Fernbedienungssystem nach Anspruch 9, bei dem der zweite hand betätigte bewegbare Steuermechanismus (72) an dem ortsfesten Träger (74) an einem zweiten fixierten örtlichen Bezugspunkt befestigt ist, wobei der Servomechanismus (42) den zweiten fixierten örtlichen Bezugspunkt zu einem zweiten fixierten entfernten Bezugspunkt auf dem zweiten Manipulatorarm (34) derart projiziert, daß eine Bewegung des zweiten handbetätigten bewegbaren Steuermechanismus (72) in bezug auf den zweiten fixierten örtlichen Bezugspunkt im wesentlichen gleich wie die Bewegung des zweiten Manipulatorarmes (34) um den zweiten fixierten entfernten Bezugspunkt ist.

11. Fernbedienungssystem nach Anspruch 2, bei dem der zu manipulierende Gegenstand Gewebe (116) an einer Operationsstelle an einem Patienten ist und der Manipulator an der Operationsstelle ein Instrument (110) mit einem bewegbaren Schaft (112) und einem Endeffektor (114) am einen Ende des Schaftes zum Manipulieren des Gewebes umfaßt, die Steuerung (102) an der Bediener-Steuerstation den hand betätigten bewegbaren Steuermechanismus (134), der von dem ortfesten Träger (68) getragen wird, umfaßt und Einrichtungen vorgesehen sind, die eine fühlbare Rückkopplung zu dem handbetätigten Steuermechanismus (134) entsprechend fühlbaren Wahrnehmungen ergeben, die aus einer Berührung zwischen dem Instrument (110) und Gewebe an der Operationsstelle stammen,

und die Videokamera so gebaut und angeordnet ist, daß sie dem Bediener das Empfinden geben, daß das Instrument (110) und der handbetätigte bewegbare Steuermechanismus (134) im wesentlichen einstückig sind, wobei die Videokamera in bezug auf das Instrument derart positioniert ist, daß die Bewegungsrichtung des einen Endes des Instrumentes (110) in bezug auf die Videokamera in Reaktion auf eine Betätigung des handbetätigten Steuermechanismus (134) im wesentlichen die gleiche wie die Bewegungsrichtung des handbetätigten bewegbaren Steuermechanismus (1 34) in bezug auf die Augen des Bedieners ist.

12. Fernbedienungssystem nach Anspruch 11, bei dem die die fühlbare Rückkopplung ergebende Einrichtung wenigstens einen fühlbaren Sensor auf dem Instrumentenschaft und wenigstens einen fühlbaren Sensorsimulator auf dem handbetätigten Steuermechanismus (134) umfaßt, wobei der fühlbare Sensorsimulator wirkungsmäßig an den fühlbaren Sensor gekoppelt ist, um die fühlbaren Wahrnehmungen an dem Instrument zu reproduzieren und diese fühlbaren Wahrnehmungen auf die Hände des Bedieners zu übertragen.

13. Fernbedienungssystem nach Anspruch 12, bei dem die fühlbaren Empfindungen Kräfte und Drehmomente einschließen, die gegen das Instrument (110) von Gewebe ausgeübt werden, wobei die fühlbaren Sensoren und fühlbaren Sensosimulatoren Kraft- und Drehmomentrückkopplung zudem handbetätigten Steuermechanismus (134) ergeben, was Kraft- und Drehmomentfernpräsenz des Systems liefert.

14. Fernbedienungssystem nach Anspruch 11, bei dem der ortsfeste Träger eine Einrichtung zur Erzeugung des fixierten örtlichen Bezugspunktes auf dem handbetätigten bewegbaren Steuermechanismus (134) und Einrichtungen zum Projizieren des fixierten örtlichen Bezugspunktes zu dem fixierten entfernten Bezugspunkt auf dem Instrument (110) umfaßt, wobei der Servomechanismus (42) den handbetätigten bewegbaren Steuermechanismus (134) an das Instrument derart koppelt, daß eine Bewegung des handbetätigten bewegbaren Steuermechanismus in bezug auf den fixierten örtlichen Bezugspunkt im wesentlichen gleich wie die Bewegung des Instrumentes um den fixierten entfernten Bezugspunkt ist.

15. Verfahren zum Manipulieren eines Gegenstandes (26) an einer Arbeitsstelle (22) von einer Steuerstation (20) eines Bedieners entfernt von der Arbeitsstelle aus, wobei ein bewegbarer Arm (34) eines Manipulators (24) in der Nähe des Gegenstandes positioniert und die Bewegung des Armes mit einem handbetätigten Steuermechanismus (72) gesteuert wird, der bei der Steuerstation des Bedieners angeordnet ist, dadurch gekennzeichnet, daß der handbetätigte Steuermechanismus (72) bei einem fixierten örtlichen Bezugspunkt getragen wird,

der fixierte örtliche Bezugspunkt auf einen fixierten entfernten Bezugspunkt auf dem bewegbaren Arm (34) des Manipulators (24) projiziert wird,

der handbetätigte Steuermechanismus (72) um den fixierten örtlichen Bezugspunkt bewegt wird und

der Manipulator (24) derart gesteuert wird, daß eine Bewegung des Manipulators (24) in bezug auf den fixierten entfernten Bezugspunkt im wesentlichen gleich der Bewegung des handbetätigten bewegbaren Steuermechanismus (72) in bezug auf den fixierten örtlichen Bezugspunkt ist.

16. Verfahren nach Anspruch 15, bei dem weiterhin

die Arbeitsstelle (22) beobachtet wird und

ein Bild der Zielstelle bei einer Örtlichkeit (66) nahe dem handbetätigten Steuermechanismus (22) zur Beobachtung durch den Bediener (18) während des Betriebs des handbetätigten Steuermechanismus (72) und zur Ausstattung des Bedieners (18) mit einem Empfinden, daß der Manipulator (24) und der handbetätigte Steuermechanismus (72) im wesentlichen einstückig sind, erzeugt wird.

17. Verfahren nach Anspruch 15, bei dem die Bewegungsstufe ein Schwenken des handbetätigten Steuermechanismus (72) um erste und zweite senkrechte Achsen umfaßt, die an dem fixierten örtlichen Bezugspunkt miteinander zusammenfallen, wobei die Steuerstufe eine entsprechende Bewegung des Manipulators (24) um dritte und vierte senkrechte (36, 38) Achsen ergibt, die an dem fixierten entfernten Bezugspunkt miteinander zusammenfallen.

18. Verfahren nach Anspruch 15, bei dem die Bewegungsstufe den handbetätigten Steuermechanismus (72) entlang einer ersten Achse parallel zu dem handbetätigten Steuermechanismus (72) verschiebt, wobei die Steuerstufe eine entsprechende Verschiebung des Manipulators (24) entlang einer zweiten Achse parallel zu dem Instrument vorsieht.

19. Verfahren nach Anspruch 15, weiterhin mit einer Betätigung eines zweiten Endeffektors (40) auf dem handbetätigten Steuermechanismus (72) und einer entsprechenden Betätigung des ersten Endeffektors (40) auf dem Instrument.

20. Verfahren nach Anspruch 15 bei Verwendung zur Durchführung einer Operation durch einen Operateur an einer entfernten Stelle unter Einführung eines distalen Endabschnittes eines Instrumentes (110) durch eine perkutane Penetration (106) in einem Patienten zu einer Zielstelle (104) in einer Körperhöhlung, Beobachtung der Zielstelle (104) und Erzeugung eines Bildes der Zielstelle (104) an einer Stelle nahe dem handbetätigten Steuermechanismus (102) zur Beobachtung durch den Bediener während des Betriebs des handbetätigten Steuermechanismus (102), wobei der Bediener das Empfinden erhält, daß das Instrument (110) und der handbetätigte Steuermechanismus (102) im wesentlichen einstückig sind.

21. Verfahren nach Anspruch 20, bei dem die Beobachtungsstufe einschließt, daß man ein Endoskop (108) durch eine zweite perkutane Penetration in den Patienten einführt und das Endoskop in bezug auf das Instrument (110) derart positioniert, daß die Bewegungsrichtung des distalen Abschnittes des Instrumentes (110) in bezug auf das Endoskop in Reaktion auf den Betrieb des handbetätigten Steuermechanismus im wesentlichen gleich wie die Bewegungsrichtung des handbetätigten bewegbaren Steuermechanismus in bezug auf die Augen des Bedieners ist.

22. Verfahren nach Anspruch 20, bei dem man weiterhin eine fühlbare Rückkopplung zu dem hand betätigten Steuermechanismus (102) entsprechend fühlbaren Wahrnehmungen vorsieht, die aus der Berührung zwischen dem Instrument (110) und Gewebe an der Operationsstelle stammen.

23. Verfahren nach Anspruch 2, bei dem die Erzeugungsstufe Kräfte und Drehmomente abfühlt, die zu dem Instrument (110) vom Gewebe an der Operationsstelle aus übertragen werden, und die Kräfte und Drehmomente auf dem handbetätigten Steuermechanismus (102) reproduziert.