DE102013012839B4

DE102013012839B4 - Robotersystem

Info

Publication number: DE102013012839B4
Application number: DE102013012839.0A
Authority: DE
Inventors: Bernd Gombert; Leopold Krausen
Original assignee: ABB Schweiz AG
Current assignee: ABB Schweiz AG
Priority date: 2013-08-02
Filing date: 2013-08-02
Publication date: 2019-05-09
Anticipated expiration: 2033-08-03
Also published as: US10531930B2; DE102013012839A1; US20160199140A1; WO2015014481A1

Abstract

Robotersystem umfassend
- eine Basis (2),
- einen mit der Basis verbundenen Roboterarm (1) und
- eine Kamera (10), wobei wenigstens ein Objektiv (24) der Kamera (10) mit dem Roboterarm (1) beweglich ist,
- eine Benutzerschnittstelle (17) zum Erzeugen von externen Befehlen und
- eine Steuereinheit (15), die eingerichtet ist, Bewegungen des Roboterarms (1) anhand der externen Befehle zu steuern, ohne dabei einen Zoomfaktor der Kamera zu variieren, und die mit Mitteln (18, 19) zum Erfassen der Annäherung eines Fremdkörpers (25) an den Roboterarm (1) verbunden und eingerichtet ist,
- bei Erfassen einer Annäherung eines Fremdkörpers (25) eine Ausweichbewegung des Roboterarms (1) als eine Bewegung des Objektivs (24) in Richtung seiner optischen Achse zu steuern,
- eine Änderung des Abstands (d) zwischen einem von der Kamera (10) erfassten Objekt (21) und dem Objektiv (24) zu erfassen und den Zoomfaktor einer Zoomfunktion der Kamera (10) entsprechend der Abstandsänderung zu variieren.

Description

Die vorliegende Erfindung betrifft ein Robotersystem, insbesondere für Anwendungen im Operationssaal.
Roboter sind in der industriellen Fertigung seit vielen Jahren verbreitet, wo sie dank ihrer Fähigkeit, vorprogrammierte Arbeitsabläufe in kurzer Zeit beliebig oft zu reproduzieren, beträchtliche Rationalisierungen bei der Fertigung ermöglichen. Da derartige Roboter meist auch dazu ausgelegt sind, den Menschen anstrengende Arbeitsschritte wie etwa die Handhabung schwerer Werkstücke abzunehmen, sind sie entsprechend kräftig gebaut und durch einen Stoß von außen allenfalls geringfügig ablenkbar. Umgekehrt sind diese Roboter durch ihre beträchtliche Masse und schnellen Bewegungen ohne weiteres in der Lage, in der Nähe tätiges Personal zu verletzen. Um einen Zusammenstoß mit Personen zu vermeiden, sind Industrieroboter deshalb im Einsatz im Allgemeinen von einem Käfig umgeben.
Roboter, die für den Einsatz im Operationssaal ausgelegt sind, können nicht sinnvollerweise durch einen Käfig abgeschirmt werden, da sie im Allgemeinen eine Operation nicht alleine ausführen, sondern gleichzeitig auch Personal am gleichen Patienten im Einsatz ist. Ein Zusammenstoß zwischen einem solchen Roboter und dem Personal kann daher nicht mit letzter Sicherheit verhindert werden. Da ein OP-Roboter im Allgemeinen leichter und schlanker als ein Fertigungsroboter gebaut ist, um dem Personal die Sicht auf ein Operationsfeld nicht unnötig zu blockieren, ist im Falle eines Zusammenstoßes eine Auslenkung des Roboterarms nicht völlig zu verhindern. Wenn dabei auch ein von dem Roboterarm gehandhabtes Werkzeug abgelenkt wird, könnte dies den Patienten schädigen.
Es ist zwar möglich, ein Robotersystem mit geeigneter Sensorik zum Erfassen eines eventuell bevorstehenden Zusammenstoßes und mit einer Steuereinheit auszustatten, die, wenn ein Zusammenstoß vorhergesagt wird, eine Ausweichbewegung des Roboterarms steuert, um dadurch dem bevorstehenden Zusammenstoß zu entgehen. Die Möglichkeiten für eine solche Ausweichbewegung sind jedoch begrenzt, wenn der Roboterarm ein Werkzeug am oder im Körper des Patienten handhabt, das nicht beliebig bewegt werden darf.
Das Ideale wäre zwar, wenn in einer solchen Situation nur ein mittlerer Abschnitt des Roboterarms, der die Basis mit dem Werkzeug verbindet, eine Ausweichbewegung ausführen könnte, das Werkzeug selber aber an Ort und Stelle bleibt. Die Zahl der Freiheitsgrade des Roboterarms ist jedoch im Allgemeinen nur gerade so groß, wie zum Durchführen der gewünschten Bewegungen des Werkzeugs erforderlich. Daher besteht eine nicht zu vernachlässigende Wahrscheinlichkeit, dass die Freiheitsgrade des Roboterarms für eine Ausweichbewegung, bei der das Werkzeug unbeweglich bleibt, nicht ausreichen. In einem solchen Fall kann bestenfalls eine Ausweichbewegung durchgeführt werden, bei der die resultierende Bewegung des Werkzeugs für den Patienten unbedenklich ist.
Wenn das Werkzeug eine Kamera, insbesondere eine Endoskopkamera, ist, ergibt sich das Problem, dass jede Bewegung der Kamera das Bild verändert, das die von ihrer Umgebung liefert. Jede Bewegung der Kamera kann daher dazu führen, dass ein Benutzer, der die von der Kamera gelieferten Bilder auf einem Bildschirm betrachtet, ein ihn interessierendes Objekt aus den Augen verliert. Diese Möglichkeit existiert sowohl bei einer vom Benutzer selbst gesteuerten Bewegung der Kamera als auch, wenn sich diese aufgrund eines Stoßes gegen den Roboterarm oder im Rahmen einer Ausweichbewegung des Roboterarms bewegt. In den beiden letztgenannten Fällen ist die Wahrscheinlichkeit dafür allerdings besonders hoch.
Aus WO 2012/078989 A1 ist ein Robotersystem mit einer an einem Roboterarm beweglichen Kamera bekannt, die durch eine Trokarhülse in den Körper eines Patienten einführbar ist, um dort ein Werkzeug zu überwachen. Eine Steuereinheit berechnet anhand eines bekannten Öffnungswinkels des Blickfelds der Kamera und bekannter Positionen von Kamera und Werkzeug, ob das Werkzeug im Blickfeld der Kamera liegt. Ist dies nicht der Fall, dann wird die Kamera vom Werkzeug wegbewegt, um das Werkzeug ins Blickfeld zu bringen. Wenn das Werkzeug größer gezeigt werden soll, muss die Kamera an das Werkzeug herangefahren werden, sofern dies möglich ist, ohne das Werkzeug aus dem Blickfeld zu verlieren. Die Überwachung anderer Objekte, insbesondere von Gewebeteilen eines Patienten, ist mit diesem Robotersystem nicht erleichtert.
Aus der DE 198 14 779 A1 ist ein Roboterarm bekannt, der ein Werkzeug trägt. In den Roboterarm ist weiterhin eine Kamera mit einer Optik integriert. Um eine Anpassung an eine durch eine Annäherungsbewegung an ein Muster verursachte Größenänderung vorzunehmen, kann der Bildausschnitt bzw. die Brennweite des Objektivs angepasst werden, so dass das Muster im Wesentlichen immer denselben Bildausschnitt einnimmt. Auch eine rechnerische Anpassung der Größe des Musters ist möglich.
Die Patentanmeldung US 2009/0192524 A1 offenbart ein Robotersystem mit Kollisionserkennung. Damit kann eine Annäherung eines Hindernisses an den Roboter erkannt werden und bei Überschreitung einer Annäherungsgrenze ein akustisches oder optisches Warnsignal ausgegeben werden.
Aus EP 0 518 836 A1 ist ein Robotersystem mit Näherungsssensor bekannt, das bei Gefahr einer Kollision nicht genauer bestimmte geeignete Maßnahmen zur Kollisionsvermeidung treffen kann.
Aufgabe der Erfindung ist nun, ein Robotersystem mit Kamera bereit zu stellen, das in der Lage ist, einer Kollision auszuweichen und die Behinderung der Arbeit eines Benutzers aufgrund von durch die Ausweichbwegung bedingten Veränderungen des Bildausschnitts der Kamera zu minimieren.
Die Aufgabe wird gelöst durch ein Robotersystem umfassend eine Basis, einen mit der Basis verbundenen Roboterarm und eine Kamera, wobei wenigstens ein Objektiv der Kamera mit dem Roboterarm beweglich ist, und eine Steuereinheit, die mit Mitteln zum Erfassen der Annäherung eines Fremdkörpers an den Roboterarm verbunden und eingerichtet ist,

- eine Änderung des Abstands zwischen einem von der Kamera erfassten Objekt und dem Objektiv zu erfassen und den Zoomfaktor einer Zoomfunktion der Kamera entsprechend der Abstandsänderung zu variieren,
- bei Erfassen einer Annäherung eine Ausweichbewegung des Roboterarms als eine Bewegung des Objektivs in Richtung seiner optischen Achse zu steuern,
- den Zoomfaktor zu variieren, wenn eine Bewegung des Objektivs in Richtung seiner optischen Achse eine Ausweichbewegung ist, und
- den Zoomfaktor nicht zu variieren, wenn die Bewegung durch einen externen Befehl verursacht ist.

Diese variable Zoomfunktion erlaubt es, Änderungen der Größe, in der das Objekt auf einem Bildschirm dargestellt wird, im Falle einer Bewegung des Objektivs entlang seiner optischen Achse zu begrenzen und auf diese Weise einem Benutzer die Wiedererkennung des Objekts nach der Bewegung des Objektivs zu erleichtern.
Idealerweise sollte die Steuereinheit eingerichtet sein, die Größe des Objekts auf dem Bildschirm unabhängig vom Abstand konstant zu halten.
Die Zoomfunktion kann implementiert werden, indem das Objektiv eine durch die Steuereinheit veränderbare Brennweite hat.
Alternativ kann die Kamera eine Bildverarbeitungseinheit umfassen, die die Zoomfunktion implementiert, indem sie ein von der Kamera aufgenommenes Rohbild mit veränderbarem Maßstab in ein auszugebendes Bild transformiert.
In einem von der Kamera erzeugten Rohbild können diverse Objekte sichtbar sein. Es kann vorgesehen werden, dass ein Benutzer eines dieser Objekte, von dem er sich wünscht, dass es mit abstandsunabhängiger Größe auf dem Bildschirm angezeigt wird, der Bildverarbeitungseinheit spezifiziert. Wenn die Bewegung des Objektivs jedoch auf eine Kollisionsausweichbewegung zurückgeht, dann ist die Wahrscheinlichkeit hoch, dass der Benutzer im entscheidenden Moment kein Objekt ausgewählt hat. Daher ist vorzugsweise die Steuereinheit eingerichtet, das Objekt in einer Ebene anzunehmen, auf die die Kamera fokussiert ist, da davon ausgegangen werden kann, dass, wenn der Benutzer ein von der Kamera erfasstes Objekt verfolgen will, er die Kamera auf dieses Objekt fokussieren wird.
Das Objektiv der Kamera kann durch den Roboterarm um seine optische Achse drehbar sein. Die Bildverarbeitungseinheit ist dann zweckmäßigerweise eingerichtet, ein von der Kamera geliefertes Rohbild gegensinnig zur Drehung des Objektivs gedreht an den Bildschirm auszugeben. So bleibt eine Drehung des Objektivs, die im Rahmen einer Ausweichbewegung des Roboterarms nötig werden kann, ohne Auswirkungen auf das auf dem Bildschirm sichtbare Bild.
Die Mittel zum Erfassen der Annäherung können zumindest einen Näherungssensor oder eine Kamera umfassen.
Während eine Kamera vorzugsweise getrennt vom Roboterarm angeordnet sein kann, um diesen zusammen mit einem sich nähernden Fremdkörper zu überblicken, sind Näherungssensoren vorzugsweise am Roboterarm verteilt angeordnet, um jeweils lokal eine Annäherung zu erfassen. Dies ermöglicht insbesondere eine einfache Steuerung der Ausweichbewegung, da den einzelnen Näherungssensoren jeweils entsprechend ihrer Platzierung am Roboterarm unterschiedliche Strategien für Ausweichbewegungen zugeordnet sein können.
Die Steuereinheit kann auch mit einem weiteren Roboterarm verbunden und eingerichtet sein, bei Erfassung einer Annäherung der Roboterarme aneinander eine Ausweichbewegung des einen Roboterarms zu steuern.
Jedenfalls ist die Steuereinheit eingerichtet, den Zoomfaktor zu variieren, wenn eine Bewegung des Objektivs in Richtung seiner optischen Achse eine Ausweichbewegung ist, den Zoomfaktor aber nicht zu verändern, wenn die Bewegung durch einen externen Befehl verursacht ist. Wenn nämlich der Benutzer beim Betrachten der Bilder auf dem Bildschirm einen entsprechenden Befehl gibt, dann erwartet er, anhand der Veränderung der Größenverhältnisse von dargestellten Objekten im Bild die Bewegung der Kamera erkennen und abschätzen zu können, und das Ausbleiben einer intuitiv erwarteten Größenveränderung kann beim Benutzer zu Unsicherheit führen, ob der Roboterarm die befohlene Bewegung ausgeführt hat oder nicht.
Zweckmäßig kann es aber auch sein, an einer Benutzerschnittstelle dem Benutzer die Wahlmöglichkeit zu bieten, ob bei einer von ihm gesteuerten Bewegung des Objektivs die Größe des Objekts abstandsabhängig oder fest sein soll. Dies ermöglicht beispielsweise, nach genauer Untersuchung des Objekts mittels der Kamera aus großer Nähe zwischen Kamera und Objekt Platz für ein Werkzeug zum Bearbeiten des Objekts zu schaffen, ohne dafür die detaillierte Ansicht des Objekts auf dem Bildschirm aufgeben zu müssen.
Die Steuereinheit kann ferner eingerichtet sein, als Ausweichbewegung eine Drehung des Objektivs um seine optische Achse zu steuern. Diese würde zwar nicht zu einer Größenveränderung eines auf dem Bildschirm angezeigten Objekts führen, jedoch kann die mit der Drehung der Kamera einhergehende Drehung des Bildes die Wiedererkennung des interessierenden Objekts behindern, weswegen die Bilddrehung von der nachgeschalteten Bildverarbeitungseinheit wenigstens teilweise kompensiert werden sollte.
In diesem Fall kann die Bildverarbeitungseinheit zweckmäßigerweise eingerichtet sein, das von der Kamera gelieferte Rohbild zu drehen, wenn eine Drehung der Kamera um die optische Achse des Objektivs eine Ausweichbewegung ist, das Rohbild aber nicht zu drehen, wenn die Drehung durch einen externen Befehl verursacht ist.
Die bereits erwähnte Benutzerschnittstelle dient zweckmäßigerweise auch zum Erzeugen der besagten externen Befehle.
Die Kamera kann insbesondere Teil eines Endoskops sein.
Wenn die optische Achse des Objektivs mit der Längsachse des Endoskops zusammenfällt, dann beinhaltet eine Extraktionsbewegung des Endoskops im Allgemeinen keine Schädigungsgefahr für den Patienten und kann daher im Rahmen einer Ausweichbewegung, wenn erforderlich, vorgenommen werden. Auch eine Drehung des Endoskops um seine Achse ist im Allgemeinen ohne Gefahr der Schädigung möglich.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren. Es zeigen:

1 eine schematische Darstellung eines Robotersystems gemäß einer ersten Ausgestaltung der Erfindung;
2 das Robotersystem der 1 nach einer Ausweichbewegung;
3 Schritte der Bildverarbeitung in einer Steuereinheit des Robotersystems aus 1;
4 das Robotersystem beim Ausführen einer zweiten Ausweichbewegung;
5 eine schematische Darstellung von Objektiv und Sensorchip einer Endoskopkamera des Robotersystems vor der in 4 gezeigten Ausweichbewegung; und
6 eine zu 5 analoge Darstellung nach der Ausweichbewegung.

1 zeigt schematisch ein Robotersystem gemäß einer ersten Ausgestaltung der vorliegenden Erfindung. Das System umfasst einen Roboterarm 1 mit einer ortsfest, hier zum Beispiel an der Decke eines Operationssaals, montierten Basis 2, einem ersten Armabschnitt 3, der mit der Basis über ein erstes Gelenkmodul 4 verbunden ist, einem zweiten Armabschnitt 5, der mit dem ersten Armabschnitt 3 über ein zweites Gelenkmodul 6 verbunden ist, und einem Endoskop 7, das an einer über das Gelenkmodul 8 mit dem zweiten Armabschnitt 5 verbundenen Halterung 9 lösbar befestigt ist.
Die Gelenkmodule 4, 6, 8 sind hier als Zweiachsgelenke ausgeführt, mit zwei zueinander orthogonalen Wellen, die jeweils an einer benachbarten Komponente des Roboterarms, d.h. der Basis 2 und dem Armabschnitt 3 im Falle des Moduls 4, den Armabschnitten 3, 5 im Falle des Moduls 6 und dem Armabschnitt 5 und der Halterung 9 im Falle des Moduls 8 drehfest verankert und mit Hilfe von in den Gelenkmodulen 4, 6, 8 untergebrachter Stellmotoren drehbar sind.
Das Endoskop 7 umfasst hier eine miniaturisierte Kamera 10, die an der Spitze eines biegsamen Tubus 11 angebracht ist. Eine Basis 12 zur Befestigung an der Halterung 9 kann mit dem Tubus 11 unbeweglich verbunden sein, so dass zum Bewegen der Kamera 10 jeweils eine entsprechende Bewegung der Halterung 9 erforderlich ist. Um das Einführen des Endoskops 7 in ein Lumen eines Patientenkörpers zu erleichtern, kann der Tubus 11 aber auch gegen die Basis 12 beweglich und die Basis 12 mit Stellmotoren zum Längsverschieben des Tubus 11 bzw. Drehen des Tubus 11 um seine Achse ausgestattet sein.
Ein Datenbus 13 erstreckt sich von einer Steckverbindung 14 an der Halterung 9 über die Armabschnitte 5, 3 und Gelenkmodule 8, 6, 4 des Roboterarms 1 bis zu einer Steuereinheit 15 und einer Bildverarbeitungseinheit 20. Bildverarbeitungseinheit 20 ist hier zwar örtlich getrennt vom Endoskop 7 dargestellt, bildet aber funktionsmäßig einen Teil von dessen Kamera 10. An die Bildverarbeitungseinheit 20 ist ein Bildschirm 16 zum Anzeigen der von der Kamera 10 gelieferten Bilder angeschlossen.
Eine Benutzerschnittstelle 17 zum Steuern von Bewegungen des Roboterarms 1 bzw. des Endoskops 7 ist in der 1 schematisch als Joystick dargestellt. Die Steuereinheit 15 empfängt von einem Benutzer über die Benutzerschnittstelle 17 empfangene Positionierbefehle und rechnet diese in Stellbefehle für die Stellmotoren der Gelenkmodule 4, 6, 8 sowie, falls vorhanden, des Endoskops 7 um. Es kann vorgesehen sein, dass die Steuereinheit 15 technische Daten des Endoskops 7, insbesondere über das Vorhandensein von Stellmotoren und die Bewegungsfreiheitsgrade des Tubus 11 in Bezug auf die Basis 12 vom Endoskop 7 abfragt, um gegebenenfalls die Stellmotoren des Endoskops 7 zum Antreiben einer Bewegung der Kamera 10 zu nutzen.
Der Datenbus 13 verbindet ferner eine Mehrzahl von Näherungssensoren 18 mit der Steuereinheit 15. Als Näherungssensoren 18 kommen insbesondere kapazitive Sensoren in Betracht, da diese in der Lage sind, die Annäherung von Fremdkörpern aus nahezu beliebigen Materialien zu erfassen. Die Näherungssensoren 18 sind hier nur an exponierten Stellen der Armabschnitte 3, 5 dargestellt; in der Praxis können sie in größerer Zahl über die Gehäuse der Armabschnitte 3, 5 verteilt sein, um gegebenenfalls nicht nur die Tatsache zu erfassen, dass sich ein Fremdkörper nähert, sondern anhand eines Vergleichs der Signalstärken von unterschiedlich platzierten Näherungssensoren 18 auch die Ermittlung der Richtung, aus der sich der Fremdkörper nähert, bzw. der Stelle, an der er voraussichtlich mit dem Roboterarm 1 zusammenstoßen wird, zu ermöglichen.
Grundsätzlich könnten Näherungssensoren 18 auch an den Gelenkmodulen, insbesondere den Gelenkmodulen 6, 8 vorhanden sein. Das Gelenkmodul 4 benötigt derartige Sensoren nicht, da es direkt mit der ortsfesten Basis 2 verbunden und daher nicht in der Lage ist, einem sich nähernden Fremdkörper auszuweichen, ein Anstoßen eines Fremdkörpers an das Gelenkmodul 4 aber auch nicht zu einer Auslenkung des Roboterarms 1 führen würde.
Aus Gründen der Fertigungs- und Wartungseffizienz kann es wünschenswert sein, dass alle Gelenkmodule 4, 6, 8 baugleich sind. Um in einem solchen Fall die Annäherung eines Fremdkörpers auch an die Gelenkmodule 6, 8 erfassen zu können, ohne diese selbst mit Sensoren bestücken zu müssen, kann es zweckmäßig sein, Näherungssensoren an den jeweils zu den Gelenkmodulen 6, 8 benachbarten Enden der Armabschnitte 3, 5 vorzusehen.
Zur Unterstützung der Näherungssensoren 13 oder als Ersatz für diese können eine oder mehrere Kameras 19 vorgesehen sein, die auf den Roboterarm 1 ausgerichtet sind und deren Bilder von der Steuereinheit 15 ausgewertet werden, um die Annäherung eines Fremdkörpers an den Roboterarm 1 zu erkennen.
2 zeigt eine typische Anwendungssituation des erfindungsgemäßen Robotersystems. Das Endoskop 7 ist im Körper eines in der Figur nicht dargestellten Patienten platziert, und ein Chirurg beugt seinen Kopf über den Patienten, um freien Blick auf ein Operationsfeld zu haben. Wenn in dieser Situation der Roboterarm 1 die in 1 gezeigte Stellung hätte, könnte der Kopf 25 des Chirurgen an den Armabschnitt 3 anstoßen. Diese Annäherung wird von der Steuereinheit 15 mittels der Näherungssensoren 18 und/oder der Kamera 19 erfasst. Der Armabschnitt 3 wird aus dem kollisionsgefährdeten Bereich durch eine Drehung des Gelenkmoduls 4 um dessen an der Basis 2 befestigte vertikale Welle herausbewegt. In der Konfiguration der 2 sind die Armabschnitte 3, 5 relativ zur Konfiguration der 1 um ca. 90 gedreht, so dass ein Mittelstück des in etwa u-förmigen Armabschnitts 3 und das Gelenkmodul 8 am Ende des Armabschnitts 5 dem Betrachter zugewandt sind. Um die Position des Endoskops 7 während dieser Drehung unverändert zu halten, ist die Halterung 9 aus der vom Gelenkmodul 8 zum Betrachter hin abstehenden Stellung der 1 in eine schräg nach unten abstehende Stellung rotiert, und durch verstärktes Anwinkeln der Armabschnitte 3, 5 gegen die Vertikale ist das Gelenkmodul 8 angehoben. Die Position des Endoskops 7 ist dadurch zwar unverändert gehalten, es ist jedoch um die Längsachse seiner Basis 12 bzw., aufgrund der Flexibilität des Tubus 11, um die optische Achse der Kamera 10 gedreht.
Die Auswirkung einer solchen Drehung auf ein von der Kamera 10 geliefertes Bild ist in 3 verdeutlicht. Die Kamera 10 liefert an die Bildverarbeitungseinheit 20 ein Rohbild, das in der Konfiguration der 1, vor der Ausweichbewegung des Roboterarms 1, untransformiert von der Bildverarbeitungseinheit 20 an den Bildschirm 16 ausgegeben wird und Darstellungen mehrerer vor dem Objektiv 24 befindlicher Objekte 21, 22 enthält. Eine schematische Ansicht des Bildschirms 16, auf dem die Objekte 21, 22 zu sehen sind, ist im linken Teil von 3 gezeigt. Die Kamera ist auf das Objekt 21 fokussiert, die Objekte 22 liegen außerhalb einer fokussierten Ebene und erscheinen daher im Bild mehr oder weniger unscharf.
Die Drehung der Kamera 10 um ihre optische Achse im Laufe der Ausweichbewegung führt dazu, dass auch die Bilder der Objekte 21 auf dem Sensorchip der Kamera 10 um die optische Achse rotieren, so dass das von der Kamera 10 an die Bildverarbeitungseinheit 20 gelieferte Rohbild zum Beispiel die im mittleren Teil der 3 gezeigte Form annimmt.
Da die Steuereinheit 15 sämtliche im Laufe der Ausweichbewegung vom Roboterarm 1 ausgeführten Bewegungen kennt, ist sie in der Lage, die aus der Ausweichbewegung resultierende Drehung der Kamera 10 zu berechnen und einen entsprechenden Drehwinkel an die Bildverarbeitungseinheit 20 zu liefern, anhand dessen diese ein transformiertes Bild berechnet, in dem diese Drehung rückgängig gemacht ist. Dieses transformierte Bild 23 ist im rechten Teil der 3 als gestrichelt umrahmtes Rechteck dargestellt. Die Objekte 21 haben im transformierten Bild 23 die gleiche Position wie vor der Ausweichbewegung und bleiben sichtbar. Wenn ein Objekt 21 im Körper des Patienten erfolgreich gefunden worden ist, geht es somit durch die Ausweichbewegung nicht wieder verloren bzw. der Chirurg wird nicht durch eine Drehbewegung des auf dem Bildschirm 16 sichtbaren Bildes irritiert.
Eine entsprechende Bildtransformation kann von der Bildverarbeitungseinheit 20 auch in dem Fall vorgenommen werden, dass der Benutzer an der Benutzerschnittstelle 17 eine Translationsbewegung der Kamera 10 anordnet, diese aufgrund von Einschränkungen der Bewegungsfreiheit des Roboterarms 1 aber nur gleichzeitig mit einer - vom Benutzer nicht angeordneten und daher auch nicht erwarteten - Drehung der Kamera 10 um ihre optische Achse realisierbar ist.
Wenn hingegen der Benutzer an der Benutzerschnittstelle 17 eine Drehung der Kamera 10 anordnet, dann erwartet er auch, diese auf dem Bildschirm zu sehen. In diesem Fall kann die Steuereinheit 15 tatsächlich eine körperliche Drehung der Kamera 10 steuern, ohne dass die Bildverarbeitungseinheit 20 die Drehung kompensiert, oder die Drehung kann allein rechnerisch, in der Bildverarbeitungseinheit 20, vollzogen werden, ohne dass die Kamera 10 körperlich gedreht wird.
In einer Abwandlung der Erfindung weist die Kamera einen Sensorchip auf, der um die optische Achse des Objektivs rotierbar in der Kamera gelagert ist. In diesem Fall bedarf es keiner Bildtransformation in der Bildverarbeitungseinheit 20. Stattdessen wird der Sensorchip entgegen der Rotation der Kamera um die optische Achse rotativ verstellt, so dass die rotative Orientierung des Sensorchips in Bezug auf das aufzunehmende Bild unverändert bleibt.
4 zeigt eine andere Ausweichbewegung des Roboterarms. Der Roboterarm 1 befindet sich hier zunächst in einer mit durchgezogenen Linien dargestellten Stellung und weicht einem nicht dargestellten, sich in etwa in Höhe des Gelenkmoduls 6 von links nähernden Fremdkörper durch Übergang in die gestrichelt dargestellte Stellung aus. Diese Ausweichbewegung beinhaltet zwar keine Drehung des Endoskops 7 um seine optische Achse, stattdessen aber eine Rückzugsbewegung seiner Kamera 10 aus dem Körper des Patienten heraus.
5 zeigt schematisch ein Objektiv 24 und einen Sensorchip 26 der Kamera 10 vor der Ausweichbewegung. Vor dem Objektiv 24 der Kamera 10 befinden sich mehrere Objekte 21, 22, wobei das Objekt 21 sich in einer Ebene 27 befindet, auf die das Objektiv 24 fokussiert ist, d.h. die scharf auf den Sensorchip 26 abgebildet wird. Die Fokussierung des Objektivs 24 wird durch die Steuereinheit 15 anhand von vom Benutzer an der Benutzerschnittstelle 17 erteilter Befehle gesteuert, daher ist der Abstand d zwischen dem Objektiv 24 und der Ebene 27 der Steuereinheit 15 bekannt.
Im Laufe der Ausweichbewegung vergrößert sich der Abstand zwischen Objekt 21 und Objektiv 24 auf d', wie in 6 gezeigt. Die Steuereinheit 15 vergrößert die Brennweite des Objektivs 24 um den Faktor d'/d und den Abstand zwischen Objektiv 24 und Sensorchip 26, so dass weiterhin die Ebene 27 scharf auf den Sensorchip 26 abgebildet wird und gleichzeitig die des fokussierten Objekts 21 auf dem Sensorchip 26 ihre Größe nicht ändert. Position und Größen von der anderen Objekte 22 ändern sich zwar um so stärker, je weiter diese von der Ebene 27 entfernt sind, doch hat dies nur wenig Einfluss auf das von der Kamera 10 gelieferte Bild, da diese Objekte 22 nur unscharf auf den Sensorchip 26 projiziert werden. So bleibt das Objekt 21 auch nach der Ausweichbewegung klar erkennbar.
Einer alternativen Ausgestaltung zufolge führt im Falle einer Ausweichbewegung der Kamera 10 die Steuereinheit 15 nur die Fokussierung des Objektivs 24 nach, nicht aber dessen Brennweite. Auch in diesem Fall ändert ist die des Objekts 21 weiterhin scharf, aber ihre Größe ist verändert. Um das Objekt 21 dennoch in unveränderter Größe auf dem Bildschirm 16 anzeigen zu können, vergrößert die Bildverarbeitungseinheit 20 einen Ausschnitt des Rohbildes rechnerisch.
Beide Ausgestaltungen können miteinander kombiniert werden, etwa derart, dass die Steuereinheit 15 auf rechnerische Vergrößerung des Rohbildes umschaltet, wenn die Brennweite des Objektivs 24 ihr Maximum erreicht hat.
Wenn die Kamera 10 durch Benutzerbefehle gesteuert entlang ihrer optischen Achse bewegt wird, sollte die oben beschriebene Abbildungskorrektur im Allgemeinen nicht stattfinden, da in diesem Fall der Benutzer erwartet, in Reaktion auf eine Bewegung der Kamera 10 auch ein verändertes Bild auf dem Bildschirm zu sehen. Dennoch kann dem Benutzer die Möglichkeit gegeben werden, an der Benutzerschnittstelle 17 einzustellen, ob er die Abbildungskorrektur im Falle einer von ihm gesteuerten Bewegung der Kamera 10 wünscht oder nicht. So kann z.B. die Möglichkeit geschaffen werden, dass der Benutzer mit der Kamera 10 zunächst ein zu operierendes Objekt 21 aus so geringem Abstand inspiziert, dass kaum die Sicht behindernde Fremdkörper 22 zwischen Objektiv 24 und Objekt 21 Platz finden, und dann unter Beibehaltung der Bildgröße den Abstand zu vergrößern, um zwischen Objektiv 24 und Objekt 21 Platz für ein Operationswerkzeug zu schaffen.
Bezugszeichenliste

1: Roboterarm
2: Basis
3: Armabschnitt
4: Gelenkmodul
5: Armabschnitt
6: Gelenkmodul
7: Endoskop
8: Gelenkmodul
9: Halterung
10: Kamera
11: Tubus
12: Basis
13: Datenbus
14: Steckverbindung
15: Steuereinheit
16: Bildschirm
17: Benutzerschnittstelle
18: Näherungssensor
19: Kamera
20: Bildverarbeitungseinheit
21: Objekt
22: Objekt
23: transformiertes Bild
24: Objektiv
25: Kopf
26: Sensorchip
27: Ebene
28: Abbildung
29: Abbildung

Claims

Robotersystem umfassend - eine Basis (2), - einen mit der Basis verbundenen Roboterarm (1) und - eine Kamera (10), wobei wenigstens ein Objektiv (24) der Kamera (10) mit dem Roboterarm (1) beweglich ist, - eine Benutzerschnittstelle (17) zum Erzeugen von externen Befehlen und - eine Steuereinheit (15), die eingerichtet ist, Bewegungen des Roboterarms (1) anhand der externen Befehle zu steuern, ohne dabei einen Zoomfaktor der Kamera zu variieren, und die mit Mitteln (18, 19) zum Erfassen der Annäherung eines Fremdkörpers (25) an den Roboterarm (1) verbunden und eingerichtet ist, - bei Erfassen einer Annäherung eines Fremdkörpers (25) eine Ausweichbewegung des Roboterarms (1) als eine Bewegung des Objektivs (24) in Richtung seiner optischen Achse zu steuern, - eine Änderung des Abstands (d) zwischen einem von der Kamera (10) erfassten Objekt (21) und dem Objektiv (24) zu erfassen und den Zoomfaktor einer Zoomfunktion der Kamera (10) entsprechend der Abstandsänderung zu variieren.
Robotersystem nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinheit (15) eingerichtet ist, die Größe des Objekts (21) in einem von der Kamera (10) ausgegebenen Bild unabhängig vom Abstand (d) konstant zu halten.
Robotersystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Objektiv (24) eine durch die Steuereinheit (15) veränderbare Brennweite hat.
Robotersystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kamera (10) eine Bildverarbeitungseinheit (20) umfasst, die eingerichtet ist, ein von der Kamera (10) aufgenommenes Rohbild mit veränderbarem Maßstab auszugeben.
Robotersystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (15) eingerichtet ist, das Objekt (21) in einer Ebene (27) auszuwählen, auf die die Kamera (10) fokussiert ist.
Robotersystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objektiv (24) durch den Roboterarm (1) um seine optische Achse drehbar ist und eine Bildverarbeitungseinheit (20) eingerichtet ist, ein von der Kamera (10) aufgenommenes Rohbild (23) gegensinnig zur Drehung des Objektivs (10) gedreht auszugeben.
Robotersystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Mittel zum Erfassen der Annäherung zumindest einen Näherungssensor (18) oder eine Kamera (19) umfassen.
Robotersystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit mit einem weiteren Roboterarm verbunden und eingerichtet ist, bei Erfassen einer Annäherung der Roboterarme eine Ausweichbewegung des einen Roboterarms zu steuern.
Robotersystem nach einem der einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (15) eingerichtet ist, als Ausweichbewegung eine Drehung des Objektivs (24) um seine optische Achse zu steuern.
Robotersystem nach Anspruch 9, soweit auf Anspruch 6 rückbezogen, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (20) eingerichtet ist, das Rohbild (23) zu drehen, wenn eine Drehung der Kamera (10) um die optische Achse des Objektivs (24) eine Ausweichbewegung ist, und das Rohbild nicht zu drehen, wenn die Drehung durch einen externen Befehl verursacht ist.
Robotersystem nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Benutzerschnittstelle (17) zum Erzeugen der externen Befehle.
Robotersystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (10) Teil eines Endoskops (7) ist.
Robotersystem nach Anspruch 12, dadurch gekennzeichnet, dass die optische Achse des Objektivs (24) mit der Längsachse des Endoskops (7) zusammenfällt.