DE19961971B4

DE19961971B4 - Vorrichtung zum sicheren automatischen Nachführen eines Endoskops und Verfolgen eines Instruments

Info

Publication number: DE19961971B4
Application number: DE19961971A
Authority: DE
Inventors: Wolfgang Dr. Eppler; Ralf Dr. Mikut; Udo Dr. Voges; Rainer Dr. Stotzka; Helmut Breitwieser; Reinhold Oberle; Harald Dr. Fischer
Original assignee: Forschungszentrum Karlsruhe GmbH
Current assignee: Karlsruher Institut fuer Technologie KIT
Priority date: 1999-12-22
Filing date: 1999-12-22
Publication date: 2009-10-22
Anticipated expiration: 2019-12-23
Also published as: EP1240418A1; WO2001046577A2; US20020156345A1; DE19961971A1; WO2001046577A8

Abstract

Vorrichtung zum automatischen Nachführen eines Endoskops und Verfolgen eines chirurgischen Instruments, bestehend aus:
• dem Endoskop,
das ein Bild aus dem Körperinneren aufnimmt, um es auf einem Monitor darzustellen,
• einem Bildverarbeitungssystem,
das auf dem vom Endoskop gewonnenen Bild die Instrumentenspitze erkennt und seine Position ermittelt,
• einem Steuerungssystem,
das aufgrund der ihm bekannten aktuellen Position des Endoskops und der erkannten Position der Instrumentenspitze Steuerungsinformationen für ein Endoskop-Führungs-System, EFS, aufbereitet,
• einem Überwachungssystem,
das das Steuerungssystem und das Gesamtsystem überwacht,
• einem Bediensystem,
das den Bediener zwischen unterschiedlichen Funktionen des EFS wählen lässt und ihm verschiedene Informationen wie den Systemstatus anzeigt,
• dem Endoskop-Führungs-System, EFS,
das das Endoskop mit Kamera aufnimmt/hält und entsprechend der vom Steuerungssystem übermittelten Steuerungsinformation führt,
und die Einrichtungen zur:
Fehlertoleranzbearbeitung,
intuitiven Bedienung und
Souveränität hat,
wobei bei der Fehlertoleranzbearbeitung:...

Description

Die Erfindung betrifft eine Vorrichtung zur sicheren automatischen Nachführung eines Endoskops und Verfolgen (Tracking) eines chirurgischen Instrumentes mit einem elektrisch angetriebenen und gesteuerten Endoskop-Führungs-System, EFS, für die minimal invasive Chirurgie.
Bei minimal invasiven Operationen orientiert sich der Chirurg an einem Monitorbild (Original-Monitor). Ein Endoskop mit Kamera und die zur Operation notwendigen Instrumente werden durch Trokare in die Körperhöhle des Patienten eingeführt.
Zum gegenwärtigen Stand der Technik sind sowohl das Endoskop als auch die Kamera häufig noch manuell geführt. Der Chirurg, der die Instrumente führt, weist einen Assistenten an, das Endoskop mit Kamera so nachzuführen, dass das Instrument im Bild sichtbar bleibt. Die Vorteile dieser Vorgehensweise bestehen darin, dass der das Endoskop führende Assistent gefährliche Situationen vermeidet, Fehler erkennt, mit dem Chirurgen kommuniziert und das Endoskop nur dann nachfährt, wenn es notwendig ist. Nachteilig sind ein erhöhter Personalaufwand gegenüber konventionellen Operationen und das unvermeidliche Zittern des Assistenten.
Zur Vermeidung der genannten Nachteile wurden Systeme eingeführt, die das Endoskop automatisch führen. Ein solches Endoskop-Führungs-System zum Führen einer endoskopischen Kameraeinheit ist elektrisch angetrieben und kann an jeden Operationstisch angebracht werden. Zur Fernbedienung dient eine Bedienkomponente, meist ein Joystick, der in der Regel am Arbeitsinstrument befestigt ist, oder auch eine Spracheingabe. Das eingeführte Endoskop wie auch separat eingeführte Instrumente haben jeweils hinsichtlich der Bewegung einen invarianten Punkt, die Trokareinstichstelle, der auf oder in der Körperwand des Patienten bestehen muss, damit diese Geräte schwenkbar und neigbar sind, ohne den Patienten dabei mehr als mit dem Durchstich zu verletzen. Die Kamera des Endoskop-Führungs-Systems ist dabei so geführt und montiert, dass die untere Bildkante parallel zur Patientenauflage verläuft und das Bild nicht auf dem Kopf zu stehen kommt (siehe z. B. DE 196 09 034 ). Eine Verdrehung der Kamera ist wohl möglich, erschwert aber die räumliche Orientierung.
Ein in den Körper des Patienten ragendes Endoskop eines solchen Endoskop-Führungs-Systems verfügt über mehrere Freiheitsgrade. Beispielsweise hat das EFS in DE 196 09 034 vier Freiheitsgrade der Bewegung, und zwar um eine erste Achse senkrecht zum Operationstisch durch die Einstichstelle am Körper, um eine zweite Achse senkrecht zu der ersten und senkrecht zur Einstichrichtung, entlang einer dritten Achse, der Trokarachse, und um diese letztere Achse. Die ersten drei Freiheitsgrade sind über Endschalter begrenzt. Mit der Bedienkomponente, z. B. am Instrumentengriff des vom Chirurgen bedienten Instruments, wird die Endoskopkamera in ihrer Blickrichtung gelenkt. Jeder der vier Freiheitsgrade kann so mit sicherheitsbegrenzter Geschwindigkeit verändert werden.
Auf der Basis einer derart vorhandenen Endoskopsteuerung ist ein automatisches Trackingsystem installierbar. Ein solches Steuerungssystem ist aus der US 5,820,545 bekannt. Die darin ins Auge gefasste Instrumentenspitze ist bei jeder Bewegung ständig nachführbar, was Unruhe für den Betrachter bedeutet. Hierzu ist eine Elektronik notwendig, die, da speziell angefertigt, einen erheblichen wirtschaftlichen Aufwand bedeutet. Soll die dritte Dimension erfasst werden, muss dazu die entsprechende 3-D-Kameraeinrichtung vorgesehen werden, was den apparativen Aufwand erhöht. Eine Fehlerbehandlung, wie sie aufgrund von Reflexionen oder wechselnder Beleuchtung z. B. notwendig wird, ist nicht vorgesehen.
Bei dem Nachfahrsystem gemäß der US 5,836,869 wird der Bildausschnitt der aktuellen Instrumentenspitze nachgefahren. Der operierende Chirurg bekommt zwei verschiedene Bilder zu sehen. Es wird eine Farb-, Geometrie- oder Helligkeitskodierung des In struments und eine Positionserkennung über Magnetsonden am Arbeitsinstrument beschrieben. Es können zwei Bilder betrachtet werden, nämlich der Zoom einer Situation und die Übersicht. Das Tracking wird auf Instrumente oder farb-/geometriemarkierte Organe bezogen. Mehrfarbige Markierungen zur Umschaltung der Trackingziele und zur Erhöhung der Sicherheit durch Redundanz werden erwähnt. Stellglied ist jeweils der Kamerazoom bzw. die Position der CCD-Chips in der Kamera oder eine elektronisch realisierte Bildauswahl auf dem Monitor. Das System benutzt durchweg Spezialkameras.
Bei allen verwendeten Verfahren stehen meist mehr Freiheitsgrade zur Verfügung als zur Positionierung des EFS notwendig sind, um die Instrumentenspitze auf die gewünschte Sollposition zu bringen. Diese Freiheitsgrade werden dazu verwendet, die auszuführenden Bewegungen zu minimieren. Ein mögliches Verfahren ist die Ermittlung optimaler Stellgrößen unter Verwendung einer Jacobi-Matrix, wobei auch Stellrestriktionen einbezogen werden können ( US 5,887,121 ).
Cinguin, P. et al. stellen in IEEE Engineering in Medicine and Biology, May/Dune 1995 auf den Seiten 254 bis 263 einen Aufsatz unter dem Titel: „Computer Assisted Medical Interventions” vor. Das Verfahren und die Anwendung der CAMI werden beschrieben. Es wird auf die Probleme mit der geometrischen Lokalisation hingewiesen, wobei Hardwareprobleme hauptsächlich die Positions- und Gestaltsensoren betreffen und Softwareprobleme sich im Wesentlichen auf Registrierungsverfahren beschränken. Beide Problemkreise begründeten die Entwicklung und Zusammenfassung von passiven und halbaktiven Systemen.
Bei allen genannten Verfahren gehen die Vorteile verloren, die die manuelle Führung durch einen Assistenten bietet. Das Nachführverhalten ist unruhig, weil die Systeme versuchen, einen vorgegebenen Punkt auf dem Monitor genau zu erreichen und auch bei kleinen Abweichungen, die z. B. durch Bewegungen des Instruments verursacht werden, sofort das Endoskop nachführen.
Die Systeme sind kaum in der Lage, auftretende Fehler automatisch zu detektieren. Es findet nur eine sehr einfache unidirektionale Kommunikation vom Chirurgen zum EFS statt. Der Chirurg erhält keine Hinweise über mögliche Fehlerursachen.
Der Erfindung liegt die Aufgabe zugrunde, eine schnelle, fehlertolerante und kostengünstige Vorrichtung für das automatische Verfolgen einer Instrumentenspitze mit einem sparsam bewegten Endoskop bereitzustellen und damit den operierenden Chirurgen von der Endoskopführung zu entlasten.
Die Erfindung wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 gelöst und hat zum Ziel, die Vorteile einer manuellen Führung des Endoskops auch bei einer automatischen Nachführung beizubehalten.
Mit der Vorrichtung sind mehrere Überwachungskonzepte gegeben:

A. die Fehlertoleranzbearbeitung,
B. die intuitiven Bedienung und
C. die Souveränität.

Der Bildverarbeitungs- und Endoskopsteuerungsteil ist von dem Original-Monitor des operierenden Chirurgen strikt getrennt. Fehler in diesen Teilen beeinflussen nicht die von ihm verfolgten Sequenzen. Das Erkennen der Instrumentenspitze und die Steuerung des Endoskops mit seinen Achsen und der Zoomsteuerung wird als Einheit behandelt, da das hiermit realisierte Sicherheitskonzept Fehler sowohl bei der Bilderkennung als auch bei der Belegung der Stellgrößen mit hoher Zuverlässigkeit feststellen kann. Feststellbare Fehlerzustände sind:
Mehrfacherkennung des Instrumentes aufgrund von Reflexionen, keine Erkennung des Instrumentes wegen Verschmutzung,
zeitlich stark verzögerte Erkennung des Instruments derart, dass die Abtastrate der Endoskopregelung wegen zu geringer Leistung des Rechners nicht mehr eingehalten werden kann,
unrealistisch sprunghafte Ortsveränderung des Instruments wegen begrenzter Drehzahl der Stellmotoren und eine zu starke, sicher heitskritische Annäherung der Optik an das Instrument oder an ein Organ.
Die Endoskopeinstellung ist nur veränderbar, wenn die Instrumentenspitze einen bestimmten Rahmen im Bildzentrum des O-Monitors verlässt (zulässiger Bereich). Dadurch bleibt das Bild für den Chirurgen ruhig, wenn er das Instrument innerhalb dieses Rahmens in der Nähe des Bildzentrums bewegt.
Die Instrumentenspitze ist durch Form, Farbe oder auch nur durch ihre charakteristische Form markiert, um eine schnelle Erkennung zu erreichen. Dennoch ist nicht zu vermeiden, dass sich bei unterschiedlichen Instrumenten die Merkmale ändern. Deswegen führt eine Online-Adaption der charakteristischen Eigenschaften der Markierung mit neuronalen oder statistischen Lernverfahren hier zu einer sicheren und flexiblen Instrumentenerkennung.
Um die Vorrichtung zusammenstellen zu können, reichen Standardkomponenten als Rechner, Betriebssystem und Kameras vollständig aus. Das System kommt zur Beobachtung mit einer einzigen Kamera, einer 2-D-Kamera aus. Es führt das Tracking anhand von zweidimensionalen Bildinformationen durch. Bei Verwendung einer 3-D-Kamera reicht die Nutzung eines Videokanals daher aus (Anspruch 9), wodurch der Hardware-Aufwand zur Bildverarbeitung reduzierbar ist.
Die Instrumentenspitze soll in der Bildmitte des O-Monitors haltbar sein. Daher bleiben Bewegungen senkrecht zur Bildebene unberücksichtigt. Sollen sie dennoch erkennbar sein, für eine Zoom-Steuerung etwa oder für eine Kamerabewegung senkrecht zur Bildebene, müssen weitere Maßnahmen ergreifbar sein. Eine ist ein weiterer Sensor am Trokar des Instruments, der die Eintauchtiefe misst (Anspruch 7), damit reduziert sich die bei der 3-D-Aufnahme notwendige zweikanalige Bildverarbeitung auf einen Kanal wie bei der 2-D-Aufnahme. Eine weitere ist, aus der perspektivischen Verzerrung der parallelen Kanten des Instruments den Abstand zwischen Endoskop und Instrumentenspitze grob berechen bar zu machen. Das setzt voraus, dass die Brennweite der Kamera sowie die Breiten- und Längenmaße des Instruments bekannt ist.
Oberste Priorität hat das Eingreifen des operierenden Chirurgen, der in die Endoskopsteuerung jederzeit mit höchster Priorität eingreifen und das Tracking abbrechen kann.
An Einstellungsarbeit geht vor der Operation während der Funktionsprüfung die konzentrale Einteilung des Monitorbereichs voraus. Es gibt drei Bereiche auf dem O-Monitor:
den gesamten Bildschirm, den für die Instrumente zulässigen Aufenthaltsbereich und den Mittelpunktsbereich. Die Endoskopeinstellung ist automatisch nur veränderbar, wenn die Instrumentenspitze den zulässigen Bereich verlässt (Anspruch 2), wodurch das Bild angenehm ruhig bleibt. Um das ausführen zu können, ist der Bereich der Instrumentenspitze im Rechner abbildbar, ein zur Identifizierung ausreichendes Modell ist davon erstellbar (Anspruch 3). Eine Möglichkeit, das tun zu können, ist in Anspruch 4 erwähnt und besteht aus der Erzeugung eines Gradientenbilds, Segmentierung der Objektkanten und Ermittlung der dritten Dimension durch Berechnung der Kantengeraden mittels linearer Regression. Dabei kann das Gradientenbild durch ein Sobel-Filter erzeugbar sein (Anspruch 5).
Um eine hohe Qualität der Sicherheit zu erreichen, ist genügende Redundanz einzurichten. Die grundsätzliche Erzeugung der Multi-Sensor-Umgebung durch Positionssensoren und Bildverarbeitung ist durch weitere Positionssensoren am Führungssystem des Instruments (Anspruch 6) oder durch die Erfassung der Eintauchtiefe am Trokar (Anspruch 7) ergänzbar.
Der Vorteil der Redundanz besteht darin, dass die Bildverarbeitung und die redundanten Sensoren unterschiedliche Vor- und Nachteile aufweisen. Beispielsweise ist die Bildverarbeitung empfindlich gegenüber einer Verdeckung der Instrumentenspitze und Verschmutzungen der Optik. Positionssensoren am Instrumentenführungssystem können je nach verwendetem Messprinzip bei e lektromagnetischen Störungen im Operationssaal fehlerhafte Informationen liefern, Ungenauigkeiten aufgrund unterschiedlicher Länge der verwendeten Instrumente oder Ungenauigkeiten bei der Ermittlung der Bezugs-Koordinatensysteme zwischen Endoskop- und Instrumentenführung aufweisen, oder sie können während der Operation ausfallen. Existieren nun sowohl Bildverarbeitung als auch Positionssensoren für die Instrumentenführung, sind die Ergebnisse vergleichbar und auf Konsistenz überprüfbar. Aufgrund der Entwicklung der Fehler kann in vielen Fällen darauf geschlossen werden, welches der Sensorsignale die gegenwärtige Situation fehlerfrei wiedergibt.
Die Verwendung der Positionssensoren am Instrumentenschaft oder am Instrumentenführungssystem kann sogar dazu führen, dass die Bildverarbeitung vollständig ersetzbar ist.
Der Grad der Redundanz der Freiheitsgrade des Endoskop-Führungs-Systems ist durch die Anzahl der überschüssigen Achsen bestimmbar, die nicht direkt für die Zentrierung des Objekts im O-Monitorbild notwendig sind. Dies können sowohl extrakorporale Achsen des EFS sein – Drehung um die Vertikalachse, um die Horizontalachse und Drehung um als auch Translation längs der Trokarachse – aber auch weitere Freiheitsgrade, die sich etwa durch den Einsatz von Endoskopen mit flexiblen, schwenkbaren Distalbereichen ergeben. Damit bestehen sog. intrakorporale Achsen bzw. Freiheitsgrade (Anspruch 8).
Die Vorrichtung gewährt eine sehr hohe Sicherheit und lässt eine große Fehlertoleranz zu. Die Vorrichtung arbeitet in einfachen Erkennungssituationen mit einer erhöhten Verarbeitungsgeschwindigkeit insbesondere in der Bildverarbeitung und ist in der Lage, bei komplizierten Erkennungssituationen, wie ungünstige Beleuchtung, Ähnlichkeiten zwischen Instrumentenspitzen und Umgebung, mit einer reduzierten Geschwindigkeit nachzufahren. Die Nachführung des Endoskops bleibt mindestens so schnell, dass keine Ungeduld beim operierenden Chirurgen provozierbar ist.
Da das Endoskop durch das Führungssystem sparsam bewegbar ist, besteht ein ruhiges und doch wahres Bild auf dem O-Monitor, das den Chirurgen nicht unnötig ablenkt. Eine weitere Entlastung ergibt sich dadurch.
Die Vorrichtung erlaubt optional die Integration zusätzlicher Sensorinformationen wie der von Magnetsonden am Führungssystem des Arbeitsinstruments, Messung der Eintauchtiefe am Trokar, um bei der Multi-Sensor-Umgebung den temporären Ausfall einzelner Sensoren durch Verschmutzung der Instrumentenspitze bei optischer Messung zu kompensieren, die Plausibilität der ausgewerteten Sensorinformationen zu überprüfen und damit schließlich die Sicherheit zu erhöhen.
Wird das Instrument von einem Instrumenten-Führungssystem, IFS, geführt, sei es hand- oder maschinengeführt, so kommt auch über dieses Information an das EFS.
Das System ist aus handelsüblichen Baukomponenten bzw. Teilsystemen aufgebaut und ist daher wirtschaftlich akzeptabel realisierbar.
Die Vorrichtung wird im Folgenden anhand der Zeichnung in ihrer Struktur näher erläutert. Es zeigen:
1 Hierarchie der Vorrichtung,
2 Systemstruktur
3 Zustandsgraph des automatischen Nachführens,
4 Bildbereiche auf dem Original-Monitor,
5 Abbildung der Instrumentengeometrie und
6 Endoskop-Führungs-System schematisch.
In medizintechnischen Geräten ist der Sicherheitsstandard sehr hoch angesetzt. Der Kern der automatischen Endoskopnachführung ist die fehlertolerante Vorrichtung, die mit mehrfacher Redundanz arbeitet und damit die geforderte Sicherheit gewährleistet. Weitere Sicherheit entsteht aus der Entlastung des operierenden Chirurgen, in dem er, wo möglich, von technischen Handgriffen befreit ist. Unterschiedliche Grade an automatischer Trackingunterstützung bieten Unterstützung nach Bedarf. Das bedeutet, dass der Arzt die für die Operation notwendigen Instrumente intuitiv und souverän bedienen kann. Dafür sorgt die ruhige Bahnführung, die Geschwindigkeitsbegrenzung bei der Nachführung und die sprachliche Ausgabe, durch die der Arzt über das Ausgabemedium: MMI-Monitor, LCD-Display oder Sprachausgabe über Fehler und kritische Zustände des Systems, wie verschmutztes Endoskop, informiert wird.
Damit ist im Vergleich zu vorhandenen Systemen die Sicherheit und Akzeptanz wesentlich erhöht, weil der Chirurg oder der Assistent die Ursachen für die Fehlfunktion gezielt beseitigen kann, z. B. durch Reinigen der Optik oder durch Rückführung des Instruments in den Bildbereich. Außerdem sind so unerwartete Reaktionen des Nachführsystems deutlich reduzierbar.
Souveränität heißt weiterhin: der Chirurg benützt den vom Nachführungssystem unabhängigen Monitor, den Original-Monitor, und hat die hierarchische Möglichkeit, das Nachführungssystem jederzeit abzuschalten. In 1 ist diese strukturierte Forderung dargestellt und zeigt die Hierarchie in ihrem Aufbau von der zentralen Forderung der Sicherheit ausgehend.
Die Fehlertoleranz ist durch eine oder mehrere Maßnahmen erreichbar:
Objekterkennung und Steuerung als Einheit,
mehrfache Behandlung möglicher Fehlerzustände, sowohl durch einzelne Komponenten der Bildverarbeitung und der Steuerung als auch durch ein übergeordnetes Überwachungssystem,
Multisensor-Konzept,
adaptive Merkmalsanpassung und
3-D-Rekonstruktion.
Der Vorteil der einheitlichen Behandlung der Objekterkennung und Steuerung liegt darin, dass so Rückschlüsse auf Fehlerursachen getroffen werden können. Sind beispielsweise die letzten Stellaktionen bekannt, ist mit größerer Genauigkeit auf die wahrscheinlichen Positionen der Instrumentenmarkierung zu schließen, wodurch eine höhere Erkennungssicherheit erzielbar ist. Eine Ermittlung der Fehlerursache hat neben der verbesserten Kommunikation mit dem Chirurgen den Vorteil, adäquate Systemreaktionen ermitteln zu können.
Eine Systemkonfiguration des Endoskop-Führungs-Systems ist beispielhaft durch die Systemstruktur in 2 schematisch dargestellt und besteht aus folgenden, über Kabel verbundenen Blöcken:

– dem Basis-EFS mit vier Freiheitsgraden, links/rechts, oben/unten, drehen und rein/raus einschließlich der elektronischen Ansteuerung und den Endschaltern auf den entsprechenden Achsen der Freiheitsgrade,
– dem 2-D-Videoendoskop mit Video-Ausgang (Rot/Gelb/Blau-Ausgang, RGB), Original-Monitor und Lichtquelle,
– dem Rechner (PC) mit MMI-Monitor für die Schnittstelle: Mensch-Maschine (MMI) und der Digital-Ausgabe-Karte zur Ansteuerung der Logik-Schnittstelle (TTL),
– der Zusatzkomponenten zur Bildvorverarbeitung, sog. Framegrabber,
– der Bedienschnittstelle in Form eines Handschalters, dem Joystick für die manuelle Bedienung.

Die Nachführungssteuerung, Trackingsteuerung, besteht aus den Komponenten:
Bildverarbeitung,
Bahnsteuerung und
Überwachung.
Sie verarbeitet die Eingangsgrößen:
BI = Binary Input „Tracking ein”,
BI = Binary Input „Tracking stop” und
das Videosignal mit drei Kanälen (RGB) und Synchronisation.
Die Ausgangsgrößen sind:

– 2 × 4 × BO (Binary Output) zur Veränderung der Achsenposition über die Ansteuerung einer zweiten digitalen Schnittstelle,
– Status- und Fehlermeldungen.

Die Hauptaufgabe der automatischen Tracking-Funktion besteht darin, die aktuell benötigte Instrumentenspitze in dem Mittelpunktsbereich zu halten (siehe 4). Der dazu notwendige Steuerungsablauf ist in dem Zustandsgraph gemäß 3 dargestellt. Die Freigabeschaltung für das automatische Tracking wird systemintern veranlasst.
Das automatische Tracking ist hier vom operierenden Chirurgen über den Ringschalter an der Bedieneinheit freigebbar (siehe 6) und bleibt solange aktiv, bis es durch Drücken der Stoptaste oder durch Bedienung des Joysticks oder automatisch gestoppt wird.
Ein automatischer Stopp des Tracking tritt ein:

– wenn kein Instrument im Bild erkannt wird, sei es, weil nicht vorhanden oder weil verschmutzt,
– wenn aufgrund sicherheitskritischer, zu geringer Entfernung zum Instrument das Bild unscharf wird,
– wenn mehrere Instrumente erkannt werden,
– wenn die Erkennung des Instruments nicht innerhalb der geforderten Reaktionszeit erfolgt,
– wenn kein Videosignal anliegt,
– wenn die Bildverarbeitung, Bahnsteuerung, Überwachung oder die Ansteuerung elektronische oder Programmfehler erkennt. Sämtliche Fehler sind auf den MMI-Monitor eingeblendbar.

Nach einem Stop ist das Tracking wieder freigebbar. Das automatische Tracking arbeitet dabei mit eingeschränkten Stellgeschwindigkeiten bis zu 10 cm/sec bzw. 30°/sec, die weiterhin applikations- (Bauch-, Lungen-, Herzchirurgie beispielsweise) und individuumabhängig eingeschränkt bzw. Anpassbar ist, so dass der Chirurg auf unerwünschte Situationen rechtzeitig reagieren kann. Darüber hinaus besteht eine Stellbegrenzung für die Achsenpositionen, die ein Kippen und Schwenken in Grenzen hält, das translatorische Bewegen entlang der Trokarachse begrenzt und eine Volldrehung um die Schaftachse nicht zuläßt (siehe 8).
Aus dem Kamerabild auf dem O-Monitor (4) ist die eventuell zusätzlich markierte Instrumentenspitze über ihr im Rechner abgelegtes Abbild automatisch erkennbar und ihre mittlere Position durch die x-Position und y-Position im zweidimensionalen Kamerabild, Erkennungssicherheit, Größe der identifizierten Instrumentenspitze und weiteren Informationen zur Fehlererkennung an die Steuerung weitergebbar. Die Erkennung der Instrumentenspitze arbeitet selbständig und ist unabhängig von der Freigabe des Tracking. Die Bildverarbeitung (2) erkennt auftretende Fehler wie: kein Instrument im Bild, mehrere Instrumente im Bild, und stoppt in diesen Fällen das automatische Tracking.
Beim Verlassen des zulässigen Bereichs (4) ist durch das automatische Tracking die Position des Endoskops so veränderbar, bis sich die Instrumentenspitze wieder im Mittelpunktsbereich befindet. Diese Aufgabe ist durch die Bahnsteuerung (siehe 2) lösbar, die die gemessene Position der Instrumentenspitze im Kamerabild kontinuierlich mit verarbeitet.
Nach dem Erreichen des kleineren Bereichs um den Bildmittelpunkt sind solange keine weiteren Stellhandlungen auslösbar, bis der vorgegebene größere zulässige Bereich (4) wieder verlassen wird. Durch diese Zurückhaltung in der Bewegung durch bereichsweise Unterdrückung derselben ist ein ruhiges Bild auf dem O-Monitor erzeugbar.
Der Status des automatischen Trackings und eventuelle Fehlermeldungen sind auf dem MMI-Monitor einblendbar bzw. anzeigbar, so dass kein Eingriff in die Bildübertragung zwischen Kamera und O-Monitor für das Kamerabild erfolgen muss.
Um Tiefenerkennung zu erhalten, ist die 3-D-Positionsbestimmung gebräuchlich, aber wegen zwei notwendigen Kameras, deren Blickachsen unter einem vorgegebenen Schielwinkel zueinander stehen, ein Geräteaufwand, der durch die Tiefenerkennung an Hand von 2-D-Bilddaten mit nur einer Kamera in Grenzen kompensierbar ist. Mit Hilfe der einfachen Strahlensatz-Strahloptik ist der Zusammenhang zwischen Bild- und Gegenstandsweite genau ermittelbar: g = f·(GB + 1)mit

g:: Gegenstandsweite,
G:: Gegenstandsgröße,
B:: Bildgröße,
f:: Brennweite der Endoskoplinse

Die Abschätzung der dritten Dimension gelingt hinreichend genau bei bekannter Brennweite des Endoskops.
Die wichtigste Aufgabe bei der Tiefenabschätzung ist es, die Größe des Objektes im Bild zu bestimmen. Objekt kann auch eine auf dem Objekt gut zu erkennende Markierung mit scharfen Kanten bedeuten. Die einfachste Methode der Erkennung besteht darin, den Durchmesser der segmentierten Markierungsregion zu bestimmen. Dies erweist sich als ungenau, da es durch die unterschiedlichen Orientierungen des Endoskops und durch die Eigenschaften der Zentralprojektion zu Verformungen kommt, die keine genaue Bestimmung der Objektbreite zulassen.
Ein besseres Verfahren zur Ermittlung der Instrumentenbreite an der Spitze segmentiert in einem ersten Schritt die Kanten des Objekts und bestimmt daraufhin den Abstand zum errechneten Schwerpunkt. Dies hat den Vorteil, dass unabhängig von der Ausrichtung und durch die Projektion weitgehend unbeeinflusst die Breite des Objektes bestimmbar ist.
Die Detektion der Objektkanten erfolgt in mehreren Schritten:

– Zuerst wird ein Filter, zum Beispiel ein 3 × 3-Sobel-Filter, auf das transformierte Graustufenbild angewandt, um anschließend einen Kantenverfolgungsalgorithmus zu starten.

Die gefundenen Kanten besitzen jedoch den Nachteil, dass ihre Breite stark variieren kann. Verlangt wird eine dünne Kantenlinie, die durchweg die Breite eines Pixels besitzt, um Abstände zu den Rändern genauer bestimmen zu können.
Realisiert wird dies durch Approximation der segmentierten Kanten durch Gerade.
Dies gelingt am schnellsten durch eine lineare Regressionsanalyse, bei der die Beziehung zwischen den x- und y-Werten einer Punktemenge in Form eines linearen Modells formuliert werden. So lassen sich die Kanten mathematisch beschreiben, was die Bestimmung der Objektgröße in einem nächsten Schritt ermöglicht. Dies geschieht entweder über den Abstand zweier paralleler Geraden oder über den Abstand einer Geraden zum Schwerpunkt des Objekts durch Umformen der Geradengleichungen in die Hesse'sche-Normalenform und Einsetzen des Schwerpunktes. 5 zeigt das mit den vier wesentlichen Schritten im Überblick, welche sind:

1. Erzeugung des Gradientenbildes von dem markierten Instrument mit dem Sobel-Filter, dann
2. Segmentierung der Objektkanten, Kantenverfolgung, dann
3. Berechnung der Kantengerade mittels linearer Regression und schließlich
4. die Berechnung des Abstandes: Gerade – Markierungsschwerpunkt.

Es zeigt sich, dass die Genauigkeit der Entfernungsbestimmung im Wesentlichen von der Qualität der Kantenextraktion abhängt.

Claims

Vorrichtung zum automatischen Nachführen eines Endoskops und Verfolgen eines chirurgischen Instruments, bestehend aus: • dem Endoskop, das ein Bild aus dem Körperinneren aufnimmt, um es auf einem Monitor darzustellen, • einem Bildverarbeitungssystem, das auf dem vom Endoskop gewonnenen Bild die Instrumentenspitze erkennt und seine Position ermittelt, • einem Steuerungssystem, das aufgrund der ihm bekannten aktuellen Position des Endoskops und der erkannten Position der Instrumentenspitze Steuerungsinformationen für ein Endoskop-Führungs-System, EFS, aufbereitet, • einem Überwachungssystem, das das Steuerungssystem und das Gesamtsystem überwacht, • einem Bediensystem, das den Bediener zwischen unterschiedlichen Funktionen des EFS wählen lässt und ihm verschiedene Informationen wie den Systemstatus anzeigt, • dem Endoskop-Führungs-System, EFS, das das Endoskop mit Kamera aufnimmt/hält und entsprechend der vom Steuerungssystem übermittelten Steuerungsinformation führt, und die Einrichtungen zur: Fehlertoleranzbearbeitung, intuitiven Bedienung und Souveränität hat, wobei bei der Fehlertoleranzbearbeitung: • der distale Endbereich eines verwendeten Instruments über eine Kamera aufnehmbar und daraus in dem Bildverarbeitungssystem ein spezielles Abbild mit aktueller Stellgrößenangabe erzeugbar ist; • die Beobachtung des Instruments auf: Mehrfacherkennung wegen Reflexion, keine Erkennung wegen Verschmutzung, keine Erkennung wegen Verlassen des Bildbereichs, keine Erkennung wegen Verdeckung, keine Erkennung wegen Unschärfe im Bild durch zu geringe Entfernung zwischen Optik und Instrumentenspitze, zeitlich zu späte Erkennung wegen geringer Rechnerleistung und sprunghafte Ortsänderung wegen Drehzahlbegrenzung der Stellmotoren fehlerbehandelbar ist; • bei erkannten kritischen Fehlern die Nachführung des EFS automatisch stoppt, um Verletzungen des Patienten zu vermeiden; • eine Multi-Sensor-Umgebung über eine Kamera mit Bildverarbeitung und Positionssensoren für die Freiheitsgrade des EFS erzeugbar ist; • das mit der Multi-Sensor-Umgebung versehene Endoskop-Führungs-System den temporären Ausfall oder die Unwirksamkeit einzelner Sensoren unter bestimmten Betriebsbedingungen: wie Verdeckung des Instruments, Verunreinigungen der Optik, elektromagnetische Störungen, kompensiert und die aktuell ausgewertete Sensorinformation auf Plausibilität überprüft; • mit einer adaptiven Merkmalsanpassung die Erkennung unterschiedlicher Objekte über maschinelle neuronale oder statistische Lernverfahren durchführbar sind; • mögliche Fehlerzustände zumindest teilweise doppelt behandelbar sind, und zwar durch einzelne Komponenten der Bildverarbeitung oder der Bahnsteuerung als auch durch das übergeordnete regelbasierte Überwachungssystem; • aus der perspektivischen Verzerrung der parallelen Kanten des distalen Instrumentenbereichs unter Einbeziehung der Brennweite der Kameralinse und den Maßen des Instruments der Abstand zwischen dem beobachtenden Endoskop und der Instrumentenspitze berechenbar ist, (3-D-Rekonstruktion); bei der Intuitiven Bedienung: • die Position des aktuell gehandhabten Endoskops nur veränderbar ist, wenn die auf dem Original-Monitor, O-Monitor, dargestellte Instrumentenspitze einen vorgegebenen zentralen Bereich, den zulässigen Bereich, verlässt, • die im Fehlerfall detektierte Fehlerursache über ein Mensch-Maschine-Interface, MMI, ausgebbar ist, das aus dem MMI-Monitor und/oder einer Sprachausgabe besteht; bei der Souveränität: • die auf dem O-Monitor beobachteten Handlungen Priorität haben und von dem Endoskop-Führungs-System nicht beeinflussbar sind; • das Endoskop-Führungs-System mit seiner Fehlertoleranzbearbeitung und intuitiven Bedienung an dem MMI nach Bedarf zuschaltbar ist; • die Geschwindigkeit zur Nachführung des Instruments und die Winkelgeschwindigkeit zur Drehung des Instruments derartig begrenzbar sind, dass ein menschliches Eingreifen stets gegeben ist.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Bildbereich des O-Monitors bei einer der Operation vorangehenden Funktionsprüfung für das automatische Tracking in drei unterschiedlich große konzentrische Bereiche eingeteilt ist: – den Mittelpunktsbereich: befindet sich das Instrument oder befinden sich die Instrumente darin, so ist das Endoskop nicht automatisch nachführbar, – den zulässigen Bereich: befindet sich das Instrument oder befinden sich die In strumente innerhalb dieses Bereichs, so ist das Endoskop automatisch nachführbar, wenn das Instrument oder die Instrumente diesen Bereich vorher verlassen hatte oder hatten, und – den äußeren Bereich: befindet sich das Instrument oder befinden sich die Instrumente in diesem Bereich, so ist das Endoskop immer automatisch mit dem Ziel nachführbar, das Instrument wieder in den Mittelpunktsbereich zu bringen.
Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass als Abbild des Bereichs der Instrumentenspitze im Rechner ein vereinfachtes Modell davon abgelegt ist.
Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass von dem Bereich der Instrumentenspitze, die zusätzlich spezifisch markiert sein kann, zunächst ein Gradientenbild erzeugbar ist und die Objektkanten mittels Kantenverfolgung segmentierbar und schließlich mittels linearer Regression die jeweilige Kantengerade berechenbar ist, um die dritte Dimension daraus zu ermitteln.
Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass das Gradientenbild mittels eines Sobel-Filters erzeugbar ist.
Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die durch die Positionssensoren erzeugte Multi-Sensor-Umgebung durch Positionssensoren am Führungssystem des chirurgischen Instrumentes ergänzbar ist, wodurch Ausfälle im einen System durch das noch Funktionieren im andern ausgleichbar (kompensierbar) sind.
Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die durch die Kamera mit Bildverarbeitung und die Positionssensoren erzeugte Multi-Sensor-Umgebung durch Messung der Eintauchtiefe am Trokar ergänzbar ist, wodurch Ausfälle der Sensoren in einem System durch das noch Funktionieren im andern ausgleichbar (kompensierbar) sind.
Vorrichtung nach den Ansprüchen 5 bis 7, dadurch gekennzeichnet, dass die durch extrakorporale Freiheitsgrade des EFS erzeugten und ausnutzbaren Redundanzen für das Tracking durch die intrakorporalen Freiheitsgrade des EFS erweiterbar sind.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass zur Verfolgung des Bereichs der Instrumentenspitze eine 2-D-Kamera oder eine 3-D-Kamera verwendbar ist, von der zur Reduzierung des Hardware-Aufwandes für die Bildverarbeitung nur ein Bildkanal verarbeitbar ist.