DE19961971A1 - Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instrumentes mit einem Endoskopführungssystem (EFS) für die minimal invasive Chirurgie - Google Patents

Abstract

Das Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instruments mit einem elektrisch angetriebenen und gesteuerten Endoskopführungssystem (EFS) für die minimal invasive Chirurgie ruht auf drei Säulen: der rechnergeführten Fehlertoleranzbearbeitung, der intuitiven Bedienung durch den und der Souveränität des operierenden Chirurgen. Dies ist die Basis für eine große Sicherheit bei der Operation und bedeutet eine angenehme Entlastung von konzentrationsraubendem Mitverfolgen und von momentanen Bedienvorgängen untergeordneter Priorität.

Description

Die Erfindung betrifft ein Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instrumentes mit einem elektrisch angetriebenen und gesteuerten Endoskopführungssystem (EFS) für die minimal in­ vasive Chirurgie.

Bei minimal invasiven Operationen orientiert sich der Chirurg an einem Monitorbild (Original-Monitor). Ein Endoskop mit Kamera und die zur Operation notwendigen Instrumente werden durch Tro­ kare in die Körperhöhle des Patienten eingeführt.

Zum gegenwärtigen Stand der Technik sind sowohl das Endoskop als auch die Kamera häufig noch manuell geführt. Der Chirurg, der die Instrumente führt, weist einen Assistenten an, das Endoskop mit Kamera so nachzuführen, daß das Instrument im Bild sichtbar bleibt. Die Vorteile dieser Vorgehensweise bestehen darin, daß der das Endoskop führende Assistent gefährliche Situationen ver­ meidet, Fehler erkennt, mit dem Chirurgen kommuniziert und das Endoskop nur dann nachführt, wenn es notwendig ist. Nachteilig ist ein erhöhter Personalaufwand gegenüber konventionellen Ope­ rationen und das unvermeidliche Zittern des Assistenten.

Zur Vermeidung der genannten Nachteile wurden Systeme einge­ führt, die das Endoskop automatisch führen. Ein solches Endos­ kopführungssystem zum Führen einer endoskopischen Kameraeinheit ist elektrisch angetrieben und kann an jeden Operationstisch an­ gebracht werden. Zur Fernbedienung dient eine Bedienkomponente, meist ein Joystick, der in der Regel am Arbeitsinstrument befe­ stigt wird, oder auch eine Spracheingabe. Das eingeführte Endo­ skop wie auch separat eingeführte Instrumente haben jeweils hin­ sichtlich der Bewegung einen invarianten Punkt, die Trokarein­ stichstelle, der auf oder in der Körperwand des Patienten beste­ hen muss, damit diese Geräte geschwenkt und geneigt werden kön­ nen, ohne den Patienten dabei mehr als mit dem Durchstich zu verletzen. Die Kamera des Endoskopführungssystems ist dabei so geführt und montiert, daß die untere Bildkante parallel zur Pa­ tientenauflage verläuft und das Bild nicht auf dem Kopf zu ste­ hen kommt (siehe z. B. DE 196 09 034). Eine Verdrehung der Ka­ mera ist wohl möglich, erschwert aber die räumliche Orientie­ rung.

Ein in den Körper des Patienten ragendes Endoskop eines solchen Endoskopführungssystems verfügt über mehrere Freiheitsgrade. Beispielsweise hat das EFS in DE 196 09 034 vier Freiheitsgrade der Bewegung, und zwar um eine erste Achse senkrecht zum Opera­ tionstisch durch die Einstichstelle am Körper, um eine zweite Achse senkrecht zu der ersten und senkrecht zur Einstichrich­ tung, entlang einer dritten Achse, der Trokarachse, und um diese letztere Achse. Die ersten drei Freiheitsgrade sind über End­ schalter begrenzt. Mit der Bedienkomponente, z. B. am Instrumen­ tengriff des vom Chirurgen bedienten Instruments, wird die Endo­ skopkamera in ihrer Blickrichtung gelenkt. Jeder der vier Frei­ heitsgrade kann so mit sicherheitsbegrenzter Geschwindigkeit verändert werden.

Auf der Basis einer derart vorhandenen Endoskopsteuerung ist ein automatisches Trackingsystem installierbar. Ein solches Steue­ rungssystem ist aus der US 5,820,545 bekannt. Die darin ins Auge gefasste Instrumentenspitze wird bei jeder Bewegung ständig nachgefahren, was Unruhe für den Betrachter bedeutet. Hierzu ist eine Elektronik notwendig, die, da speziell angefertigt, einen erheblichen wirtschaftlichen Aufwand bedeutet. Soll die dritte Dimension erfasst werden, muss dazu die entsprechende 3-D-Kame­ raeinrichtung vorgesehen werden, was den apparativen Aufwand er­ höht. Eine Fehlerbehandlung, wie sie aufgrund von Reflexionen oder wechselnder Beleuchtung z. B. notwendig wird, ist nicht vor­ gesehen.

Bei dem Nachfahrsystem gemäß der US 5, 836,869 wird der Bildaus­ schnitt der aktuellen Instrumentenspitze nachgefahren. Der ope­ rierende Chirurg bekommt zwei verschiedene Bilder zu sehen. Es wird eine Farb-, Geometrie- oder Helligkeitskodierung des In­ struments und eine Positionserkennung über Magnetsonden am Ar­ beitsinstrument beschrieben. Es können zwei Bilder betrachtet werden, nämlich der Zoom einer Situation und die Übersicht. Das Tracking wird auf Instrumente oder farb-/geometriemarkierte Or­ gane bezogen. Mehrfarbige Markierungen zur Umschaltung der Tracking­ ziele und zur Erhöhung der Sicherheit durch Redundanz werden erwähnt. Stellglied ist jeweils der Kamerazoom bzw. die Position der CCD-Chips in der Kamera oder eine elektronisch realisierte Bildauswahl auf dem Monitor. Das System benutzt durchweg Spe­ zialkameras.

Bei allen verwendeten Verfahren stehen meist mehr Freiheitsgrade zur Verfügung als zur Positionierung des EFS notwendig sind, um die Instrumentenspitze auf die gewünschte Sollposition zu brin­ gen. Diese Freiheitsgrade werden dazu verwendet, die auszufüh­ renden Bewegungen zu minimieren. Ein mögliches Verfahren ist die Ermittlung optimaler. Stellgrößen unter Verwendung einer Jacobi- Matrix, wobei auch Stellrestriktionen einbezogen werden können (US 5,887,121).

Bei allen genannten Verfahren gehen die Vorteile verloren, die die manuelle Führung durch einen Assistenten bietet. Das Nach­ führverhalten ist unruhig, weil die Systeme versuchen, einen vorgegebenen Punkt auf dem Monitor genau zu erreichen und auch bei kleinen Abweichungen, die z. B. durch Bewegungen des Instru­ ments verursacht werden, sofort das Endoskop nachführen. Die Systeme sind kaum in der Lage, auftretende Fehler automa­ tisch zu detektieren. Es findet nur eine sehr einfache unidirek­ tionale Kommunikation vom Chirurgen zum EFS statt. Der Chirurg erhält keine Hinweise über mögliche Fehlerursachen.

Der Erfindung liegt die Aufgabe zugrunde, ein schnelles, fehler­ tolerantes und kostengünstiges Verfahren für das automatische Verfolgen einer Instrumentenspitze mit einem sparsam bewegten Endoskop bereitzustellen und damit den operierenden Chirurgen von der Endoskopführung zu entlasten.

Die Erfindung wird durch ein Verfahren mit den Merkmalen des An­ spruchs 1 gelöst und hat zum Ziel, die Vorteile einer manuellen Führung des Endoskops auch bei einer automatischen Nachführung beizubehalten.

Das zugrunde liegende Sicherheitskonzept besteht aus mehreren Stufen:

• A) der Fehlertoleranzbearbeitung,
• B) der intuitiven Bedienung und
• C) der Souveränität.

Der Bildverarbeitungs- und Endoskopsteuerungsteil ist von dem Original-Monitor des operierenden Chirurgen strikt getrennt. Fehler in diesen Teilen beeinflussen nicht die von ihm verfolg­ ten Sequenzen. Das Erkennen der Instrumentenspitze und die Steuerung des Endoskops mit seinen Achsen und der Zoomsteuerung wird als Einheit behandelt, da das hiermit realisierte Sicher­ heitskonzept Fehler sowohl bei der Bilderkennung als auch bei der Belegung der Stellgrößen mit hoher Zuverlässigkeit feststel­ len kann. Feststellbare Fehlerzustände sind:
Mehrfacherkennung des Instrumentes aufgrund von Reflexionen, keine Erkennung des Instrumentes wegen Verschmutzung,
zeitlich stark verzögerte Erkennung des Instruments derart, daß die Abtastrate der Endoskopregelung wegen zu geringer Leistung des Rechners nicht mehr eingehalten werden kann,
unrealistisch sprunghafte Ortsänderung des Instruments wegen be­ grenzter Drehzahl der Stellmotoren und eine zu starke, sicher­ heitskritische Annäherung der Optik an das Instrument oder an ein Organ.

Die Endoskopeinstellung wird nur verändert, wenn die Instrumen­ tenspitze einen bestimmten Rahmen im Bildzentrum des O-Monitors verlässt (zulässiger Bereich). Dadurch bleibt das Bild für den Chirurgen ruhig, wenn er das Instrument innerhalb dieses Rahmens in der Nähe des Bildzentrums bewegt.

Die Instrumentenspitze ist durch Form, Farbe oder auch nur durch ihre charakteristische Form markiert, um eine schnelle Erkennung zu erreichen. Dennoch ist nicht zu vermeiden, daß sich bei un­ terschiedlichen Instrumenten die Merkmale ändern. Deswegen wird eine Online-Adaption der charakteristischen Eigenschaften der Markierung mit neuronalen oder statistischen Lernverfahren hier zu einer sicheren und flexiblen Instrumentenerkennung führen.

Um all diese Verfahrensschritte durchführen zu können, reichen Standardkomponenten als Rechner, Betriebssystem und Kameras vollständig aus. Das System kommt zur Beobachtung mit einer ein­ zigen Kamera, einer 2-D-Kamera aus. Es führt das Tracking anhand von zweidimensionalen Bildinformationen durch. Bei Verwendung einer 3-D-Kamera reicht die Nutzung eines Videokanals daher aus (Anspruch 9), wodurch der Hardware-Aufwand zur Bildverarbeitung reduziert wird.

Die Instrumentenspitze soll in der Bildmitte des O-Monitors ge­ halten werden. Daher bleiben Bewegungen senkrecht zur Bildebene unberücksichtigt. Sollen sie dennoch erkannt werden, für eine Zoom-Steuerung etwa oder für eine Kamerabewegung senkrecht zur Bildebene, müssen weitere Maßnahmen ergriffen werden. Eine ist ein weiterer Sensor am Trokar des Instruments, der die Eintauch­ tiefe misst (Anspruch 7), damit reduziert sich die bei der 3-D- Aufnahme notwendige zweikanalige Bildverarbeitung auf einen Ka­ nal wie bei der 2-D-Aufnahme. Eine weitere ist, aus der perspek­ tivischen Verzerrung der parallelen Kanten des Instruments den Abstand zwischen Endoskop und Instrumentenspitze grob zu berech­ nen. Das setzt voraus, daß die Brennweite der Kamera sowie die Breiten- und Längenmaße des Instruments bekannt sind.

Oberste Priorität hat das Eingreifen des operierenden Chirurgen, der in die Endoskopsteuerung jederzeit mit höchster Priorität eingreifen und das Tracking abbrechen kann.

An Einstellungsarbeit geht vor der Operation während der Funkti­ onsprüfung die konzentrale Einteilung des Monitorbereichs vor­ aus. Es gibt drei Bereiche auf dem O-Monitor:
den gesamten Bildschirm, den für die Instrumente zulässigen Auf­ enthaltsbereich und den Mittelpunktsbereich. Die Endoskopein­ stellung wird automatisch nur verändert, wenn die Instrumenten­ spitze den zulässigen Bereich verlässt (Anspruch 2), wodurch das Bild angenehm ruhig bleibt. Um das ausführen zu können, wird der Bereich der Instrumentenspitze im Rechner abgebildet, ein zur Identifizierung ausreichendes Modell davon erstellt (Anspruch 3). Eine Methode, das zu tun, ist in Anspruch 4 erwähnt und be­ steht aus der Erzeugung eines Gradientenbilds, Segmentierung der Objektkanten und Ermittlung der dritten Dimension durch Berech­ nung der Kantengeraden mittels linearer Regression. Dabei kann das Gradientenbild durch ein Sobel-Filter erzeugt sein (Anspruch 5).

Um eine hohe Qualität der Sicherheit zu erreichen, ist genügende Redundanz einzurichten. Die grundsätzliche Erzeugung der Multi- Sensor-Umgebung durch Positionssensoren und Bildverarbeitung kann durch weitere Positionssensoren am Führungssystem des In­ struments (Anspruch 6) oder durch die Erfassung der Eintauch­ tiefe am Trokar (Anspruch 7) ergänzt werden.

Der Vorteil der Redundanz besteht darin, daß die Bildverarbei­ tung und die redundanten Sensoren unterschiedliche Vor- und Nachteile aufweisen. Beispielsweise ist die Bildverarbeitung empfindlich gegenüber einer Verdeckung der Instrumentenspitze und Verschmutzungen der Optik. Positionssensoren am Instrumen­ tenführungssystem können je nach verwendetem Messprinzip bei elektromagnetischen Störungen im Operationssaal fehlerhafte In­ formationen liefern, Ungenauigkeiten aufgrund unterschiedlicher Länge der verwendeten Instrumente oder Ungenauigkeiten bei der Ermittlung der Bezugs-Koordinatensysteme zwischen Endoskop- und Instrumentenführung aufweisen, oder sie können während der Ope­ ration ausfallen. Existieren nun sowohl Bildverarbeitung als auch Positionssensoren für die Instrumentenführung, können die Ergebnisse verglichen und auf Konsistenz geprüft werden. Auf­ grund der Entwicklung der Fehler kann in vielen Fällen darauf geschlossen werden, welches der Sensorsignale die gegenwärtige Situation fehlerfrei wiedergibt.

Die Verwendung der Positionssensoren am Instrumentenschaft oder am Instrumentenführungssystem kann sogar dazu führen, daß die Bildverarbeitung vollständig ersetzt wird.

Der Grad der Redundanz der Freiheitsgrade des Endoskopführungs­ systems wird durch die Anzahl der überschüssigen Achsen be­ stimmt, die nicht direkt für die Zentrierung des Objekts im O- Monitorbild notwendig sind. Dies können sowohl extrakorporale Achsen des EFS sein - Drehung um die Vertikalachse, um die Hori­ zontalachse und Drehung um als auch Translation längs der Tro­ karachse - aber auch weitere Freiheitsgrade, die sich etwa durch den Einsatz von Endoskopen mit flexiblen, schwenkbaren Distalbe­ reichen ergeben. Damit bestehen sog. intrakorporale Achsen bzw. Freiheitsgrade (Anspruch 8).

Dieses Verfahrenskonzept ergibt eine sehr hohe Sicherheit und große Fehlertoleranz. Das Verfahren arbeitet in einfachen Erken­ nungssituationen mit einer erhöhten Verarbeitungsgeschwindigkeit insbesondere in der Bildverarbeitung und ist in der Lage, bei komplizierten Erkennungssituationen, wie ungünstige Beleuchtung, Ähnlichkeiten zwischen Instrumentenspitzen und Umgebung, mit ei­ ner reduzierten Geschwindigkeit nachzufahren. Die Nachführung des Endoskops bleibt mindestens so schnell, daß keine Ungeduld beim operierenden Chirurgen provoziert wird.

Da das Endoskop durch das Führungssystem sparsam bewegt wird, besteht ein ruhiges und doch wahres Bild auf dem O-Monitor, das den Chirurgen nicht unnötig ablenkt. Eine weitere Entlastung er­ gibt sich.

Das Verfahren erlaubt optional die Integration zusätzlicher Sen­ sorinformationen wie der von Magnetsonden am Führungssystem des Arbeitsinstruments, Messung der Eintauchtiefe am Trokar, um bei der Multi-Sensor-Umgebung den temporären Ausfall einzelner Sen­ soren durch Verschmutzung der Instrumentenspitze bei optischer Messung zu kompensieren, die Plausibilität der ausgewerteten Sensorinformationen zu überprüfen und damit schließlich die Si­ cherheit zu erhöhen.

Wird das Instrument von einem Instrumenten-Führungssystem, IFS, geführt, sei es hand- oder maschinengeführt, so kommt auch über dieses Information an das EFS.

Das System ist aus handelsüblichen Baukomponenten bzw. Teilsystemen aufgebaut und kann daher wirtschaftlich akzeptabel reali­ siert werden.

Das Verfahren wird im folgenden anhand der Zeichnung in seiner Struktur näher erläutert. Es zeigen:

Fig. 1 Hierarchie des Verfahrens,

Fig. 2 Systemstruktur,

Fig. 3 Zustandsgraph des automatischen Nachführens,

Fig. 4 Bildbereiche auf dem Original-Monitor,

Fig. 5 Abbildung der Instrumentengeometrie und

Fig. 6 Endoskopführungssystem schematisch.

In medizintechnischen Geräten ist der Sicherheitsstandard sehr hoch angesetzt. Deshalb ist der Kern der automatischen Endoskop­ nachführung das fehlertolerante Verfahren, das mit mehrfacher Redundanz arbeitet und damit die geforderte Sicherheit gewähr­ leistet. Weitere Sicherheit entsteht aus der Entlastung des ope­ rierenden Chirurgen, in dem er, wo möglich, von technischen Handgriffen befreit wird. Unterschiedliche Grade an automati­ scher Trackingunterstützung bieten Unterstützung nach Bedarf. Das bedeutet, daß der Arzt die für die Operation notwendigen In­ strumente intuitiv und souverän bedienen kann. Dafür sorgt die ruhige Bahnführung, die Geschwindigkeitsbegrenzung bei der Nach­ führung und die sprachliche Ausgabe, durch die der Arzt über das Ausgabemedium: MMI-Monitor, LCD-Display oder Sprachausgabe über Fehler und kritische Zustände des Systems, wie verschmutztes En­ doskop, informiert wird.

Damit wird im Vergleich zu vorhandenen Systemen die Sicherheit und Akzeptanz wesentlich erhöht, weil der Chirurg oder ein Assi­ stent die Ursachen für die Fehlfunktion gezielt beseitigen kann, z. B. durch Reinigen der Optik oder durch Rückführung des Instru­ ments in den Bildbereich. Außerdem werden so unerwartete Reak­ tionen des Nachführsystems deutlich reduziert.

Souveränität heißt weiterhin: der Chirurg benützt den vom Nach­ führungssystem unabhängigen Monitor, den Original-Monitor, und hat die hierarchische Möglichkeit, das Nachführungssystem jeder­ zeit abzuschalten. In Fig. 1 ist diese strukturierte Forderung dargestellt und zeigt die Hierarchie in ihrem Aufbau von der zentralen Forderung der Sicherheit ausgehend.

Die Fehlertoleranz wird durch eine oder mehrere Maßnahmen er­ reicht:
Objekterkennung und Steuerung als Einheit,
mehrfache Behandlung möglicher Fehlerzustände, sowohl durch ein­ zelne Komponenten der Bildverarbeitung und der Steuerung als auch durch eine übergeordnete Überwachungseinheit,
Multisensor-Konzept,
adaptive Merkmalsanpassung und
3-D-Rekonstruktion.

Der Vorteil der einheitlichen Behandlung der Objekterkennung und. Steuerung liegt darin, daß so Rückschlüsse auf Fehlerursachen getroffen werden können. Sind beispielsweise die letzten Stell­ aktionen bekannt, kann mit größerer Genauigkeit auf die wahr­ scheinlichen Positionen der Instrumentenmarkierung geschlossen und so eine höhere Erkennungssicherheit erzielt werden. Eine Er­ mittlung der Fehlerursache hat neben der verbesserten Kommunika­ tion mit dem Chirurgen den Vorteil, adäquate Systemreaktionen ermitteln zu können.

Eine Systemkonfiguration des Endoskopführungssystems ist bei­ spielhaft durch die Systemstruktur in Fig. 2 schematisch darge­ stellt und besteht aus folgenden, über Kabel verbundenen Blöcken:

• - dem Basis-EFS mit vier Freiheitsgraden, links/rechts, oben/unten, drehen und rein/raus einschließlich der elektroni­ schen Ansteuerung und den Endschaltern auf den entsprechenden Achsen der Freiheitsgrade,
• - dem 2-D-Videoendoskop mit Video-Ausgang (Rot/Gelb/Blau-Aus­ gang, RGB), Original-Monitor und Lichtquelle,
• - dem Rechner (PC) mit MMI-Monitor für die Schnittstelle: Mensch-Maschine (MMI) und der Digital-Ausgabe-Karte zur An­ steuerung der Logik-Schnittstelle (TTL),
• - der Zusatzkomponenten zur Bildvorverarbeitung, sog. Framegrab­ ber,
• - der Bedienschnittstelle in Form eines Handschalters, dem Joy­ stick für die manuelle Bedienung.

Die Nachführungssteuerung, Trackingsteuerung, besteht aus den Komponenten:
Bildverarbeitung,
Bahnsteuerung und
Überwachung.

Sie verarbeitet die Eingangsgrößen:
BI = Binary Input "Tracking ein",
BI = Binary Input "Tracking stop" und
das Videosignal mit drei Kanälen (RGB) und Synchronisation. Die Ausgangsgrößen sind:

• - 2 × 4 × BO (Binary Output) zur Veränderung der Achsenposition über die Ansteuerung einer zweiten digitalen Schnittstelle,
• - Status- und Fehlermeldungen.

Die Hauptaufgabe der automatischen Tracking-Funktion besteht darin, die aktuell benötigte Instrumentenspitze in dem Mittel­ punktsbereich zu halten (siehe Fig. 4). Der dazu notwendige Steuerungsablauf ist in dem Zustandsgraph gemäß Fig. 3 darge­ stellt. Die Freigabeschaltung für das automatische Tracking wird systemintern veranlasst.

Das automatische Tracking wird hier vom operierenden Chirurgen über den Ringschalter an der Bedieneinheit freigegeben (siehe Fig. 6)und bleibt solange aktiv, bis es durch Drücken der Stop­ taste oder durch Bedienung des Joysticks oder automatisch ge­ stoppt wird.

Ein automatischer Stopp des Tracking wird vorgenommen:

• - wenn kein Instrument im Bild erkannt wird, sei es, weil nicht vorhanden oder weil verschmutzt,
• - wenn aufgrund sicherheitskritischer, zu geringer Entfernung zum Instrument das Bild unscharf wird,
• - wenn mehrere Instrumente erkannt werden,
• - wenn die Erkennung des Instruments nicht innerhalb der gefor­ derten Reaktionszeit erfolgt,
• - wenn kein Videosignal anliegt,
• - wenn die Bildverarbeitung, Bahnsteuerung, Überwachung oder die Ansteuerung elektronische oder Programmfehler erkennt. Sämtli­ che Fehler werden auf den MMI-Monitor eingeblendet.

Nach einem Stop kann das Tracking wieder freigegeben werden. Das automatische Tracking arbeitet dabei mit eingeschränkten Stell­ geschwindigkeiten bis zu 10 cm/sec bzw. 30°/sec, die weiterhin applikations- (Bauch-, Lungen-, Herzchirurgie beispielsweise) und individuumabhängig eingeschränkt bzw. angepaßt werden kön­ nen, so daß der Chirurg auf unerwünschte Situationen rechtzeitig reagieren kann. Darüber hinaus besteht eine Stellbegrenzung für die Achsenpositionen, die ein Kippen und Schwenken in Grenzen hält, das translatorische Bewegen entlang der Trokarachse be­ grenzt und eine Volldrehung um die Schaftachse nicht zu­ läßt (siehe Fig. 7).

Aus dem Kamerabild auf dem O-Monitor (Fig. 4) wird die eventu­ ell zusätzlich markierte Instrumentenspitze über ihr im Rechner abgelegtes Abbild automatisch erkannt und ihre mittlere Position durch die x-Position und y-Position im zweidimensionalen Kamera­ bild, Erkennungssicherheit, Größe der identifizierten Instrumen­ tenspitze und weiteren Informationen zur Fehlererkennung an die Steuerung weitergegeben. Die Erkennung der Instrumentenspitze arbeitet selbständig und ist unabhängig von der Freigabe des Tracking. Die Bildverarbeitung (Fig. 2) erkennt auftretende Fehler, wie kein Instrument im Bild, mehrere Instrumente im Bild, und stoppt in diesen Fällen das automatische Tracking.

Beim Verlassen des zulässigen Bereichs (Fig. 4) wird das auto­ matische Tracking die Position des Endoskops so verändern, bis sich die Instrumentenspitze wieder im Mittelpunktsbereich befin­ det. Diese Aufgabe wird durch die Bahnsteuerung (siehe Fig. 2) gelöst, die die gemessene Position der Instrumentenspitze im Ka­ merabild kontinuierlich mit verarbeitet.

Nach dem Erreichen des kleineren Bereichs um den Bildmittelpunkt werden solange keine weiteren Stellhandlungen ausgelöst, bis der vorgegebene größere zulässige Bereich (Fig. 4) wieder verlassen wird. Durch diese Zurückhaltung in der Bewegung durch bereichs­ weise Unterdrückung derselben wird ein ruhiges Bild auf dem O- Monitor erzeugt.

Der Status des automatischen Trackings und eventuelle Fehlermel­ dungen werden auf dem MMI-Monitor eingeblendet bzw. angezeigt, so daß kein Eingriff in die Bildübertragung zwischen Kamera und O-Monitor für das Kamerabild erfolgen muss.

Um Tiefenerkennung zu erhalten, ist die 3-D-Positionsbestimmung gebräuchlich, aber wegen zwei notwendigen Kameras, deren Blick­ achsen unter einem vorgegebenen Schielwinkel zueinander stehen, ein Geräteaufwand, der durch die Tiefenerkennung an Hand von 2- D-Bilddaten mit nur einer Kamera in Grenzen kompensiert werden kann. Mit Hilfe der einfachen Strahlensatz-Strahloptikkann der Zusammenhang zwischen Bild- und Gegenstandsweite genau ermittelt werden:

mit g: Gegenstandsweite, G: Gegenstandsgröße, B: Bildgröße, f: Brennweite der Endoskoplinse.

Die Abschätzung der dritten Dimension gelingt hinreichend genau bei bekannter Brennweite des Endoskops.

Die wichtigste Aufgabe bei der Tiefenabschätzung ist es, die Größe des Objektes im Bild zu bestimmen. Objekt kann auch eine auf dem Objekt gut zu erkennende Markierung mit scharfen Kanten bedeuten. Die einfachste Methode der Erkennung besteht darin, den Durchmesser der segmentierten Markierungsregion zu bestim­ men. Dies erweist sich als ungenau, da es durch die unterschied­ lichen Orientierungen des Endoskops und durch die Eigenschaften der Zentralprojektion zu Verformungen kommt, die keine genaue Bestimmung der Objektbreite zulassen.

Ein besseres Verfahren zur Ermittlung der Instrumentenbreite an der Spitze segmentiert in einem ersten Schritt die Kanten des Objekts und bestimmt daraufhin den Abstand zum errechneten Schwerpunkt. Dies hat den Vorteil, daß unabhängig von der Aus­ richtung und durch die Projektion weitgehend unbeeinflußt die Breite des Objektes bestimmt wird.

Die Detektion der Objektkanten erfolgt in mehreren Schritten:

• - Zuerst wird ein Filter, zum Beispiel ein 3 × 3-Sobel-Filter, auf das transformierte Graustufenbild angewandt, um anschließend ei­ nen Kantenverfolgungsalgorithmus zu starten.

Die gefundenen Kanten besitzen jedoch den Nachteil, daß ihre Breite stark variieren kann. Verlangt wird eine dünne Kantenli­ nie, die durchweg die Breite eines Pixels besitzt, um Abstände zu den Rändern genauer bestimmen zu können.

Realisiert wird dies, indem die segmentierten Kanten durch Ge­ raden approximiert werden.

Dies gelingt am schnellsten durch eine lineare Regressionsana­ lyse, bei der die Beziehung zwischen den x- und y-Werten einer Punktemenge in Form eines linearen Modells formuliert werden. So lassen sich die Kanten mathematisch beschreiben, was die Bestim­ mung der Objektgröße in einem nächsten Schritt ermöglicht.

Dies geschieht entweder über den Abstand zweier paralleler Gera­ den oder über den Abstand einer Geraden zum Schwerpunkt des Ob­ jekts durch Umformen der Geradengleichungen in die Hesse'sche- Normalenform und Einsetzen des Schwerpunktes. Fig. 5 zeigt das Verfahren mit den vier wesentlichen Schritten im Überblick, diese sind:

• 1. Erzeugung des Gradientenbildes von dem markierten Instrument mit dem Sobel-Filter, dann
• 2. Segmentierung der Objektkanten, Kantenverfolgung, dann
• 3. Berechnung der Kantengerade mittels linearer Regression und schließlich
• 4. die Berechnung des Abstandes: Gerade - Markierungsschwer­ punkt.

Es zeigt sich, daß die Genauigkeit der Entfernungsbestimmung im wesentlichen von der Qualität der Kantenextraktion abhängt.

Claims (9)

1. Verfahren zur sicheren automatischen Nachführung eines En­ doskops und Verfolgung (Tracking) eines chirurgischen Instru­ mentes mit einem elektrisch angetriebenen und gesteuerten En­ doskopführungssystem (EFS) für die minimal invasive Chirur­ gie, bestehend aus den Schritten:
A. Fehlertoleranzbearbeitung

• - der distale Endbereich eines verwendeten Instruments wird über eine Kamera aufgenommen und daraus in einem Bildver­ arbeitungssystem ein spezielles Abbild mit aktueller Stellgrößenangabe erzeugt,
• - die Beobachtung des Instruments wird auf:
  Mehrfacherkennung wegen Reflexion,
  keine Erkennung wegen Verschmutzung,
  keine Erkennung wegen Verlassen des Bildbereichs,
  keine Erkennung wegen Verdeckung,
  keine Erkennung wegen Unschärfe im Bild durch zu geringe Entfernung zwischen Optik und Instrumentenspitze,
  zeitlich zu späte Erkennung wegen geringer Rechnerlei­ stung und sprunghafte Ortsänderung wegen Drehzahlbegren­ zung der Stellmotoren
  fehlerbehandelt;
• - bei erkannten kritischen Fehlern wird die Nachführung des EFS automatisch gestoppt, um Verletzungen des Patienten zu vermeiden,
• - eine Multi-Sensor-Umgebung wird über eine Kamera mit Bildverarbeitung und Positionssensoren für die Freiheits­ grade des EFS erzeugt,
• - das mit der Multi-Sensor-Umgebung versehene Endoskopfüh­ rungssystem kompensiert den temporären Ausfall oder die Unwirksamkeit einzelner Sensoren unter bestimmten Be­ triebsbedingungen, wie Verdeckung des Instruments, Verun­ reinigungen der Optik, elektromagnetische Störungen, und überprüft die aktuell ausgewertete Sensorinformation auf Plausibilität,
• - mit einer adaptiven Merkmalsanpassung wird die Erkennung unterschiedlicher Objekte über maschinelle neuronale oder statistische Lernverfahren durchgeführt,
• - mögliche Fehlerzustände werden zumindest teilweise dop­ pelt behandelt, und zwar durch einzelne Komponenten der Bildverarbeitung und Bahnsteuerung als auch durch eine übergeordnete regelbasierte Überwachungseinheit,
• - aus der perspektivischen Verzerrung der parallelen Kanten des distalen Instrumentenbereichs wird unter Einbeziehung der Brennweite der Kameralinse und den Maßen des Instru­ ments der Abstand zwischen dem beobachtenden Endoskop und der Instrumentenspitze berechnet (3-D-Rekonstruktion);

Intuitive Bedienung

• - die Position des aktuell gehandhabten Endoskops wird nur verändert, wenn die auf dem Original-Monitor (O-Monitor) dargestellte Instrumentenspitze einen vorgegebenen zen­ tralen Bereich (zulässigen Bereich) verlässt, wodurch eine ruhige Bahnführung ohne unnötige Stellbewegungen entsteht,
• - die im Fehlerfall detektierte Fehlerursache wird über ein Mensch-Maschine-Interface (MMI), das aus dem MMI-Monitor und/oder einer Sprachausgabe besteht, ausgegeben und so aktive Maßnahmen des Chirurgen zur Fehlerdetektion und Fehlerbeseitigung, wie Reinigen der Kamera oder manuelle Rückführung der Instrumentenspitze in den Bildbereich, ermöglicht;

Souveränität

• - die von dem operierenden Chirurgen unmittelbar getroffe­ nen und von ihm auf dem O-Monitor beobachteten Handlungen haben Priorität und werden von dem Endoskopführungssystem nicht beeinflusst;
• - das Endoskopführungssystem mit seiner Fehlertoleranzbear­ beitung und intuitiven Bedienung wird von dem operieren­ den Chirurgen an dem MMI nach Bedarf zu- oder bei Nicht­ bedarf weggeschaltet;
• - die Geschwindigkeit zur Nachführung des Instruments und die Winkelgeschwindigkeit zur Drehung des Instruments wird derartig begrenzt, daß ein Eingreifen des Chirurgen bei einer fehlerhaften Verarbeitung in komplizierten Er­ kennungssituationen, wie ungünstige Beleuchtung und Ähn­ lichkeiten zwischen Instrumentenspitze und Umgebung, stets gegeben ist.

2. Verfahren nach Ansprüch 1, dadurch gekennzeichnet, daß der Bildbereich des O-Monitors bei einer der Operation vorange­ henden Funktionsprüfung für das automatische Tracking in drei unterschiedlich große konzentrische Bereiche eingeteilt wird:

• - den Mittelpunktsbereich:
  befindet sich das Instrument oder befinden sich die In­ strumente darin, so wird das Endoskop nicht automatisch nachgeführt,
• - den zulässigen Bereich:
  befindet sich das Instrument oder befinden sich die In­ strumente innerhalb dieses Bereichs, so wird das Endoskop automatisch nachgeführt, wenn das Instrument oder die In­ strumente diesen Bereich vorher verlassen hatte oder hat­ ten, und
• - den äußeren Bereich:
  befindet sich das Instrument oder befinden sich die In­ strumente in diesem Bereich, so wird das Endoskop immer automatisch mit dem Ziel nachgeführt, das Instrument wie­ der in den Mittelpunktsbereich zu bringen.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß als Abbild des Bereichs der Instrumentenspitze im Rechner ein vereinfachtes Modell davon abgelegt wird.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß von dem Bereich der Instrumentenspitze, die zusätzlich spezifisch markiert sein kann, zunächst ein Gradientenbild erzeugt wird, dann die Objektkanten mittels Kantenverfolgung segmentiert und schließlich mittels linearer Regression die jeweilige Kantengerade berechnet wird, um die dritte Dimension daraus zu ermitteln.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß das Gradientenbild mittels eines Sobel-Filters erzeugt wird.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die durch die Positionssensoren erzeugte Multi-Sensor-Umgebung durch Positionssensoren am Führungssystem des chirurgischen Instrumentes ergänzt wird, wodurch Ausfälle im einen System durch das noch Funktionieren im andern ausgeglichen (kompensiert) werden können.

7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die durch die Kamera mit Bildverarbeitung und die Positionssenso­ ren erzeugte Multi-Sensor-Umgebung durch Messung der Ein­ tauchtiefe am Trokar ergänzt wird, wodurch Ausfälle der Sen­ soren in einem System durch das noch Funktionieren im andern ausgeglichen (kompensiert) werden können.

8. Verfahren nach den Ansprüchen 5 bis 7, dadurch gekennzeich­ net, daß die durch extrakorporale Freiheitsgrade des EFS er­ zeugten und ausnutzbaren Redundanzen für das Tracking durch die intrakorporalen Freiheitsgrade des EFS erweitert werden.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß zur Verfolgung des Bereichs der Instrumentenspitze eine 2-D-Ka­ mera oder eine 3-D-Kamera, von der zur Reduzierung des Hard­ ware-Aufwandes für die Bildverarbeitung nur ein Bildkanal verarbeitet wird, verwendet wird.