-
Die vorliegende Erfindung betrifft chirurgische Mikroskope, welche den Einsatz von chirurgischen Werkzeugen bei mikrochirurgischen Eingriffen unterstützen.
-
Bei derartigen Eingriffen beobachtet ein Chirurg das Operationsfeld durch ein Mikroskop und führt Manipulationen mit einem chirurgischen Werkzeug durch. Im Vergleich zu chirurgischen Eingriffen, welche unter Beobachtung mit dem nackten Auge vorgenommen werden, sind mikrochirurgische Eingriffe, bei denen der Chirurg das zu manipulierende Gewebe und das hierfür verwendete Werkzeug als ein Mikroskopbild wahrnimmt, schwierig durchzuführen. Es ist wünschenswert, das Mikroskop so auszustatten, dass dem Chirurgen die Arbeit erleichtert wird und beispielsweise Daten in das Mikroskopbild eingeblendet werden oder Messungen automatisiert vorgenommen werden. Die zur Unterstützung möglichen Maßnahmen hängen von einem Fortgang des Eingriffs ab, da in verschiedenen Stadien des Eingriffs verschiedene unterstützende Maßnahmen wünschenswert oder möglich sind. Insbesondere werden in verschiedenen Stadien des Eingriffs verschiedene chirurgische Werkzeuge verwendet. Deshalb ist der Wunsch entstanden, von dem Chirurgen geführte und deshalb in dem Objektfeld des Mikroskops enthaltene Werkzeuge automatisch zu erkennen und in Abhängigkeit von dem erkannten Werkzeug bestimmte Maßnahmen durchzuführen.
-
Eine derartige automatische Erkennung von Werkzeugen in Mikroskopbildern setzt eine automatische Bildverarbeitung voraus, welche eine Objekterkennung durchführt. Bei der Objekterkennung werden in dem Bild vorhandene Strukturen mit einer Reihe von Kandidaten verglichen und bei einer ausreichenden Übereinstimmung ein entsprechender Kandidat erkannt.
-
Es hat sich gezeigt, dass mit den herkömmlichen Methoden der Objekterkennung eine ausreichend fehlerfreie Identifizierung von in Frage kommenden Werkzeugen in Mikroskopbildern mit ausreichender Treffsicherheit und in Echtzeit nicht möglich ist.
-
Entsprechend ist es eine Aufgabe der vorliegenden Erfindung, ein chirurgisches Mikroskop vorzuschlagen, welches eine automatische Erkennung von chirurgischen Werkzeugen in Echtzeit erlaubt.
-
Gemäß Ausführungsformen der Erfindung wird ein chirurgisches Mikroskop vorgeschlagen, welches umfasst: eine Mikroskopie-Optik, eine Kamera, ein Anzeigesystem und eine Steuerung, wobei die Mikroskopie-Optik dazu konfiguriert ist, ein Bildfeld auf die Kamera abzubilden, wobei die Kamera dazu konfiguriert ist, 2-dimensionale Kamera-Bilder des Bildfelds aufzunehmen und die Kamera-Bilder repräsentierende Daten zu erzeugen, wobei die Mikroskopie-Optik eine variable Optik ist, die dazu konfiguriert ist, einen Abbildungsmaßstab der Abbildung des Bildfelds auf die Kamera zu ändern, wobei die Steuerung einen Datenspeicher umfasst, welcher Objekt-Daten wenigstens eines chirurgischen Werkzeugs speichert, wobei die Steuerung dazu konfiguriert ist, die Daten von der Kamera zu empfangen und die durch die Daten repräsentierten Kamera-Bilder zu verarbeiten und durch Objekterkennung unter Berücksichtigung der Objekt-Daten des wenigstens einen Werkzeugs und unter Berücksichtigung des eingestellten Abbildungsmaßstabs in den Kamera-Bildern das wenigstens eine Werkzeugs zu identifizieren.
-
Die Erfinder haben erkannt, dass das Identifizieren von Werkzeugen in den Kamera-Bildern des herkömmlichen chirurgischen Mikroskops problematisch ist und haben dies darauf zurückgeführt, dass ein Chirurg die durch die Mikroskopieoptik bereitgestellte Vergrößerung hin und wieder ändert und/oder den Abstand der Mikroskopieoptik zu dem Objektbereich hin und wieder ändert. Diese Änderungen sind für eine automatische Steuerung auch nicht vorhersehbar und erfolgen in einem Ausmaß, welches bei der Anwendung herkömmlicher Techniken der Objekterkennung auf die Kamera-Bilder zu unbefriedigenden Ergebnissen führt. Als Lösung wird deshalb vorgeschlagen, den eingestellten Abbildungsmaßstab der Mikroskopieoptik bei der Objekterkennung zu berücksichtigen. Wird dieser Abbildungsmaßstab nicht berücksichtigt, so müssten für eine Vielzahl von Modellen des wenigstens einen Werkzeugs in dem Datenspeicher Objektdaten gespeichert werden. Die entsprechend vielfach größere Menge an Objektdaten muss dann bei der Objekterkennung berücksichtigt werden, was zu einer langsamen, ungenauen und nicht reproduzierbaren Objekterkennung führen kann. Durch Berücksichtigung des Abbildungsmaßstabs der Abbildung bei der Objekterkennung kann der für die Objekterkennung nötige Rechenaufwand im Vergleich hierzu erheblich reduziert werden, weshalb die Objekterkennung nicht nur schneller sondern auch zuverlässiger erfolgen kann.
-
Der Datenspeicher speichert die Objekt-Daten des wenigstens einen chirurgischen Werkzeugs. Insbesondere sind in dem Datenspeicher die Objekt-Daten der Werkzeuge gespeichert, die im Rahmen eines geplanten chirurgischen Eingriffs zum Einsatz kommen sollen. Die Objekt-Daten umfassen Geometrie-Daten, welche die Geometrie des jeweiligen chirurgischen Werkzeugs repräsentieren. Die Geometrie-Daten repräsentieren beispielsweise die körperliche Ausdehnung, wie Länge und Breite, und die Orientierung von Oberflächen des Werkzeugs an verschiedenen Orten desselben repräsentieren. Die Geometrie-Daten können beispielsweise CAD-Daten sein, wie sie im Prozess der Konstruktion des Werkzeugs mit einem Computer-Aided-Design(CAD)-Werkzeug erzeugt wurden. Ferner können die Objekt-Daten auch weitere Daten umfassen, welche das Werkzeug und dessen visuelle Erscheinung in den Kamera-Bildern charakterisieren. Dies können beispielsweise Daten sein, die eine Oberflächenbeschaffenheit, wie etwa eine Oberflächentextur, eine Kantenverteilung oder dergleichen repräsentieren.
-
Gemäß beispielhaften Ausführungsformen arbeitet die Objekterkennung gemäß einer Template-Matching-Technik, einer Sliding-Window-Technik und einer Hough-Voting-Technik.
-
Gemäß beispielhaften Ausführungsformen umfasst das Identifizieren des wenigstens einen Werkzeugs ein Erzeugen von Daten, welche eine für das Werkzeug verwendete Kennung oder/und eine Position des Werkzeugs in dem Bildfeld oder/und eine Orientierung des Werkzeugs in dem Bildfeld repräsentieren.
-
In Abhängigkeit von dem identifizierten Werkzeug können verschiedene vorbestimmte Maßnahmen veranlasst werden.
-
Gemäß beispielhaften weiteren Ausführungsformen wird das identifizierte Werkzeug mit einem vorbestimmten Werkzeug verglichen, welches zu einem bestimmten Stadium des Eingriffs eingesetzt werden soll. Hierdurch kann erkannt werden, wenn der Chirurg versehentlich ein falsches, nicht vorgesehenes Werkzeug verwendet, und es ist möglich, daraufhin eine entsprechende Warnung zu erzeugen.
-
Gemäß einer beispielhaften Ausführungsform besteht die vorbestimmte Maßnahme darin, eine OCT-Messung in einem Bereich des Bildfelds der Mikroskopieoptik vorzunehmen, welcher ein distales Ende des erkannten Werkzeugs enthält. Hierzu ist es notwendig, über die Objekterkennung das verwendete Werkzeug und dessen Position und Orientierung in dem Bildfeld festzustellen, um den OCT-Messstrahl dann an die entsprechenden Orte in dem Bildfeld richten zu können.
-
Gemäß beispielhaften Ausführungsformen wird ein Bewegungsmuster des identifizierten Werkzeugs in dem Bildfeld erkannt, und erst bei Vorliegen eines vorbestimmten Bewegungsmusters wird eine bestimmte Maßnahme ergriffen. Auf diese Weise kann der Chirurg Eigenschaften und Funktionen des Mikroskops beispielsweise durch Gesten steuern.
-
Das Anzeigesystem des chirurgischen Mikroskops kann einen Bildschirm zur Darstellung eines Bildes umfassen, welches aus dem die Kamera-Bilder repräsentierenden Daten erzeugt wird. Das dargestellte Bild kann hierbei weitgehend dem von der Kamera aufgenommenen Kamera-Bild entsprechen, es kann diesem gegenüber allerdings auch abgewandelt sein, indem bestimmte Bereiche beispielsweise durch Farbe oder Helligkeit hervorgehoben sind. Auch kann das dargestellte Bild Informationen in Form von Buchstaben, Zahlen oder anderen Symbolen repräsentieren.
-
Gemäß beispielhaften Ausführungsformen umfasst das Anzeigesystem ein Okular der Mikroskopieoptik, wobei die Optik dazu konfiguriert ist, das von dem Bildschirm dargestellte Bild in einen Strahlengang des Okulars einzublenden.
-
Gemäß beispielhaften Ausführungsformen umfasst die Mikroskopieoptik wenigstens einen Sensor, der dazu konfiguriert ist, den eingestellten Abbildungsmaßstab zu messen und den Abbildungsmaßstab repräsentierende Daten an die Steuerung zu übertragen, wobei die Steuerung dazu konfiguriert ist, den eingestellten Abbildungsmaßstab der Abbildung aus diesen Daten zu gewinnen.
-
Gemäß weiterer beispielhafter Ausführungsformen umfasst die Steuerung eine Benutzerschnittstelle, die dazu konfiguriert ist, Daten zu empfangen, die eine von einem Benutzer gewünschte Vergrößerung der Abbildung repräsentieren, wobei die Mikroskopie-Optik einen von der Steuerung kontrollierten Aktuator umfasst, um den Abbildungsmaßstab zu ändern, und wobei die Steuerung dazu konfiguriert ist, den Aktuator in Abhängigkeit von den die gewünschte Vergrößerung repräsentierenden Daten zu kontrollieren. Hierbei kann die Steuerung den eingestellten Abbildungsmaßstab aus den den gewünschten Abbildungsmaßstab repräsentierenden Daten gewinnen.
-
Der Abbildungsmaßstab der Abbildung durch die Mikroskopieoptik kann geändert werden, indem die Einstellung eines Zoom-Systems der Mikroskopieoptik verändert wird. Ferner kann der Abbildungsmaßstab geändert werden, indem das Mikroskop näher an dem Objektfeld oder weiter entfernt von diesem angeordnet wird, wenn eine Objektivlinse zueinander verlagerbare Komponenten aufweist, um einen Arbeitsabstand zu ändern. Der Arbeitsabstand und die Einstellung des Zoom-Systems bestimmen zusammen den Abbildungsmaßstab der Mikroskopieoptik. Basierend auf dem festgestellten eingestellten Abbildungsmaßstab kann die Steuerung eine zu erwartende Größe des chirurgischen Werkzeugs in dem Kamera-Bild bestimmen und diese erwartete Größe bei der Objekterkennung berücksichtigen.
-
Ausführungsformen der Erfindung werden nachfolgend anhand von Figuren näher erläutert. Hierbei zeigt
-
1 eine schematische Darstellung einer Ausführungsform eines chirurgischen Mikroskops;
-
2 eine schematische Darstellung eines Objektbereichs des chirurgischen Mikroskops gemäß der 1; und
-
3 ein Flussdiagramm zur Erläuterung der Arbeitsweise des chirurgischen Mikroskops gemäß der 1.
-
1 ist eine schematische Darstellung eines chirurgischen Mikroskops 1. Das chirurgischen Mikroskops 1 umfasst eine Abbildungsoptik 3, welche dazu konfiguriert ist, Bilder eines Bildfelds 7 innerhalb eines Objektbereichs 11 zu erzeugen. Die Abbildung des Bildfelds 7 erfolgt mit der Abbildungsoptik 3 des dargestellten Ausführungsbeispiels zum einen über ein Paar von Okularen 13, in welche ein Chirurg mit seinen beiden Augen Einblick nehmen kann, und zum anderen auf eine Kamera 15, welche Bilder des Bildfelds 7 aufnehmen und die Bilder repräsentierende Daten erzeugen kann.
-
Hierzu umfasst die Optik 3 eine Objektivlinse 17, welche aus ein oder mehreren Linsenelementen bestehen kann und, in dem hier dargestellten Beispiel, insbesondere das Bildfeld nach unendlich abbildet. In dem Strahlengang hinter der Objektivlinse 17 werden zwei Teilstrahlenbündel 19 durch jeweils eine Zoomlinsenanordnung 21 geführt, welche einen Abbildungsmaßstab der Optik ändern können. Hierzu umfassen die beiden Zoomlinsenanordnungen 21 jeweils wenigstens zwei Linsengruppen 22 und 23, welche relativ zueinander in Strahlrichtung der Teilstrahlenbündel 19 verlagerbar sind, wie dies in 1 durch einen Pfeil 24 angedeutet ist. Die Verlagerung der beiden Linsengruppen 22 und 23 relativ zueinander wird durch einen Aktuator 25 gesteuert, welcher wiederum über eine Steuerleitung 27 zur Einstellung des Abbildungsmaßstabs der Optik 3 von einer Steuerung 29 kontrolliert wird.
-
Nach Durchlaufen der Zoomlinsenanordnung 21 treten die Teilstrahlenbündel 19 in die Okulare 13 ein, wobei allerdings aus dem in 1 rechts gezeigten Teilstrahlenbündel 19 über einen teildurchlässigen Spiegel 31 ein Teil des Lichts des Teilstrahlenbündels 19 umgelenkt wird und über eine Kameraadapteroptik 33 auf die Kamera gerichtet wird, so dass diese das Bild des Bildfelds des Objektbereichs 11 detektieren kann. Die von der Kamera 15 erzeugten Daten werden über eine Datenleitung 35 an die Steuerung 29 übertragen.
-
Die Optik 3 umfasst ferner zwei elektronische Bildanzeigen 41, welche von der Steuerung 29 über eine Datenleitung 43 mit Bild-Daten versorgt werden. Die von den Bildanzeigen 41 dargestellten Bilder werden jeweils über eine Projektionsoptik 45 und einen in dem Teilstrahlenbündel 19 angeordneten teildurchlässigen Spiegel 47 in die Strahlengänge hin zu den Okularen 13 projiziert, so dass ein Benutzer, der in die Okulare 13 Einblick nimmt, die durch die Anzeigen 41 dargestellten Bilder in Überlagerung mit dem Bild des Bildfelds 7 des Objektbereichs 11 wahrnehmen kann.
-
Das Chirurgie-System 1 umfasst ferner ein OCT-System 5 zur Durchführung von OCT-Messungen. Das OCT-System 5 umfasst ein OCT-Gerät 4 mit einer geeigneten kurzkohärenten Lichtquelle und einem Interferometer, welche in 1 nicht dargestellt sind, wobei von dem OCT-Gerät 4 OCT-Messlicht über eine Lichtleitfaser 51 ausgegeben wird, so dass das Messlicht auf ein zu vermessendes Objekt treffen kann und von dem Objekt zurückkommendes Messlicht wieder in die Faser eintreten kann, damit das OCT-Gerät 4 dieses zurückkommende Messlicht auswerten und die die Messung repräsentierenden Daten ausgeben kann. Insbesondere kann das OCT-Gerät 4 einen Tiefen-Scan durchführen, welcher auch als A-Scan bezeichnet wird, dessen Daten Intensitäten von rückgestreutem Messlicht in Abhängigkeit von der Tiefe repräsentieren. Das OCT-Gerät 4 wird von der Steuerung 29 über eine Steuer- und Datenleitung 53 kontrolliert, wobei die Steuerung 29 über diese Leitung 53 auch die von dem OCT-System 5 erzeugten Messdaten empfängt. Das OCT-System 5 umfasst ferner eine Kollimationsoptik 59, welche aus einem Ende 55 der Faser 51 austretendes OCT-Messlicht 57 zu einem Messlichtstrahl 58 kollimiert. Der Messlichtstrahl 58 wird an zwei Ablenkspiegeln 61 und 63 abgelenkt, durchläuft eine Projektionsoptik 65, trifft auf einen Spiegel 69 und wird von diesem durch die Objektivlinse 17 innerhalb des Bildfelds 7 auf den Objektbereich 11 gerichtet. In dem Objektbereich 11 kann ein Objekt 127 angeordnet sein, welches OCT-Messlicht zurückstreut, so dass das von dem Objekt 127 zurückgestreute Messlicht den umgekehrten Weg durch die Objektivlinse 17, die Projektionsoptik 65 und die Kollimationsoptik 59 durchläuft, so dass wenigstens ein Teil dieses Lichts in die Faser 51 eingekoppelt wird und zu dem OCT-Gerät 4 zurückgelangen kann, wo es mit dem Interferometer ausgewertet wird.
-
Die Spiegel 61 und 63 sind verschwenkbar angeordnet, um den OCT-Messstrahl abzulenken, so dass dieser innerhalb des Bildfelds durch Einstellen der Schwenkstellungen der Spiegel 61 und 63 auf auswählbare Orte innerhalb des Bildfelds treffen kann. Die Verschwenkbarkeit der Spiegel 61 und 63 ist in 1 durch Pfeile 71 angedeutet. Die Schwenkstellung der Spiegel 61 und 63 wird durch Aktuatoren 73 eingestellt, welche von der Steuerung 29 über Steuerleitungen 75 kontrolliert werden. Durch Ansteuern der Aktuatoren 73 kann die Steuerung 29 somit den Ort, an welchem der OCT-Messstrahl auf das Bildfeld 11 trifft, auswählen.
-
Die Steuerung 29 umfasst ferner eine Benutzerschnittstelle, welche einen Bildschirm 83 als ein Darstellungsmedium, eine Tastatur 84 und eine Maus 85 als Eingabemedien umfasst. Auch die Anzeigen 41 zur Einkopplung von Bildern, die von der Steuerung 29 erzeugt werden, in die Strahlengänge zu den Okularen 13 sind von der Benutzerschnittstelle umfasst.
-
In dem hier beschriebenen Ausführungsbeispiel wird das Chirurgie-System dazu verwendet, einen mikrochirurgischen Eingriff mit Hilfe eines chirurgischen Werkzeugs an einem Gewebe vorzunehmen.
-
2 zeigt eine derartige Situation schematisch. Darin ist das chirurgische Werkzeug mit dem Bezugszeichen 131 versehen und umfasst einen Schaft 133, an dessen vorderem Ende ein Paar von pinzettenartigen Greifern 135 angeordnet ist, welche jeweils ein distales Ende 137 aufweisen. Mit dem Werkzeug 131 ist eine Manipulation an einem Gewebe 127, wie beispielsweise der Retina des Auges, vorzunehmen, welches sehr empfindlich ist, weshalb unbeabsichtigte Berührungen des Gewebes 127 und Ausüben von Druck auf dieses Gewebe vermieden werden soll. Das Chirurgie-System 1 stellt die Möglichkeit einer visuellen Kontrolle der Annäherung des Werkzeugs 131 an das Gewebe 127 bereit.
-
Der Prozess des Annäherns des Werkzeugs 131 an das Gewebe 127 innerhalb des Bildfelds 7 kann von dem Chirurgen visuell beobachtet werden, indem er in die Okulare 13 Einblick nimmt und das Bild des Bildfelds beobachtet. Hierbei ist es auch möglich, dass der Chirurg selbst oder dessen Assistent das Bild des Bildfelds auf dem Bildschirm 83 beobachtet, wenn die Steuerung 29 dort das über die Kamera 15 detektierte Bild des Bildfelds 7 darstellt. Darüber hinaus sind Darstellungen der Bilder mittels einer kopfgetragenen Anzeigevorrichtung möglich.
-
Aus der Betrachtung der durch die Optik 3 gewonnen Bilder des Bildbereichs 7 ist allerdings der Abstand des Werkzeugs 131 und insbesondere der Abstand von dessen distalen Enden 137 von der Oberfläche des Gewebes 127 nur schwer einschätzbar, da das Bild eine Aufsicht auf die Oberfläche des Gewebes 127 mit dem vor der Retina angeordneten Werkzeug 131 repräsentiert.
-
Deshalb veranlasst die Steuerung 29 in dem hier erläuterten Beispiel das OCT-System 5, Messungen entlang von Schnitten vorzunehmen, welche Teile des Werkzeugs 131 und Teile der Retina 127 enthalten. Hierzu kann die Steuerung das OCT-System insbesondere veranlassen, einen oder mehrere B-Scans durchzuführen. 2 zeigt exemplarisch einige Flächen 139, in welchen B-Scans durchgeführt werden. Zur Durchführung eines B-Scans wird der OCT-Messstrahl 58 nacheinander auf eine Mehrzahl von Orten 141 gerichtet, welche entlang einer Geraden 142 angeordnet sind. An einem jeden der Orte 141 wird ein Tiefen-Scan bzw. A-Scan ausgeführt. Die die Tiefen-Scans repräsentierenden Daten werden von dem OCT-System 5 an die Steuerung 29 übertragen.
-
Die Lage und die Orientierung der Ebenen 139, in welchen die B-Scans durchgeführt werden, werden von der Steuerung durch Analyse der von der Kamera 15 aufgenommenen Bilder des Bildfelds 7 bestimmt. Hierzu führt die Steuerung 29 eine Objekterkennung durch, um das Werkzeug 131 in den Kamerabildern zu identifizieren und die Lage und die Orientierung des Werkzeugs 131 relativ zu dem Objektbereich 11 und dem Bildfeld 7 zu bestimmen. Daraufhin werden die Orte 141, an welchen Tiefen-Scans ausgeführt werden, bestimmt, und zwar derart, dass Tiefen-Scans sowohl an Orten 141 durchgeführt werden, wo das Werkzeug 131 in dem Bildfeld angeordnet ist, als auch an Orten 141, an denen das Werkzeug 131 in dem Bildfeld nicht angeordnet ist. Somit enthalten einige der durchgeführten Tiefen-Scans das Werkzeug und andere Tiefen-Scans enthalten das Werkzeug nicht. Hierbei können die Tiefen-Scans in dem Bereich, in dem die distalen Enden 137 des Werkzeugs 131 angeordnet sind, mit einer höheren räumlichen Dichte und/oder mit einer höheren Rate durchgeführt werden. In 2 ist dies angedeutet, indem die Abstände zwischen einander benachbarten Ebenen 139 der B-Scans in einem Bereich 143 der distalen Enden 137 mit geringerem Abstand voneinander angeordnet sind als in davon weiter entfernten Bereichen.
-
Die B-Scans können in dem Anzeigesystem des Mikroskops dargestellt werden, und der Chirurg kann durch Betrachtung der Bilder der B-Scans, welche an dem distalen Ende des Werkzeugs ausgeführt wurden, den Abstand des Werkzeugs von der Oberfläche des Gewebes 127 leichter einschätzen.
-
Dies setzt voraus, dass das chirurgische Werkzeug 131 in den Kamera-Bildern korrekt und schnell erkannt wird. Die hierfür eingesetzte Objekterkennung berücksichtigt den von der Mikroskopieoptik für die Abbildung des Bildfelds auf die Kamera verwendeten Abbildungsmaßstab. Dieser kann der Steuerung 29 bekannt sein, da sie die eingestellte Vergrößerung der Zoom-Systeme 21 über den Aktuator 25 kontrolliert. Es ist jedoch auch möglich, dass an den Zoom-Systemen 21 ein Sensor angebracht ist, welcher die relative Position der Linsen 22 und 23 relativ zueinander misst, so dass die Steuerung aus einem Signal dieses Sensors den Abbildungsmaßstab bestimmen kann. Der von einem Benutzer gewünschte Abbildungsmaßstab kann geändert werden, indem beispielsweise an dem Mikroskop ein Drehknopf angebracht ist, der den Abstand der Linsen 22 und 23 voneinander mechanisch ändert, oder die Benutzerschnittstelle der Steuerung 29 kann ein Einstellelement, welches beispielsweise mit der Maus 85 betätigt wird, enthalten, um den Abbildungsmaßstab zu ändern.
-
Unter Berücksichtigung des von der Mikroskopieoptik bereitgestellten Abbildungsmaßstabs kann die Objekterkennung schnell und zuverlässig erfolgen.
-
Eine Arbeitsweise des chirurgischen Mikroskops der 1 wird nachfolgend unter Bezugnahme auf das Flussdiagramm der 3 näher erläutert.
-
Vor Durchführung eines chirurgischen Eingriffs werden Objekt-Daten der für den Eingriff zu verwendenden chirurgischen Werkzeuge in einem Speicher 171 gespeichert. Der Datenspeicher 171 ist über eine Datenleitung 172 mit der Steuerung 29 verbunden (vgl. 1).
-
Die Annäherung des Werkzeugs an das Gewebe wird durch das Chirurgie-System verfolgt. Hierzu wird die Optik 3 des Chirurgie-Systems relativ zu dem Gewebe des Auges so positioniert, dass der zu manipulierende Bereich des Gewebes in dem Bildfeld 7 angeordnet ist, und die von der Mikroskopieoptik bereitgestellte Vergrößerung wird in einem Schritt 173 eingestellt. Es wird dann in einem Schritt 175 ein Kamerabild aufgenommen. Das aufgenommene Kamerabild wird nachfolgend analysiert. Der Schritt 175 der Aufnahme des Bilds und die nachfolgende Analyse werden in einer Schleife 174 wiederholt und beispielsweise 15 Mal pro Sekunde vorgenommen, bis der Eingriff beendet ist. Die Analyse des Kamerabilds umfasst eine Objekterkennung im Kamerabild in einem Schritt 179, und zwar, unter Berücksichtigung der Objekt-Daten der Werkzeuge, welche in dem Datenspeicher 171 gespeichert sind. Die Objekterkennung erfolgt auch unter Berücksichtigung des Abbildungsmaßstabs, welchen die Mikroskopieoptik für die Abbildung des Bildfelds auf die Kamera bereitstellt. Dieser Abbildungsmaßstab wird in einem Schritt 177 festgestellt.
-
Typische Wertebereiche der Vergrößerung liegen zwischen einer 1,0-fachen und einer 15-fachen Vergrößerung. Dies hat zur Folge, dass auch die chirurgischen Werkzeuge in den Kamerabildern in ihrer Größe stark variieren. Ein Werkzeug, welches bei einer Vergrößerung der Abbildung von 1,0-fach nur 10 Pixel breit ist, hat bei der größten Vergrößerung von 15-fach eine Breite von etwa 150 Pixel. Diese Änderungen der Vergrößerung erschweren die herkömmliche Objekterkennung. Allerdings wird bei dem vorliegend erläuterten Ausführungsbeispiel die Vergrößerung der Abbildung berücksichtigt.
-
Die Objekterkennung kann nach verschiedenen Prinzipien arbeiten. Gemäß einem Beispiel arbeitet die Objekterkennung nach der Template-Matching-Technik. Hierbei wird in einer Trainingsphase ein zu erwartender Skalenbereich berücksichtigt, indem der Skalenbereich diskretisiert wird. Beispielsweise kann der Skalenbereich in 15 Größenschritten diskretisiert werden. Für eine jede diskrete Größe werden eine oder mehrere repräsentative Templates des chirurgischen Werkzeugs aus dessen CAD-Daten erstellt. Bei der dann durchgeführten Objekterkennung werden alle erstellten Templates in x- und y-Richtung über das Bild geschoben, um zu überprüfen, ob ein Template mit dem aktuellen Bildinhalt korreliert bzw. matched. Wenn dies der Fall ist, wird an der entsprechenden Stelle das chirurgische Werkzeug mit der in der Trainingsphase gelernten Größe des Templates erkannt. Aufgrund der berücksichtigten Vergrößerung der Abbildung und der zuvor durchgeführten Diskretisierung des Skalenbereichs in den angenommenen 15 Größenschritten, müssen nicht die Templates sämtlicher 15 Größenschritte geprüft werden, sondern es ist möglich, Templates zu prüfen, welche dem der eingestellten Vergrößerung am nächsten kommenden Größenschritt und beispielsweise zwei diesem Größenschritt benachbarten Größenschritten entsprechen. Dies verringert den für die Objekterkennung notwendigen Rechenaufwand wesentlich.
-
Gemäß einem weiteren Beispiel arbeitet die Objekterkennung gemäß der Sliding-Window-Technik. Hierbei wird der Skalenbereich erst bei der Objekterkennung berücksichtigt, da die Objekte in der Trainingsphase auf eine Einheitsgröße normiert wurden, die beispielsweise einer Vergrößerung der Abbildung von 1,0-fach entspricht. Die so gewonnenen Einheitsmodelle der chirurgischen Geräte werden bei der Objekterkennung mit einem Faktor skaliert, der der Vergrößerung der Abbildung entspricht. Die derart skalierten Einheitsmodelle werden über das Bild geschoben, bis eine erhöhte Korrelation auftritt. Ähnlich wie im Zusammenhang mit der zuvor erläuterten Template-Matching-Technik, kann durch die Berücksichtigung der Vergrößerung eine erhebliche Reduzierung des Rechenaufwands erreicht werden.
-
Gemäß einem weiteren Beispiel arbeitet die Objekterkennung nach einer Voting-Technik. Bei dieser Technik werden in einem Detektionsschritt einzelne wiedererkannte Merkmalspunkte in einem Voting-Verfahren, wie beispielsweise dem Hough-Voting, zu Objekthypothesen akkumuliert. Einzelne Merkmalspunkte werden durch sogenannte Keypoint-Detektoren gefunden, und deren lokales Umfeld wird mittels eines Deskriptors (zum Beispiel SIFT) beschrieben. Auch bei diesem Verfahren sind die Trainingsdaten auf eine Einheitsgröße normiert. Entsprechend ist bekannt, wie groß die zu erwartenden lokalen Merkmale bei einer bestimmten Objektgröße bzw. Vergrößerung sein müssten. Daher kann zum einen der Suchbereich der Keypoint-Detektoren passend eingeschränkt werden, und zum anderen müssen bei der Akkumulation von Votes im Hough-Raum nur Bereiche berücksichtigt werden, die mit der Vergrößerung konsistent sind. Ersichtlich resultiert hierdurch eine Beschleunigung der Objekterkennung, da der Suchraum durch die Berücksichtigung der Vergrößerung der Abbildung reduziert werden kann.
-
Nach der Objekterkennung in dem Kamerabild in dem Schritt 179 werden in einem Schritt 181 die B-Scans durchgeführt, wie dies anhand der 2 erläutert wurde.
-
Das Durchführen der B-Scans in dem Schritt 181 ist lediglich ein Beispiel einer Maßnahme, welche in Abhängigkeit von dem in den Kamera-Bildern identifizierten Werkzeug vorgenommen werden kann. Generell können in Abhängigkeit beliebige Maßnahmen ausgeführt werden. Weitere hier beispielhaft genannte Maßnahmen sind die Steuerung einer Funktion des Mikroskops in Abhängigkeit von einer Geste, die mit dem Werkzeug innerhalb des Objektfelds vorgenommen wurde. Auch kann das erkannte Werkzeug mit einem vorbestimmten Werkzeug verglichen werden, das zu einem bestimmten Stadium des chirurgischen Eingriffs verwendet werden soll. Falls das identifizierte Werkzeug mit diesem Werkzeug nicht übereinstimmt, kann ein Warnsignal, wie beispielsweise ein Warnton, von der Steuerung ausgegeben werden.
