-
Gegenstand der Erfindung
-
Die vorliegende Erfindung betrifft ein Mikroskopsystem, beispielsweise ein Operationsmikroskopsystem, insbesondere für neurochirurgische Anwendungen. Die Erfindung betrifft weiterhin ein Mikroskopieverfahren, beispielsweise für Operationsmikroskope, insbesondere für neurochirurgische Anwendungen.
-
Hintergrund der Erfindung
-
In dem Dokument
DE 10 2010 039 289 A1 wird ein Mikroskopiesystem mit einem Operationsmikroskop zum Erzeugen eines mikroskopischen Bildes, einem Laserscanning-Endoskop zum Erzeugen eines endoskopischen Bildes, einer Einspiegelungsvorrichtung zum Einspiegeln von Darstellungen in das mikroskopische Bild, und mit einem Detektor, der eine Position des Endoskops feststellt und entsprechende Positionsdaten erzeugt, beschrieben. Im Rahmen dieser Lösung muss das Laserscanning-Endoskop mit einem zusätzlichen Sensor ausgestattet werden, so dass die Position der Endoskopspitze relativ zu einem definierten Bezugspunkt im Raum bestimmt, gespeichert und später auch wieder abgerufen werden kann. Während des Eingriffs auftretende Gewebedeformationen, beispielsweise durch Atmung, Gewebeentfernung, oder ähnliches, werden nicht berücksichtigt.
-
In dem Dokument
US 2011/0280810 A1 wird ein Mikroskopiesystem bestehend aus einem chirurgischen Mikroskop und einem Endomikroskop beschrieben. In einer Ausführungsform ist das zeitliche Verfolgen des Endomikroskops vorgesehen, indem an der Toolspitze ein zusätzlicher Sensor angebracht wird und/oder kommerzielle Navigationslösungen verwendet werden. Auch hier finden Gewebedeformationen keine Berücksichtigung.
-
In dem Dokument
US 2009/0012505 A1 ist ein Laserchirurgiesystem für die Augenchirurgie beschrieben mit dem sich die Position sowie die Orientierung des Auges anhand von Referenzpunkten im Auge nachverfolgen lässt.
-
Navigationsgerätehersteller, wie beispielsweise Xion Medical, Brain Lab, Medtronic und andere, verwenden den „klassischen“ Ansatz basierend auf externen Navigationsgeräten, beispielsweise optischen oder elektromagnetischen Navigationsgeräten, um digitale Marker in der Operationsszene zu ermöglichen. Dazu benötigen die chirurgischen Instrumente jedoch spezielle Marker, zum Beispiel Infrarotkugeln.
-
Bisher greifen Chirurgen auf physische Marker oder auf ihr Gedächtnis zurück, um wichtige Punkte innerhalb einer Operationsszene bzw. innerhalb eines mikroskopisch zu untersuchenden Beobachtungsbereichs zu markieren. Diese Punkte werden zum Beispiel benötigt, um funktionale Gehirnareale in einer neurochirurgischen Operation zu markieren, Biopsieentnahmestellen zu dokumentieren, zum Beispiel bei einer Tumorresektion, oder um Positionen von endoskopischen Aufnahmen zu dokumentieren. Physische Marker haben jedoch den Nachteil, dass sie zum einen Teile des Gewebes verdecken und gegebenenfalls bedingt durch Gewebedeformationen und/oder chirurgische Aktivitäten die Position ungewollt verändern können. Mentale Marker haben den Nachteil, dass sie nur für den Chirurgen „sichtbar“ sind und nicht dokumentiert werden können.
-
Bisher bekannte Lösungen für digitale Marker benötigen externe Navigationslösungen oder das Anbringen spezieller Marker. Allerdings können Gewebedeformationen nicht kompensiert werden, da Veränderungen in dem aktuellen Beobachtungsbereich, beispielsweise in der aktuellen Operationsszene, nicht berücksichtigt werden. Es ist daher Aufgabe der vorliegenden Erfindung, ein vorteilhaftes Mikroskopsystem und ein entsprechendes Mikroskopieverfahren zur Verfügung zu stellen, welches die Verwendung von digitalen Markern erlaubt und gleichzeitig mögliche Änderungen des zu untersuchenden Beobachtungsbereiches, beispielsweise durch Bewegungen des Mikroskops oder durch Gewebedeformationen, berücksichtigt.
-
Beschreibung der Erfindung
-
Die oben genannte Aufgabe der vorliegenden Erfindung wird durch ein Mikroskopsystem nach Patentanspruch 1 und durch ein Mikroskopieverfahren gemäß Patentanspruch 8 gelöst. Die abhängigen Ansprüche enthalten weitere, vorteilhafte Ausgestaltungen der Erfindung.
-
Das erfindungsgemäße Mikroskopsystem umfasst ein Mikroskop zum Erzeugen eines mikroskopischen Bildes eines zu untersuchenden Beobachtungsbereiches und eine Kamera zur Aufnahme von bildbasierten Informationen des zu untersuchenden Beobachtungsbereiches und zur Erzeugung eines digitalen Bildes des zu untersuchenden Beobachtungsbereichs. Das Mikroskopsystem umfasst weiterhin eine mit dem Mikroskop und der Kamera verbundene Speicher- und Auswertungseinheit zum Erfassen von den bildbasierten Informationen zugeordneten Parametereinstellungen des Mikroskops, eine Anzeige zum Sichtbarmachen des digitalen Bildes des zu untersuchenden Beobachtungsbereiches und eine mit der Speicher- und Auswertungseinheit und mit der Anzeige verbundene Steuereinheit. Dabei ist die Steuereinheit zum Setzen einer Anzahl von digitalen Markern zum Markieren von Beobachtungsobjekten in einem digitalen Bild, beispielsweise in dem mit Hilfe der Kamera erzeugten digitalen Bild, des zu untersuchenden Beobachtungsbereiches und zum Anzeigen der gesetzten digitalen Marker auf der Anzeige ausgelegt. Weiterhin ist die Speicher- und Auswertungseinheit ausgelegt zum Auswählen bzw. Extrahieren und zum Speichern von Informationen zu jedem digitalen Marker, so dass der Marker zu einem späteren Zeitpunkt der Position des Beobachtungsobjekts in dem Beobachtungsbereich zugeordnet werden kann und in einem zu dem späteren Zeitpunkt erzeugten digitalen Bild des zu untersuchenden Beobachtungsbereiches zur Markierung der Position des Beobachtungsobjekts angezeigt werden kann.
-
Die Bezeichnung „Informationen“ kann im Rahmen der vorliegenden Erfindung, also auch im Zusammenhang mit dem erfindungsgemäßen Verfahren, grundsätzlich auch die Positionsinformationen umfassen, sofern Positionsinformationen vorhanden sind.
-
Das erfindungsgemäße Mikroskopsystem hat den Vorteil, dass digitale Marker bereitgestellt werden, die gegenüber Änderungen in dem Beobachtungsbereich, beispielsweise in der Operationsszene, insbesondere durch Gewebedeformationen, robust sind. Weiterhin sind die mit Hilfe des Mikroskopsystems erzeugbaren digitalen Marker im Hinblick auf Bewegungen des Mikroskops, beispielsweise des chirurgischen Mikroskops, robust. Ein einmal markierter Punkt in einem zu untersuchenden Beobachtungsbereich ist also mit Hilfe des erfindungsgemäßen Mikroskopsystems auch bei Veränderungen des Beobachtungsbereiches, beispielsweise durch Deformationen oder Verschiebungen oder infolge von Bewegungen des Mikroskops, wieder auffindbar und zuverlässig dem ursprünglich markierten Punkt bzw. der ursprünglich markierten Position zuzuordnen.
-
Bei dem zu untersuchenden Beobachtungsbereich kann es sich beispielsweise um einen Operationsbereich, insbesondere einen chirurgischen Operationsbereich wie beispielsweise einen neurochirurgischen Operationsbereich handeln oder allgemeiner um einen Untersuchungsbereich oder eine Arbeits- oder Beobachtungsszene handeln.
-
Die Kamera kann grundsätzlich mit dem Mikroskop verbunden sein. Zum Beispiel kann die Kamera in das Mikroskop integriert sein. Es kann sich also zum Beispiel um eine interne Kamera handeln. Bei dem verwendeten Mikroskop handelt es sich vorzugsweise um ein Operationsmikroskop, beispielsweise ein chirurgisches, insbesondere neurochirurgisches, Operationsmikroskop oder ein Endomikroskop oder ein Mikroskop zur Biopsieentnahme.
-
Dadurch, dass mit Hilfe des erfindungsgemäßen Mikroskopsystems bildbasierte Informationen des zu untersuchenden Beobachtungsbereiches, beispielsweise der Operationsszene, und zusätzlich Parametereinstellungen des Mikroskops verwendet werden können, müssen keine physischen Marker, zum Beispiel Farbmarkierungen im deformierbaren Gewebe, angebracht werden. Weiterhin müssen keine zusätzlichen externen Sensoren angebracht werden oder externe Navigationslösungen verwendet werden oder existierende Navigationslösungen angepasst werden. So können beispielsweise die bildbasierten Informationen einer Operationsszene durch eine interne Kamera eines chirurgischen Mikroskops aufgenommen werden und gleichzeitig Parametereinstellungen des Mikroskops gespeichert werden. Die Speicher- und Auswertungseinheit ist vorzugsweise zum Erfassen der Parametereinstellungen Zoom und/oder Fokus des Mikroskops ausgelegt.
-
Die erfindungsgemäße bildbasierte Wiedererkennung von Markern im deformierbaren Gewebe erlaubt es zwar grundsätzlich, dass keine zusätzlichen Sensoren oder Marker angebracht werden müssen. Sofern jedoch Navigationsdaten, insbesondere die relative oder absolute Position des chirurgischen Mikroskops im Raum zum Patienten, vorhanden sind - sei es durch eine externe Lösung oder eine interne Lösung, bei der das chirurgische Mikroskop selbst erkennt bzw. bestimmt, wie es sich über die Zeit im Raum bewegt hat (beispielhaft durch integrierte Sensoren an den Mikroskopachsen), so dass es damit die relative Änderung zwischen zwei Bildaufnahmen bestimmt und gegebenenfalls speichert, - können diese Informationen verwendet werden, um die bildbasierte Wiedererkennung zu unterstützen. Wenn zum Beispiel der jeweilige Blickwinkel auf die Szene bekannt ist, kann der Suchraum besser eingrenzt werden.
-
Die verwendete Kamera kann beispielsweise dazu ausgelegt sein, bildbasierte Informationen als Videobild des durch das Mikroskop betrachteten Beobachtungsbereichs aufzunehmen. Es kann sich also bei dem digitalen Bild des Beobachtungsbereiches um ein, beispielsweise von der Kamera aufgenommenes, Videobild des durch das Mikroskop beobachteten Beobachtungsbereiches handeln.
-
Weiterhin kann die Steuereinheit zum Setzen und Anzeigen einer Anzahl von digitalen Markern einen Touchscreen und/oder eine Vorrichtung zur Gestensteuerung und/oder eine Vorrichtung zur Sprachsteuerung umfassen. Dabei kann die Vorrichtung zur Gestensteuerung so ausgelegt sein, dass sie eine Steuerung per Finger, Hand oder durch Instrumente, beispielsweise chirurgische Instrumente, ermöglicht. Mit Hilfe der Steuereinheit zum Setzen und Anzeigen einer Anzahl von digitalen Marken können beispielsweise im digitalen Bild einer Operationsszene, beispielsweise im Videobild eines chirurgischen Mikroskops, digitale Marker gesetzt werden.
-
Die Steuereinheit zum Setzen und Anzeigen der digitalen Marker ist vorzugsweise dazu ausgelegt, digitale Marker in Form von Punkten und/oder Linien und/oder Kreisen und/oder Polygonen und /oder Freiformkonturen zu setzen und anzuzeigen. Dies ermöglicht eine vielfältige und individuelle, der jeweiligen Situation angemessene, Ausgestaltung der verwendeten Marker.
-
Weiterhin ist die Steuereinheit zum Setzen und Anzeigen der digitalen Marker bevorzugt zum Ein- und Ausblenden der digitalen Marker in der Anzeige ausgelegt. Dies ermöglicht es, den durch den Marker unter Umständen verdeckten Bereich sichtbar zu machen. So wird beispielsweise unter dem Marker liegendes Gewebe nicht verdeckt.
-
Darüber hinaus kann die Anzeige zum Sichtbarmachen der digitalen Marker im digitalen Bild des Beobachtungsbereiches durch ein Okular des Mikroskops ausgelegt sein. Dies ermöglicht es, dass die gesetzten Marker unmittelbar durch das Okular des Mikroskops sichtbar sind, also ohne dass eine zusätzliche Anzeige außerhalb des Mikroskops erforderlich ist. Zusätzlich oder alternativ dazu kann die Anzeige zum Sichtbarmachen der digitalen Marker im digitalen Bild des Beobachtungsbereiches als eine von dem Mikroskop extern angeordnete Anzeigeeinheit ausgestaltet sein. Dies ermöglicht es, dass zum Beispiel eine Vielzahl an Personen die gesetzten Marker betrachten und gegebenenfalls verfolgen können.
-
Die Speicher- und Auswertungseinheit ist beispielsweise dazu ausgelegt, dass die Position des jeweiligen Markers in dem Beobachtungsbereich zu einem späteren Zeitpunkt wieder der Position des ursprünglich markierten Beobachtungsobjekts in dem Beobachtungsbereich zugeordnet werden kann und/oder die Position des Markers und damit des markierten Beobachtungsobjekts in dem Beobachtungsbereich zeitlich verfolgt werden kann. Dies hat den Vorteil, dass Veränderungen der Position des Beobachtungsobjekts in dem Beobachtungsbereich, beispielsweise durch eine Deformation von beobachtetem Gewebe oder durch Gewebeentnahmen, im Hinblick auf die aktuelle Position des markierten Beobachtungsobjekts berücksichtigt werden.
-
Das Mikroskopsystem kann zudem eine Navigationseinheit zur Erfassung kinematischer Positionsinformationen des Mikroskops umfassen. Dabei kann die Navigationseinheit in das Mikroskop integriert oder extern angeordnet sein. Die Navigationseinheit zur Erfassung kinematischer Positionsinformationen des Mikroskops kann insbesondere ausgelegt sein zur Bestimmung des Blickwinkels auf den Beobachtungsbereich, beispielsweise den Operationsbereich, und/oder zur Bestimmung einer, beispielsweise ersten, absoluten Position des Mikroskops.
-
Darüber hinaus kann das Mikroskopsystem eine Einheit zur Erfassung topografischer Informationen über den Beobachtungsbereich umfassen. Dies kann zum Beispiel durch einen 3D-Sensor oder eine stereoskopische Aufnahmeeinheit realisiert werden. Auf diese Weise wird das Höhenprofil in der Umgebung des Beobachtungsobjekts der Marker besser erkennbar und lässt sich besser verfolgen.
-
Die Speicher- und Auswertungseinheit ist bevorzugt dazu ausgelegt, Bildinformationen in der Umgebung des jeweiligen digitalen Markers mit Hilfe von Merkmalsdeskriptoren zu analysieren und anhand von charakteristischen Merkmalen zu beschreiben. Dies kann zum Beispiel durch Verwendung von in der Computer Vision Community gebräuchlichen Merkmalsdeskriptoren SIFT, SURF, BRIEF, ORB, oder anderen Merkmalsdeskriptoren realisiert werden. Die verwendete Speicher- und Auswertungseinheit ist in diesem Fall zur Verwendung der genannten Merkmalsdeskriptoren ausgelegt. Die Speicher- und Auswertungseinheit ist bevorzugt zudem dazu ausgelegt, Parametereinstellungen des Mikroskops, beispielsweise des chirurgischen Mikroskops, zusammen mit dem jeweiligen Marker zu speichern. Beispielsweise können Fokus und/oder Zoom des Mikroskops zu dem jeweiligen Marker gespeichert werden, um daraus die aktuelle Bildvergrößerung zu berechnen, so dass entsprechend der Zoombereich bei einer anderen Einstellung angepasst werden kann. Sofern vorhanden können auch die Navigationsdaten in der Speicher- und Auswerteeinheit gespeichert werden, zum Beispiel können sie zusammen mit dem Marker gespeichert werden. Dadurch kann beispielhaft wieder die räumliche Position angefahren werden, wenn der entsprechende Marker ausgewählt wird. Ferner kann, sofern sich das chirurgische Mikroskop bewegt hat, die Blickwinkeländerung berechnet werden und diese Information bei der bildbasierten Wiedererkennung der Marker berücksichtigt werden.
-
Im Rahmen des erfindungsgemäßen Mikroskopieverfahrens wird mit einem Mikroskop ein mikroskopisches Bild eines zu untersuchenden Beobachtungsbereiches erzeugt. Mit einer Kamera, beispielsweise mit einer mit dem Mikroskop verbundenen Kamera, werden bildbasierte Informationen des zu untersuchenden Beobachtungsbereiches aufgenommen und es wird ein digitales Bild des zu untersuchenden Beobachtungsbereiches erzeugt. Weiterhin werden den bildbasierten Informationen zugeordnete Parametereinstellungen des Mikroskops erfasst, beispielsweise mit Hilfe einer mit dem Mikroskop und der Kamera verbundenen Speicher- und/Auswertungseinheit. Das digitale Bild des untersuchenden Beobachtungsbereiches wird sichtbar gemacht, beispielsweise mit Hilfe einer Anzeige. Eine Anzahl von digitalen Markern werden zum Markieren von Beobachtungsobjekten in einem dem digitalen Bild des zu untersuchenden Beobachtungsbereiches gesetzt und angezeigt. Dabei können die Marker beispielsweise mit Hilfe einer Steuereinheit gesetzt werden.
-
Bei dem digitalen Bild, in welchem die Marker gesetzt und angezeigt werden, kann es sich beispielsweise um ein mit Hilfe einer Kamera erzeugtes digitales Bild handeln. Die Steuereinheit kann mit einer Speicher- und Auswertungseinheit und mit einer Anzeige verbundenen sein.
-
Weiterhin werden im Rahmen des erfindungsgemäßen Mikroskopieverfahrens Informationen zu jedem digitalen Marker ausgewählt bzw. extrahiert und gespeichert, so dass der Marker zu einem späteren Zeitpunkt der Position des Beobachtungsobjekts in dem Beobachtungsbereich zugeordnet werden kann. Dies kann beispielsweise mit Hilfe einer Speicher- und Auswertungseinheit erfolgen. Abschließend wird im Rahmen des erfindungsgemäßen Verfahrens der digitale Marker in einem zu einem späteren Zeitpunkt erzeugten digitalen Bild des zu untersuchenden Beobachtungsbereiches zur Markierung der Position des Beobachtungsobjekts angezeigt.
-
Das erfindungsgemäße Mikroskopieverfahren hat grundsätzlich dieselben Vorteile wie das zuvor beschriebene Mikroskopsystem. Das erfindungsgemäße Verfahren kann insbesondere mit Hilfe eines zuvor beschriebenen Mikroskopsystems durchgeführt werden. Es kann also im Rahmen des erfindungsgemäßen Mikroskopieverfahrens ein zuvor beschriebenes Mikroskopsystem verwendet werden.
-
Im Rahmen des Verfahrens können beispielsweise Zoom und/oder Fokus des Mikroskops erfasst werden, zum Beispiel von einer Speicher- und Auswertungseinheit. Bevorzugt werden Zoom und/oder Fokus des Mikroskops kontinuierlich erfasst. Dabei können die genannten Parametereinstellungen des Mikroskops gesetzten digitalen Markern zugeordnet werden. Sofern vorhanden können auch in diesem Zusammenhang die Navigationsdaten in der Speicher- und Auswerteeinheit gespeichert werden, zum Beispiel können sie zusammen mit dem Marker gespeichert werden. Dadurch kann beispielhaft wieder die räumliche Position angefahren werden, wenn der entsprechende Marker ausgewählt wird. Ferner kann, sofern sich das chirurgische Mikroskop bewegt hat, die Blickwinkeländerung berechnet werden und diese Information bei der bildbasierten Wiedererkennung der Marker berücksichtigt werden.
-
Bevorzugt wird der Beobachtungsbereich durch Bildverarbeitungsalgorithmen kontinuierlich ausgewertet und die Position der digitalen Marker im Falle von Veränderungen, beispielsweise Deformationen, wie insbesondere Gewebedeformationen, des Beobachtungsobjekts in dem Beobachtungsbereich und/oder im Falle einer Bewegung des Mikroskops an die Position des Beobachtungsobjekts angepasst. Zum Beispiel wird die Position der Marker unter Verwendung von Tracking-Algorithmen an die Position des Beobachtungsobjekts angepasst, bevorzugt kontinuierlich.
-
Weiterhin kann durch Bildverarbeitungsalgorithmen ein Operationsbereich oder eine Operationsszene, insbesondere konkret der aufgenommene Videostrom eines chirurgischen Mikroskops, kontinuierlich ausgewertet werden, so dass die Positionen eines gesetzten Markers an eine Veränderung der Position des markierten Beobachtungsobjekts angepasst werden kann. Mögliche Veränderungen der Position des markierten Beobachtungsobjekts können bedingt sein durch Gewebedeformationen und/oder durch die Bewegung des chirurgischen Mikroskops.
-
Zur Anpassung können Tracking-Algorithmen aus dem Bereich der Computer Vision zum Einsatz kommen. Zum Beispiel können hierbei Methoden verwendet werden, welche auf dem optischen Fluss basieren, zum Beispiel Kanade-Lucas-Tomasi Feature Tracker, und gegebenenfalls hybride Tracker, welche den optischen Fluss mit Merkmalsdeskriptoren kombinieren, um die Robustheit des Trackers zu erhöhen (siehe z.B. Lee, Taehee and Höllerer, Tobias, Multithreaded Hybrid Feature Tracking for Markerless Augmented Reality, IEEE Transactions on Visualisation and Computer Graphics, Vol. 15, No. 3, May/June 2009 bzw. http://dx.doi.org/10.1109/TVCG.2008.190).
-
Da sich durch Zoom- und Fokusänderung des chirurgischen Mikroskops die Bildvergrößerung und damit auch der Suchbereich ändern können, werden die Parameter bevorzugt kontinuierlich ausgelesen und vom Tracking-Algorithmus verwendet. Optional kann der Tracking-Algorithmus durch die bereits oben genannten zusätzlichen Informationsquellen, insbesondere weitere Parametereinstellungen des chirurgischen Mikroskops, Positionsinformationen, Topographieinformationen und andere, unterstützt werden um beispielhaft Suchbereiche, insbesondere Ort und Skala, besser eingrenzen zu können oder auch um beispielhaft mehr Informationen für die Merkmalsdeskriptoren zur Verfügung zu stellen, insbesondere topographische Merkmale.
-
Darüber hinaus kann unter Verwendung von Tracking-Algorithmen für jeden Marker eine Wahrscheinlichkeit für seine Positionierungsgenauigkeit bestimmt werden, beispielsweise berechnet werden. Diese Wahrscheinlichkeit der Positionierungsgenauigkeit des jeweiligen Markers kann zusammen mit dem Marker gespeichert werden und auch auf einer Ausgabeeinheit, beispielsweise einer Anzeige, angezeigt werden.
-
Weiterhin können zu einem Marker Informationen zur Bestimmung eines Ablaufzeitpunktes des jeweiligen Markers festgelegt werden. Der Marker kann also mit einer Art „Verfallszeitpunkt“ oder „Verfallsdatum“ oder „Verfallsfrist“ verknüpft werden. Darüber hinaus können zu einem Marker Informationen zur Bestimmung seiner Positionierungsgenauigkeit festgelegt werden. Diese können zusammen mit dem Marker gespeichert werden. Ein Marker kann beispielsweise als ungültig erklärt werden oder als ungültig gekennzeichnet werden oder gelöscht werden, wenn eine festgelegte Genauigkeitsgrenze für seine Positionierung überschritten wurde bzw. wenn seine Positionierung nicht mehr innerhalb einer festgelegten Genauigkeitsgrenze möglich ist. Dies kann zum Beispiel im Falle starker Geweberesektionen der Fall sein.
-
Im Rahmen des erfindungsgemäßen Mikroskopieverfahrens können die digitalen Marker durch ein Okular des Mikroskops sichtbar gemacht werden oder angezeigt werden. Alternativ dazu oder zusätzlich können die digitalen Marker durch mindestens eine von dem Mikroskop extern angeordnete Anzeigeeinheit oder Ausgabeeinheit dargestellt bzw. angezeigt werden. Weiterhin können die digitalen Marker bei Bedarf ein- und ausgeblendet werden. Dies ermöglicht es, die von dem Marker unter Umständen verdeckten Beobachtungsbereiche zu untersuchen.
-
Zudem kann zu Markern eine Wahrscheinlichkeit für die Positionierungsgenauigkeit des jeweiligen Markers bestimmt werden. Der Marker kann mit der bestimmten Wahrscheinlichkeit verknüpft werden. Falls zu Markern eine Wahrscheinlichkeit für die Positionierungsgenauigkeit des jeweiligen Markers bestimmt wurde, kann zudem ein Filter verwendet werden, um nur Marker mit einer Mindestwahrscheinlichkeit anzuzeigen.
-
Optional kann ein Marker ausgewählt und die Position des Beobachtungsobjekts durch das Mikroskop anvisiert werden. Dies ermöglicht es, einzelne Marker auszuwählen und gezielt durch das Mikroskop, beispielsweise das chirurgische Mikroskop, zu fokussieren. Dabei können die kinematischen Eigenschaften des Mikroskops genutzt werden, um zunächst die gewünschte Stelle, also die räumliche Position, deren Navigationsdaten ursprünglich mit dem Marker erfasst wurden, anzufahren bevor sie anvisiert und gegebenenfalls fokussiert wird. Auf diese Weise ist ein schnelles und präzises Auffinden der ursprünglich markierten Positionen möglich.
-
Darüber hinaus können optional die platzierten Marker für Dokumentationszwecke zusammen mit den Bildinformationen dauerhaft gespeichert und in ein Datenmanagementsystem, zum Beispiel PACS, transferiert werden.
-
Das erfindungsgemäße Mikroskopsystem und das erfindungsgemäße Mikroskopieverfahren ermöglichen die Verwendung von bildgestützten Informationen zur Realisierung robuster, zum Beispiel gegenüber Gewebedeformationen unempfindlicher, digitaler Marker für ein Mikroskop, vorzugsweise ein chirurgisches Mikroskop, ohne Verwendung von zusätzlichen Navigationslösungen oder externen Markern. Es müssen also keine physischen Marker, zum Beispiel Farbmarkierungen im deformierbaren Gewebe, angebracht werden. Weiterhin müssen keine zusätzlichen externen Sensoren angebracht werden oder externe Navigationslösungen verwendet werden oder existierende Navigationslösungen angepasst werden.
-
Die erfindungsgemäße bildbasierte Wiedererkennung von Markern im deformierbaren Gewebe erlaubt es zwar grundsätzlich, dass keine zusätzlichen Sensoren oder Marker angebracht werden müssen. Sofern jedoch Navigationsdaten, insbesondere die relative oder absolute Position des chirurgischen Mikroskops im Raum zum Patienten, vorhanden sind - sei es durch eine externe Lösung oder eine interne Lösung, bei der das chirurgische Mikroskop selbst erkennt bzw. bestimmt, wie es sich über die Zeit im Raum bewegt hat, so dass es damit die relative Änderung zwischen zwei Bildaufnahmen bestimmt und gegebenenfalls speichert, - können diese Informationen verwendet werden, um die bildbasierte Wiedererkennung zu unterstützen. Wenn zum Beispiel der jeweilige Blickwinkel auf die Szene bekannt ist, kann der Suchraum besser eingrenzt werden.
-
Darüber hinaus wird die Verwendung von spezifischen Eigenschaften des Mikroskops, insbesondere des chirurgischen Mikroskops, zum verbesserten Tracking der Marker ermöglicht. Zudem können mit Hilfe der vorliegenden Erfindung bildgestützte digitale Marker in den mikroskopischen oder chirurgischen Arbeitsablauf integriert werden.
-
Figurenliste
-
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung werden im Folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren näher beschrieben. Alle bisher und im Folgenden beschriebenen Merkmale sind dabei sowohl einzeln als auch in einer beliebigen Kombination miteinander vorteilhaft. Die im Folgenden beschriebenen Ausführungsbeispiele stellen lediglich Beispiele dar, welche den Gegenstand der Erfindung jedoch nicht beschränken.
- 1 zeigt schematisch ein erfindungsgemäßes Mikroskopsystem.
- 2 zeigt schematisch ein Beispiel für ein erfindungsgemäßes Verfahren in Form eines Flussdiagramms.
-
Ein Beispiel für ein erfindungsgemäßes Mikroskopsystem wird im Folgenden anhand der 1 näher erläutert. Die 1 zeigt schematisch ein erfindungsgemäßes Mikroskopsystem 1. Dieses umfasst ein Mikroskop 2, eine Kamera 3, eine Speicher- und Auswertungseinheit 4, eine Anzeige 5 und eine Steuereinheit 6. Bei dem Mikroskop 2 kann es sich beispielsweise um ein chirurgisches Mikroskop oder ein Operationsmikroskop oder ein Endomikroskop oder ein Mikroskop zur Verwendung im Rahmen einer Biopsieentnahme handeln.
-
Das Mikroskop 2 ist mit der Kamera 3 verbunden. Dazu kann die Kamera 3 vorzugsweise in das Mikroskop 2 integriert sein. Alternativ dazu kann die Kamera 3 von dem Mikroskop 2 extern angeordnet sein. Die Anzeige 5 ist mit dem Mikroskop 2 und der Kamera 3 verbunden. Die Anzeige 5 kann als von dem Mikroskop 2 und/oder der Kamera 3 extern angeordnete Anzeigeeinheit ausgestaltet sein. Alternativ dazu kann die Anzeige 5 in das Mikroskop 2 integriert sein, beispielsweise eine Anzeige durch das Okular des Mikroskops ermöglichen.
-
Weiterhin sind das Mikroskop 2, die Anzeige 5 und die Kamera 3 mit der Speicher- und Auswertungseinheit 4 verbunden. Die Speicher- und Auswertungseinheit 4 kann beispielsweise als CPU oder GPU ausgestaltet oder eine CPU oder GPU umfassen. Die Speicher- und Auswertungseinheit 4 ist insbesondere dazu ausgestaltet, Informationen bzw. Daten von dem Mikroskop 2 und der Kamera 3 zu empfangen, diese auszuwerten bzw. zu analysieren und Daten an die Anzeige 5 auszugeben.
-
Die Steuereinheit 6 ist mit der Anzeige 5 und der Speicher- und Auswertungseinheit 4 verbunden. Mit Hilfe der Steuereinheit 6 können Signale an die Anzeige 5 und an die Speicher- und Auswertungseinheit 4 übermittelt werden. Zum Beispiel können mit Hilfe der Steuereinheit 6 digitale Marker in von der Kamera aufgenommenen digitalen Bildern gesetzt und über die Anzeige 5 sichtbar gemacht werden. Gleichzeitig können die gesetzten digitalen Marker zusammen mit weiteren Informationen durch die Speicher- und Auswertungseinheit 4 gespeichert und analysiert werden.
-
Alternativ zu der in der 1 gezeigten Anordnung können das Mikroskop 2 und/oder die Kamera 3 nicht unmittelbar mit der Anzeige 5 verbunden sein, sondern zum Beispiel ausschließlich über die Speicher- und Auswertungseinheit 4 mit der Anzeige 5 verbunden sein.
-
Das erfindungsgemäße Verfahren wird im Folgenden anhand der 2 näher erläutert. In der 2 ist ein Beispiel für ein erfindungsgemäßes Verfahren in Form eines Flussdiagramms schematisch dargestellt. In einem ersten Schritt 11 wird mit einem Mikroskop 2 ein mikroskopisches Bild eines zu untersuchenden Beobachtungsbereiches erzeugt und mit einer Kamera 3 werden bildbasierte Informationen des zu untersuchenden Beobachtungsbereiches aufgenommen. In diesem Zusammenhang wird ein digitales Bild des zu untersuchenden Beobachtungsbereiches erzeugt.
-
In einem zweiten Schritt 12, der gleichzeitig mit dem ersten Schritt 11 ausgeführt werden kann, werden Parametereinstellungen des Mikroskops 2 erfasst und den bildbasierten Informationen zugeordnet. Dies kann mit Hilfe einer mit dem Mikroskop 2 und der Kamera 3 verbundenen Speicher- und Auswertungseinheit 4 erfolgen.
-
In einem weiteren Schritt 13, der gleichzeitig mit einem oder beiden der zuvor genannten Schritte 11 und/oder 12 erfolgen kann, wird das digitale Bild des zu untersuchenden Beobachtungsbereiches sichtbar gemacht, vorzugsweise mit Hilfe einer Anzeige 5.
-
Anschließend werden in einem nächsten Schritt 14 eine Anzahl von digitalen Markern, also mindestens ein Marker, zum Markieren von Beobachtungsobjekten, also zum Markieren von mindestens einem Beobachtungsobjekt, in dem digitalen Bild des zu untersuchenden Beobachtungsbereiches gesetzt und angezeigt. Die gesetzten Marker können beispielsweise mit Hilfe der zuvor genannten Anzeige 5 sichtbar gemacht werden.
-
In einem weiteren Schritt 15 werden zu jedem digitalen Marker Informationen ausgewählt bzw. extrahiert und gespeichert, so dass der Marker zu einem späteren Zeitpunkt der Position des Beobachtungsobjekts in dem Beobachtungsbereich zugeordnet werden kann. In einem folgenden Schritt 16 wird der digitale Marker in einem zu einem späteren Zeitpunkt erzeugten digitalen Bild des zu untersuchenden Beobachtungsbereiches zur Markierung der Position des Beobachtungsobjekts angezeigt. Es wird also zu einem späteren Zeitpunkt ein digitales Bild des zu untersuchenden Beobachtungsbereiches erzeugt und die Position des Beobachtungsobjekts in dem zu untersuchenden Beobachtungsbereich zu dem späteren Zeitpunkt angezeigt. Dies kann vorzugsweise mit Hilfe einer Speicher- und Auswertungseinheit 4 erfolgen.
-
Das erfindungsgemäße Verfahren kann grundsätzlich zu den genannten Schritten weitere Verfahrensschritte umfassen. Beispielsweise können die digitalen Marker ein- und ausgeblendet werden, so dass der darunterliegende Beobachtungsbereich, beispielsweise Gewebe, nicht verdeckt wird. Die digitalen Marker können beispielsweise in Form von Punkten, Linien, Polygonen oder Freiformkonturen ausgestaltet sein. Sie können über einen Touchscreen, über Gestensteuerung, beispielsweise mit Hilfe von Fingern, der Hand oder chirurgischen Instrumenten, oder über Sprachsteuerung im digitalen Bild des Beobachtungsbereiches, beispielsweise einer Operationsszene, konkret in dem Videobild des chirurgischen Mikroskops, gesetzt werden.
-
Zu jedem Marker werden eine Reihe von Informationen extrahiert und gespeichert, so dass der Marker später wieder einer Position eines Beobachtungsobjekts in dem Beobachtungsbereich, beispielsweise in der Operationsszene, zugeordnet werden kann und/oder zeitlich verfolgt werden kann. Dazu werden Bildinformationen in der näheren Umgebung der Marker analysiert (sogenannte Merkmalsdeskriptoren) und anhand von charakteristischen Merkmalen beschrieben. Dies kann zum Beispiel durch Verwendung von in der Computer Vision Community gebräuchlichen Merkmalsdeskriptoren SIFT, SURF, BRIEF, ORB, oder andere, erfolgen.
-
Die Parametereinstellungen des Mikroskops, beispielsweise des chirurgischen Mikroskops, werden zusammen mit dem Marker gespeichert. Zum Beispiel kann es sich hierbei um den Fokus und/oder den Zoom des Mikroskops handeln, um daraus zum Beispiel die aktuelle Bildvergrößerung zu berechnen, so dass entsprechend der Suchbereich bei einer anderen Einstellung angepasst werden kann. Optional können zudem kinematische Positionsinformationen des Mikroskopsystems, zum Beispiel intrinsisch oder über externe Navigationslösungen, gespeichert werden. Dies kann zum Beispiel erfolgen, um den Blickwinkel auf den Beobachtungsbereich, beispielsweise auf die Operationsszene, als auch um eine erste absolute Position zu bestimmen.
-
Weiterhin können optional topographische Informationen des Beobachtungsbereiches, beispielsweise der Operationsszene, erfasst und gespeichert werden, um durch das Höhenprofil in der Umgebung des Markers den Marker besser erkennen und verfolgen zu können. Dies kann zum Beispiel durch einen 3D-Sensor oder stereoskopische Aufnahmen erfolgen.
-
Durch Bildverarbeitungsalgorithmen wird der Beobachtungsbereich, beispielsweise die Operationsszene, konkret der Videostrom des chirurgischen Mikroskops, kontinuierlich ausgewertet, so dass die Positionen der Marker an Veränderungen in der Umgebung der Marker angepasst werden können. Zum Beispiel kann die Position der Marker in Bezug auf Veränderungen bedingt durch Gewebedeformationen und/oder Bewegung des beispielsweise chirurgischen Mikroskops angepasst werden.
-
Im Rahmen der Auswertung und Anpassung kommen Tracking-Algorithmen aus dem Bereich der Computer Vision zum Einsatz. Beispielhaft kann es sich dabei um Methoden handeln, welche auf den optischen Fluss basieren, zum Beispiel Kanade-Lucas-Tomasi Feature Tracker, und gegebenenfalls hybride Tracker, welche den optischen Fluss mit Merkmalsdeskriptoren kombinieren, um die Robustheit des Trackers zu erhöhen. Ein Beispiel hierfür findet sich in Lee, Taehee and Höllerer, Tobias, Multithreaded Hybrid Feature Tracking for Markerless Augmented Reality, IEEE Transactions on Visualisation and Computer Graphics, Vol.15, No. 3, May/June 2009.
-
Da sich durch Zoom- und Fokusänderung des Mikroskops die Bildvergrößerung und damit auch der Suchbereich ändern können, werden diese Parameter vorzugsweise kontinuierlich ausgelesen und von dem Tracking-Algorithmus verwendet. Optional kann der Tracking-Algorithmus durch die bereits genannten zusätzlichen Informationsquellen, wie beispielsweise weitere Parametereinstellungen des Mikroskops, Positionsinformationen, Topographieinformationen und andere, unterstützt werden, um insbesondere Suchbereiche, zum Beispiel Ort und Skala, besser eingrenzen zu können oder auch um mehr Informationen über die Merkmalsdeskriptoren zur Verfügung zu stellen, zum Beispiel topographische Merkmale.
-
Optional berechnet der Tracking-Algorithmus für jeden Marker eine Wahrscheinlichkeit seiner Positionierungsgenauigkeit, die zusammen mit dem Marker gespeichert wird und auch auf einer Ausgabeeinheit angezeigt werden kann. Weiterhin optional können Marker mit einem „Haltbarkeitsdatum“ bzw. Verfallszeitpunkt oder einer Gültigkeitszeitspanne versehen werden. Die Marker können als ungültig erklärt werden, sofern eine Positionierung nicht mehr möglich ist bzw. außerhalb einer Genauigkeitsgrenze liegt. Dies kann beispielsweise infolge starker Geweberesektionen im Rahmen einer chirurgischen, beispielsweise neurochirurgischen, Operation verursacht sein.
-
Die digitalen Marker können durch das Okular und/oder eine externe Anzeigeeinheit 5 oder mehrere externe Anzeigeeinheiten dargestellt werden und können bei Bedarf ein- und ausgeblendet werden. Sind die Marker mit Wahrscheinlichkeiten versehen, kann optional ein Filter verwendet und aktiviert werden, um nur Marker mit einer Mindestwahrscheinlichkeit anzuzeigen.
-
Optional können einzelne Marker ausgewählt und durch das Mikroskop anvisiert werden. Die einzelnen Marker können insbesondere gezielt durch das chirurgische Mikroskop 2 fokussiert werden. Dabei kann - falls verfügbar - das Mikroskop, vorzugsweise das chirurgische Mikroskop, seine kinematischen Eigenschaften nutzen, um zunächst die gewünschte Stelle anzufahren bevor sie fokussiert wird. Optional können die platzierten Marker für Dokumentationszwecke zusammen mit den Bildinformationen dauerhaft gespeichert und in ein Datenmanagementsystem, zum Beispiel PACS, transferiert werden.
-
Im Folgenden werden verschiedene Anwendungsbereiche, nämlich eine Anwendung im Rahmen eines Endosmikroskops, im Rahmen einer Biopsie, und im Zusammenhang mit der Markierung von funktionalen Gehirnarealen bei Tumorresektionen genannt und kurz erläutert.
-
Im Rahmen der Endomikroskopie kann zur zellulären Diagnostik ein Chirurg zusätzlich ein Endomikroskop im Sichtfeld des chirurgischen Mikroskops verwenden. Bei Aufnahme eines endoskopischen Bildes kann das Endomikroskop im Bildfeld des chirurgischen Mikroskops automatisch detektiert werden, ein Marker an der Spitze des Endomikroskops gesetzt werden, sowie das aufgenommene endoskopische Bild mit dem Marker verlinkt werden. Der Marker kann im weiteren Operationsverlauf verfolgt werden. Durch Anklicken des Markers auf einem Touchscreen des chirurgischen Mikroskops an seiner aktuellen Position kann zu jeder Zeit das zugehörige aufgenommene endoskopische Bild aufgerufen werden.
-
Im Rahmen von Biopsien vergehen typischerweise zwischen der Biopsieentnahme und dem Bericht der Pathologie einige Minuten. Da der Chirurg aber gegebenenfalls weiter operiert, möchte er beim Eintreffen des Pathologieberichts retrospektiv wissen, an welchen Stellen die Proben entnommen wurden. Daher wird bei Biopsieentnahme am Touchscreen des chirurgischen Mikroskops die Stelle im Bild, an denen die Biopsie entnommen wird, markiert. Optional kann dem Marker auch noch eine textuelle Beschriftung und/oder ID hinzugefügt werden. Die gesetzten Marker werden im weiteren Operationsverlauf verfolgt, so dass der Chirurg beim Eintreffen des Pathologieberichts die gespeicherten Marker über ein Menüsystem im Touchscreen auswählen und automatisch durch das chirurgische Mikroskop anfokussieren lassen kann.
-
Im Rahmen von Tumorresektionen im Gehirn können nach der Kraniotomie funktionale Gebiete bzw. funktionale Gehirnareale durch Stimulation bestimmt werden und für die verschiedenen funktionalen Regionen digitale Marker platziert werden, zum Beispiel indem mit der automatisch detektierten Toolspitze der Ort markiert wird und der Marker mit einem Fußtaster gesetzt wird. Im weiteren Verlauf der Tumorresektion können diese Marker verfolgt werden, so dass die funktionalen Gebiete trotz möglicher Gewebedeformationen und gegebenenfalls Gewebeentfernungen weiterhin als Marker der Operationsszene überlagert werden können.
-
Bezugszeichenliste
-
- 1
- Mikroskopsystem
- 2
- Mikroskop
- 3
- Kamera
- 4
- Speicher- und Auswertungseinheit
- 5
- Anzeige
- 6
- Steuereinheit
- 11
- Erzeugen eines mikroskopisches Bild und Aufnahme von bildbasierten Informationen
- 12
- Erfassen von Parametereinstellungen des Mikroskops und Zuordnen zu den bildbasierten Informationen
- 13
- Anzeigen des digitalen Bildes
- 14
- Setzen und Anzeigen von digitalen Markern
- 15
- Auswählen und Speichern von dem Marker zugeordneten Informationen
- 16
- Anzeigen des Markers zu einem späteren Zeitpunkt zur Markierung der Position des Beobachtungsobjekts
