-
Hintergrund
-
Die Erfindung betrifft ein Verfahren zur Visualisierung multimodaler Daten im Bildfeld eines chirurgischen Operationsmikroskops.
-
Mit modernen bildgebenden Untersuchungsverfahren ist es üblich geworden, multimodale Bilddaten von anatomischen Strukturen bereitzustellen, wie beispielsweise präoperative Magnetresonanztomographiedaten, Computertomographiedaten, Röntgenaufnahmen, Positronen-Emissions-Tomographie (PET), Single Photon Emission Computed Tomography (SPECT) oder intraoperative Daten. Daher wächst auch das Bedürfnis der Chirurgen, diese multimodalen Daten der aktuellen Operationsszene in Originalgröße oder in einer vergrößerten Darstellung zu überlagern, um die entsprechenden Informationen während der Operation zur Verfügung zu haben. Dabei existieren verschiedene Überlagerungsverfahren. Beispielsweise können die Daten opak dem gesamten Operationsbild überlagert werden. Dies hat allerdings den Nachteil, dass die aktuelle Operationsszene nicht mehr sichtbar ist und der Chirurg seinen Eingriff kurzzeitig unterbrechen muss. Alternativ kann die Überlagerung auch transparent erfolgen. Dadurch ist aber die Gesamtszene des Operationsbereichs nur eingeschränkt sichtbar. Es wäre somit wünschenswert, eine andere Modalität und/oder eine Vergrößerung nur in einem Teilbereich in Form einer Lupe darzustellen, wie dies im nicht-chirurgischen Umfeld bereits mit einer Computermaus-gesteuerten Lupenansicht umgesetzt wird.
-
Eine benutzergesteuerte Lupenansicht ist jedoch im Umfeld von chirurgischen Eingriffen unter Verwendung eines Operationsmikroskops nicht praktikabel, da der Chirurg keine freie Hand zur Positionierung einer Lupe hat und während einer Operation auch nicht seine Instrumente ablegen und eine Computermaus bedienen kann, ohne den Arbeitsablauf zu unterbrechen. Ferner könnte eine kontinuierliche Bedienung von unter normalen Umständen sterilen Bedienelementen das geringe Restrisiko einer Kontamination erhöhen. Eine Delegation der Aufgabe an einen Assistenten ist ebenfalls nicht praktikabel, da die Positionierung und kontinuierliche Anpassung der Lupe kommunikativ sehr aufwändig und fehleranfällig ist. Ferner beeinflusst die Kommunikation auch die Konzentrationsfähigkeit des Chirurgen. Eine Steuerung über ein Fußpult ist ebenfalls nicht praktikabel, da ein Chirurg permanent mit dem Fuß (z. B. über einen Taster oder einen Joystick) die Position der Lupe nachführen müsste und somit auch bei seinem Arbeitsablauf und der Konzentration auf den eigentlichen Eingriff beeinträchtigt wäre.
-
Aus
DE 10 2007 054 450 A1 ist eine Vorrichtung zur Bereitstellung von Bildern für einen Operateur bekannt, wobei Markierungen an unterschiedlichen Orten, beispielsweise ortsfest mit einem Operationstisch, am Patienten, oder an chirurgischen Instrumenten angebracht werden, die über optische Bilderfassung in ihrer Position bestimmbar sind. Eine Kamera ist zur Erfassung eines Bildes des Operationsfeldes vorgesehen, wobei die Position der Kamera bzw. der zugehörigen Optik über das chirurgische Instrument gesteuert werden kann. Funktionelle Bilddaten können mit dem Kamerabild überlagert werden.
-
Überblick über die Erfindung
-
Die vorliegende Erfindung hat die Aufgabe, ein Verfahren und ein Operationsmikroskop bereitzustellen, bei dem multimodale Daten während einer Operation derart in ein Mikroskopbild eingeblendet werden können, dass ein Chirurg gezielt zu einem Bereich einer Operationsszene zusätzliche Bilddaten in Form einer Lupenansicht erhalten kann.
-
Diese Aufgabe wird durch das Verfahren gemäß Anspruch 1 und durch das Operationsmikroskop gemäß Anspruch 9 gelöst.
-
Gemäß einem Aspekt umfasst ein Verfahren zur Überlagerung von Bilddaten bei einem Operationsmikroskop das Aufnehmen eines Mikroskopbildes des Operationsmikroskops und Erfassen einer Position des Mikroskopbildes, das Erfassen wenigstens einer Markierung an einem chirurgischen Instrument, welches sich im Mikroskopbild, d. h. im Bildfeld des Operationsmikroskops, befindet, und das Ermitteln einer Position der Markierung. Somit kann das chirurgische Instrument innerhalb des Mikroskopbildes lokalisiert werden, indem die Position der erfassten Markierung mit der Position des Mikroskopbildes vergleichen wird. Anschließend wird ein Lupenbereich im Mikroskopbild bestimmt, wobei der Lupenbereich eine vorbestimmte Größe hat und sich in einer vorgegeben Relativposition relativ zu der Markierung befindet. Dadurch kann der Lupenbereich beispielsweise mit einem vorgegebenen Radius um die Markierung, d. h. um das chirurgische Instrument herum, definiert werden. Schließlich werden zusätzliche Bilddaten, welche der Position des Lupenbereichs entsprechen, über das Mikroskopbild überlagert.
-
Dadurch wird die Positionierung der Lupe vereinfacht, bzw. automatisiert, indem die Lupe automatisch relativ zu der Markierung an dem chirurgischen Instruments (beispielsweise relativ zu einer Spitze des chirurgischen Instruments) ausgerichtet wird. Die Einblendung der zusätzlichen Bilddaten, d. h. die Bereitstellung einer multimodalen Funktionalität, erfolgt hierbei direkt in das Okular des Chirurgen, ohne dass der Chirurg irgendwelche Bedienelemente des Operationsmikroskops betätigen muss. Ergänzend dazu kann diese Information für assistierende Ärzte oder OP Schwestern auch auf der Anzeigeeinheit des Operationsmikroskops dargestellt werden.
-
Gemäß einer Ausführungsform kann vorgesehen sein, dass die zusätzlichen Bilddaten intraoperativ gewonnene Bilddaten umfassen. Unter intraoperativ gewonnenen Bilddaten sind hierbei auch Bilddaten zu verstehen, welche auf intraoperative gewonnenen Bilddaten basieren und durch weitere Verarbeitungsschritte, wie beispielsweise Muster- oder Kantenerkennung, Filter, oder andere Algorithmen verarbeitet werden, bevor sie als zusätzliche Bilddaten bereitgestellt werden. Hierbei können beispielsweise Bilddaten innerhalb des Lupenbereichs vergrößert dargestellt werden, so dass der Chirurg im Bereich direkt um das chirurgische Instrument herum mit der Multimodallupe eine vergrößerte Ansicht der gerade untersuchten oder manipulierten Gewebestrukturen erhalten kann.
-
Alternativ oder zusätzlich kann vorgesehen sein, dass die zusätzlichen Bilddaten intraoperativ gewonnene Bilddaten umfassen, welche den Lupenbereich zu einem wählbaren Zeitpunkt, welcher in der Vergangenheit liegt, zeigen. Wie voranstehend beschrieben, umfassen intraoperativ gewonnene Bilddaten hierbei auch intraoperativ gewonnene und anschließend verarbeitete Bilddaten. Dadurch kann eine History-Funktion realisiert werden, in der ein Ausschnitt der jeweiligen Operationsszene unter der Lupe zu vorangegangen Zeitpunkten (z. B. vor einer Tumorresektion oder vor einer Kraniotomie) angeschaut werden kann.
-
Die zusätzlichen Bilddaten können als Videodaten bereitgestellt werden, so dass während der Operation beispielsweise vergrößerte Ansichten oder History-Ansichten als Videodaten kontinuierlich mit dem Mikroskopbild überlagert werden können.
-
Gemäß einer Ausführungsform kann vorgesehen sein, dass die zusätzlichen Bilddaten präoperativ gewonnene Bilddaten umfassen. Hierbei kann durch geeignete Koordinatentransformationen eine korrekte Registrierung der präoperativen Bilddaten relativ zum Mikroskopbild erreicht werden. Die präoperativ gewonnenen Bilddaten können beispielsweise Magnetresonanztomographie(MR)-Daten, Computertomographie(CT)-Daten, Positronen-Emissions-Tomographie (PET), Single Photon Emission Computed Tomography (SPECT) oder Röntgenaufnahmen umfassen. Die Koordinatentransformation kann beispielsweise ein elastisches (d. h. deformierbares) oder nicht elastisches (d. h. rigides) Modell zu Grunde legen. Diese Modelle beinhalten beispielsweise auch translatorische Verschiebungen, Vergrößerungen oder perspektivische Änderungen).
-
Gemäß einer Ausführungsform kann vorgesehen sein, dass die Überlagerung der zusätzlichen Bilddaten in einem Bereich des Mikroskopbildes angeordnet ist, welcher um einen vorbestimmten Abstand von dem Lupenbereich im Mikroskopbild entfernt ist und/oder welcher sich in einem Randbereich des Mikroskopbildes befindet. Der vorbestimmte Abstand kann hierbei durch den Anwender wählbar sein. Alternativ oder zusätzlich kann vorgesehen sein dass der vorbestimmte Abstand und/oder die Größe eines Anzeigebereichs der zusätzlichen Bilddaten intelligent verändert werden kann, wenn beispielsweise ein gewählter vorbestimmter Abstand dazu führen würde, dass die zusätzlichen Bilddaten den Lupenbereich vollständig oder teilweise überdecken würden. Dadurch kann sichergestellt werden, dass der Chirurg weiterhin freie Sicht auf die aktuell interessanten Bereiche des Mikroskopbildes hat, während die zusätzlichen Daten an einer Stelle angezeigt werden, die von dem aktuellen Operationsbereich entfernt sind und die somit nicht die Sicht auf das chirurgische Instrument verdecken.
-
Gemäß einer weiteren Ausführungsform kann vorgesehen sein, dass die Überlagerung der zusätzlichen Bilddaten dahingehend überprüft wird, ob die Positionierung der Überlagerung noch im sichtbaren Bereich des Chirurgen liegt. Falls die Überlagerung außerhalb des sichtbaren Bereichs liegt, beispielsweise wenn sich das chirurgische Instrument am rechten Bildrand befindet und der Anwender die Überlagerung rechts von der Markierung wünscht, kann das System die Vorgaben des Chirurgen dahingehend ändern, die Überlagerung in einem sichtbaren Bildbereich vorzunehmen.
-
Die Markierung an dem chirurgischen Instrument kann einen Abschnitt des chirurgischen Instruments umfassen, welcher mittels Bilderkennungsverfahren im Mikroskopbild erkannt wird. Somit kann beispielsweise eine Spitze eines chirurgischen Instruments automatisch im Mikroskopbild erkannt werden, ohne dass für die Erfassung der Position des chirurgischen Instruments zusätzliche Geräte, Komponenten oder Sensoren benötigt werden. Bei partieller oder mangelnder Sichtbarkeit der Markierung im Mikroskopbild kann beispielsweise unter Verwendung von geometrischen oder gelernten Modellen der verwendeten chirurgischen Instrumenten die genaue Lage der Markierung bestimmt werden.
-
Alternativ kann vorgesehen sein, dass die Markierung an dem chirurgischen Instrument ein am chirurgischen Instrument angebrachtes Element umfasst, welches mittels eines Sensors erkannt wird, wobei der Sensor die Position der Markierung relativ zum Mikroskopbild ermittelt. Dadurch kann die Position des chirurgischen Instruments mit hoher Präzision ermittelt werden. Diese ist insbesondere dann sinnvoll, wenn beispielsweise aufgrund geringen Kontrasts im Mikroskopbild und/oder aufgrund von Gewebestrukturen, welche das chirurgische Instrument wenigstens teilweise verdecken, eine Erfassung der Position des chirurgischen Instruments durch Bilderkennung erschwert ist.
-
Gemäß einer Ausführungsform kann vorgesehen sein, dass die zusätzlichen Bilddaten mittels der bestimmten relativen Positionen der Markierung und des Lupenbereichs an die aktuelle Blickrichtung, den Arbeitsabstand und die Vergrößerung angepasst bzw. darauf umgerechnet dargestellt werden. Dadurch kann sichergestellt werden, dass die Darstellung der zusätzlichen Bilddaten mit der gleichen Perspektive erfolgt, wie die Darstellung des Mikroskopbildes, so dass ein Benutzer Strukturen, die in den zusätzlichen Bilddaten gezeigt werden, einfach mit Strukturen, die im Mikroskopbild sichtbar sind, in Zusammenhang bringen kann.
-
Ein weiterer Aspekt der vorliegenden Erfindung stellt ein Multimodallupensystem zur Überlagerung von Bilddaten bei einem Operationsmikroskop bereit, umfassend einen Prozessor, welcher ausgelegt ist, um das voranstehend beschriebene Verfahren auszuführen. Allgemein ist zu beachten, dass die vorliegende Beschreibung sowohl ein Verfahren als auch eine Vorrichtung betrifft, wobei Merkmale, die in Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben werden, auch als Komponenten der Vorrichtung verwirklicht werden können, und umgekehrt.
-
Gemäß eines weiteren Aspekts wird ein Operationsmikroskop bereitgestellt, umfassend ein optisches System, welches einen Bildbereich abbildet, ein Positionierungssystem, welches eine Position des Bildbereichs relativ zur Position eines Patienten ermittelt und ein Anzeigesystem, welches ein durch das optische System aufgenommenes Mikroskopbild darstellt. Hierbei kann das Positionierungssystem sowohl ein integriertes, als auch ein externes Navigationssystem für das Operationsmikroskop umfassen. Weiterhin ist ein Multimodallupensystem vorgesehen, welches derart ausgelegt ist, dass es das voranstehend beschriebene Verfahren ausführt.
-
Detaillierte Beschreibung der Erfindung
-
Im Folgenden werden einige Ausführungsbeispiele der Erfindung anhand der beigefügten Figuren erläutert. Es zeigt:
-
1 eine schematische Darstellung eines Operationsmikroskops mit einem Multimodallupensystem gemäß einer Ausführungsform der vorliegenden Erfindung;
-
2 eine Ansicht eines Mikroskopbildes mit einem Lupenbereich, zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens;
-
3 ein Beispiel für eine Definition eines Lupenbereichs; und
-
4 eine Ansicht eines Mikroskopbildes mit einem Lupenbereich, zur Veranschaulichung einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens.
-
1 zeigt ein Operationsmikroskop 1, umfassend ein optisches System 2, welches von einem Steuergerät 3 angesteuert wird, und welches Mikroskopbilder eines Objektbereichs erzeugt, die ein Chirurg während einer Operation durch ein Okular des optischen Systems 2 betrachten kann. Die Position des optischen Systems 2 wird durch ein Navigationssystem 4 gesteuert und erfasst. Das Navigationssystem 4 kann in das Operationsmikroskop 1 integriert sein. Alternativ ist das Navigationssystem 4 ein externes Modul, welches über eine Schnittstelle mit dem Operationsmikroskop 1 kommuniziert. Ein Multimodallupensystem 5 empfängt und verarbeitet die Mikroskopbilder des optischen Systems 2, wie nachfolgend detailliert beschrieben. Das Multimodallupensystem 5 kann dabei mit einem externen Navigationsgerät 6 verbunden sein, welches beispielsweise eine Position eines chirurgischen Instruments ermitteln kann. Falls das Navigationssystem 4 als ein externes Modul vorgesehen ist, können das externe Navigationssystem 4 und das Navigationsgerät 6 integriert ausgebildet bzw. identisch sein.
-
Über das Steuergerät 3 und/oder über das Multimodallupensystem 5 können zusätzliche Bilddaten derart in das optische System 2 eingespiegelt werden, dass ein Chirurg durch ein Okular des optischen Systems 2 ein Überlagerungsbild sieht, welches sowohl die zusätzlichen Bilddaten als auch das Mikroskopbild des optischen Systems 2 umfasst. Diese zusätzlichen Bilddaten können intraoperativ erzeugt werden, oder es kann sich dabei um gespeicherte präoperative Daten handeln.
-
Wie in 2 gezeigt, umfasst ein Multimodallupenbild 7 im vorliegenden Beispiel ein Mikroskopbild 8 von Gewebestrukturen eines Patienten, welches durch das optische System 2 des Operationsmikroskops 1 aufgenommen wird. Weiterhin ist ein chirurgisches Instrument 9 im Mikroskopbild 8 sichtbar, wie beispielsweise ein Skalpell, eine Pinzette, ein Gewebeabsaugegerät oder ein Koagulator (elektrisches Verödungsgerät) oder dergleichen. Eine Markierung 10 am chirurgischen Instrument 9 kann beispielsweise die Spitze des chirurgischen Instruments 9 sein, welche durch Bilderkennungsalgorithmen im Mikroskopbild lokalisiert werden kann.
-
Es kann nun ein Lupenbereich 11 definiert werden, welcher in einer vorgegebenen Relativposition zur Markierung 10 angeordnet ist. In einem Anzeigebereich 12 können zusätzliche Bilddaten des Lupenbereichs 11 angezeigt werden. Das Multimodallupenbild 7 enthält somit sowohl das vom optischen System 2 aufgenommene Mikroskopbild 8 der Operationsszene, als auch zusätzliche Bilddaten des Lupenbereichs 11 im Anzeigebereich 12. Der Lupenbereich 11 ist dabei relativ zu der Markierung 10 am chirurgischen Instrument 9 definiert, so dass sichergestellt werden kann, dass der Lupenbereich 11 den Bereich des Mikroskopbildes 8 umfasst, der für den Chirurgen aktuell besonders interessant ist. Zudem kann die vorbestimmte Größe des oder der Anzeigebereiche 12 verändert werden, beispielsweise durch Schrumpfen bei drohender Überschneidung des Lupenbereichs 11 und des Anzeigebereichs 12. Wenn eine Mindestgröße des Anzeigebereichs 12 unterschritten ist, kann der Anzeigebereich 12 an einen anderen Rand verschoben und zurück auf seine ursprüngliche Größe gesetzt werden.
-
Gemäß einer Ausführungsform wird hierbei eine bekannte Transformationsvorschrift (d. h. Registrierung) zwischen dem durch das Operationsmikroskop sichtbare Mikroskopbild 8 der aktuellen Operationsszene und der zu überlagernden Bildmodalitäten (intra- oder präoperativ) verwendet. In der Regel wird dazu zunächst eine erste Transformationsvorschrift T1 zwischen den präoperativen Daten und dem Patienten im Operationssaal bestimmt. Anschließend wird die Lage des optischen Systems 2 relativ zum Patienten bestimmt und daraus eine zweite Transformationsvorschrift T2 abgeleitet. Mit dem Wissen von T1 und T2 können präoperative Daten bzw. mit Wissen über die Änderung von T2 über die Zeit intra-operativ gewonnene Daten der aktuellen Operationsszene überlagert werden. Da sich das optische System 2 des Operationsmikroskops 1 während des Eingriffs bewegen kann, muss die relative Lage zwischen dem optischen System 2 und dem Patienten kontinuierlich bestimmt werden, beispielsweise mit Hilfe des Navigationssystems 4, welches als ein Image Guided Surgery (IGS) System ausgebildet sein kann.
-
Bei einem IGS System werden üblicherweise Marker am Operationsmikroskop 1 und am Patienten angebracht, welche über spezielle Kameras detektiert werden, um somit die relative Lage des optischen Systems 2 zum Patienten zu bestimmen. Verfügt ein Operationsmikroskop 1 selbst über interne Sensoren um eine Lageänderung des optischen Systems 2 in Relation zum Patienten zu bestimmen, kann durch eine Integration der Bewegungsänderungen die relative Lage des optischen Systems 2 zum Patienten bestimmt werden wenn sich dessen Position nicht verändert. Bei einer starren Abbildung zwischen Patient und optischem System 2 muss für die Transformation beispielsweise eine Rotation (in drei Raumrichtungen), eine Translation (in drei Raumrichtungen) sowie eine Skalierung des Mikroskopbildes 8 (in drei Raumrichtungen) bestimmt werden.
-
Die Skalierung hängt von der aktuell eingestellten Gesamtvergrößerung der Optik des optischen Systems 2 ab. Die Gesamtvergrößerung setzt sich aus dem jeweiligen Arbeitsabstand und dem jeweiligen eingestellten Zoomfaktor zusammen. Die anzuzeigenden Modalitäten können dabei entweder im Steuergerät 3 des Operationsmikroskops 1 gespeichert oder über eine Schnittstelle abrufbar sein. Um die Positionsdaten des optischen Systems 2 ohne Zeitverzögerung anzuzeigen, ist es vorteilhaft, die Daten vor einer Operation auf das Operationsmikroskop 1 zu übertragen.
-
Nach einer Lageänderung des optischen Systems 2, welche z. B. durch das Lösen und anschließende Arretieren der internen Bremsen feststellbar ist, wird zunächst die zweite Transformationsvorschrift T2 neu bestimmt. Dazu können entweder die internen Sensoren des Navigationssystems 4 ausgelesen werden, oder die neue Position kann von einem externen Navigationssystem über eine Schnittstelle angefragt werden. Bei vorliegenden dreidimensionalen multimodalen Daten wird anschließend die zweidimensionale Schnittebene bestimmt, welche dem neuen Blickwinkel auf die Operationsszene entspricht. Diese zweidimensionale Schnittebene wird in einen Puffer kopiert, um bei der Anzeige performant darauf zugreifen zu können. Zoom- und Fokuseinstellungen des optischen Systems 2 des Operationsmikroskops 1 sowie die gewählte Vergrößerung der Multimodallupe bestimmen dann die Anzeigegröße der zweidimensionalen Schnittebene bzw. des gewählten Ausschnittes der zweidimensionalen Schnittebene anhand der Position der Markierung 10 des chirurgischen Instruments 9.
-
Gemäß einiger Ausführungsformen kann hierbei das Mikroskopbild 8 der Operationsszene über eine im Steuergerät 3 des Operationsmikroskops 1 integrierte Bildaufnahmeeinheit digitalisiert werden, wobei die Markierung 10, also beispielsweise die Spitze des chirurgischen Instruments 9 oder ein am chirurgischen Instrument 9 angebrachter Marker, wie beispielsweise ein farbiger Punkt oder dergleichen, über bildbasierte Algorithmen erkannt wird.
-
Alternativ kann in anderen Ausführungsformen die Markierung 10 einen Sensor, wie beispielsweise eine oder mehrere Infrarotkugeln, umfassen, der an das chirurgische Instrument 9 angebracht wird. Die Position der Markierung 10, und damit des chirurgischen Instruments 9, kann dann über das externe Navigationsgerät 6 bestimmt und an das Multimodallupensystem 5 und/oder an das Steuergerät 3 des Operationsmikroskops 1 über eine Schnittstelle übermittelt werden. Bei Einsatz mehrerer chirurgischer Instrumente 9, welche jeweils eigene Markierungen 10 aufweisen, muss ferner noch eine eindeutige Identifikation des chirurgischen Instruments 9 übermittelt werden.
-
Im Fall der bildbasierten Erkennung der Markierung 10 im digitalisierten Mikroskopbild 8 ist die Position des chirurgischen Instruments 9 im digitalen Bild bereits bekannt. Bei der Bestimmung über das externe Navigationssystem 6 kann die Lage des chirurgischen Instruments 9 relativ zum Mikroskopbild 8 basierend auf der übermittelten Position und der aktuell eingestellten Vergrößerung des optischen Systems 2 bestimmt werden. In beiden Fällen kann jeweils ermittelt werden, in welcher Position des Mikroskopbildes 8 die Markierung 10 angeordnet ist, und somit kann die Lage des Lupenbereichs 11 im Mikroskopbild 8 bestimmt werden.
-
Wie in 3 gezeigt, ist der Lupenbereich 11 relativ zur Markierung 10 am chirurgischen Instrument 9, also beispielsweise relativ zur Spitze des chirurgischen Instruments 9, definiert. Im gezeigten Beispiel ist der Lupenbereich 11 ein Rechteck der Kantenlängen sx und sy, wobei die linke bzw. die obere Kante des Lupenbereichs einen Abstand dx bzw. dy von der Markierung haben. Gemäß einiger Ausführungsformen kann sowohl die Form des Lupenbereichs 11 (Polygon, Rechteck, Ellipse) als auch seine Größe und Lage (Offset) relativ zur Markierung 10 beliebig definiert werden, und kann beispielsweise vor einer Operation von einem Benutzer eingestellt werden. Intelligente Algorithmen können dabei für eine möglichst optimale Position des Lupenbildes sorgen, also beispielsweise immer in der unteren rechten Ecke. Arbeitet der Chirurg dort, wird das Lupenbild automatisch in einem anderen Bereich dargestellt.
-
Da ein Chirurg ggf. durch die Überlagerung von präoperativen Daten direkt im Lupenbereich 11 im Überlagerungsbild 7, also in der unmittelbaren Umgebung des chirurgischen Instruments 9, in seinem Sichtfeld auf die Operationsszene gestört würde, kann die Überlagerung der zusätzlichen Bilddaten des Lupenbereichs 11 an einer anderen Stelle im Bildfeld des Operationsmikroskops erfolgen. In 2 ist dies durch den Anzeigebereich 12 gekennzeichnet, dessen Lage ebenfalls parametrisiert und vom Benutzer eingestellt werden kann. Neben der Lage des Anzeigebereichs 12 im Überlagerungsbild 7 kann gemäß einiger Ausführungsformen noch ein Zoomfaktor für eine vergrößerte Darstellung der zusätzlichen Bilddaten sowie ein Überlagerungsmodus vom Benutzer gewählt oder durch Algorithmen der jeweiligen Situation angepasst werden.
-
Falls mehrere chirurgische Instrumente 9 im Mikroskopbild 8 sichtbar sind, kann gemäß einiger Ausführungsformen ausgewählt werden, welche Markierung 10, und damit welches chirurgische Instrument 9, zur Positionierung des Lupenbereichs 11 verwendet wird. Damit die Multimodallupe auch an dem richtigen chirurgischen Instrument 9 im Mikroskopbild 8 des Operationsmikroskops 1 ”angedockt” wird, kann das Multimodallupensystem 5 zunächst mit dem richtigen chirurgischen Instrument 9 initialisiert werden. Gemäß einiger Ausführungsformen kann dabei das chirurgische Instrument 9 ausgewählt werden, das einer vorbestimmten Stelle des Mikroskopbildes 8, beispielsweise dem Bildmittelpunkt, für einen bestimmten Zeitraum (z. B. 500 ms) am nächsten ist.
-
Alternativ kann gemäß anderer Ausführungsformen ein markierter Bereich, wie beispielsweise ein Kreis, in das Mikroskopbild 8 eingeblendet werden, in den das chirurgische Instrument 9 für einen bestimmten Zeitraum (z. B. 500 ms) gehalten werden muss. Durch ein Feedbacksignal (z. B. visuell oder akustisch) wird dem Chirurgen signalisiert, dass das chirurgische Instrument 9 erkannt wurde und dass die Multimodallupe nun an der Markierung 10 des ausgewählten chirurgischen Instruments 9 ausgerichtet wird.
-
Neben der Überlagerung von präoperativen und intra-operativen Daten hat das Multimodallupensystem 5 gemäß einiger Ausführungsformen auch eine History-Funktion, d. h. für den Lupenbereich 11 kann die Operation virtuell zurückgespult werden, in dem der Chirurg einstellen kann, um wie viele Sekunden/Minuten er in die Vergangenheit schauen möchte. Dies ist besonders dann vorteilhaft, wenn er überprüfen möchte, wie die jeweilige Stelle z. B. vor einer Tumorresektion ausgesehen hat. Dazu wird das Mikroskopbild 8 beispielsweise durch das Steuergerät 3 als ein Videostream aufgenommen. Im Videostream des Mikroskopbildes 8 werden dann zusammen mit den Mikroskopbilddaten auch jeweils die internen Parametern des optischen Systems 2 (insbesondere Zoom, Fokus und Positionierung} für jeden Frame gespeichert. Dann kann für eine Überlagerung des Videostreams eines vergangenen Zeitabschnitts mit dem aktuellen Mikroskopbild 8 die korrekte Transformation berechnet werden, und die Lage des Lupenbereichs 11 kann in jedem Frame des Videostreams ermittelt werden. Gemäß einiger Ausführungsformen kann der Videostream derart bearbeitet werden, dass eine automatischen Zusammenfassung der wichtigsten Abschnitte des bisherigen Operationsverlaufs erstellt wird. In diesem Fall können, wie in 4 gezeigt, beispielsweise mehrere repräsentative Kapitelbilder des Lupenbereichs 11 zu unterschiedlichen Zeitpunkten in mehreren Anzeigebereichen 12 im Überlagerungsbild 7 angezeigt werden.
-
Gemäß einiger Ausführungsformen eines erfindungsgemäßen Verfahrens zur Darstellung überlagerter Bilddaten bei einem Operationsmikroskop kann zunächst eine einmalige initiale Parametrisierung der Multimodallupe vor der Operation erfolgen, oder entsprechende Daten können bereits in einem Benutzerprofil des Chirurgen von einer vorherigen Operation hinterlegt sein. Alternativ können ein Chirurg oder ein Assistent eine bereitgestellte Vorlage für die Einstellung der Multimodallupe auswählen. Die Parametrisierung, d. h. die Bestimmung von Größe, Form und Lage des Lupenbereichs 11 relativ zur Markierung 10 am chirurgischen Instrument 9 kann dabei über eine Bedieneinheit des Operationsmikroskops 1 erfolgen. Weiterhin kann die Größe und Position des Anzeigebereichs 12 im Überlagerungsbild 8 eingestellt werden, und es kann eingestellt werden, welche zusätzlichen Bilddaten, und gegebenenfalls auch wie viele Anzeigebereiche 12, im Überlagerungsbild 7 dargestellt werden sollen. In den mehreren Anzeigebereichen 12, wie in 4 gezeigt, können auch jeweils unterschiedliche präoperative Bilddaten des Lupenbereichs 11 oder andere zusätzliche Bilddaten gleichzeitig angezeigt werden.
-
Nach dem Start des chirurgischen Eingriffes kann der Chirurg ein Bedienelement des Operationsmikroskops 1 (z. B. über einen Schalter am sterilen Handgriff oder über ein Fußschaltpult) den Multimodallupen-Modus starten. Im Multimodallupen-Modus wählt der Chirurg zuerst das chirurgische Instrument 9 aus, an dem der Lupenbereich 11 der Multimodallupe ausgerichtet werden soll. Alternativ kann die Steuerung auch durch einen Assistenten am Bedienfeld des Operationsmikroskops 1 erfolgen.
-
Nachdem ein Lupenbereich 11 im Mikroskopbild 8 definiert ist, kann der chirurgische Eingriff im Multimodallupen-Modus fortgesetzt werden. Dabei können der Anzeigemodus sowie die Vergrößerung der Multimodallupe durch Betätigung von Bedienelementen des Operationsmikroskops 1 (z. B. Schalter am sterilen Handgriff oder am Fußschaltpult) geändert werden. Somit kann der Chirurg auch während der Operation noch auswählen oder ändern, welche zusätzlichen Bilddaten, wie beispielsweise präoperative Bilddaten oder Historydaten des Lupenbereichs 11, im Anzeigebereich 12, bzw. in den mehreren Anzeigebereichen 12 jeweils angezeigt werden.
-
Über ein Bedienelement des Operationsmikroskops (z. B. über einen Schalter am Handgriff oder über ein Fußschaltpult) kann der Chirurg den Multimodallupen-Modus vorübergehend ausschalten und der chirurgische Eingriff wird im normalen Modus des Operationsmikroskops 1 weitergeführt.
-
Zu einem späteren Zeitpunkt des chirurgischen Eingriffs kann der Chirurg den Multimodallupen-Modus erneut über ein Bedienelement des Operationsmikroskops (z. B. über einen Schalter am sterilen Handgriff oder ein Fußschaltpult) starten. Sofern das ursprüngliche chirurgische Instrument 9 im Mikroskopbild 8 des Operationsmikroskops 1 erkannt wird, kann der Lupenbereich 11 der Multimodallupe weiterhin an diesem Instrument ausgerichtet werden. Ansonsten wird der Chirurg gebeten, das gewünschte chirurgische Instrument 9 auszuwählen, wie voranstehend beschrieben.
-
Anschließend wird der Eingriff im Multimodallupen-Modus fortgesetzt. Während des Multimodallupen-Modus kann vorgesehen sein, dass der Chirurg über ein weiteres Bedienelement des Operationsmikroskops 1 jederzeit die Auswahl des chirurgischen Instruments 9 ändern kann, um den Lupenbereich 11 gegebenenfalls im weiteren Verlauf der Operation an einem anderen chirurgischen Instrument 9 auszurichten.
-
Über ein Bedienelement des Operationsmikroskops (z. B. Schalter am sterilen Handgriff oder Fußschaltpult oder Bedienfeld) kann schließlich der Multimodallupen-Modus beendet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007054450 A1 [0004]
