DE102014107185A1

DE102014107185A1 - Verfahren zur Bereitstellung eines dreidimensionalen Topographiemodells, Verfahren zur Betrachtung einer Topographiedarstellung eines Topographiemodells, Visualisierungsvorrichtung und Mikroskopiersystem

Info

Publication number: DE102014107185A1
Application number: DE102014107185.9A
Authority: DE
Inventors: Oliver Schwarz; Stefan Saur; Marco Wilzbach; Roland Guckler
Original assignee: Carl Zeiss Meditec AG; Carl Zeiss AG
Current assignee: Carl Zeiss Meditec AG; Carl Zeiss AG
Priority date: 2014-05-21
Filing date: 2014-05-21
Publication date: 2015-11-26

Abstract

Die Erfindung betrifft ein Verfahren zur Bereitstellung eines dreidimensionalen Modells der Topographie zumindest eines Bereichs eines mit einem Mikroskopiersystem beobachteten Objektes, umfassend das synchrone Detektieren der wenigstens von einem Bereich des Objektes ausgesandter oder empfangener Strahlung in wenigstens zwei unterschiedlichen Richtungen und Bereitstellen der von der detektierten Strahlung entsprechenden Bilddaten, das synchrone Ermitteln der für die jeweiligen Richtungen relevanten Fokusabstände und/oder Zoomeinstellungen des Mikroskopiersystems, das Berechnen einer Kalibrierungsfunktion aus den jeweiligen Fokusabständen und/oder Zoomeinstellungen und das Rekonstruieren eines dreidimensionalen Modells der Topographie des Objektes aus den Bilddaten und der zuvor berechneten Kalibrierungsfunktion. Die Erfindung betrifft weiterhin ein zweites Verfahren mit welchem eine Darstellung der Topographie wenigstens eines Bereichs eines Objekts, das mit einem Mikroskopiersystem beobachtet wird oder wurde, durch wenigstens einen Benutzer oder Betrachter betrachtet werden kann, ein digitales Speichermedium, ein Computerprogramm-Produkt, ein Computerprogramm sowie eine Visualisierungsvorrichtung und ein Mikroskopiersystem zur Durchführung eines oder beider Verfahren.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bereitstellung eines dreidimensionalen Modells gemäß Anspruch 1. Sie betrifft zudem ein Verfahren zur Betrachtung wenigstens einer Darstellung einer Topographie gemäß Anspruch 10, eine Visualisierungsvorrichtung gemäß Anspruch 17 sowie ein Mikroskopiersystem gemäß Anspruch 20. Des Weiteren betrifft die vorliegende Erfindung ein digitales Speichermedium gemäß Anspruch 24, ein Computerprogramm-Produkt gemäß Anspruch 25 sowie ein Computerprogramm gemäß Anspruch 26.
In der medizinischen Praxis finden Operationsmikroskope zunehmend Einsatz. In diesem Zusammenhang ist es manchmal wünschenswert, das Abbild eines Operationsbereichs zu erfassen und/oder auf einem Visualisierungsmodul wiederzugeben.
Eine Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Bereitstellung eines dreidimensionalen Topographie-Modells eines mit einem Mikroskopiersystem beobachteten Objekts oder einer Szene und/oder ein Verfahren zur Betrachtung einer Darstellung einer Topographie eines mit einem Mikroskopiersystem beobachteten Objekts oder einer Szene vorzuschlagen. Zudem sollen eine geeignete Visualisierungseinrichtung, ein geeignetes Mikroskopiersystem, ein geeignetes digitales Speichermedium, ein geeignetes Computerprogramm-Produkt und ein geeignetes Computerprogramm angegeben werden.
Die erfindungsgemäße Aufgabe kann durch ein Verfahren, hierhin als erstes Verfahren bezeichnet, zum Bereitstellen eines dreidimensionalen Modells mit den Merkmalen des Anspruchs 1 gelöst werden. Sie kann ferner gelöst werden mittels des Verfahrens zur Betrachtung wenigstens einer Darstellung der Topographie eines mit einem Mikroskopiersystem beobachteten Objekts mit den Merkmalen des Anspruchs 10, hierhin auch als zweites Verfahren bezeichnet, der Visualisierungsvorrichtung mit den Merkmalen des Anspruchs 17, des Mikroskopiersystems mit den Merkmalen des Anspruchs 20, des digitalen Speichermediums mit den Merkmalen des Anspruchs 24, des Computerprogramm-Produkts mit den Merkmalen des Anspruchs 25 sowie des Computerprogramms mit den Merkmalen des Anspruchs 26.
Erfindungsgemäß wird somit ein erstes Verfahren vorgeschlagen, mit welchem ein dreidimensionales Modell der Topographie wenigstens eines Bereichs eines Objekts, das mit einem Mikroskopiersystem beobachtet wird, bereitgestellt wird.
Das erfindungsgemäße erste Verfahren weist zumindest den Schritt auf, die wenigstens von einem Bereich des Objektes ausgesandte oder empfangene Strahlung in wenigstens zwei unterschiedlichen Richtungen synchron zu detektieren und der detektierten Strahlung entsprechende Bilddaten bereitzustellen. Weiterhin weist das erfindungsgemäße erste Verfahren zumindest den Schritt auf, die für die jeweiligen Richtungen relevanten, insbesondere für die jeweils aufgenommene Bilder, Fokusabstände und/oder Vergrößerungseinstellungen des Mikroskopiersystems, beispielsweise synchron oder gleichzeitig zu ermitteln. Ferner weist das erfindungsgemäße erste Verfahren zumindest den Schritt auf, eine Kalibrierungsfunktion aus den jeweiligen Fokusabständen und/oder Vergrößerungseinstellungen zu berechnen. Schließlich weist das erfindungsgemäße erste Verfahren zumindest den Schritt auf, ein dreidimensionales Modell der Topographie zumindest eines Teiles des beobachteten Objektes aus den Bilddaten und der zuvor berechneten Kalibrierungsfunktion zu rekonstruieren.
Erfindungsgemäß wird weiterhin ein zweites Verfahren vorgeschlagen, mit welchem eine Darstellung der Topographie wenigstens eines Bereichs eines Objekts, das mit einem Mikroskopiersystem beobachtet wird oder wurde, durch wenigstens einen Benutzer oder Betrachter betrachtet werden kann.
Das erfindungsgemäße zweite Verfahren weist zumindest den Schritt auf, ein dreidimensionales Modell oder ein dreidimensionales Video-Modell der Topographie wenigstens eines Bereichs eines mit einem Mikroskopiersystem beobachteten Objektes bereitzustellen. Weiterhin weist das erfindungsgemäße zweite Verfahren zumindest den Schritt auf, Darstellungsbilddaten, also Bilddaten die geeignet und vorgesehen sind von einer Visualisierungsvorrichtung dargestellt zu werden und von dieser betrachtet zu werden, aus dem dreidimensionalen Modell zur Darstellung auf wenigstens einer Visualisierungsvorrichtung zu erzeugen, wobei die Einstellungen für die Erzeugung der Bilddaten von wenigstens einem Benutzer wählbar und veränderbar sind. Schließlich weist das erfindungsgemäße zweite Verfahren zumindest den Schritt auf, die Darstellungsbilddaten an wenigstens eine Visualisierungsvorrichtung zur Betrachtung durch den Benutzer zu übermitteln und mittels dieser darzustellen.
Die erfindungsgemäße Visualisierungsvorrichtung ist geeignet und vorgesehen und/oder ausgelegt und/oder konfiguriert zur Durchführung des zweiten erfindungsgemäßen Verfahrens.
Das erfindungsgemäße Mikroskopiersystem ist geeignet und vorgesehen und/oder ausgelegt und/oder konfiguriert und/oder programmiert zur Durchführung eines oder beider der erfindungsgemäßen Verfahren.
Das erfindungsgemäße digitale Speichermedium ist konfiguriert, um derart mit einem programmierbaren Computersystem zusammenzuwirken, dass die maschinellen Schritte eines oder beider erfindungsgemäßen Verfahren veranlasst werden.
Das erfindungsgemäße Computerprogramm-Produkt weist einen auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Veranlassung der maschinellen Schritte eines oder beider erfindungsgemäßen Verfahren, wenn das Computerprogramm-Produkt auf einem Rechner abläuft, auf.
Das erfindungsgemäße Computerprogramm weist einen Programmcode zur Veranlassung der maschinellen Schritte eines oder beider erfindungsgemäßen Verfahren, wenn das Computerprogramm auf einem Computer abläuft, auf.
Bei allen folgenden Ausführungen ist der Gebrauch des Ausdrucks „kann sein“ bzw. „kann haben“ usw. synonym zu „ist vorzugsweise“ bzw. „hat vorzugsweise“ usw. zu verstehen und soll eine erfindungsgemäße Ausführungsform erläutern.
Wann immer hierin Zahlenwerte genannt werden, so versteht der Fachmann diese als Angabe einer zahlenmäßig unteren Grenze. Sofern dies zu keinem für den Fachmann erkennbaren Widerspruch führt, liest der Fachmann daher beispielsweise bei der Angabe „ein“ oder „einem“ stets „wenigstens ein“ oder „wenigstens einem“ mit. Dieses Verständnis ist ebenso von der vorliegenden Erfindung mit umfasst wie die Auslegung, dass ein Zahlenwort wie beispielsweise „ein“ alternativ als „genau ein“ gemeint sein kann, wo immer dies für den Fachmann erkennbar technisch möglich ist. Beides ist von der vorliegenden Erfindung umfasst und gilt für alle hierin verwendeten Zahlenworte.
Vorteilhafte Weiterentwicklungen der vorliegenden Erfindung sind jeweils Gegenstand von Unteransprüchen und Ausführungsformen.
Der Begriff „Visualisierungsvorrichtung“, wie er hierhin verwendet wird, kann eine Einrichtung bezeichnen, welche zum Darstellen wenigstens eines 2D und/oder 3D-Signals geeignet und/oder vorgesehen und/oder konfiguriert ist.
Der Begriff „dreidimensionales Modell“, wie er hierhin verwendet wird, bezeichnet ein nicht körperliches dreidimensionales Modell, insbesondere ein dreidimensionales Datenmodell. Ein dreidimensionales Datenmodell umfasst Daten, welche bezüglich eines dreidimensionalen Koordinatensystems eindeutig definiert sind.
Der Begriff „dreidimensionales Video-Modell“, wie er hierhin verwendet wird, bezeichnet ein nicht körperliches dreidimensionales Modell, insbesondere ein dreidimensionales Datenmodell, welches zusätzlich eine Zeitkomponente aufweist. Insbesondere kann ein dreidimensionales Video-Modell als der zeitliche Verlauf eines dreidimensionalen Modells verstanden werden.
Der Begriff „Fokusabstand“, wie er hierhin verwendet wird, kann den Abstand von einer Linse zu einem, insbesondere ausgezeichneten Punkt, bezeichnen, beispielsweise den Abstand zwischen dem Mittelpunkt einer Linse oder eines Linsensystems zu einem Punkt des zu beobachtenden oder beobachteten Objekts oder Objektsszene. Der Begriff „Fokusabstand“, wie er hierhin verwendet wird, kann den Abstand von einem Punkt des zu beobachtenden oder beobachteten Objekts oder Objektsszene zu einem Fokuspunkt eines Elements eines Linsensystems bezeichnen.
Der Begriff „Segmentierung“, wie er hierhin verwendet wird, kann ein Unterteilen und/oder Zuordnen einzelner Pixel eines Bildes oder einzelner Bildpunkten eines Bilddatensatzes zu unterschiedlichen und voneinander unterscheidbaren Gruppen, insbesondere Pixelgruppen, bezeichnen.
Der Begriff „Mikroskopiersystem“, wie er hierhin verwendet wird, kann ein System umfassend ein Mikroskop, insbesondere ein Operationsmikroskop und/oder ein stereoskopisches Mikroskop, bezeichnen.
Erfindungsgemäße Ausführungsformen der vorliegenden Erfindung können ein oder mehrere der im Folgenden genannten Merkmale in beliebiger Kombination aufweisen, sofern die konkrete Kombination nicht für den Fachmann erkennbar technisch unmöglich ist.
Das erfindungsgemäße erste Verfahren kann zur Bereitstellung eines dreidimensionalen Modells der Topographie zumindest eines Bereichs eines mit einem Mikroskopiersystem beobachteten Objektes eingesetzt werden.
Das erfindungsgemäße erste Verfahren kann zumindest den Schritt aufweisen, die wenigstens von einem Bereich des Objektes ausgesandte oder empfangene Strahlung in wenigstens zwei unterschiedlichen Richtungen oder Raumrichtungen synchron zu detektieren und der detektierten Strahlung entsprechende Bilddaten bereitzustellen oder zuzuordnen.
Mit einem „synchronen Detektieren“ wird ein Detektieren verstanden, welches zeitgleich für die unterschiedlichen Richtungen erfolgt.
Das Detektieren einer von wenigstens einem Bereich des Objektes ausgesandten oder empfangenen Strahlung in wenigstens zwei unterschiedlichen Richtungen kann als das Detektieren der genannten Strahlung von wenigstens zwei unterschiedlichen Blickwinkeln verstanden werden.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann die genannte Strahlung von mehr als zwei unterschiedlichen Richtungen oder Blickwinkeln detektiert werden, beispielsweise aus drei, vier, sechs oder acht unterschiedlichen Richtungen oder Blickwinkeln.
Der Begriff „Bilddaten“, wie er hierhin verwendet wird, kann ein Ensemble von Daten bezeichnen, welche zumindest den Informationsgehalt eines Bildes beinhaltet. Bilddaten können gespeichert, übermittelt, durch Bildverarbeitungsalgorithmen oder allgemein durch Algorithmen verändert und/oder von einem geeigneten Visualisierungsmodul dargestellt werden.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann von jeder Richtung oder von jedem Blickwinkel aus dasselbe Sichtfeld detektiert werden.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann das Detektieren rein Kamerabasiert erfolgen. Insbesondere kann vorgesehen sein, in jede unterschiedliche Richtung die entsprechende Strahlung mit einer Kamera zu detektieren. Eine Möglichkeit Bilddaten über wenigstens eine Kamera zu gewinnen ist beispielsweise in der EP 13 33 305 A2 offenbart, deren diesbezügliche Offenbarung in der vorliegenden Anmeldung vollumfänglich mittels Verweis übernommen wird.
Weiterhin kann das erfindungsgemäße erste Verfahren zumindest den Schritt aufweisen, die für die jeweiligen Richtungen relevanten, insbesondere für die jeweils aufgenommene Bilder, Fokusabstände und/oder Vergrößerungseinstellungen des Mikroskopiersystems synchron zu ermitteln.
Zeitgleich zum Detektieren der genannten Strahlung in eine bestimmte Richtung oder für einen bestimmten Blickwinkel können die Fokusabstände und/oder die Vergrößerungseinstellungen des Mikroskopiersystems für die jeweilige Richtung ermittelt werden.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann die Ermittlung separat für jede einzelne bestimmte Richtung erfolgen.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann das Mikroskopiersystem in einigen oder in allen Richtungen den gleichen Fokusabstand und/oder die gleichen Vergrößerungseinstellungen aufweisen.
In anderen beispielhaften erfindungsgemäßen Ausführungsformen kann das Mikroskopiersystem in einigen oder in allen Richtungen denselben Fokusabstand und/oder dieselben Vergrößerungseinstellungen aufweisen.
Eine Ermittlung kann in bestimmten beispielhaften erfindungsgemäßen Ausführungsformen durch Messung und/oder Ablesen und/oder Abfragen, jeweils insbesondere automatisch wenigstens eines mit dem Fokusabstand und/oder den Vergrößerungseinstellungen zusammenhängenden Parameters des Mikroskopiersystems erfolgen.
Ferner kann das erfindungsgemäße erste Verfahren zumindest den Schritt aufweisen, eine Kalibrierungsfunktion aus den jeweiligen Fokusabständen und/oder Vergrößerungseinstellungen zu berechnen. Die Kalibrierungsfunktion kann insbesondere einen Zusammenhang zwischen den Abmessungen der in den unterschiedlichen Richtungen beobachteten Objektbereiche wiedergeben und/oder herstellen.
In weiteren beispielhaften erfindungsgemäßen Ausführungsformen kann die Kalibrierungsfunktion die Berechnung der tatsächlichen oder reellen Abstände zwischen zwei beliebigen Bildpunkten eines detektierten Bildes ermöglichen.
Schließlich kann das erfindungsgemäße erste Verfahren zumindest den Schritt aufweisen, ein dreidimensionales Modell der Topographie des Objektes aus den Bilddaten und aus der zuvor berechneten Kalibrierungsfunktion zu rekonstruieren.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann das Rekonstruieren nach der Methode der Stereorekonstruktion aus mehreren Ansichten angewendet werden wie sie beispielsweise in „Multi-View Stereo as an Inverse Inference Problem", Christoph Strecha, Ph.D Dissertation, KU Leuven, May 2007 oder in „Advanced Concepts for Intelligent Vision Systems", Lasaruk Aless., Springer Berlin Heidelberg, 2012, Seite 336 bis 348 für Stereobildpaare erläutert wird, erfolgen, deren diesbezügliche Offenbarung in der vorliegenden Anmeldung per Verweis vollumfänglich übernommen wird. Dabei werden die synchron aus unterschiedlichen Richtungen aufgenommenen Bilder zur Berechnung des Topographiemodells verwendet.
In weiteren bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann das Rekonstruieren nach einer anderen geeigneten Rekonstruktionsmethode, beispielsweise nach der Methode des optischen Flusses oder der Epipolargeometrie, erfolgen.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann die Rekonstruktionsmethode auf einer mit Knotenpunkten, insbesondere spärlich, besetzten Oberflächendarstellung basieren. Dabei kann beispielsweise die Optimierung einer Kostenfunktion Teil der Methode sein.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen wird die Rekonstruktion mit dem Ziel durchgeführt, eine, insbesondere bildfeldfüllende, Tiefenkarte zu erstellen. Alternativ oder ergänzend ist das rekonstruierte Modell eine, insbesondere bildfeldfüllende, Tiefenkarte.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens können die Bilddaten und/oder das rekonstruierte dreidimensionale Modell in Form von Grauwertbildern, insbesondere von zweidimensionalen Grauwertbildern, als Daten vorliegen, erzeugt und/oder gespeichert werden oder sein.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann das rekonstruierte dreidimensionale Modell als Daten in einem gängigen CAD-Format (engl. „Computer-Aided Design“), insbesondere als Netz (engl. „Mesh“) oder Punktwolke, vorliegen, erzeugt und/oder gespeichert werden. Unter einem gängigen CAD-Format kann beispielsweise ein STL-, PLY-, DXF-, STL- und/oder VRML-Format verstanden werden.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens können die Bilddaten und/oder das rekonstruierte dreidimensionale Modell in gängigen Bildformaten gespeichert werden oder sein. Beispielsweise kann es sich bei solchen Formaten um ein jpeg-, jpeg2000- oder png-Format handeln.
In weiteren bestimmten beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens können die Video-Bilddaten und/oder das rekonstruierte dreidimensionale Video-Modell in gängigen Videoformaten gespeichert werden oder sein. Beispielsweise kann es sich bei solchen Formaten um ein MPEG-Format handeln.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen können die Fokusabstände und/oder die Vergrößerungseinstellungen zusammen mit und/oder in den Bilddaten kodiert werden. Darunter kann verstanden werden, dass die Information über die Fokusabstände und/oder über die Vergrößerungseinstellungen in den Bilddaten enthalten und daraus extrahierbar oder abrufbar ist.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens können die Bilddaten, insbesondere vor und/oder nach ihrer Bereitstellung, verlustfrei oder verlustbehaftet komprimiert werden.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens können die Bilddaten mitkodierte Fokusabstände und/oder Vergrößerungseinstellungen beinhalten und verlustfrei oder verlustbehaftet komprimiert werden.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens kann das rekonstruierte dreidimensionale Modell der Topographie des beobachteten Objektbereichs verlustfrei oder verlustbehaftet komprimiert werden.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens erfolgt eine Komprimierung entsprechend den gängigen Bild- oder Videokompressionsverfahren.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens wird beim Rekonstruieren des dreidimensionalen Modells und/oder bei der Berechnung der Kalibrierungsfunktion zusätzlich eine mikroskopspezifische Kalibrierungsdatei des Mikroskopiersystems berücksichtigt.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann eine solche mikroskopspezifische Kalibrierungsdatei des Mikroskopiersystems Informationen über das Mikroskopiersystem, insbesondere über das Linsensystem des Mikroskopiersystems, beispielsweise über einzelne Elementen des Linsensystems wie beispielsweise Fokuslängen, Abstände zwischen den einzelnen Elementen und dergleichen, umfassen.
In anderen beispielhaften erfindungsgemäßen Ausführungsformen kann eine solche Kalibrierungsdatei insbesondere eine Kalibrierung der einzelnen Teile einer Erfassungseinheit, beispielsweise wenigstens zweier Kameras, insbesondere ihrer Positionen und Orientierungen zueinander, umfassen oder enthalten.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann eine solche Kalibrierungsdatei insbesondere Informationen über optische Verzerrungen des verwendeten optischen Systems, beispielsweise eine sphärische Aberration, einen Astigmatismus und/oder dergleichen umfassen.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens umfasst die Rekonstruktion wenigstens einen Segmentierungsschritt.
Während eines Segmentierungsschritts können insbesondere Pixel eines Bildes oder einzelne Datenpunkte eines korrespondierenden Bilddatensatzes als zusammengehörend erkannt und/oder definiert und/oder markiert werden. Durch eine Segmentierung können zusammengehörende Pixel eines Bildes oder zusammengehörende einzelne Datenpunkte eines korrespondierenden Bilddatensatzes von anderen Pixeln des Bildes oder anderen Datenpunkten des Bilddatensatzes unterschieden werden und von diesen getrennt dargestellt und/oder extrahiert und/oder bearbeitet werden. Insbesondere können die Bilddaten vor dem Rekonstruieren des dreidimensionalen Modells in wenigstens zwei Segmente unterteilt werden. Die den unterschiedlichen Segmenten zugehörenden Daten können dabei einem eindeutigen Label zugeordnet werden. Mit dem Begriff „Label“ wie es hierhin verwendet wird kann insbesondere ein Erkennungsmerkmal, insbesondere ein digitales, verstanden werden.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens erfolgt das Rekonstruieren des dreidimensionalen Teil-Modells separat für jedes Segment. Die rekonstruierten dreidimensionalen Teil-Modelle der jeweiligen Segmente können unabhängig hiervon ebenfalls jeweils einem eindeutigen Label zugeordnet werden.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann die topographische Rekonstruktion separat für Vordergrund und Hintergrund eines Operationsbereichs oder einer Operationsszene erfolgen. Insbesondere können ein Vordergrund mit Operationsbesteck und/oder Händen und ein Hintergrund mit dem eigentlichen Operationsbereich definiert werden.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann die topographische Rekonstruktion separat für wenigstens zwei unterschiedliche Segmente eines Operationsbereichs oder einer Operationsszene erfolgen, wobei die Segmentierung eine semantische Segmentierung ist oder zumindest eine solche umfasst. Unter einer semantischen Segmentierung kann eine Segmentierung verstanden werden, welche beispielsweise zwischen funktionalen Gebieten und/oder Gewebearten unterscheidet.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann die topographische Rekonstruktion separat für verschiedene Segmente erfolgen, die sich aus einer semantischen und/oder einer Vordergrund/Hintergrund-Segmentierung ergeben.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann das Verfahren einen Segmentierungsschritt aufweisen, welcher nach dem Rekonstruieren des dreidimensionalen Modells erfolgt und das dreidimensionale Modell in unterschiedliche Segmente unterteilt.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann ein erstes Segment, insbesondere ein Hintergrund, das durch ein zweites Segment oder einen Teil davon, insbesondere einen Vordergrund, verdeckt ist, aus Informationen aus früheren Frames, insbesondere aus Bilddaten mit einer zeitlich früheren Zeitkomponente, rekonstruiert werden. Unter „Frame“ wird hierhin insbesondere das dreidimensionale Modell der Topographie eines Objektbereichs zu einem bestimmten Zeitpunkt t verstanden.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen ist das rekonstruierte dreidimensionale Modell ein Dreiecksnetz oder umfasst wenigstens ein solches Dreiecksnetz. Ein solches Dreiecksnetz kann in eine Datei, insbesondere eine Datei mit einem Ply-Format, exportiert werden und mit gängigen externen Werkzeugen, beispielsweise mit einer OpenSource-Software wie „Meshlab“, verwendet und/oder dargestellt werden.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen können einige oder alle aus Segmenten rekonstruierten Teil-Modelle ein Dreiecknetz sein oder jeweils ein solches umfassen.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen des ersten Verfahrens kann wenigstens einem Dreiecksnetz eine Textur überlagert werden. Mit dem Begriff „Textur“ wie es hierhin verwendet wird kann insbesondere eine Oberflächenbeschaffung, beispielsweise eine Farbe und/oder ein Muster, verstanden werden.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen können unterschiedlichen Segmenten unterschiedliche Texturen überlagert werden.
In anderen beispielhaften erfindungsgemäßen Ausführungsformen kann eine Textur aus den Farbbilddaten einer vom beobachteten Objekt detektierten Strahlung erzeugt werden.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen umfassen oder beinhalten die Farbbilddaten Fluoreszenzdaten, welche beispielsweise mit dem Operationsmikroskop erfasst wurden oder werden.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen können einige oder alle Schritte des zweiten erfindungsgemäßen Verfahrens, insbesondere oder zumindest die Schritte des Strahlungsdetektierens und des Bilddatenbereitstellens, des Ermittelns der Fokusabstände und/oder Vergrößerungseinstellungen, des Berechnens der Kalibrierfunktion und/oder des Rekonstruieren eines dreidimensionalen Modells, zu unterschiedlichen Zeitpunkte wiederholt werden.
Bei Wiederholung zumindest der Schritte des Strahlungsdetektierens und des Bilddatenbereitstellens, des Ermittelns der Fokusabstände und/oder Vergrößerungseinstellungen, des Berechnens der Kalibrierfunktion und/oder des Rekonstruieren eines dreidimensionalen Modells wird zu jedem unterschiedlichen Zeitpunkt ein dreidimensionales Modell der Topographie des beobachteten Objektsbereichs bereitgestellt. Hierdurch entsteht ein zeitlicher Verlauf des dreidimensionalen Modells.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen werden die jeweiligen Zeitpunkte der Schritte des Strahlungsdetektierens und des Bilddatenbereitstellens sowie des Ermittelns der Fokusabstände und/oder Zoomeinstellungen den entsprechenden Bildsätzen zugeordnet, so dass ein dreidimensionales Video-Modell der Topographie wenigstens eines Bereichs des beobachteten Objektes bereitgestellt wird. Durch die Zuordnung der Zeitpunkte zu einem bestimmten dreidimensionalen Modell entsteht eine zeitliche Reihenfolge, die beispielsweise einen späteren, gezielten Zugriff auf bestimmte Zeitpunkte und/oder eine gezielte Wiedergabe des Videos oder Auschnitten hiervon zum Beispiel mit einer bestimmten Geschwindigkeit ermöglicht.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann daher das erfindungsgemäße erste Verfahren zur Bereitstellung eines dreidimensionalen Video-Modells der Topographie zumindest eines Bereichs einer mit einem Mikroskopiersystem betrachteten Operationsszene eingesetzt werden.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen ist das dreidimensionale Modell metrisch korrekt oder umfasst metrisch korrekte, insbesondere metrisch korrekte dreidimensionale, Daten.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen sind die einzelnen dreidimensionalen Modelle eines Videos des dreidimensionalen Modells zu den jeweiligen einzelnen Zeitpunkten des Videos metrisch korrekt oder umfassen metrisch korrekte, insbesondere dreidimensionale, Daten.
Unter den Begriffen „metrisch korrekt“ oder „umfassend metrisch korrekter Daten“ kann insbesondere verstanden werden, dass der reelle tatsächliche Abstand zwischen zwei Punkten des beobachteten Objekts oder Objektbereichs aus dem dreidimensionalen Modell und/oder aus den Darstellungsbilddaten abrufbar, extrahierbar und/oder erschließbar ist.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen wird das dreidimensionale Modell über eine vorbestimmte und/oder bestimmbare Zeitdauer gespeichert. Eine Speicherung kann insbesondere auf einem flüchtigen und/oder auf einem nicht flüchtigen Datenträger erfolgen. Eine Speicherung kann beispielsweise auf einer RAM, einer Festplatte, einem USB-Stick, einer Speicherkarte oder dergleichen erfolgen.
Das erfindungsgemäße zweite Verfahren kann zur Betrachtung wenigstens einer Darstellung der Topographie wenigstens eines Bereichs eines mit einem Mikroskopiersystem beobachteten Objektes durch wenigstens einen Benutzer eingesetzt werden.
Das erfindungsgemäße zweite Verfahren kann zumindest den Schritt aufweisen, ein dreidimensionales Modell oder ein dreidimensionales Video-Modell der Topographie wenigstens eines Bereichs eines mit einem Mikroskopiersystem beobachteten Objektes bereitzustellen.
Weiterhin kann das erfindungsgemäße zweite Verfahren zumindest den Schritt aufweisen, Darstellungsbilddaten aus dem dreidimensionalen Modell zur Darstellung auf wenigstens einer Visualisierungsvorrichtung zu erzeugen, wobei die Einstellungen für die Erzeugung der Bilddaten vom wenigstens einem Benutzer wählbar und/oder veränderbar sind. Eine Möglichkeit Darstellungsbilddaten aus einem dreidimensionalen Datenmodell zu erzeugen ist beispielsweise in der EP 13 33 306 A2 offenbart, deren diesbezüglicher Offenbarung in der vorliegenden Anmeldung vollumfänglich übernommen wird.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen umfassen die Einstellungen für die Erzeugung der Darstellungsbilddaten zumindest einen Blickwinkel, aus welchem die Darstellungsbilddaten aus dem dreidimensionalen Modell erzeugt werden sollen.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann vorgesehen sein, vorbestimmte und/oder vorbestimmbare Standardparameter für die Erzeugungseinstellungen der Darstellungsbilddaten zu verwenden.
Schließlich kann das erfindungsgemäße zweite Verfahren zumindest den Schritt aufweisen, die Darstellungsbilddaten an wenigstens eine Visualisierungsvorrichtung zur Betrachtung durch den Benutzer zu übermitteln und auf dieser darzustellen.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen des zweiten Verfahrens kann das dreidimensionale Modell oder das dreidimensionale Video-Modell gemäß dem ersten erfindungsgemäßen Verfahren bereitgestellt werden. Dadurch kann die Betrachtung der wenigstens einen Topographiedarstellung des mit einem Mikroskopiersystem beobachteten Objekts oder Objektbereichs retrospektiv erfolgen.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen des zweiten Verfahrens erfolgt das Bereitstellen der von der detektierten Strahlung entsprechenden Bilddaten synchron oder im Wesentlichen synchron zur Betrachtung der Darstellungsdaten.
Der Begriff „im Wesentlichen synchron“, wie er hierhin verwendet wird, kann als fast gleichzeitig verstanden werden, und unterscheidet sich vom hierhin verwendeten Begriff „synchron“ durch eine verschwindend kleine Zeitabweichung, welche beispielsweise durch eine Rechenzeit und/oder eine Datenübermittlungszeit verursacht wird.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen des zweiten Verfahrens können dem rekonstruierten dreidimensionalen Modell und/oder der erzeugten Darstellungsbilddaten während ihrer Darstellung auf eine Visualisierungseinheit sogenannte multimodale Daten überlagert werden.
Multimodale Daten sind insbesondere Daten, die aus anderen bildgebenden Verfahren beispielsweise vor, während und/oder nach einer Operation gewonnen werden oder wurden und die, eineentsprechende Bildtransformationsvorschrift vorausgesetzt (sogenannte Registrierung), einem aus einem anderen Verfahren gewonnenen Bild als Textur oder Volumen überlagerbar sind. Beispielsweise kann es sich bei den multimodalen Daten um zweidimensionale FLOW800-Daten, die im IR800- oder BLUE 400 Fluoreszenzmodus aufgenommen werden oder wurden, handeln.
Unter „FLOW800-Daten“ können Daten, die mit dem analytischen Visualisierungs-Tool FLOW^® 800 für Fluoreszenz-Videosequenzen, die insbesondere mit INFRARED 800 (IR800) oder BLUE 400 generiert werden, verstanden werden. Das Visualisierungs-Tool kann dabei insbesondere Videosequenzen von IR800 oder Blue 400 aufbereiten, beispielsweise in Form von Übersichtskarten, Diagrammen oder Gegenüberstellungen und/oder kann durch visuelle und farbige Bewertung der Ergebnisse eine Interpretation eines Fluoreszenz-Videos, insbesondere einer Blutflussdynamik, unterstützen.
Unter „IR800“ oder „BLUE400“ können Module eines Operationsmikroskops für eine fluoreszenz-gestützte Video-Bildgebung verstanden werden.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen handelt es sich bei den multimodalen Daten um zweidimensionale Bilddaten.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen handelt es sich bei den multimodalen Daten um dreidimensionale Daten.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen können multimodale Daten einigen oder allen der einzelnen Frames eines Video-Modells überlagert werden. Unter Frame wird hierhin insbesondere das dreidimensionale Modell der Topographie eines Objektbereichs zu einem bestimmten Zeitpunkt t verstanden.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen können multimodale Daten Daten umfassen, welche aus einer computertomographischen und/oder magnetoresonanztomographischen und/oder radiologischen Untersuchung gewonnen wurden.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann es sich bei den multimodalen Daten um Fluoreszenzdaten, insbesondere um FLOW800 Daten, die im IR800-, oder BLUE400-Fluoreszenzmodus aufgenommen wurden oder werden, handeln.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen können die erzeugten Darstellungsbilddaten wenigstens eine erste und eine zweite Darstellung umfassen, die auf wenigstens einer gemeinsamen Visualisierungsvorrichtung dargestellt werden oder die zum Darstellen auf zwei unterschiedlichen Visualisierungsvorrichtungen dienen. Unter Verwendung einer geeigneten Visualisierungsvorrichtung kann ein sogenannter 3D-Effekt bei der Darstellung erzielt werden.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen können die Einstellungen für die Erzeugung der Darstellungsbilddaten einen Blickwinkel und/oder eine Vergrößerungsstufe und/oder eine Rotation und/oder eine virtuelle stereoskopische Darstellung und/oder eine Abschattierung und/oder eine virtuelle Beleuchtung und/oder das Anzeigen einer überlagerten Struktur und/oder die Auswahl einer Darstellungsfrequenz und/oder die Auswahl und/oder Hervorhebung wenigstens eines darzustellenden Segments umfassen.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann die Betrachtung der Darstellung interaktiv mit und durch den Benutzer erfolgen. Die Änderung der Darstellung kann durch die Veränderung der Einstellungen für die Erzeugung der Darstellungsbilddaten aktiv durch den Benutzer und die erneute Erzeugung der Darstellungsbilddaten mit den neuen Einstellungen sowie ihres Anzeigens auf einer geeigneten Visualisierungsvorrichtung erfolgen.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen erfolgt die interaktive Auswahl und/oder das interaktive Verändern der Einstellungen für die Erzeugung der Darstellungsbilddaten insbesondere nicht durch eine Positionierung und/oder Orientierung einer vorgesehenen Visualisierungsvorrichtung und/oder insbesondere nicht durch eine Erfassung der Positionierung und/oder der Orientierung von Körperteilen eines Benutzers, insbesondere bezüglich eines zu beobachtenden Objekts oder eines dazu verwendeten Mikroskopiersystems.
Die erfindungsgemäße Visualisierungsvorrichtung ist konfiguriert, geeignet und/oder vorgesehen zur Durchführung des erfindungsgemäßen zweiten Verfahrens.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann die Visualisierungsvorrichtung unabhängig voneinander Einrichtungen aufweisen, welche zum Ausführen eines jeden beliebigen Schrittes des zweiten erfindungsgemäßen Verfahrens konfiguriert, geeignet und/oder vorgesehen sind.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann die Visualisierungsvorrichtung wenigstens einen Bildgenerator zum Erzeugen von Darstellungsbilddaten aus dem bereitgestellten dreidimensionalen Modell oder aus den einzelnen bereitgestellten dreidimensionalen Modellen zu verschiedenen Zeitpunkten (Video-Modell) umfassen.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann der Bildgenerator zum Erzeugen zumindest eines zweidimensionalen Bilddatensatzes aus dem dreidimensionalen Video-Datenmodell konfiguriert, geeignet und/oder vorgesehen sein.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann die Visualisierungsvorrichtung zwei oder mehr Bildgeneratoren zum jeweiligen Erzeugen zumindest eines zweidimensionalen Bilddatensatzes aus dem dreidimensionalen Modell oder Video-Modell aufweisen.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen ist zumindest ein Bildgenerator zum, vorzugsweise synchronen, Erzeugen von zumindest zwei unterschiedlichen, beispielsweise drei, vier oder fünf, zweidimensionalen Bilddatensatzen aus einem dreidimensionalen Modell ausgebildet.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann die Visualisierungsvorrichtung wenigstens eine Interaktionseinheit zum Ändern der Einstellungen für das Erzeugen der Darstellungsbilddaten aufweisen.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann wenigstens eine Interaktionseinheit durch eine Steuerungseinheit oder eine Regelungseinheit steuerbar oder regelbar sein (offener oder geschlossener Regelkreis).
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann die Steuerungseinheit oder Regelungseinheit eine Mensch-Maschinenschnittstelle sein oder eine solche aufweisen. Eine solche Steuerungseinheit oder Regelungseinheit kann insbesondere eine Maus, ein Mousepad, eine Tastatur, ein Trackball oder eine gestengesteuerte Einheit sein.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann die Visualisierungsvorrichtung ein Modul zur Segmentierung aufweisen, welches die Darstellungsbilddaten in unterschiedliche Segmente unterteilt.
Das erfindungsgemäße Mikroskopiersystem ist konfiguriert, geeignet und/oder vorgesehen zur Durchführung eines ersten und/oder eines zweiten erfindungsgemäßen Verfahrens.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann das Mikroskopiersystem unabhängig voneinander Einrichtungen aufweisen, welche zum Ausführen eines jeden beliebigen Schrittes des ersten und/oder des zweiten erfindungsgemäßen Verfahrens konfiguriert, geeignet und/oder vorgesehen sind.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann das Mikroskopiersystem ein Operationsmikroskop, insbesondere ein stereoskopisches Operationsmikroskop mit wenigstens einem stereoskopischen optischen Eingang, umfassen.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann das Mikroskopiersystem mehrere optische Eingänge umfassen, insbesondere für beispielsweise einen Hauptbeobachter, einen Mitbeobachter und/oder einen Seitenbeobachter.
In anderen beispielhaften erfindungsgemäßen Ausführungsformen können die verschiedenen optischen Eingänge Blick auf ein und dasselbe Sichtfeld bieten.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann das Mikroskopiersystem eine Topographieerfassungseinheit umfassen. Eine solche Topographieerfassungseinheit kann insbesondere zum synchronen Detektieren der wenigstens von einem Bereich des Objektes ausgesandter Strahlung in wenigstens zwei unterschiedlichen Richtungen und Bereitstellen der von der detektierten Strahlung entsprechenden Bilddaten konfiguriert, geeignet und/oder vorgesehen sein.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann die Topographieerfassungseinheit wenigstens zwei Kameras umfassen, wobei jede Kamera für das Detektieren in eine bestimmte Richtung vorgesehen und angeordnet ist.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen können die wenigstens zwei Kameras zur synchronen Bildaufnahme eines beobachteten Objekts oder Objektfeldes aus unterschiedlichen Ansichten ausgebildet sein. Insbesondere können die Kameras miteinander synchronisiert sein. Der Begriff „Synchronisieren“ wie er hierin verwendet wird, kann als das zeitliche Aufeinander-Abstimmen von Vorgängen, beispielsweise von Kameravorgängen, insbesondere als ein zeitgleiches Aufeinander-Abstimmen, insbesondere von Vorgängen wie Bildaufnahme oder dergleichen. In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann eine, insbesondere exakte, Kameramodellierung bei Fokus- und/oder Vergrößerungsänderung vorhanden oder bereitgestellt sein.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann die Topographieerfassungseinheit zur synchronen Bildaufnahme eines gemeinsamen Sichtfeldes eines beobachteten Objekts oder Objektfeldes aus unterschiedlichen Ansichten oder Blickwinkeln ausgebildet sein.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen können die jeweiligen Kameras in den jeweiligen stereoskopischen oder nicht stereoskopischen optischen Eingänge des Mikroskopiersystems angebracht oder angeordnet sein.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen werden die zumindest zwei Kameras vor ihrem Einsatz kalibriert. Dabei können im allgemeinen Fall aus aufgenommenen Kamerabildern und basierend auf einem Modell der Abbildung für jede Kamera die wesentlichen Parameter berechnet werden. Eine solche Kamerakalibrierung erfolgt beispielsweise nach einem gängigen Modell, beispielsweise nach der Kalibrierung nach Zhang wie es in „A flexible new technique for camera calibration", Z. Zhang, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330–1334, 2000, erläutert wird.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann das Mikroskopiersystem wenigstens einen Bildgenerator zum Erzeugen von Darstellungsbilddaten aus einem dreidimensionalen Modell, insbesondere von einem auswählbaren und/oder veränderbaren Blickwinkel, umfassen.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen kann das Mikroskopiersystem wenigstens eine Visualisierungseinheit zur Darstellung und zur Betrachtung der Darstellungsbilddaten durch wenigstens einen Benutzer umfassen.
In manchen beispielhaften erfindungsgemäßen Ausführungsformen kann das Mikroskopiersystem alternativ oder zusätzlich wenigstens eine erfindungsgemäße Visualisierungseinheit umfassen.
In einigen beispielhaften erfindungsgemäßen Ausführungsformen kann das erfindungsgemäße Mikroskopiersystem mehrere Visualisierungseinheiten und/oder erfindungsgemäße Visualisierungsvorrichtungen aufweisen.
In bestimmten beispielhaften erfindungsgemäßen Ausführungsformen können mehrere der Visualisierungseinheiten und/oder der Visualisierungsvorrichtungen derart mit einem Bildgenerator verbunden sein, dass mit den Visualisierungseinheiten und/oder der Visualisierungsvorrichtungen dieselbe Darstellung zur Betrachtung angezeigt wird.
In weiteren beispielhaften erfindungsgemäßen Ausführungsformen der vorliegenden Erfindung ist eine Visualisierungseinheit und/oder eine Visualisierungsvorrichtung ein Touchscreen des verwendeten Mikroskopiersystems.
Ein erfindungsgemäßes digitales, insbesondere nicht-flüchtiges, Speichermedium, insbesondere in Form eines maschinenlesbaren Trägers, insbesondere in Form einer Diskette, CD oder DVD oder EPROM, mit elektronisch oder optisch auslesbaren Steuersignalen kann derart mit einem programmierbaren Computersystem zusammenwirken, dass die maschinellen Schritte eines oder beider erfindungsgemäßen Verfahren veranlasst werden.
Dabei können alle, einige oder manche der maschinell durchgeführten Schritte eines oder beider der erfindungsgemäßen Verfahren veranlasst werden.
Ein erfindungsgemäßes Computerprogramm-Produkt weist einen auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Veranlassung der maschinellen Schritte eines oder beider der erfindungsgemäßen Verfahren, wenn das Computerprogramm-Produkt auf einem Rechner abläuft, auf. Unter einem Computerprogramm-Produkt kann erfindungsgemäß beispielsweise ein auf einem Träger gespeichertes Computerprogramm, ein Embedded System als umfassendes System mit einem Computerprogramm (z. B. elektronisches Gerät mit einem Computerprogramm), ein Netzwerk von computerimplementierten Computerprogrammen (z. B. Client/Serversystem, Cloud Computing System, etc.), oder ein Computer, auf dem ein Computerprogramm geladen ist, abläuft, gespeichert ist, ausgeführt oder entwickelt wird, verstanden werden.
Der Begriff „maschinenlesbarer Träger“, wie er hierin verwendet wird, bezeichnet in bestimmten beispielhaften erfindungsgemäßen Ausführungsformen der vorliegenden Erfindung einen Träger, der von Software und/oder Hardware interpretierbare Daten oder Informationen enthält. Der Träger kann ein Datenträger, wie eine Diskette, eine CD, DVD, ein USB-Stick, eine Flashcard, eine SD-Karte und dergleichen sein.
Ein erfindungsgemäßes Computerprogramm weist einen Programmcode auf zur Veranlassung der maschinellen Schritte des ersten und/oder des zweiten erfindungsgemäßen Verfahrens, wenn das Computerprogramm auf einem Computer abläuft. Unter einem Computerprogramm kann erfindungsgemäß beispielsweise ein physikalisches, vertriebsfähiges Software-Produkt verstanden werden, welches ein Programm aufweist.
Auch für das erfindungsgemäße Computerprogramm-Produkt und das erfindungsgemäße Computerprogramm gilt, dass alle, einige oder manche der maschinell durchgeführten Schritte des ersten und/oder des zweiten erfindungsgemäßen Verfahrens veranlasst werden.
Alle mit einem der oder mit beiden Verfahren erzielbaren Vorteile lassen sich ungeschmälert auch mit dem anderen Verfahren, der Visualisierungsvorrichtung und dem Mikroskopiersystem erzielen.
Einige oder alle erfindungsgemäßen Ausführungsformen der vorliegenden Erfindung können einen oder mehrere der oben oder im Folgenden genannten Vorteile aufweisen.
Mittels der Erfindung können vorteilhaft mikroskopische Szenen, insbesondere mit schwach telezentrischen bis telezentrischen Aufnahmesystemen, beispielsweise mit wenigen Kameras, aufgenommen und ihre Topographie rekonstruiert werden.
Mittels der Erfindung können vorteilhaft aufgenommene mikroskopische Szenen analysiert werden.
In bestimmten Ausführungsformen der Erfindung kann vorteilhaft die Topographie eines Operationsbereichs oder einer Operationsszene erfasst werden. Insbesondere kann eine Darstellung dieser Topographie interaktiv, beispielsweise aus einem beliebigen Blickwinkel visualisiert werden, insbesondere synchron zur Beobachtung des Operationsbereichs oder der Operationsszene oder insbesondere auch retrospektiv.
Mittels der Erfindung kann vorteilhaft während und/oder nach einer Operation eine interaktive Betrachtung der rekonstruierten Operationsszene durch einen oder mehrere Benutzern mit anderen Darstellungsparametern, insbesondere unter einem anderen Blickwinkel, ermöglicht werden.
Mittels der Erfindung kann die Selektion von passenden Implantaten oder Clips während einer Operation, insbesondere durch Vermessung der Topographie auf der Visualisierungsvorrichtung, vorteilhaft vereinfacht werden.
In manchen Ausführungsformen der vorliegenden Erfindung ermöglicht die Rekonstruktion und anschließende Speicherung des dreidimensionalen Modells des beobachteten Objektbereichs oder Szene einerseits das retrospektive Abrufen der dreidimensionalen Information und anderseits die Auswertung beziehungsweise eine Weiterverarbeitung und/oder Analyse dieser dreidimensionalen Information.
In bestimmten Ausführungsformen der Erfindung kann es vorteilhaft möglich sein, eine früher aufgenommene Operationsszene im Nachhinein, insbesondere interaktiv, zu betrachten, was beispielhaft zu Schulungs- und/oder Trainingszwecken Anwendung finden kann.
In bestimmten Ausführungsformen der Erfindung kann es vorteilhaft möglich sein, während einer Operation, die beispielsweise durch einen Chefarzt ausgeführt wird, kontinuierlich einen zeitlichen Verlauf eines dreidimensionalen Modells der Operationsszene aufzuzeichnen. Ein Assistenzarzt, gegebenenfalls mit Kollegen, kann sich retrospektiv diesen Verlauf für Trainingszwecke ansehen. Vorteilhaft können in bestimmten Ausführungen der vorliegenden Erfindung nachträglich Messungen durchgeführt werden. So kann beispielhaft ausgemessen werden, welche Sicherheitsabstände zu bestimmten anatomischen Strukturen eingehalten wurden und/oder welche Volumina reseziert wurden.
Vorteilhafterweise kann insbesondere eine komplette Aufnahme einer Operation sowohl aus dem Blickwinkel eines operierenden Arztes als auch insbesondere zusätzlich interaktiv, beispielsweise gedreht und/oder herangezoomt und/oder von der Seite betrachtet werden. Dadurch können vorteilhaft bestimmte Vorgänge besser betrachtet werden, beispielsweise die Führung der Werkzeuge im Operationsbereich.
Durch die vorliegende Erfindung ist man bei der Wiedergabe der mit dem Mikroskopiersystem beobachteten Szene oder des beobachteten Bereichs nicht auf den Betrachtungspunkt der ursprünglichen Aufnahmen, beispielsweise des operierenden Arztes, beschränkt. Im Gegenteil, bei der vorliegenden Erfindung kann vorteilhaft der Blickwinkel, oder, anders formuliert, die Ansicht, aus welcher die Betrachtung erfolgen soll, von einem Benutzer, insbesondere interaktiv, ausgewählt und, insbesondere beliebig, verändert werden.
Beispielsweise kann vorteilhaft ein zweiter Benutzer oder Beobachter die Szene oder den Bereich aus einer anderen Ansicht betrachten, ohne dass am Mikroskopiersystem, insbesondere am Sichtfeld des operierenden Arztes irgendwelche Einstellungen verändert werden müssten.
In manchen Ausführungsformen der vorliegenden Erfindung, insbesondere falls das Detektieren rein kamerabasiert erfolgt, kann vorteilhaft auf eine strukturierte Beleuchtung verzichtet werden. Ein Detektieren auf Basis einer strukturierten Beleuchtung setzt in der Regel die Bestrahlung des beobachteten Objekts mit einem speziellen Muster sowie die mehrmalige Bildaufnahme eines Aufnahmebereichs voraus, um zusätzliche Informationen zu gewinnen.
Weiterhin kann durch die Erfindung ein Mikroskopiersystem mit wenigstens einem Mikroskopiersystem mit wenigstens zwei unterschiedlichen Einblickmöglichkeiten vorteilhaft und in einfacher Weise nachgerüstet werden. Dies trifft insbesondere zu, wenn das Detektieren kamerabasiert erfolgt. Insbesondere können sowohl stereoskopische Mikroskopiersysteme mit wenigstens einem stereoskopischen optischen Eingang, und/oder nicht stereoskopische Mikroskopiersysteme mit wenigstens zwei optischen Eingängen, beispielsweise mit einem optischen Haupteingang und einem seitlichen optischen Eingang, gleichermaßen nachgerüstet werden.
In bestimmten Ausführungsformen der Erfindung kann es vorteilhaft möglich sein, dass das rekonstruierte dreidimensionale Modell mit dem Sichtbereich eines optischen Eingangs, insbesondere mit dem Sichtbereich eines von einem Arzt verwendeten optischen Eingangs übereinstimmt. Werden die Einstellungen des optischen Eingangs verändert, so ändert sich der sichtbare Bereich und das rekonstruierte Modell wird feiner oder gröber.
Durch die Verwendung von gängigen Bild- oder Video-Formaten kann in bestimmten Ausführungsformen vorteilhaft eine Daten-Komprimierung ermöglicht werden. Eine Daten-Komprimierung kann vorteilhaft dazu beitragen die Datenmengen zu reduzieren. Eine Datenreduzierung trägt vorteilhaft dazu bei, weniger Speichermediumplatz zu benötigen und kann insbesondere in bestimmten Ausführungsformen ebenfalls dazu beitragen einen Rekonstruktionsschritt und/oder Darstellungsschritt und/oder Rechenschritt und/oder Übermittlungsschritt schneller auszuführen.
In manchen Ausführungsformen der vorliegenden Erfindung kann die Überlagerung von oder mit prä- oder postoperativen und/oder sonstigen sekundären Daten, beispielsweise Texturdaten, eine Verbesserung des Verständnisses der räumlichen und/oder funktionellen Anordnung des Operationsbereichs verbessern.
Weiterhin bietet die Interaktionseinheit die Möglichkeit, die Wiedergabe zu stoppen und vielfache Weiterverarbeitungsmöglichkeiten, wie z.B. Vermessungen von Abständen zwischen dreidimensionalen Punkten, durchzuführen.
Weiterhin kann es in bestimmten Ausführungsformen der vorliegenden Erfindung vorteilhaft möglich sein, Distanz- und/oder Flächen- und/oder Volumenmessungen vorzunehmen.
Insbesondere wenn das dreidimensionale Modell metrisch korrekte Daten umfasst kann es vorteilhaft möglich sein, diese Messungen mit Ergebnissen aus anderen Quellen, beispielsweise aus anderen Operationen und/oder Messmethoden und/oder Patienten, zu vergleichen. Außerdem müssen insbesondere in diesem Fall keine zusätzlichen Messinstrumente in den sterilen Operationsbereich eingebracht werden. Außerdem kann insbesondere bei Resektionen das Volumen und/oder die Fläche des entfernten Gewebes bestimmt werden.
Auch kann mit zumindest einem erfindungsgemäßen Verfahren eine Überlagerung von zweidimensionalen Daten, beispielsweise zweidimensionale FLOW800 Daten, die im IR800- oder BLUE 400-Fluoreszenzmodus aufgenommen wurden oder werden auf ein dreidimensionales Modell, das beispielsweise aus dem Betrachten eines Objektes oder Objektbereichs mit dem Mikroskopiersystem in einem Weißlichtmodus gewonnen wurden, erfolgen. Eine solche Überlagerung kann vorteilhaft, insbesondere wenn mit einer Blickwinkeländerung aus der Visualisierungsvorrichtung kombiniert, einen räumlichen Eindruck beziehungsweise das Verständnis zur räumlichen Einordnung von Strukturen wie Gefäßen verbessern.
Es kann in bestimmten Ausführungsformen der vorliegenden Erfindung vorteilhaft möglich sein, nur bestimmte Segmente des Operationsbereichs oder der Operationsszene darzustellen. Mittels der vorliegenden Erfindung kann es in bestimmten Ausführungsformen vorteilhaft möglich sein, bestimmte Segmente des Operationsbereichs oder der Operationsszene derart darzustellen, insbesondere mit einer Signalfarbe oder beispielsweise blinkend, dass diese besonders hervorgehoben werden. Dies kann insbesondere vorteilhaft dazu beitragen, eine bessere Übersicht des Operationsbereichs und/oder der Operationsszene zu erhalten.
Die vorliegende Erfindung wird im Folgenden anhand der beigefügten Zeichnungen, in welcher identische Bezugszeichen gleiche oder ähnliche Bauteile bezeichnen, exemplarisch erläutert. In den zum Teil stark vereinfachten Figuren gilt:
1 zeigt eine schematische Anordnung zur Durchführung wenigstens eines Teiles eines erfindungsgemäßen Verfahrens;
2 zeigt einen möglichen Ablauf zumindest eines Teiles eines erfindungsgemäßen Verfahrens;
3 zeigt ein Beispiel für eine dreidimensionale Rekonstruktion aus zwei synchron aufgenommenen Bildern eines Phantoms eines menschlichen Gehirns; und
4 zeigt ein Beispiel für eine Darstellung eines dreidimensionalen Modells mit überlagerten multimodalen Daten.
1 zeigt eine stark vereinfachte Prinzip-Anordnung zur Durchführung wenigstens eines Teiles eines erfindungsgemäßen Verfahrens, mit welchem ein Detektieren einer von einem beobachteten Bereich 5 reflektierten Strahlung, mit Hilfe eines optional stereoskopischen Mikroskopiersystems 1, erfolgen kann.
Das stereoskopische Mikroskopiersystem 1 weist zumindest einen stereoskopischen optischen Eingang 2 auf, beispielsweise für einen Benutzer, insbesondere für einen operierenden Arzt, der in 1 durch die zwei Pfeile vereinfacht dargestellt sind.
Der stereoskopische optische Eingang 2 steht mit wenigstens zwei unterschiedlichen Strahlengängen 3, 4 in Verbindung, die durch eine, insbesondere gemeinsame, Linse oder ein, insbesondere gemeinsames, Linsensystem L verlaufen. Die jeweils vom betrachteten Bereich 5 reflektierte Strahlung wird beispielsweise mit Hilfe zweier Kameras 6, 7 aus zwei unterschiedlichen Richtungen erfasst. Jede Kamera 6, 7 steht in optischer Verbindung mit einem nicht auch von der anderen Kamera erfassten Strahlengang 3, 4. Insbesondere kann in jedem Strahlengang 3, 4 eine Vorrichtung zur Aufspaltung des Strahls des jeweiligen Strahlengangs vorgesehen sein, wobei der aufgespaltete Strahl zu einer der Kameras 6, 7 und zum einem der stereoskopischen optischen Eingänge 2 geleitet wird. Die Kameras können beispielsweise CCD Kameras sein. Insbesondere können die Kameras in den jeweiligen Strahlengängen angeordnet sein, beispielsweise angeschraubt, oder in optischer Verbindung hiermit stehen. Die Kameras 6, 7 können kalibriert sein. Jede Kamera 6, 7 kann ein Abbild des Operationsbereichs oder der Operationsszene 5 aus einem unterschiedlichen Winkel aufnehmen.
Mit den jeweiligen Kameras 6, 7 werden Bilder des Operationsbereichs oder der beobachteten Operationsszene 5 aufgenommen und in Bilddaten A, B umgewandelt. Gleichzeitig werden zu jedem aufgenommenen Bild die am Operations-Mikroskopiersystem eingestellten Werte für Zoomfaktor (Vergrößerungsfaktor) und Fokusabstand C als relevante Daten ermittelt oder erfasst. Diese Daten C werden anschließend mit den einzelnen Bilddaten A, B oder mit den Video-Daten A(t), B(t) gespeichert und zusammen mit diesen übermittelt. Rein optional kann auch eine mikroskopspezifische Kalibrierungsdatei D, zusammen mit den Bild- oder Videodaten A, B oder getrennt von diesen, weiter an eine Einrichtung übermittelt werden.
Die Auswertung und/oder Weiterverarbeitung der übermittelten Daten kann beispielsweise in einer Rechnereinheit innerhalb oder alternativ außerhalb des Mikroskopiersystems erfolgen. Bei einer Auswertung und/oder Weiterverarbeitung innerhalb des Mikroskopiersystems kann beispielsweise die Topographie in Echtzeit visualisiert werden. Bei einer Auswertung und/oder Weiterverarbeitung außerhalb des Mikroskopiersystems kann beispielsweise die Topographie im Review-Modus erfolgen.
2 zeigt mögliche Abläufe zumindest eines Teiles eines erfindungsgemäßen Verfahrens.
Es werden folgende Daten bereitgestellt: Bilddaten A, B oder Video-Bilddaten A(t), B(t), zu jedem Bildpaar und/oder Zeitpunkt, die am Mikroskopiersystem eingestellten Werte für Zoomfaktor und/oder Fokusabstand C, sowie rein optional eine mikroskopspezifische Kalibrierungsdatei D.
In einem ersten optionalen Schritt S1 wird eine Kalibrierungsfunktion K oder K(t) aus den am Mikroskopiersystem, beispielsweise am Operationsmikroskop eingestellten Werten für Zoomfaktor und Fokusabstand C und rein optional zusätzlich aus der mikroskopspezifischen Kalibrierungsdatei D berechnet.
In einem zweiten Schritt S2 wird aus der Kalibrierungsfunktion K oder K(t) und aus den Bilddaten A, B oder aus den Video-Bilddaten A(t), B(t) für einen bestimmten Zeitpunkt t, ein dreidimensionales Datenmodell DM, oder ein dreidimensionales Datenmodell DM(t) der Topographie des beobachteten Objekts oder der beobachteten Szene für den Zeitpunkt t, erzeugt. Beispielsweise ist das dreidimensionale Datenmodell DM eine dichte dreidimensionale Rekonstruktion, die mit einer geeigneten Rekonstruktionsmethode, beispielsweise die des optischen Flusses oder der Epipolargeometrie, gewonnen oder erzeugt wird oder wurde. Insbesondere können die dreidimensionalen Modelle DM oder DM(t) beispielhaft ganz oder teilweise als Dreiecksnetze dargestellt oder allgemein repräsentiert werden.
Rein optional kann der Rekonstruktionsschritt S2 einen Segmentierungsschritt umfassen.
Rein optional kann das rekonstruierte Datenmodell DM oder DM(t) einen Speicherungsschritt S2’ umfassen, bei welchem das rekonstruierte Datenmodell DM für eine vorbestimmte und/oder vorbestimmbare Zeitdauer gespeichert wird. Rein optional kann das rekonstruierte Datenmodell DM oder DM(t) in Form eines Grauwertbilds gespeichert werden, um Datenmengen zu reduzieren und/oder ein Übermitteln zu verbessern.
Rein optional kann das rekonstruierte Datenmodell DM oder DM(t) davor und/oder danach komprimiert werden, um Datenmengen noch weiter zu reduzieren und/oder ein Übermitteln noch weiter zu verbessern.
Rein optional kann das rekonstruierte Datenmodell DM oder DM(t), insbesondere wenigstens ein Dreiecksnetz des rekonstruierten Datenmodells DM oder DM(t), in einem weiteren Schritt S2‘‘ mit einer Textur, insbesondere mit einer aus den Farbbilddaten einer Kamera erzeugten Textur, überlagert werden.
In einem weiteren Schritt S3 werden Einstellungen E für die Erzeugung von Darstellungsbilddaten aus dem dreidimensionalen Datenmodell DM oder DM(t) von einem Benutzer interaktiv gewählt und/oder verändert. Insbesondere können die Einstellungen mittels einer Interaktionseinheit gewählt und/oder verändert werden. Solche Interaktionen können insbesondere durch einer Steuer- oder Regeleinheit initiiert werden.
Bei den wählbaren und/oder veränderbaren Einstellungen kann es sich insbesondere um die Einstellung eines Blickwinkels, einer Vergrößerung, einer Rotation um einen bestimmten Winkel, eines zusätzliches Anzeigens oder nicht Anzeigens einer Textur, eines An- oder Ausschaltens einer virtuellen Beleuchtung, beispielsweise zur Kontrasterhöhung vorgesehen und geeignet, eines Anzeigens oder nicht Anzeigens eines bestimmten Segments, eines Umschaltens von einer zweidimensionalen Darstellung in einem virtuellen stereoskopischen Darstellungsmodus oder umgekehrt, einer Auswahl eines Echtzeit- oder Review-Modus, einer Wiedergabefrequenz, insbesondere einer Zeitlupe, eines Zeitraffers und/oder eines Einzelschrittmodus, und/oder eines Anhaltens beziehungsweise Einfrierens einer Wiedergabe, insbesondere um einzelne Szenen zu rotieren, skalieren und/oder zu vermessen, handeln.
In einem weiteren Schritt S4 werden aus dem dreidimensionalen Modell und den gewählten Einstellungen Darstellungsbilddaten DBM erzeugt, an wenigstens eine Visualisierungsvorrichtung 8 übermittelt und beispielsweise mit Hilfe wenigstens eines Bildgenerators, insbesondere eines Renderers, auf der Visualisierungsvorrichtung 8, beispielsweise einem Bildschirm dargestellt. Der Begriff „Renderer“, wie er hierhin verwendet wird, kann eine Einrichtung bezeichnen, welche die Berechnung eines Bildes aus einer 3D-Szene und/oder die Konvertierung einer Vektorgrafik in eine insbesondere zweidimensionale Pixeldarstellung bezeichnet.
Rein optional können an die Visualisierungsvorrichtung 8 zusätzlich multimodale Daten MD, insbesondere von zusätzlichen Sensoren oder Modulen, beispielsweise FLOW800-Daten, übermittelt werden. Insbesondere können die zusätzlich übermittelten multimodalen Daten MD entweder als Volumen oder Textur der Topographie und/oder den Darstellungsbilddaten DBM überlagert werden, insbesondere wenn eine Registrierung dieser Daten vorhanden ist.
Rein optional können, insbesondere mit Hilfe der Visualisierungsvorrichtung 8, dreidimensionale Punkte des dreidimensionalen Modells ausgewählt werden, um den, insbesondere realen, Abstand dieser Punkte zu messen. Diese Messfunktionalität kann insbesondere dazu verwendet werden, um Flächen und/oder Volumina zu berechnen.
Rein optional kann die Visualisierungsvorrichtung 8 ein Segmentierungsmodul aufweisen und/oder die Rekonstruktion einen Segmentierungsschritt umfassen, insbesondere um funktionale Gebiete und/oder Gewebe besser unterscheiden zu können.
Rein optional können Dreiecksnetze oder Segmente eines bestimmten Labels durch eine spezielle Farbmarkierung und/oder Animation, insbesondere durch Blinken, hervorgehoben werden.
Rein optional können Dreiecksnetze oder Segmente eines bestimmten Labels, insbesondere im Vordergrund störende Elemente, beispielsweise chirurgische Elemente oder Hände, ausgeblendet werden.
3 zeigt links zwei synchron aufgenommene Kamerabilder eines Phantomgehirns, beispielsweise aus Kunststoff, und rechts eine Darstellung des als Ergebnis der Rekonstruktion rekonstruierten Modells. Im Beispiel wurde die Entfernung von zwei Punkten des dreidimensionalen Modells gemessen. Diese Entfernung ist im Bild rechts als Verbindungslinie zwischen den Punkten O1 und O2 dargestellt und beträgt in diesem Beispiel 0,0195 m. Insbesondere wird hier deutlich, dass auch der Abstand zwischen Punkten mit unterschiedlicher Tiefe im Blickfeld gemessen werden kann.
4 zeigt ein Beispiel für eine Darstellung eines dreidimensionalen Modells (heller Teil, zentral im Bild) mit überlagerten computertomographischen (CT) Daten.
Bezugszeichenliste

1: Mikroskopiersystem
2: Stereoskopischer Eingang
3: optischer Strahlengang
4: optischer Strahlengang
5: Beobachteter Bereich
6: Kamera
7: Kamera
8: Visualisierungsvorrichtung
A, B: Bilddaten
A(t), B(t): Video-Bilddaten zum Zeitpunkt t
C: am Mikroskopiersystem eingestellte Werte für Zoomfaktor und/oder Fokusabstand
D: mikroskopspezifische Kalibrierungsdatei
E: Einstellungen
L: Linse oder Linsensystem
MD: Multimodale Daten
DBM: Darstellungsbilddaten
S1: Berechnen einer Kalibrierungsfunktion aus den jeweiligen Fokusabständen und/oder Zoomeinstellungen
S2: Rekonstruieren eines dreidimensionalen Modells der Topographie des Objektes aus den Bilddaten und der Kalibrierungsfunktion
S2’: Speicherungsschritt
S2’’: Texturüberlagerungsschritt
S3: Wahl oder Veränderung der Einstellungen E für die Erzeugung von Darstellungsbilddaten
S4: Übermittlung und Darstellung der Bilddaten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1333305 A2 [0031]
EP 1333306 A2 [0082]

Zitierte Nicht-Patentliteratur

„Multi-View Stereo as an Inverse Inference Problem“, Christoph Strecha, Ph.D Dissertation, KU Leuven, May 2007 [0041]
„Advanced Concepts for Intelligent Vision Systems“, Lasaruk Aless., Springer Berlin Heidelberg, 2012, Seite 336 bis 348 [0041]
„A flexible new technique for camera calibration“, Z. Zhang, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330–1334, 2000 [0122]

Claims

Verfahren zur Bereitstellung eines dreidimensionalen Modells der Topographie zumindest eines Bereichs (5) eines mit einem Mikroskopiersystem (1) beobachteten Objektes, umfassend a) Synchrones Detektieren der wenigstens von einem Bereich (5) des Objektes ausgesandten oder empfangenen Strahlung in wenigstens zwei unterschiedlichen Richtungen und Bereitstellen der von der detektierten Strahlung entsprechenden Bilddaten (A, B); b) Synchrones Ermitteln der für die jeweiligen Richtungen relevanten Fokusabstände und/oder Zoomeinstellungen (C) des Mikroskopiersystems (1); c) Berechnen (S1) einer Kalibrierungsfunktion (K) aus den jeweiligen Fokusabständen und/oder Zoomeinstellungen (C); und d) Rekonstruieren (S2) eines dreidimensionalen Modells der Topographie des Objektes aus den Bilddaten (A, B) und der zuvor berechneten Kalibrierungsfunktion (K).
Verfahren nach Anspruch 1, wobei das Rekonstruieren nach der Methode des optischen Flusses oder der Epipolargeometrie erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bilddaten (A, B) vor und/oder nach ihrer Bereitstellung und/oder das rekonstruierte dreidimensionale Modell verlustfrei oder verlustbehaftet komprimiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Rekonstruieren und/oder die Berechnung der Kalibrierungsfunktion (K) zusätzlich eine mikroskopspezifische Kalibrierungsdatei (D) des Mikroskopiersystems (1) berücksichtigt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Rekonstruieren einen Segmentierungsschritt aufweist.
Verfahren nach einem der der vorhergehenden Ansprüche, wobei das rekonstruierte dreidimensionale Modell ein Dreiecksnetz ist oder wenigstens ein Dreiecksnetz umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest die Schritte a) bis d) einmal oder mehrfach wiederholt werden, und wobei die Zeitpunkte der Schritte a) und b) den entsprechenden Bildsätzen zugeordnet werden, so dass ein dreidimensionales Video-Modell der Topographie wenigstens eines Bereichs (5) des beobachteten Objektes bereitgestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das dreidimensionale Modell metrisch korrekt ist oder metrisch korrekte dreidimensionale Daten umfasst.
Verfahren nach einem der vorhergehenden Ansprüche wobei das dreidimensionale Modell über eine vorbestimmte Zeitdauer gespeichert wird.
Verfahren zur Betrachtung wenigstens einer Darstellung der Topographie wenigstens eines Bereichs (5) eines mit einem Mikroskopiersystem (1) beobachteten Objektes durch wenigstens einen Benutzer, umfassend a) Bereitstellen eines dreidimensionalen Modells oder Video-Modells der Topographie wenigstens eines Bereichs (5) eines mit einem Mikroskopiersystem (1) beobachteten Objektes; b) Erzeugen von Darstellungsbilddaten (DBM) aus dem dreidimensionalen Modell zur Darstellung auf wenigstens einer Visualisierungsvorrichtung (8), wobei die Einstellungen für die Erzeugung der Darstellungsbilddaten vom wenigstens einen Benutzer wählbar und/oder veränderbar sind (S3); und c) Übermitteln und Darstellen der Darstellungsbilddaten (DBM) an beziehungsweise auf wenigstens eine(r) Visualisierungsvorrichtung (8) zur Betrachtung durch den Benutzer (S4).
Verfahren nach Anspruch 10, wobei das dreidimensionale Modell oder Video-Modell gemäß einem Verfahren nach einem der Ansprüche 1 bis 10 bereitgestellt wird.
Verfahren nach Anspruch 11, wobei das Bereitstellen der von der detektierten Strahlung entsprechenden Bilddaten (A, B) synchron oder im Wesentlichen synchron zur Betrachtung der Darstellungsdaten erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei dem dreidimensionalen Modell und/oder der wenigstens einen Darstellung der Topographie multimodale Daten (MD) überlagert werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die erzeugten Darstellungsbilddaten (DBM) wenigstens eine erste und eine zweite Darstellung umfassen zum Darstellen auf wenigstens einer gemeinsamen Visualisierungsvorrichtung (8) oder zum Darstellen auf zwei unterschiedlichen Visualisierungsvorrichtungen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Einstellungen für die Erzeugung der Darstellungsbilddaten (DBM) einen Blickwinkel und/oder eine Vergrößerungsstufe und/oder eine Rotation und/oder eine virtuelle stereoskopische Darstellung und/oder eine Abschattierung und/oder eine virtuelle Beleuchtung und/oder das Anzeigen einer überlagerten Struktur und/oder die Auswahl einer Darstellungsfrequenz und/oder die Auswahl oder Hervorhebung eines oder mehrerer unterschiedlicher Segmente des dreidimensionalen Modells umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Betrachtung der Darstellung interaktiv mit und durch den Benutzer erfolgt.
Visualisierungsvorrichtung (8) konfiguriert zur Durchführung eines Verfahrens nach einem der Ansprüche 10 bis 16.
Visualisierungsvorrichtung (8) nach Anspruch 17 mit wenigstens einem Bildgenerator zum Erzeugen von Darstellungsbilddaten (DBM) und wenigstens einer Interaktionseinheit zum Ändern der Einstellungen für das Erzeugen der Darstellungsbilddaten (DBM), wobei wenigstens eine Interaktionseinheit durch eine Steuerungseinheit oder eine Regelungseinheit steuerbar oder regelbar ist.
Visualisierungsvorrichtung (8) nach Anspruch 18, wobei die Steuerungseinheit oder Regelungseinheit eine Mensch-Maschinenschnittstelle ist oder eine solche aufweist.
Mikroskopiersystem (1) konfiguriert zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 10 und/oder zur Durchführung eines Verfahrens nach einem der Ansprüche 10 bis 16.
Mikroskopiersystem (1) nach Anspruch 20 umfassend eine Topographieerfassungseinheit zum synchronen Detektieren der wenigstens von einem Bereich (5) des Objektes ausgesandter Strahlung in wenigstens zwei unterschiedlichen Richtungen und Bereitstellen der von der detektierten Strahlung entsprechenden Bilddaten (A, B).
Mikroskopiersystem (1) nach Anspruch 21, wobei die Topographieerfassungseinheit wenigstens zwei Kameras (6, 7) umfasst.
Mikroskopiersystem (1) nach einem der vorhergehenden Ansprüche umfassend wenigstens ein Bildgenerator zum Erzeugen von Darstellungsbilddaten (DBM) aus einem dreidimensionalen Modell und wenigstens eine Visualisierungseinheit zur Darstellung der Darstellungsbilddaten (DBM) auf einer Visualisierungsvorrichtung (8) zur Betrachtung durch wenigstens einen Benutzer oder umfassend wenigstens eine Visualisierungseinheit nach einem der Ansprüche 17 bis
Digitales Speichermedium, insbesondere in Form einer Diskette, CD oder DVD oder EPROM, mit elektronisch auslesbaren Steuersignalen, konfiguriert, um derart mit einem programmierbaren Computersystem zusammenzuwirken, dass die maschinellen Schritte eines erfindungsgemäßen Verfahrens nach einem der Ansprüche 1 bis 9 und/oder der Ansprüche 10 bis 16 veranlasst werden.
Computerprogramm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Veranlassung der maschinellen Schritte des erfindungsgemäßen Verfahrens gemäß einem der Ansprüche 1 bis 10 und/oder der Ansprüche 10 bis 16, wenn das Computerprogramm-Produkt auf einem Rechner abläuft.
Computerprogramm mit einem Programmcode zur Veranlassung der maschinellen Schritte eines erfindungsgemäßen Verfahrens gemäß einem der Ansprüche 1 bis 10 und/oder der Ansprüche 10 bis 16, wenn das Computerprogramm auf einem Computer abläuft.