-
Die Erfindung betrifft in einem ersten Gesichtspunkt ein Verfahren zur Mikroskopie. In einem zweiten Gesichtspunkt betrifft die Erfindung eine Vorrichtung zur Lichtfeldmikroskopie nach dem Oberbegriff des Anspruchs 31.
-
Eine gattungsgemäße Vorrichtung zur Mikroskopie beinhaltet mindestens folgende Komponenten: ein Lichtfeldmikroskop mit einer Lichtquelle zum Aussenden von Anregungslicht, einen Beleuchtungsstrahlengang zum Leiten des Anregungslichts auf oder in eine Probe, einen zweidimensional ortsauflösenden Detektor zum Nachweis von von der Probe abgestrahltem Licht, einen Detektionsstrahlengang mindestens mit einem Mikroskopobjektiv und einem Multilinsenarray zum Abbilden von von der Probe abgestrahltem Licht auf den Detektor und eine Steuer- und Auswerteeinheit zum Ansteuern der Lichtquelle und des Detektors und zum Auswerten der von dem Detektor erhaltenen Messdaten, wobei die Steuer- und Auswerteeinheit dazu eingerichtet ist, die Lichtquelle und den Detektor zur Aufnahme mindestens eines Bilds der Probe anzusteuern, wobei ein Bild jeweils einen Satz von Teilbildern umfasst (Schritt A).
-
Eine Anordnung mit einem Mikroskopobjektiv, einem Multilinsenarray und einer Kamera kann als Lichtfeldmikroskop oder auch als Lichtfelddetektor bezeichnet werden.
-
In der biomedizinischen Forschung werden zunehmend Prozesse in Organen, Geweben und Organismen untersucht. Zur schnellen Bildaufnahme kommt zunehmend die Lichtfeldmikroskopie (LFM) zum Einsatz. Die Lichtfeldmikroskopie hat den Vorteil, dass aus einer einzigen Kameraaufnahme, die in der Regel innerhalb von Bruchteilen von Sekunden erfolgt, ein Volumen mit einigen zehn bis hundert Schnittbildern/z-Ebenen rekonstruiert werden kann. Die mögliche Ausdehnung des beobachteten Volumens in z-Richtung hängt dabei stark vom verwendeten Mikroskopobjektiv und insbesondere von dessen numerischer Apertur ab.
-
Bei der Lichtfeldmikroskopie sind verschiedene Ausführungsformen möglich. Bei der sogenannten Ortsraum-Lichtfeldmikroskopie wird in einer zur Objektebene konjugierten Ebene im Detektionsstrahlengang ein Multilinsenarray (MLA) angeordnet. In dessen hinterer Brennebene, die dann zur hinteren Brennebene des Mikroskopobjektivs (BFP, back focal plane) optisch konjugiert ist, wird dann mit einem Kamerasensor detektiert.
-
Eine für die Mikroskopie intuitivere Methode ist die sogenannte Fourier- Lichtfeldmikroskopie, bei der das Multilinsenarray (MLA) in einer zur Pupillenebene des Objektivs konjugierten Ebene angeordnet ist. Die Detektion erfolgt wieder in der hinteren Brennebene (BFP) des Multilinsenarrays. In diesem Fall werden reale Abbilder des Probenvolumens als Teilbilder innerhalb des aufgenommenen Kamerabildes erfasst, die aber jeweils zu unterschiedlichen parallaktischen Blickrichtungen auf die Probe gehören. Wegen der Parallaxe bewirkt eine - gedachte - axiale Verschiebung eines emittierenden Fluoreszenzmoleküls im Objektraum eine von der Position der jeweils betrachtenden Linse abhängige laterale Verschiebung des Signals auf dem Kamerasensor.
-
In der vorliegenden Anmeldung wird der Begriff der Punktverteilungsfunktion verwendet. Damit ist diejenige Intensitätsverteilung des Lichts gemeint, in welche eine punktförmige Lichtquelle, beispielsweise von einer Linse des Multilinsenarrays, überführt wird. Für diese Funktion sind auch die Begriffe Punktverwaschungsfunktion, Punktbildfunktion oder der englische Begriff Point-Spread-Function (PSF) geläufig.
-
Zur Rekonstruktion der strukturellen Volumeninformation aus den Rohdaten stehen verschiedene Algorithmen zur Verfügung.
-
Bei einem ersten Algorithmus werden zunächst alle Teilbilddaten aus dem Kamerabild zu einem Bildstapel separiert, wobei jedes Teilbild dieses Stapels einer Blickrichtung auf die Probe entspricht. Um den Bildinhalt einer bestimmten axialen Probenebene zu berechnen, wird nun jedes Teilbild dieses Stapels um die für die gewählte axiale Ebene erwartete parallaktische Verschiebung verschoben. Danach wird der so erzeugte Stapel zu einem Bild einer z-Ebene aufsummiert. Um ein dreidimensionales Bild zu erhalten, auch als 3D-Stapel bezeichnet, wird dieses Verfahren dann für die weiteren axialen Probenebenen wiederholt und aus Bildern für die einzelnen z-Ebenen wird dann ein dreidimensionales Bild zusammengesetzt.
-
Der Nachteil dieses Verfahrens, das auch als Shift&Sum-Verfahren (S&S) bezeichnet wird, ist, dass Detailinformationen, insbesondere bei dicht besetzten Proben, stark von Hintergrundsignal überlagert sein können.
-
Bei einem ähnlichen Verfahren werden die Teilbilder des Bildstapels jeweils in derselben Weise wie beim Shift&Sum-Verfahren entsprechend der für die jeweils gewählte axiale Ebene erwartete parallaktische Verschiebung verschoben. Anschließend werden die Bilder des so erzeugten Stapels aber nicht wie beim Shift&Sum-Verfahren für eine z-Ebene aufsummiert, sondern sie werden vielmehr multipliziert. Dieses Verfahren wird deshalb auch als Shift&Multiply-Verfahren bezeichnet. Dieses Verfahren liefert ebenfalls gute Ergebnisse für Proben mit relativ wenigen Emittern im Probenvolumen.
-
Die mithilfe des Shift&Sum- oder des Shift&Multiply-Verfahrens gewonnenen dreidimensionalen Bilder der Probe können gegebenenfalls noch verbessert werden, indem eine Entfaltung mit der gesamten Punktverteilungsfunktion (PSF) des Multilinsenarrays durchgeführt wird. Die gesamte Punktverteilungsfunktion (PSF) des Multilinsenarrays setzt sich zusammen aus den Punktverteilungsfunktionen der einzelnen Linsen des Multilinsenarrays.
-
Eine weitere wichtige Klasse von Verfahren zur Rekonstruktion eines dreidimensionalen Bilds der Probe gehen aus von der Betrachtung einer Abbildungsfunktion, welche die Wirkung des abbildenden optischen Systems, hier: des Lichtfeldmikroskops, beschreibt und welche die gesuchte räumliche (also dreidimensionale) Verteilung von Strahlungsemittern in ein zu beobachtendes Bild überführt. Die Auswerteaufgabe besteht nun darin, zu dieser Abbildungsfunktion die inverse Funktion aufzufinden, um aus beobachteten Bilddaten die gesuchte räumliche Verteilung von Strahlungsemittern zu erhalten. Zu diesen Verfahren gehören insbesondere Entfaltungsverfahren. Bei iterativen Entfaltungsverfahren, beispielsweise unter Verwendung des Richardson-Lucy-Iterationsschemas, wird nicht direkt die inverse Abbildungsfunktion ermittelt, sondern es wird iterativ die Verteilung von Strahlungsemittern gesucht, die bei Anwendung der Abbildungsfunktion am besten zu den beobachteten Bilddaten passt.
-
Eine weitere Methode nutzt einen Joint Deconvolution Ansatz (jDCV). Hierzu ist ebenso die Kenntnis der Abbildungsfunktion, beispielsweise in Form der Punktverteilungsfunktion (PSF), zu jeder Mikrolinse notwendig und die Rechenzeiten sind deutlich länger als etwa bei Shift&Sum-Verfahren. Dafür erhält man ein deutlich kontrastreicheres Bild.
-
Außerdem können sogenannte Wiener-Entfaltungsverfahren (Wiener-Deconvolution) bei den Rekonstruktionsverfahren zum Einsatz kommen, um das Rauschen bei hohen Ortsfrequenzen zu reduzieren.
-
Eine gattungsgemäße Vorrichtung und Verfahren zur Bildrekonstruktion sind beschrieben in Vol. 27, No. 18 / 2 September 2019 / Optics Express 25573.
-
Eine generell bei der optischen Mikroskopie auftretende Schwierigkeit resultiert aus Störungen des idealen optischen Abbildungssystems, verursacht insbesondere durch Bestandteile des Abbildungssystems vom Mikroskopobjektiv bis zu einer zu untersuchenden Probe. Typischerweise sind Mikroskopobjektive für bestimmte Parameter des Strahlwegs bis zu der zu untersuchenden Probe optimiert. Man spricht in diesem Zusammenhang von Normobjektiven, bei Immersionsobjektiven auch von Normimmersionsobjektiven. Relevante Parameter des Strahlwegs sind, neben anderen, insbesondere die Dicke eines Deckglases, die Brechzahl eines Einbettmediums, in welchem die Probe aufgenommen ist, die Brechzahl eines Immersionsmediums, der Abstand einer zu untersuchenden Probe vom Mikroskopobjektiv. Abweichungen eines oder mehrerer dieser Parameter von den Normwerten, für welche das verwendete Mikroskopobjektiv optimiert ist, führen zu Bildfehlern, die die Qualität der Mikroskopbilder an sich beeinträchtigen und infolgedessen auch zu schlechteren Ergebnissen bei der Rekonstruktion der strukturellen Volumeninformation aus den Rohdaten der Bilder führen.
-
Als eine Aufgabe der Erfindung kann angesehen werden, ein Verfahren und eine Vorrichtung bereitzustellen, mit denen eine bessere Rekonstruktion der strukturellen Volumeninformationen der Probe erreicht wird.
-
Diese Aufgabe wird durch das Verfahren mit den Merkmalen des Anspruchs 1 und durch die Vorrichtung mit den Merkmalen des Anspruchs 31 gelöst.
-
Vorteilhafte Varianten des erfindungsgemäßen Verfahrens und bevorzugte Ausgestaltungen der erfindungsgemäßen Vorrichtung werden im Folgenden, insbesondere im Zusammenhang mit den abhängigen Ansprüchen und den Figuren, erläutert.
-
Bei dem erfindungsgemäßen Verfahren werden folgende Verfahrensschritte durchgeführt:
- a) mit dem Lichtfeldmikroskop wird mindestens ein Bild einer Probe aufgenommen, welches aus einem Satz von Teilbildern besteht,
- b) mindestens ein Bildfehler des Abbildungssystems des Lichtfeldmikroskops wird durch einen Benutzer vorgegeben und/oder aus einem im Verfahrensschritt a) aufgenommenen Satz von Teilbildern ermittelt,
- c) unter Verwendung der im Verfahrensschritt b) vorgegebenen und/oder ermittelten Bildfehler des Abbildungssystems wird einer oder werden beide der folgenden Verfahrensschritte d) und e) durchgeführt:
- d) Rekonstruieren eines dreidimensionalen Bilds der Probe aus dem Satz von Teilbildern, wobei die im Verfahrensschritt b) vorgegebenen und/oder ermittelten Bildfehler des Abbildungssystems mindestens teilweise korrigiert werden;
- e) Ermitteln von verbesserten Einstellungen von einstellbaren Komponenten des Abbildungssystems, welche Wellenfronten des propagierten Lichts beeinflussen, in Abhängigkeit der im Verfahrensschritt b) vorgegebenen und/oder ermittelten Bildfehler.
-
Die Vorrichtung zur Mikroskopie der oben angegebenen Art ist erfindungsgemäß dadurch gekennzeichnet, dass die Steuer- und Auswerteeinheit außerdem dazu eingerichtet ist,
- B) mindestens einen Bildfehler des Abbildungssystems des Lichtfeldmikroskops gemäß einer Benutzereingabe vorzugeben und/oder aus einem im Schritt A) aufgenommenen Satz von Teilbildern zu ermitteln,
- C) unter Verwendung der im Schritt B) vorgegebenen und/oder ermittelten Bildfehler des Abbildungssystems einen oder beide der folgenden Schritte D) und E) durchzuführen:
- D) Rekonstruktion eines dreidimensionalen Bilds der Probe (5) aus dem Satz von Teilbildern mit mindestens teilweiser Korrektur der im Schritt B) vorgegebenen oder ermittelten Bildfehler;
- E) Ermittlung von verbesserten Einstellungen von einstellbaren Komponenten des Abbildungssystems, welche Wellenfronten des propagierten Lichts beeinflussen, abhängig von den im Schritt B) vorgegebenen oder ermittelten Bildfehlern.
-
Eine wesentliche Erkenntnis der vorliegenden Erfindung ist, dass es möglich ist, aus einem Satz von Teilbildern, die gewonnen wurden mit einem Abbildungssystem, welches optische Störungen aufweist, gleichwohl eine dreidimensionale Information, also eine Volumeninformation, mit guter Bildqualität zu rekonstruieren. Dieses ist insbesondere möglich für Abbildungssysteme, bei denen einer oder mehrere der relevanten optischen Parameter von den jeweiligen Normparametern, für welche das Mikroskopobjektivs optimiert ist, abweicht oder abweichen.
-
Eine weitere wesentliche Idee der Erfindung ist es, Bildfehler des Abbildungssystems vorzugeben oder, ergänzend oder alternativ, aus einem aufgenommenen Satz von Teilbildern zu extrahieren. Die Bildfehler können auch als Wellenfrontfehler bezeichnet werden. Die Vorgabe der Bildfehler kann insbesondere durch Vorgabe eines Parameters einer Komponente des Abbildungssystems erfolgen. Beispielsweise kann eine Dicke eines Deckglases und/oder eine Brechzahl eines Einbettmediums, in welchem die zu untersuchende Probe eingebettet ist, vorgegeben werden.
-
Schließlich ist ein wesentlicher Grundgedanke der Erfindung, unter Verwendung der vorgegebenen und/oder aus den Teilbildern extrahierten Bildfehler eine korrigierte und/oder optimierte Rekonstruktion der Volumeninformation durchzuführen.
-
Ergänzend oder alternativ können erfindungsgemäß für Komponenten des Abbildungssystems, welche die Wellenfront des propagierten Lichts beeinflussen, unter Verwendung der vorgegebenen und/oder aus den Teilbildern extrahierten Bildfehler im Hinblick auf die Abbildungsqualität verbesserte Einstellungen ermittelt werden. Nach Vollzug dieser verbesserten Einstellungen an den jeweiligen Komponenten können dann weitere Bilder aufgenommen werden.
-
Das Grundprinzip der Bestimmung der Wellenfront und damit der Bildfehler ist vergleichbar mit einer Wellenfrontmessung mittels eines Shack-Hartmann-Sensors. Jedoch ist aufgrund der in der Regel komplexen Natur der von einer Probe zurückgestrahlten Lichtverteilung eine einfache Schwerpunktsbestimmung nicht hinreichend, um die Form einer Wellenfront zu extrahieren.
-
Durch die Zerlegung der Detektionsoptik in eine der Anzahl von Linsen des Multilinsenarray entsprechenden Anzahl von Subaperturen mit sehr kleiner numerischer Apertur, ist es möglich, die Wellenfrontfehler zwischen den einzelnen Aperturbereichen bei der Verrechnung der Bilder zu korrigieren. Eine lokale Kippung der Wellenfront innerhalb einer einzelnen Subapertur bewirkt eine Verschiebung des jeweiligen Teilbilds. Bei der Korrektur können im Prinzip beliebige Wellenfrontfehler in der Pupille mit einer der Anzahl von Linsen des Multilinsenarrays entsprechenden Anzahl von Stützstellen kompensiert werden. Diese Kompensierung entspricht der Wirkung eines adaptiven Spiegels in einer Pupillenebene mit einer der Anzahl von Linsen des Multilinsenarrays entsprechenden Anzahl von Aktoren.
-
Allgemein sind die verbesserten Einstellungen der Komponenten des Abbildungssystems, welche die Wellenfront des propagierten Lichts beeinflussen, so geartet, dass die im Verfahrensschritt b) ermittelten und/oder vorgegebenen Bildfehler mindestens teilweise, insbesondere möglichst weitgehend, kompensiert werden.
-
Wenn in Schritt b) Bildfehler vorgegeben werden und Schritt d) nicht durchgeführt wird, muss Schritt a) nicht durchgeführt werden. Das Verfahren ist dann ein Verfahren zum Auffinden von verbesserten Einstellungen von einstellbaren Komponenten des Abbildungssystems, welche Wellenfronten des propagierten Lichts beeinflussen.
-
Mit den verbesserten Einstellungen der einstellbaren Komponenten des Abbildungssystems kann dann ein Bild einer Probe aufgenommen werden, aus dem in grundsätzlich bekannter Weise eine dreidimensionales Bild einer Probe rekonstruiert werden kann.
-
Als wesentlicher Vorteil der vorliegenden Erfindung kann angesehen werden, dass es selbst bei Abbildungssystemen, die von Normabbildungssystemen abweichen und insoweit optische Störungen aufweisen, möglich ist, Volumenbilder mit guter Qualität zu erhalten. In vielen Fällen ist dieses möglich, ohne dass am Mikroskopsystem selbst Änderungen vorgenommen werden müssen, d. h., der Ausgleich der optischen Störungen kann im Wesentlichen auf der Seite der Verarbeitung der Bilddaten der Teilbilder bewerkstelligt werden.
-
Das Anregungslicht ist elektromagnetische Strahlung, insbesondere im sichtbaren Spektralbereich und angrenzenden Bereichen. An das kontrastgebende Prinzip ist für die vorliegende Erfindung nur insoweit eine Anforderung gestellt, als die Probe infolge der Bestrahlung mit dem Anregungslicht Emissionslicht abstrahlt und/oder das Anregungslicht ablenkt, streut oder zurückstrahlt. Typischerweise ist das Emissionslicht Fluoreszenzlicht, welches die Probe, insbesondere dort vorhandene Farbstoffmoleküle, infolge der Bestrahlung mit dem Anregungslicht abstrahlt oder abstrahlen.
-
Zum Bereitstellen des Anregungslichts kann mindestens eine Lichtquelle, beispielsweise ein Laser, vorhanden sein. Die spektrale Zusammensetzung des Anregungslichts kann, insbesondere zwischen zwei oder mehr Farben, einstellbar sein. Das Anregungslicht kann auch simultan polychromatisch sein, beispielsweise wenn gleichzeitig unterschiedliche Farbstoffe nachgewiesen werden sollen.
-
Mit dem Begriff des Beleuchtungsstrahlengangs werden alle optischen strahlführenden und strahlverändernden Komponenten bezeichnet, beispielsweise Mikroskopobjektive, Linsen, Spiegel, Prismen, Gitter, Filter, Blenden, Strahlteiler, Modulatoren, z.B. Spatial-Light Modulatoren (SLM), mit denen und über welche das Anregungslicht der Lichtquelle bis auf die zu untersuchende Probe geleitet wird.
-
Die Beleuchtung der Probe kann insbesondere über dasselbe Mikroskopobjektiv erfolgen, welches auch Teil des Detektionsstrahlengangs ist. Zum Trennen des Anregungslichts von Emissionslicht, welches die Probe infolge der Beaufschlagung mit dem Anregungslicht abstrahlt, kann dann zweckmäßig ein Strahlteiler vorhanden sein. Es ist aber auch möglich, dass für die Beleuchtung ein anderes Mikroskopobjektiv oder eine andere optische Einrichtung vorhanden ist, beispielsweise bei einer Durchlichtanordnung oder einer Anordnung zur Schrägbeleuchtung.
-
Von der zu untersuchenden Probe infolge der Bestrahlung mit dem Anregungslicht ausgesandtes und/oder abgelenktes, beispielsweise gestreutes, Licht wird als Emissionslicht bezeichnet und gelangt über den Detektionsstrahlengang auf die Kamera. Mit dem Begriff des Detektionsstrahlengangs werden alle strahlführenden und strahlverändernden optischen Komponenten, beispielsweise Linsen, Spiegel, Prismen, Gitter, Filter, Blenden, Strahlteiler, Modulatoren, z.B. Spatial-Light Modulatoren (SLM), bezeichnet, mit denen und über welche das Emissionslicht von der zu untersuchenden Probe bis auf den Detektor geleitet wird.
-
Der Detektionsstrahlengang kann neben dem Mikroskopobjektiv, dem Multilinsenarray und dem Detektor insbesondere eine Probeneinheit aufweisen. Das Abbildungssystem kann mindestens das Mikroskopobjektiv und die Probeneinheit aufweisen. Die Probeneinheit kann eine oder mehrere der folgenden Komponenten aufweisen: Deckglas, Einbettmedium, in welchem die zu untersuchende Probe eingebettet ist, Objektträger, Petrischale, Immersionsmedium.
-
Als einstellbare Komponente oder Komponenten des Abbildungssystems, welche Wellenfronten des propagierten Lichts beeinflussen und für welche mithilfe des erfindungsgemäßen Verfahrens verbesserte Einstellungen gefunden werden, kann mindestens eine oder können mehrere der folgenden Komponenten vorhanden sein: einstellbares Mikroskopobjektiv, adaptiver Spiegel, Spatial-Light-Modulator. Das einstellbare Mikroskopobjektiv kann einen Korrektionsring aufweisen, mit welchem z.B. eine von einem Normwert abweichende Dicke des Deckglases und/oder eine von einem Normwert abweichende Brechzahl des Immersionsmediums eingestellt werden kann. Verbesserte Einstellungen können beispielsweise auch für die Abstände von Linsen im Abbildungssystems ermittelt und gegebenenfalls vollzogen werden.
-
Der Detektor ist ein hinreichend schneller optischer Detektor mit einer zweidimensional ortsauflösenden Sensorfläche. Der Detektor kann insbesondere eine Kamera, insbesondere mit einem CCD-, CMOS- oder SPAD-Kamera-Chip sein.
-
Das Multilinsenarray dient dazu, von einer Probe abgestrahltes Licht auf den Detektor abzubilden. Der Detektor kann dabei zwar bevorzugt in einer Brennebene der Linsen des Multilinsenarrays oder jedenfalls in der Nähe dieser Brennebene angeordnet sein. Dieses ist aber zur Verwirklichung der vorliegenden Erfindung nicht unbedingt notwendig. Die Abbildung kann in diesem Sinn auch unscharf sein. Notwendig ist nur, dass das Multilinsenarray in einer definierten und bekannten Relativposition zu dem zweidimensional ortsauflösenden Detektor angeordnet ist.
-
Mit dem Begriff der Steuereinheit werden alle Hardware- und Softwarekomponenten bezeichnet, die mit den Komponenten des erfindungsgemäßen Mikroskops zu dessen bestimmungsgemäßer Funktion zusammenwirken. Insbesondere kann die Steuereinheit eine Recheneinrichtung, beispielsweise einen PC, und eine Kamerasteuerung aufweisen, die zum schnellen Auslesen von Messsignalen in der Lage ist.
-
An das Mikroskopobjektiv ist keine besondere Anforderung gestellt. Es kann insbesondere ein Immersionsobjektiv sein.
-
Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung eignen sich grundsätzlich für jede Art von Proben, die zugänglich sind für die Untersuchung mit Lichtfeldmikroskopie.
-
Die mit dem Lichtfeldmikroskop aufgenommenen Bilder umfassen jeweils einen Satz von Teilbildern. Die Teilbilder sind diejenigen Bilder, die von einer einzelnen Linse des Multilinsenarrays auf dem zweidimensional ortsauflösenden Detektor erzeugt werden. Die Anzahl der Teilbilder entspricht also der Anzahl der genutzten Linsen des Multilinsenarrays. Das Multilinsenarray kann beispielsweise 37 oder 89 Linsen aufweisen.
-
Als Bildfehler werden alle Abweichungen der beobachteten Wellenfronten und den beobachteten Bildern von denjenigen Wellenfronten beziehungsweise denjenigen Bildern bezeichnet, die man bei einer idealen Abbildung beobachten würde.
-
Die von dem Detektor bei einer Messung erhaltenen Bilddaten können zwar als eine der Anzahl der genutzten Linsen des Multilinsenarrays entsprechende Anzahl von Teilbildern aufgefasst und als solche ausgewertet werden. Das gesamte von dem Detektor gemessene Bild, das als Gesamtbild bezeichnet werden kann, kann aber auch als ein einzelnes Bild mit einer entsprechenden Anzahl von Bildbereichen aufgefasst werden. Die Auswertung der Bildinformation und Rekonstruktion der Volumenstruktur der Probe kann auf Basis von einigen oder allen Teilbildern oder auf Basis des Gesamtbilds erfolgen. Möglich ist auch, dass nur Ausschnitte von allen oder nur einigen Teilbildern für die Auswertung berücksichtigt werden.
-
Die Lichtfeldmikroskopie kann als Fluoreszenzmikroskopie durchgeführt werden und als Lichtquellen werden dann bevorzugt Lichtquellen, insbesondere Laser, verwendet, die zur Fluoreszenzanregung der Farbstoffe, mit denen die zu untersuchenden Proben präpariert wurden, geeignet sind.
-
Bei einer besonders vorteilhaften Ausführungsform der erfindungsgemäßen Vorrichtung ist das Multilinsenarray in einer zur hinteren Pupille des Mikroskopobjektivs optisch konjugierten Ebene (Pupillenebene) angeordnet. Die zu den einzelnen Linsen gehörenden Teilbilder entsprechen dann Bildern der Probe aus unterschiedlichen parallaktischen Winkeln. Bei dieser als Fourier-Lichtfeldmikroskopie bezeichneten Variante sind die Teilbilder anschaulich verständlich. Die vorliegende Erfindung ist aber nicht auf die Fourier-Lichtfeldmikroskop beschränkt. Vielmehr kann für das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung die als Ortsraum-Lichtfeldmikroskopie bezeichnete Variante zum Einsatz kommen, bei der das Multilinsenarray in einer zu einer Ebene der Probe optisch konjugierten Ebene (Zwischenbildebene) angeordnet ist.
-
Möglich sind außerdem Anordnungen und Verfahrensvarianten, bei denen sich das Multilinsenarray weder in einer Zwischenbildebene noch in einer Pupillenebene befindet. Die mit solchen Anordnungen erhaltenen Bilddaten enthalten grundsätzlich dieselbe Information. Die Verfahren zur Rekonstruktion eines dreidimensionalen Bilds der Probe müssen dann unter Verwendung der jeweils bestehenden geometrischen Parameter des Abbildungssystems, insbesondere der Relativposition des Multilinsenarrays zu einer Zwischenbildebene und/oder einer Pupillenebene, angepasst werden.
-
Die erfindungsgemäße Vorrichtung kann zur Durchführung der erfindungsgemäßen Verfahren eingerichtet sein.
-
Um im Hinblick auf die Ermittlung von Bildfehlern aus den Teilbildern eine größere Datengrundlage zu haben, können bei vorteilhaften Varianten des erfindungsgemäßen Verfahrens Bilder bei mehreren unterschiedlichen Abständen der Probe relativ zum Mikroskopobjektiv aufgenommen werden.
-
Mit dem Abstand der Probe relativ zum Mikroskopobjektiv ist in der Regel der Abstand der Probe vom Mikroskopobjektiv in Richtung der optischen Achse gemeint. Als Abstand der Probe zum Mikroskopobjektiv kann beispielsweise eine nominale Position eines z-Triebs genommen werden. Für die Bestimmung der Wellenfrontaberrationen kann dann die Bildinformation für verschiedene Abstände der Probe vom Mikroskopobjektiv benutzt werden. Dadurch können real im Abbildungssystem bestehende Parameter genauer bestimmt werden, beispielsweise eine Dicke des Immersionsmediums oder eine Brechzahl eines Einbettmediums.
-
Bei einer weiteren bevorzugten Variante des erfindungsgemäßen Verfahrens werden störende Bildanteile in den Teilbildern entfernt oder reduziert, bevor die Teilbilder im Verfahrensschritt b) für die Ermittlung von Bildfehlern ausgewertet werden. Beispielsweise können, insbesondere unter Verwendung von Bildverarbeitungssoftware, Hintergrundsignal, Rauschanteile und/oder nicht interessierende Strukturen entfernt werden. Beispielsweise kann für das Reduzieren oder Entfernen von störenden Bildanteilen ein Rolling-Ball-Algorithmus verwendet werden.
-
Grundsätzlich ist es möglich, dass im Verfahrensschritt b) Bildfehler, beispielsweise eine sphärische Aberration, wertmäßig vorgegeben werden. Eine bevorzugte Variante des erfindungsgemäßen Verfahrens zeichnet sich aber dadurch aus, dass die Vorgabe eines Bildfehlers des Abbildungssystems des Lichtfeldmikroskops im Verfahrensschritt b) bewerkstelligt wird durch Benutzereingabe mindestens eines Parameters von mindestens einer Komponente des Abbildungssystems, der mit dem betreffenden Bildfehler einhergeht. Als Benutzereingabe kann auch angesehen werden, wenn Parameter einer Probe, insbesondere automatisiert, eingelesen werden, beispielsweise von einem Datenträger, beispielsweise einem RFID-Tag, an einem Probenmodul oder einer Probeneinheit.
-
Insbesondere kann im Verfahrensschritt b) mindestens einer der folgenden Parameter von einem Benutzer vorgegeben werden: Brechzahl eines Einbettmediums, in dem die Probe eingebettet ist; Abstand der zu untersuchenden Probe vom Deckglas, wirksame Dicke eines Einbettmediums, Dicke eines Deckglases, Brechzahl eines Immersionsmediums.
-
Grundsätzlich kann aus den Teilbildern jedwede Aberration der Wellenfront extrahiert und es können somit prinzipiell jedwede Bildfehler ermittelt werden. Bildfehler können insbesondere sein: sphärische Aberration, axialer Astigmatismus, feldabhängiger Astigmatismus. Bei einer bevorzugten Variante des erfindungsgemäßen Verfahrens wird als Bildfehler mindestens der Bildfehler der sphärischen Aberration ermittelt.
-
Um den Rechenaufwand zu begrenzen und die Robustheit der Auswertung zu erhöhen, kann es bevorzugt sein, wenn für die Ermittlung von Bildfehlern die zugelassenen Wellenfrontaberrationen beschränkt werden auf festzulegende zulässige Formen. Bevorzugt können bei der Ermittlung von Bildfehlern die Wellenfrontaberrationen beschränkt werden auf eine endliche Zahl von Zernike-Polynomen. Beispielsweise können für die Ermittlung von Bildfehlern die Wellenfrontaberrationen beschränkt werden auf Zernike-Polynome bis zu einer bestimmten maximalen Ordnung.
-
Mischformen der Verfahrensvarianten sind insoweit möglich, als einige Bildfehler vorgegeben werden können, beispielsweise die sphärischen Aberration, und andere Bildfehler aus den Bilddaten ermittelt werden können.
-
Eine weitere bevorzugte Variante des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass im Verfahrensschritt b) mindestens ein Bildfehler ermittelt wird durch Auswertung mindestens einer mikroskopischen Struktur der Probe in den im Verfahrensschritt a) aufgenommenen Teilbildern. Das bedeutet, dass die Probe notwendigerweise eine gewisse Struktur aufweisen muss, damit eine Ermittlung von Bildfehlern möglich ist.
-
Eine weitere bevorzugte Variante des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass im Verfahrensschritt b) mindestens ein Bildfehler ermittelt wird durch Bestimmen mindestens eines tatsächlich vorliegenden Parameters mindestens einer Komponente des Abbildungssystems, der mit dem betreffenden Bildfehler einhergeht.
-
Bevorzugt kann dabei der tatsächlich vorliegende Parameter, der mit dem betreffenden Bildfehler einhergeht, bestimmt werden durch Auswertung der mikroskopischen Struktur der Probe in den Teilbildern unter Berücksichtigung von mindestens einem Normparameter oder einem nominellen Parameter von mindestens einer Komponente des Abbildungssystems.
-
Als Normparameter werden diejenigen Parameter, beispielsweise der Probe, des Einbettmediums, des Deckglases und/oder des Immersionsmediums bezeichnet, für die das jeweilige Mikroskopobjektiv optimiert ist.
-
Als nominelle Parameter werden Parameter, beispielsweise des Einbettmediums, des Deckglases und/oder des Immersionsmediums bezeichnet, welche, zum Beispiel gemäß Datenblatt bei diesen Komponenten vorliegen sollen.
-
Als tatsächliche Parameter werden die bei den einzelnen Komponenten jeweils tatsächlich vorliegenden physikalischen Größen bezeichnet.
-
Beispielsweise können die nominellen Parameter oder Normparameter des Abbildungssystems Parameter von mindestens einer der folgenden Komponenten enthalten: Mikroskopobjektiv, Immersionsmedium, Einbettmedium, Deckglas, Immersionsobjektiv.
-
Beispielsweise kann mindestens einer der folgenden tatsächlich vorliegenden Parameter bestimmt werden: Abstand der Probe relativ zum Mikroskopobjektiv, eine Brechzahl eines Einbettmediums, in dem die Probe eingebettet ist, eine Brechzahl der Probe, eine Brennweite des Mikroskopobjektivs, Dicke und/oder Brechzahl des Immersionsmediums, Dicke des Deckglases.
-
Bei einer bevorzugten Variante des erfindungsgemäßen Verfahrens werden die folgenden Verfahrensschritte durchgeführt:
- I) in einem der Teilbilder wird eine Probenstruktur gesucht, die zum Ermitteln der Bildfehler geeignet scheint,
- II) für diese Probenstruktur wird eine Lage in der z-Koordinate ermittelt, indem die Probenstruktur in den Teilbildern gesucht wird und die jeweiligen Positionen der Probenstruktur in den Teilbildern verglichen werden mit Positionen, die für eine bestimmte z-Koordinate jeweils in den Teilbildern zu erwarten sind, wobei
- III) als Wert für die z-Koordinate der Probenstruktur derjenige z-Wert genommen wird, der am besten zu den beobachteten Positionen der Probenstruktur in den Teilbildern passt, und
- IV) der Wellenfrontfehler wird für die Teilbilder jeweils bestimmt durch Vergleich der Positionen der Probenstruktur in den Teilbildern, die aufgrund der erhaltenen z-Koordinate jeweils zu erwarten sind, mit den in den Teilbildern jeweils beobachteten Positionen der Probenstruktur.
-
Eine Probenstruktur kann als zum Ermitteln der Bildfehler geeignet angesehen werden, wenn sie in der z-Koordinate eine vergleichsweise geringe Ausdehnung hat, wenn der Probenstruktur also, mit anderen Worten, eine z-Koordinate zugeordnet werden kann.
-
Beispielsweise kann der Vergleich im Schritt II) jeweils durchgeführt werden durch Berechnen einer Kreuzkorrelation mindestens eines die Probenstruktur enthaltenden Ausschnitts eines Referenzbilds mindestens mit korrespondierenden Ausschnitten der Teilbilder und als Wert für die z-Koordinate der Probenstruktur kann derjenige z-Wert genommen werden, der am besten zu den Resultaten der Kreuzkorrelationen passt.
-
Im Schritt IV) kann der Wellenfrontfehler für die Teilbilder jeweils bestimmt werden durch Vergleich von Verschiebungen, die in den Teilbildern aufgrund der erhaltenen z-Koordinate jeweils zu erwarten sind, mit den für die Teilbilder jeweils erhaltenen Resultaten der Kreuzkorrelationen.
-
In den Schritt II und III) kann derjenige Wert der z-Koordinate für die Probenstruktur, der am besten zu den Resultaten des Vergleichs, insbesondere den Resultaten der Kreuzkorrelationen, passt, gesucht werden mithilfe von geeigneten numerischen Anpassungsverfahren oder Fit-Routinen jeweils unter Verwendung derjenigen Verschiebungen, die in den Teilbildern jeweils aufgrund einer bestimmten z-Koordinate zu erwarten sind.
-
Bevorzugt kann auch sein, das Referenzbild zu segmentieren, bevor nach einer geeigneten Probenstruktur gesucht wird. Beispielsweise kann das Referenzbild mit einem periodischen Raster segmentiert werden.
-
Grundsätzlich kann jedes der einzelnen Teilbilder als Referenzbild gewählt werden. Bevorzugt wird als Referenzbild dasjenige Teilbild gewählt, welches zu einer symmetrisch zur optischen Achse liegenden Linse des Multilinsenarrays gehört; dieses Teilbild wird auch als zentrales Teilbild bezeichnet.
-
Um den Rechenaufwand zu begrenzen und die Geschwindigkeit zu erhöhen, kann es zweckmäßig sein, die Kreuzkorrelationen jeweils nur für Ausschnitte der Teilbilder zu berechnen. Die Ausschnitte können dabei beispielsweise über ein, insbesondere periodisches, Raster festgelegt werden.
-
Alternativ oder ergänzend können auch interessierende Bereiche in den Teilbildern, insbesondere automatisch, gesucht werden und die Ausschnitte, für welche die Kreuzkorrelationen berechnet werden, können so gewählt werden, dass sie die interessierenden Bereiche mindestens teilweise abdecken.
-
Beispielsweise können die interessierenden Bereiche in den Teilbildern mit einer Bilderkennungssoftware, gegebenenfalls unter Einsatz von künstlicher Intelligenz, gesucht werden.
-
Für manche Verfahrensvarianten kann es von Vorteil sein, von einem rekonstruierten dreidimensionalen Bild, welches sich im Objektraum befindet, ein Bild in der Kameraebene zu berechnen. Dieses erfolgt im Wesentlichen durch Faltung des dreidimensionalen Bilds mit einer gesamten Punktverteilungsfunktion des Multilinsenarrays. Das so erhaltene Bild kann als simuliertes Bild bezeichnet werden.
-
Bei einer weiteren vorteilhaften Variante des erfindungsgemäßen Verfahrens wird vor einer Ermittlung von Bildfehlern aus den Teilbildern zunächst ein dreidimensionales Bild ohne Fehlerkorrektur aus den Teilbildern rekonstruiert.
-
Für die Rekonstruktion des dreidimensionalen Bilds ohne Fehlerkorrektur können grundsätzlich bekannte Verfahren zum Einsatz kommen. Beispielsweise kann das ohne Fehlerkorrektur rekonstruierte dreidimensionale Bild erzeugt werden durch Entfaltung der Teilbilder mit den nominellen Punktverteilungsfunktionen der Einzellinsen des Multilinsenarrays.
-
Bei einer weiteren vorteilhaften Variante des erfindungsgemäßen Verfahrens werden folgende Verfahrensschritte durchgeführt: Aus dem ohne Fehlerkorrektur rekonstruierten dreidimensionalen Bild wird mindestens eine in der z-Koordinate hinreichend lokalisierte Struktur, insbesondere mindestens eine Bildebene, die senkrecht zur optischen Achse liegt, ausgewählt, für die ausgewählte Struktur werden Teilbilder in der Kameraebene berechnet (Simulation), die berechneten Teilbilder werden mit den gemessenen Teilbildern verglichen und aus dem Resultat des Vergleichs werden unter Verwendung der z-Koordinate der ausgewählten Struktur die Bildfehler des Abbildungssystems ermittelt.
-
Für den Vergleich der berechneten Teilbilder mit den gemessenen Teilbilder kann auf grundsätzlich bekannte Verfahren für das Vergleichen von Bildern zurückgegriffen werden. Beispielsweise kann der Vergleich der berechneten Teilbilder mit den gemessenen Teilbildern durchgeführt werden, indem Kreuzkorrelationen der berechneten Teilbildern mit den gemessenen Teilbildern berechnet werden.
-
Konkret wird also zu der ausgewählten Struktur, beispielsweise der Bildebene, mithilfe einer Abbildungsfunktion, also der gesamten Punktverteilungsfunktion des Multilinsenarrays, ein Bild in der Kameraebene bestehend aus einer der Zahl der benutzten Linsen des Multilinsenarrays entsprechenden Anzahl von Teilbildern berechnet. Für jedes dieser Teilbilder wird sodann die Kreuzkorrelation mit dem jeweils korrespondierenden Teilbild des tatsächlich gemessenen Bilds berechnet. Weil die z-Position der Bildebene, für welche das Bild in der Kameraebene berechnet wird, bekannt ist, kann aus den Kreuzkorrelationen für jede Linse des Multilinsenarrays der Wellenfrontfehler bestimmt werden. Typischerweise liefern die einzelnen Kreuzkorrelationen jeweils ein Maximum bei einer bestimmten (x, y)-Koordinate, mithin eine Verschiebung, die dem Wellenfrontfehler entspricht. Dieser Wellenfrontfehler gibt die Abweichung der realen Abbildung gegenüber der für die Berechnung, also die Simulation, benutzten Abbildungsfunktion an.
-
Zweckmäßig wird für diese Verfahrensvariante aus dem ohne Fehlerkorrektur rekonstruierten dreidimensionalen Bild eine Bildebene senkrecht zur optischen Achse ausgewählt, in der sich mindestens eine gut auswertbare Probestruktur befindet.
-
Besonders bevorzugt kann als Bildebene beispielsweise diejenige Bildebene ausgewählt werden, bei welcher die berechneten Kreuzkorrelationen mit dem gemessenen Bild maximale Werte liefern. Um genauere Daten für die Wellenfrontfehler zu bekommen, kann die beschriebene Auswertung für mehrere oder sogar für alle axialen Bildebenen erfolgen.
-
Das Bild der ausgewählten Bildebene in der Kameraebene kann unter Verwendung von korrigierten Punktverteilungsfunktionen der Linsen des Multilinsenarrays berechnet werden. Grundsätzlich kann das in mehreren Iterationsschritten erfolgen, wobei jeweils ermittelte Bildfehler für die Berechnung des Bilds der ausgewählten Ebene in der Kameraebene berücksichtigt werden.
-
Die so bestimmten Bildfehler können beispielsweise bei iterativen Verfahren zur Rekonstruktion des dreidimensionalen Bilds zwischen den Iterationsschritten angepasst werden. Dabei handelt es sich um eine Verfahrensvariante, bei der gewissermaßen die Schritte b)/B) „Ermittlung der Bildfehler aus einem aufgenommenen Satz von Teilbildern“ und d)/D) „Rekonstruktion der Volumeninformation“ aus dem „Satz von Teilbilder unter Berücksichtigung der ermittelten Bildfehler“ iterativ und parallel durchgeführt werden.
-
Bei einer weiteren besonders bevorzugten Variante des erfindungsgemäßen Verfahrens, die vergleichsweise robust und wenig fehleranfällig ist, werden folgende Verfahrensschritte durchgeführt:
- i) von einem gemessenen Bild der Probe wird ein dreidimensionales Bild unter Verwendung eines vorgegebenen Bildfehlers rekonstruiert,
- ii) für das erhaltene dreidimensionale Bild wird ein Bild in der Kameraebene berechnet (Simulation),
- iii) für das so berechnete Bild in der Kameraebene wird ein Vergleich mit dem gemessenen Bild durchgeführt,
- iv) in Abhängigkeit des Ergebnisses des Vergleichs wird der im Schritt i) vorgegebene Bildfehler variiert und
- v) die Schritte i) bis iv) werden wiederholt, bis eine hinreichende Übereinstimmung des berechneten Bilds in der Kameraebene mit dem gemessenen Bild erreicht ist.
-
Beim ersten Durchlauf dieses Verfahrens kann man zweckmäßig die Iteration mit einem idealen System starten. Dann wäre der beim ersten Durchlauf des Verfahrens im Schritt i) vorgegebene Bildfehler Null.
-
Für den Vergleich im Schritt iii) kann wieder auf grundsätzlich bekannte Verfahren für das Vergleichen von Bildern zurückgegriffen werden. Beispielsweise können für die Teilbilder des errechneten Bilds jeweils Kreuzkorrelationen mit den gemessenen Teilbildern berechnet werden.
-
Beispielsweise kann der im Schritt i) vorgegebene Bildfehler eine sphärische Aberration sein.
-
Der Bildfehler im Schritt i) kann insbesondere vorgegeben werden durch Vorgabe mindestens eines den betreffenden Bildfehler charakterisierenden oder mit diesem einhergehenden Parameters einer Komponente des Abbildungssystems oder der Probeneinheit, beispielsweise: Dicke eines Deckglases, Brechzahl eines Einbettmediums. Der richtige Parameter oder die richtigen Parameter kann bzw. können als aufgefunden gelten, wenn eine minimale Abweichung des simulierten Bilds zu dem tatsächlich gemessenen Bild erreicht ist.
-
Für den Vergleich des Bilds in der Kameraebene mit dem gemessenen Bild im Schritt iii) können grundsätzlich bekannte Verfahren verwendet werden. Beispielsweise kann der Vergleich des berechneten Bilds in der Kameraebene mit dem gemessenen Bild durchgeführt werden durch Berechnung von Kreuzkorrelationen oder Berechnung von Summen der quadratischen Abweichungen.
-
Bei weiteren bevorzugten Varianten des erfindungsgemäßen Verfahrens erfolgt die Rekonstruktion des dreidimensionalen Bilds mit Korrektur der Bildfehler durch Rekonstruktion der tatsächlichen Teilbilder mit korrigierten Punktverteilungsfunktionen der Einzellinsen des Multilinsenarrays. Mit dem Begriff der tatsächlichen Teilbilder sind im Rahmen dieser Beschreibung die Rohdaten des Kamerachips gemeint, gegebenenfalls, wie oben erläutert, abzüglich von Hintergrundrauschen oder sonstigen störenden Anteilen. Die von der Kamera gemessenen Bilder, also die tatsächlichen Teilbilder, können auch als Rohbilder bezeichnet werden.
-
Die korrigierten Punktverteilungsfunktionen der einzelnen Linsen können grundsätzlich auf unterschiedliche Weise bestimmt werden. Beispielsweise können die für die Rekonstruktion verwendeten korrigierten Punktverteilungsfunktionen unter Berücksichtigung der im Verfahrensschritt b) vorgegebenen und/oder ermittelten Bildfehler neu berechnet werden. Alternativ oder ergänzend können die für die Rekonstruktion verwendeten Punktverteilungsfunktionen mit einem Korrekturterm modifiziert werden, der die im Verfahrensschritt b) vorgegebenen und/oder ermittelten Bildfehler berücksichtigt. Der Korrekturterm kann beispielsweise ein sphärischer Korrekturterm sein, mithin ein Korrekturterm, der zur optischen Achse rotationssymmetrisch ist. Andere und komplexere Korrekturterme sind möglich.
-
Für die Rekonstruktion können grundsätzlich bekannte Verfahren zum Einsatz kommen, beispielsweise Shift&Sum-Verfahren, Shift& Multiply-Verfahren, Wiener-Entfaltungsverfahren, iterative Verfahren, z.B. unter Anwendung eines Lucy-Richardson-Algorithmus. An ein Shift&Sum-Verfahren oder ein Shift&Multiply-Verfahren kann sich jeweils noch eine Entfaltung mit einer Gesamtpunktverteilungsfunktion des Multilinsenarrays anschließen. Weiterhin kann die Bildinformation von einzelnen z-Ebenen durch grundsätzlich bekannte Verfahren zur Entmischung, Matrix-Entfaltung oder durch Single-Value-Decomposition (SVD) ermittelt werden. Schließlich können auch aus der Tomographie bekannte Verfahren, insbesondere unter Verwendung der ermittelten Bildfehler, sowie Ableitungen und Varianten davon zur Rekonstruktion der dreidimensionalen Probenbilder verwendet werden.
-
Grundsätzlich können im Verfahrensschritt e) verbesserte Einstellungen für alle Komponenten des Abbildungssystems ermittelt werden, die in irgendeiner Weise die Wellenfronten des propagierten Lichts beeinflussen. Beispielsweise können im Verfahrensschritt e) verbesserte Einstellungen für eine oder mehrere der folgenden Komponenten ermittelt werden: einstellbares Mikroskopobjektiv, adaptiver Spiegel, Spatial-Light-Modulator (SLM), positionsvariabler und/oder formvariabler und/oder winkelvariabler Spiegel.
-
Die im Verfahrensschritt e) ermittelten verbesserten Einstellungen der jeweiligen Komponente oder Komponenten des Abbildungssystems können einem Benutzer angezeigt und/oder abgespeichert werden. Beispielsweise können verbesserte Einstellungen der Komponenten zugehörig zu einer bestimmten Probeneinheit abgespeichert werden. Die so abgespeicherten Einstellungen, beispielsweise eines adaptiven Spiegels, eines Mikroskopobjektivs und/oder eines SLM, können dann so geartet sein, dass sie für die jeweilige Probe bestmögliche Einstellungen der jeweiligen Komponenten darstellen, sodass beispielsweise Abweichungen von nominellen Parametern oder Normparametern, die z.B. bei dem Einbettmedium oder dem Deckglas der Probe oder der Probeneinheit bestehen, bestmöglich korrigiert werden.
-
Die im Verfahrensschritt b) ermittelten Bildfehler können also auch bei komplexeren optischen Elementen, beispielsweise adaptiven Spiegeln und/oder Spatial-Light-Modulatoren, verwendet werden, um diese Bildfehler zu kompensieren und somit insbesondere die Auflösung zu verbessern und/oder Rekonstruktionsartefakte zu reduzieren. Generell können jedwede hinsichtlich Position und/oder Winkel im Strahlengang oder in ihrer Wirkung veränderliche Optikkomponenten anhand der ermittelten Bildfehler angepasst oder verändert werden. Bei der Verarbeitung der Daten können die ermittelten Bildfehler und/oder die Veränderungen der jeweiligen veränderlichen Optikkomponenten berücksichtigt werden.
-
Ergänzend oder alternativ kann auch vorgesehen sein, dass die im Verfahrensschritt e) ermittelten verbesserten Einstellungen der jeweiligen Komponente an mindestens einer der jeweiligen Komponenten, gegebenenfalls nach Bestätigung durch einen Benutzer, vorgenommen werden. Bevorzugt können dann, nachdem bei den betreffenden Komponenten die verbesserten Einstellungen vorgenommen wurden, mit verbesserten Abbildungseigenschaften weitere Mikroskopbilder aufgenommen werden.
-
Die ermittelten Bildfehler und/oder die ermittelten Parameter, welche mit den Bildfehlern einhergehen, können über den Einsatz bei der Lichtfeldmikroskopie selbst hinaus auch bei weiteren Mikroskopietechniken verwendet werden. Beispiele hierfür sind wieder die Rekonstruktion von mikroskopischen Bildern sowie das Einstellen von Parametern des Abbildungssystems, beispielsweise von Parametern eines einstellbaren Mikroskopobjektivs.
-
Beispielsweise können die ermittelten Bildfehler oder die zugehörigen Parameter auch bei der Verarbeitung von Messdaten genutzt werden, die zwar mit demselben Abbildungssystem bestehend aus Mikroskopobjektiv und Probeneinheit, aber mit anderen Detektoren und/oder anderen Kontrastverfahren erhalten wurden. Beispielsweise kann bei der erfindungsgemäßen Vorrichtung ein Laser-Scanning-Mikroskop zum Untersuchen der Probe vorhanden sein, wobei das Mikroskopobjektiv mindestens Teil eines Detektionsstrahlengangs des Laser-Scanning-Mikroskops ist. Gegebenenfalls kann das Mikroskopobjektivs auch Teil des Beleuchtungsstrahlengangs des Laser-Scanning-Mikroskops sein.
-
Schließlich können Parameter einer Probe oder einer Probeneinheit (wie z.B. Dicke eines Deckglases, Brechzahl eines Einbettmediums, Abstand der Probe zum), die mit dem erfindungsgemäßen Verfahren und/oder einer erfindungsgemäßen Vorrichtung ermittelt wurden, bei der Untersuchung der Probe oder der Probeneinheit mit einem anderen Mikroskopieverfahren und/oder an anderen Mikroskopsystemen verwendet werden. Vorteilhaft können solche ermittelten Parameter, beispielsweise bei einem an der Probeneinheit angebrachten Speichermedium, abgespeichert werden.
-
Weitere Vorteile und Eigenschaften der vorliegenden Erfindung werden im Folgenden mit Bezug auf die beigefügten Figuren beschrieben. Darin zeigt:
- 1: eine schematische Übersicht über ein erfindungsgemäßes Lichtfeldmikroskop;
- 2: eine schematische Ansicht einer Anordnung einer Probe bei Sicht des Mikroskopobjektivs auf die Probe von unten;
- 3: eine schematische Ansicht einer Anordnung einer Probe bei Sicht des Mikroskopobjektivs auf die Probe von oben;
- 4: ein Beispiel eines mit dem Lichtfeldmikroskop aufgenommenen Satzes von Teilbildern;
- 5: Ausschnitte aus den Teilbildern der 4 mit ausgewählten Positionen;
- 6: ein Flussdiagramm einer ersten Variante des erfindungsgemäßen Verfahrens;
- 7: ein Flussdiagramm einer zweiten Variante des erfindungsgemäßen Verfahrens; und
- 8: ein Flussdiagramm einer dritten Variante des erfindungsgemäßen Verfahrens.
-
Gleiche und gleichwirkende Komponenten sind in den Figuren in der Regel mit denselben Bezugszeichen gekennzeichnet.
-
Ein Beispiel einer erfindungsgemäßen Vorrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens geeignet und eingerichtet ist, wird mit Bezug auf 1 erläutert. Die dort gezeigte Vorrichtung beinhaltet ein Lichtfeldmikroskop 100, das als wesentliche Komponenten aufweist: eine Lichtquelle 1, typischerweise einen oder mehrere Laser, zum Aussenden von Anregungslicht 2, einen Beleuchtungsstrahlengang zum Leiten des Anregungslichts 2 auf oder in eine Probe 5, einen zweidimensional ortsauflösenden Detektor 11 zum Nachweis von von der Probe 5 abgestrahltem Licht 6 und einen Detektionsstrahlengang mit einem Mikroskopobjektiv 4 und einem Multilinsenarray 9 zum Leiten des von der Probe 5 abgestrahlten Lichts 6 auf den Detektor 11. In dem in 1 gezeigten Ausführungsbeispiel erfolgt die Beleuchtung der Probe 5 mit dem Anregungslicht 2 über dasselbe Mikroskopobjektivs 4, welches auch Teil des Detektionsstrahlengangs ist. Der Detektor 11 ist in oder in der Nähe einer Brennebene des Multilinsenarrays 9 angeordnet und kann typischerweise eine CMOS-, CCD- oder SPAD-Kamera sein. Das Multilinsenarray 9 könnte auch Teil des Objektivs 4 sein und in dessen hinterer Brennebene angeordnet sein.
-
Schließlich ist zum Ansteuern der Lichtquelle 1 und des Detektors 11 und zum Auswerten der von dem Detektor 11 erhaltenen Messdaten eine Steuer- und Auswerteeinheit 12 vorhanden, bei der es sich insbesondere um einen Rechner grundsätzlich bekannter Natur handeln kann.
-
Das von der Lichtquelle 1 ausgesendete Licht 2, insbesondere Anregungslicht für Fluoreszenzfarbstoffe, mit denen die Probe 5 präpariert ist, gelangt durch einen dichroitischen Strahlteiler 3 zum Mikroskopobjektiv 4 und wird von diesem in eine Probenebene auf oder in der Probe 5 fokussiert. Von der Probe 5 abgestrahltes Emissionslicht, insbesondere von Fluoreszenzfarbstoffen abgestrahltes Fluoreszenzlicht, gelangt über das Mikroskopobjektiv 4 zurück auf den dichroitischen Strahlteiler 3 und wird an diesem reflektiert in Richtung einer Relayoptik 8. Die Relayoptik 8 besteht aus zwei teleskopartig zueinander angeordneten Linsen. An der Position 7 befindet sich eine Zwischenbildebene, also eine zur Probenebene optisch konjugierte Ebene. Nach Durchtritt durch die Relayoptik 8 gelangt das Emissionslicht auf ein Multilinsenarray 9, welches in einer zur hinteren Brennebene des Mikroskopobjektivs 4 (Objektivpupille BFP) optisch konjugierten Ebene angeordnet ist. Die einzelnen Linsen des Multilinsenarrays 9 generieren auf dem in einer Brennebene des Multilinsenarrays 9 angeordneten Detektor 11 Teilbilder 201,..,289 (siehe 4 und 5), die jeweils Einzelbildern der Probe 5 aus unterschiedlichen Winkeln, genauer: unterschiedlichen Parallaxewinkeln, sind. Ein mit dem Lichtfeldmikroskop 100 aufgenommenes Bild 200 umfasst also jeweils einen Satz von Teilbildern 201,..,289 (siehe 4).
-
Bei der in 1 gezeigten Anordnung mit dem in einer Pupillenebene angeordneten Multilinsenarray 9 handelt es sich um einen Aufbau zur Fourier-Lichtfeldmikroskopie. Alternativ wäre auch die sogenannte Ortsraum-Lichtfeldmikroskopie für die Verwirklichung der Erfindung möglich, bei der ein Multilinsenarray in einer zur Objektebene (statt zur hinteren Brennebene des Mikroskopobjektivs 4) optisch konjugierten Ebene im Detektionsstrahlengang angeordnet ist. Die mit der Ortsraum-Lichtfeldmikroskopie erhaltene Rohbildinformation hängt mit derjenigen, die man mit der Fourier-Lichtblattmikroskopie gewinnt, über eine Fourier-Transformation zusammen. Das Resultat beider Methoden ist aber am Ende prinzipiell gleich. Auch Zwischenformen sind möglich, bei denen sich das Multilinsenarray irgendwo zwischen einer Zwischenbildebene und einer Pupillenebene befindet.
-
Zur Aufnahme eines dreidimensionalen Übersichtsbilds der Probe 5 kann ein in 1 nicht gezeigtes Modul zur Laser-Scanning-Mikroskopie vorhanden sein.
-
Das Mikroskopobjektiv kann insbesondere ein einstellbares Mikroskopobjektiv (Korr-Objektiv) sein, bei welchem eine Anpassung, beispielsweise an eine Brechzahl eines Einbettmediums, mit einem sogenannten Korr-Ring, vorgenommen werden kann. Die Einstellung des Mikroskops kann durch eine Steuerung, insbesondere die Steuer- und Auswerteeinheit 12, steuerbar sein.
-
In realen Ausbildungen kann die erfindungsgemäße Vorrichtung 100 zahlreiche weitere optische Komponenten, insbesondere Spiegel, Linsen, Farbfilter und Blenden, aufweisen, deren Funktion an sich bekannt ist und die deshalb in der vorliegenden Beschreibung nicht eigens beschrieben werden. Weiterhin können ansteuerbare Komponenten, die die Wellenfronten des propagierten Lichts beeinflussen, vorhanden sein, beispielsweise Spatial-Light-Modulatoren und/oder deformierbare Spiegel. Diese Komponenten sind in 1 ebenfalls nicht dargestellt.
-
Die Steuer- und Auswerteeinheit 12 ist erfindungsgemäß ist dazu eingerichtet,
- A) die Lichtquelle 1 und den Detektor 11 zur Aufnahme mindestens eines Bilds 200 der Probe 5 anzusteuern, wobei ein Bild 200 jeweils einen Satz von Teilbildern 201,..,289 umfasst;
- B) mindestens einen Bildfehler des Abbildungssystems des Lichtfeldmikroskops 100 gemäß einer Benutzereingabe vorzugeben und/oder aus einem im Schritt A) aufgenommenen Satz von Teilbildern 201,..,289 zu ermitteln,
- C) unter Verwendung der im Schritt B) vorgegebenen und/oder ermittelten Bildfehler des Abbildungssystems einen oder beide der folgenden Schritte D) und E) durchzuführen:
- D) Rekonstruktion eines dreidimensionalen Bilds der Probe 5 aus dem Satz von Teilbildern 201,..,289 mit mindestens teilweiser Korrektur der im Schritt B) vorgegebenen und/oder ermittelten Bildfehler;
- E) Ermittlung von verbesserten Einstellungen von einstellbaren Komponenten des Abbildungssystems, welche Wellenfronten des propagierten Lichts beeinflussen, abhängig von den im Schritt B) vorgegebenen und/oder ermittelten Bildfehlern.
-
2 zeigt eine Anordnung der Probe bei invertierter Orientierung des Mikroskopobjektivs 4. Im gezeigten Beispiel handelt es sich bei dem Mikroskopobjektivs 4 um ein Immersionsobjektiv. Eine Probeneinheit 53 besteht in dem Beispiel der 2 aus der Probe 5 selbst, die sich in einem Einbettmedium 52 befindet, einem Deckglas 51, einer Petrischale 55 und einem Immersionsmedium 41. Relevant für die Abbildungsqualität des Abbildungssystems sind folgende Parameter: Brechzahl des Einbettmediums 52, Dicke und Brechzahl des Deckglases 41, Dicke und Brechzahl des Immersionsmediums 41, Abstand der Probe 5 von dem Mikroskopobjektiv 4. Für die Dimensionierung des Mikroskopobjektivs 4 geht man von bestimmten Normparametern für diese Größen aus. Das Mikroskopobjektiv 4 ist, mit anderen Worten, für bestimmte Normparameter optimiert. Weicht einer oder weichen mehrere der tatsächlich vorliegenden Parameter, beispielsweise die Brechzahl des Einbettmediums 52, von den Normparametern ab, ergeben sich Bildfehler. Die Berücksichtigung dieser Bildfehler bei der Bildauswertung, d. h. bei der Rekonstruktion der dreidimensionalen Bilder, ist eines der wesentlichen Ziele der vorliegenden Erfindung.
-
Die alternative Anordnung der 3 unterscheidet sich von derjenigen der 2 im Wesentlichen dadurch, dass das Mikroskopobjektiv 4 in 3 von oben auf die Probe 5 sieht. Die Probeneinheit 53 besteht im Beispiel der 3 aus denselben Komponenten wie in 2 mit dem einzigen Unterschied, dass statt der Petrischale 55 ein Objektträger 54 vorhanden ist. Relevant für die Abbildungsqualität des Abbildungssystems sind dieselben Parameter wie bei 2.
-
Bei weiteren möglichen Anordnungen kann das Deckglas entfallen. Sodann können das Einbettmedium und das Immersionsmedium identisch sein. Weiterhin kann, bei Sichtrichtung eines Mikroskopobjektivs nach oben, eine Probe auf das Immersionsmedium aufgelegt werden.
-
4 zeigt ein Bild 200 bestehend aus einem Satz von Teilbildern 201 bis 289, das mit einer Vorrichtung der in 1 gezeigten Art aufgenommen wurde. Die einzelnen Teilbilder 201 bis 289 entsprechen jeweils den Bildern, die mit einer einzelnen Linse des Multilinsenarrays 9 auf dem Detektor 11 generiert werden. Insgesamt umfasst das in 4 beispielhaft gezeigte Bild 200 der Anzahl der Linsen in dem Multilinsenarray 9 entsprechend 89 Teilbilder. Diese Teilbilder sind in 2 von links oben nach rechts unten durchnummeriert von 201 bis 289, wobei zu einigen Teilbildern deren Nummer angegeben ist. Mit dem Bezugszeichen 245 ist das zentrale Teilbild bezeichnet, welches zu derjenigen Linse des Multilinsenarrays 9 gehört, welche symmetrisch zur optischen Achse z positioniert ist. Die einzelnen Teilbilder 201 bis 289 sind somit jeweils Bilder der Probe 5 aus unterschiedlichen Richtungen, man spricht von verschiedenen Parallaxenwinkeln. Bei der untersuchten Probe 5 handelt es sich um eine Probe eines Gehirns einer Maus. Grundsätzlich können und sollen auch lebende Organismen untersucht werden.
-
In den Bildern der 4 und 5 bedeuten helle Bereiche geringen und dunkle Bereiche hohen Lichteintrag auf die Kamera.
-
5 zeigt Ausschnitte p1 bis p9 aus jeweils unterschiedlichen Teilbildern. Der Ausschnitt p9 ist dabei ein Ausschnitt aus dem Teilbild 227, der in 4 ebenfalls (nicht maßstäblich) gezeigt ist. Mit dem Bezugszeichen a ist eine erste mikroskopische Struktur bezeichnet, die gegebenenfalls zu Ermittlung der Bildfehler verwendet werden kann. Konkret handelt es sich um eine Struktur einer Nervenzelle im Gehirn einer Maus. An in den einzelnen Bildern jeweils unterschiedlichen Positionen einer weiteren Struktur b relativ zu der ersten Struktur a in den Ausschnitten p1 bis p9 wird deutlich, dass die Probe 5 von den unterschiedlichen Linsen aus gesehen jeweils unter einem verschiedenen Parallaxenwinkel erscheint.
-
Unter Verwendung von nominellen Parametern und/oder Normparametern des Abbildungssystems können nun die erfassten Bilddaten gemäß einem der oben im Einzelnen erläuterten Verfahren ausgewertet werden und tatsächlich vorliegende Parameter des Abbildungssystems, insbesondere der untersuchten Probeneinheit, beispielsweise eine Brechzahl eines Einbettmediums, eine Dicke eines verwendeten Deckglases, können ermittelt werden. Beispielsweise können die Kreuzkorrelationen mit dem zentralen Teilbild 227 jeweils für die in 5 beispielhaft gezeigten Bildausschnitte durchgeführt werden.
-
Im Zusammenhang mit den 6 bis 8 werden wesentliche Varianten des erfindungsgemäßen Verfahrens erläutert.
-
Bei der in dem Flussdiagramm der 6 veranschaulichten ersten Verfahrensvariante wird im Verfahrensschritt a) mit dem Lichtfeldmikroskop 100 zunächst mindestens ein Bild 200 bestehend aus einem Satz von Teilbildern 201,..,289 aufgenommen. Gegebenenfalls können zur Verbreiterung der Datengrundlage für die Auswertung im Hinblick auf Bildfehler Bilder 200 der Probe 5 mit unterschiedlichen Abständen zum Mikroskopobjektiv 4 aufgenommen werden. Dafür kann jeweils ein z-Antrieb, der in 1 nicht gezeigt ist, insbesondere automatisiert, betätigt werden.
-
Sodann werden im Verfahrensschritt b) aus den erhobenen Bilddaten, also aus dem mindestens einen Satz von Teilbildern 201,.., 289 gemäß einem der oben im Einzelnen beschriebenen Verfahren die Bildfehler des für die Aufnahme des mindestens einen Bilds 200 verwendeten Abbildungssystems, beispielsweise tatsächlich vorhandene Parameter, wie Brechzahl des Einbettmedium 52, Dicke des Deckglases 51 (siehe 2 und 3), ermittelt.
-
Anschließend folgt im Schritt c) eine Entscheidung, ob dreidimensionale Bilder (3D-Bilder) rekonstruiert (Verfahrensschritt d)) und/oder ob Einstellungen von Komponenten des Abbildungssystems, welche die Wellenfront des propagierten Lichts beeinflussen, ermittelt werden sollen (Verfahrensschritt e)).
-
Im Beispiel der 6 wird der Verfahrensschritt b) durchgeführt, d. h. aus den im Verfahrensschritt a) aufgenommenen Bilddaten wird unter Berücksichtigung der im Verfahrensschritt b) ermittelten Bildfehler ein dreidimensionales Bild (3D-Bild) rekonstruiert. Diese Rekonstruktion kann im Einzelnen gemäß den oben beschriebenen Ausführungsvarianten des erfindungsgemäßen Verfahrens erfolgen.
-
Der wesentliche Unterschied der in 7 veranschaulichten Verfahrensvariante im Vergleich zu 6 ist, dass die Bildfehler nicht, wie bei 6, aus dem aufgenommenen Satz von Teilbildern bestimmt, sondern vielmehr vorgegeben werden. Beispielsweise können Parameter, welche mit den Bildfehlern einhergehen und diese somit charakterisieren, von einem RFID-Tag eingelesen werden, der an einem Probenmodul, einer Probeneinheit oder einem Teil einer Probeneinheit angeordnet ist. Beispielsweise können in dem RFID-Tag eine Brechzahl des in der Probeneinheit vorhandenen Einbettmediums und/oder eine Dicke eines in der Probeneinheit vorhandenen Deckglases gespeichert sein.
-
Zunächst wird aber in 7, wie bei 6, im Verfahrensschritt a) mit dem Lichtfeldmikroskop 100 ein Bild 200 oder es werden mehrere Bilder, gegebenenfalls bei unterschiedlichen Abständen der Probe 5 zum Mikroskopobjektivs 4 aufgenommen, wobei die Bilder 200 jeweils aus einem Satz von Teilbildern 201,..,289 bestehen.
-
Im Verfahrensschritt b) erfolgt dann die Vorgabe mindestens eines Bildfehlers, beispielsweise einer Brechzahl des Einbettmediums 52, in dem die Probe 5 eingebettet ist (siehe 2 und 3). Zu beachten ist, dass bei dieser Verfahrensvariante die Reihenfolge der Schritte a) und b) vertauscht werden kann. Insbesondere können sich die Verfahrensschritte a) und b) auch zeitlich teilweise oder vollständig überlappen, d.h. die Vorgabe des mindestens einen Bildfehlers kann gleichzeitig mit der Aufnahme der Bilder erfolgen.
-
Wie in 6 wird sodann in 7 nach der Entscheidung c) der Verfahrensschritt d) durchgeführt, nun aber mit der Maßgabe, dass aus den im Verfahrensschritt a) aufgenommenen Bilddaten unter Berücksichtigung der im Verfahrensschritt b) vorgegebenen Bildfehler das 3D-Bild rekonstruiert wird. Diese Rekonstruktion kann wieder gemäß den oben im Einzelnen beschriebenen Ausführungsvarianten des erfindungsgemäßen Verfahrens erfolgen.
-
Die in 8 veranschaulichte Variante des erfindungsgemäßen Verfahrens stimmt im Hinblick auf die Verfahrensschritte a) und b) mit der Variante der 6 überein.
-
Im Unterschied zu 6 wird aber bei 8 nach der Entscheidung im Schritt c) kein 3D-Bild rekonstruiert. Vielmehr werden in Abhängigkeit der Bildfehler, die im Verfahrensschritt b) aus den im Verfahrensschritt a) aufgenommenen Teilbilder 201,..,289 ermittelt wurden, verbesserte Einstellungen von Komponenten des Abbildungssystems, insbesondere des Detektionsstrahlengangs, ermittelt, welche Wellenfronten des propagierten Lichts beeinflussen. Beispielsweise kann es sich bei den verbesserten Einstellungen um im Hinblick auf die Abbildungsqualität verbesserte Einstellungen eines Spatial-Light-Modulators handeln, der zum Beispiel in einer zur hinteren Brennebene des Mikroskopobjektivs 4 optisch konjugierten Ebene des Detektionsstrahlengangs angeordnet ist (nicht in 1 gezeigt).
-
Im Verfahrensschritt f) werden die im Verfahrensschritt e) ermittelten verbesserten Einstellungen, automatisch oder gegebenenfalls nach einer Bestätigung durch einen Benutzer, an den betreffenden Komponenten, beispielsweise also an dem Spatial-Light-Modulator, vollzogen. Durch die verbesserten Einstellungen das Spatial-Light-Modulators werden nun die im Verfahrensschritt b) ermittelten Bildfehler mindestens teilweise, bevorzugt möglichst weitgehend, kompensiert.
-
Im Schritt g) werden sodann weitere Bilder 200 der Probe, jetzt mit den verbesserten Einstellungen, d.h. mit wenigstens teilweiser Kompensierung der im Verfahrensschritt b) ermittelten Bildfehler, aufgenommen.
-
Daran kann sich, was in 8 nicht mehr dargestellt ist, in grundsätzlich bekannter Weise jeweils die Rekonstruktion der 3D-Bilder anschließen.
-
Mit der vorliegenden Erfindung werden ein neuartiges Verfahren und eine neuartige Vorrichtung für die Lichtfeldmikroskopie bereitgestellt, welche elegante Verbesserungen der Qualität der Bildrekonstruktion ermöglichen. Die vorteilhaften Verbesserungen können nicht nur für Bilddaten des Lichtfeldmikroskops selbst, sondern auch für andere Detektoren und andere Kontrastverfahren, die mit demselben Abbildungssystem gewonnen werden, zur Anwendung kommen.
-
Bezugszeichenliste und verwendete Abkürzungen
-
- 1
- Lichtquelle (Laser)
- 2
- Anregungslicht
- 3
- dichroitischer Strahlteiler
- 4
- Mikroskopobjektiv
- 5
- Probe
- 6
- Emissionslicht
- 7
- Zwischenbildebene
- 8
- Relayoptik
- 9
- Multilinsenarray
- 10
- Fourierebene (optisch konjugiert zu BFP des Mikroskopobjektivs 4)
- 11
- Detektor (Kamera, in Bildebene)
- 12
- Steuer- und Auswerteeinheit
- 41
- Immersionsmedium, z.B. Immersionsöl
- 51
- Deckglas
- 52
- Einbettmedium
- 53
- Probeneinheit
- 54
- Objektträger
- 55
- Petrischale
- 100
- Lichtfeldmikroskop
- 200
- Bild des Lichtfeldmikroskops
- 201
- Teilbild
- 227
- Teilbild
- 245
- zentrales Teilbild
- 289
- Teilbild
- a
- ausgewählte zu analysierende Position in Teilbild
- b
- zur Position a benachbarte Position
- BFP
- hintere Objektivpupille (back focal plane)
- LFM
- Lichtfeldmikroskop
- LSM
- Laser-Scanning-Mikroskop
- MLA
- Multilinsenarray
- p1-p9
- Ausschnitte aus verschiedenen Teilbildern
- PSF
- Punktverteilungsfunktion
- z
- optische Achse
