-
Die Erfindung betrifft in einem ersten Gesichtspunkt ein Verfahren zur Lichtfeldmikroskopie. In einem zweiten Gesichtspunkt betrifft die Erfindung eine Vorrichtung zur Lichtfeldmikroskopie nach dem Oberbegriff des Anspruchs 31.
-
Eine gattungsgemäße Vorrichtung zur Lichtfeldmikroskopie beinhaltet mindestens folgende Komponenten: eine Lichtquelle zum Aussenden von Anregungslicht, einen Beleuchtungsstrahlengang zum Leiten des Anregungslichts auf oder in eine Probe, einen zweidimensional ortsauflösenden Detektor zum Nachweis von von der Probe abgestrahltem Licht, einen Detektionsstrahlengang mindestens mit einem Mikroskopobjektiv und einem Multilinsenarray zum Abbilden von von der Probe abgestrahltem Licht auf den Detektor und eine Steuer- und Auswerteeinheit zum Ansteuern der Lichtquelle und des Detektors und zum Auswerten der von dem Detektor erhaltenen Messdaten. Die Steuer- und Auswerteeinheit ist dazu eingerichtet, die Lichtquelle und den Detektor zur Aufnahme mindestens eines Bilddatensatzes der Probe anzusteuern.
-
In der biomedizinischen Forschung werden zunehmend Prozesse in Organen, Geweben und Organismen untersucht. Zur schnellen Bildaufnahme kommt zunehmend die Lichtfeldmikroskopie (LFM) zum Einsatz. Die Lichtfeldmikroskopie hat den Vorteil, dass aus einer einzigen Kameraaufnahme, die in der Regel innerhalb von Bruchteilen von Sekunden erfolgt, ein Volumen mit einigen zehn bis hundert Schnittbildern/z-Ebenen rekonstruiert werden kann. Die mögliche Ausdehnung des beobachteten Volumens in z-Richtung hängt dabei stark vom verwendeten Mikroskopobjektiv und insbesondere von dessen numerischer Apertur ab.
-
Bei der Lichtfeldmikroskopie sind verschiedene Ausführungsformen möglich. Bei der sogenannten Ortsraum-Lichtfeldmikroskopie wird in einer zur Objektebene konjugierten Ebene im Detektionsstrahlengang ein Multilinsenarray (MLA) angeordnet. In dessen hinterer Brennebene, die dann zur hinteren Brennebene des Mikroskopobjektivs (BFP, back focal plane) optisch konjugiert ist, wird dann mit einem Kamerasensor detektiert.
-
Eine für die Mikroskopie intuitivere Methode ist die sogenannte Fourier- Lichtfeldmikroskopie, bei der das Multilinsenarray (MLA) in einer zur Pupillenebene des Objektivs konjugierten Ebene angeordnet ist. Die Detektion erfolgt wieder in der hinteren Brennebene (BFP) des Multilinsenarrays. In diesem Fall werden reale Abbilder des Probenvolumens als Teilbilder innerhalb des aufgenommenen Kamerabildes erfasst, die aber jeweils zu unterschiedlichen parallaktischen Blickrichtungen auf die Probe gehören. Wegen der Parallaxe bewirkt eine - gedachte - axiale Verschiebung eines emittierenden Fluoreszenzmoleküls im Objektraum eine von der Position der jeweils betrachtenden Linse abhängige laterale Verschiebung des Signals auf dem Kamerasensor.
-
In der vorliegenden Anmeldung wird der Begriff der Punktverteilungsfunktion verwendet. Damit ist diejenige Intensitätsverteilung des Lichts gemeint, in welche ein paralleles Strahlenbündel von einer Linse, beispielsweise von einer Linse des Multilinsenarrays, überführt wird. Für diese Funktion sind auch die Begriffe Punktverwaschungsfunktion, Punktbildfunktion oder der englische Begriff Point-Spread-Function (PSF) geläufig.
-
Zur Rekonstruktion der strukturellen Volumeninformation aus den Rohdaten stehen verschiedene Algorithmen zur Verfügung.
-
Bei einem ersten Algorithmus werden zunächst alle Teilbilddaten aus dem Kamerabild zu einem Bildstapel separiert, wobei jedes Teilbild dieses Stapels einer Blickrichtung auf die Probe entspricht. Um den Bildinhalt einer bestimmten axialen Probenebene zu berechnen, wird nun jedes Teilbild dieses Stapels um die für die gewählte axiale Ebene erwartete parallaktische Verschiebung verschoben. Danach wird der so erzeugte Stapel zu einem Bild einer z-Ebene aufsummiert. Um ein dreidimensionales Bild zu erhalten, auch als 3D-Stapel bezeichnet, wird dieses Verfahren dann für die weiteren axialen Probenebenen wiederholt und aus Bildern für die einzelnen z-Ebenen wird dann ein dreidimensionales Bild zusammengesetzt.
-
Der Nachteil dieses Verfahrens, das auch als Shift&Sum-Verfahren (S&S) bezeichnet wird, ist, dass Detailinformationen, insbesondere bei dichtbesetzten Proben, stark von Hintergrundsignal überlagert sein können.
-
Bei einem ähnlichen Verfahren werden die Teilbilder des Bildstapels jeweils in derselben Weise wie beim Shift&Sum-Verfahren entsprechend der für die jeweils gewählte axiale Ebene erwartete parallaktische Verschiebung verschoben. Anschließend werden die Bilder des so erzeugten Stapels aber nicht wie beim Shift&Sum-Verfahren für eine z-Ebene aufsummiert, sondern sie werden vielmehr multipliziert. Dieses als Shift&Multiply-Verfahren bezeichnete Verfahren liefert ebenfalls gute Ergebnisse für Proben mit relativ wenigen Emittern im Probenvolumen.
-
Die mithilfe des Shift&Sum- oder des Shift&Multiply-Verfahrens gewonnenen dreidimensionalen Bilder der Probe können gegebenenfalls noch verbessert werden, indem eine Entfaltung mit der gesamten Punktverteilungsfunktion (PSF) des Multilinsenarrays durchgeführt wird. Die gesamte Punktverteilungsfunktion (PSF) des Multilinsenarrays setzt sich zusammen aus den Punktverteilungsfunktionen der einzelnen Linsen des Multilinsenarrays.
-
Eine weitere wichtige Klasse von Verfahren zur Rekonstruktion eines dreidimensionalen Bilds der Probe gehen aus von der Betrachtung einer Abbildungsfunktion, welche die Wirkung des abbildenden optischen Systems, hier: des Lichtfeldmikroskops, beschreibt und welche die gesuchte räumliche (also dreidimensionale) Verteilung von Strahlungsemittern in ein zu beobachtendes Bild überführt. Die Auswerteaufgabe besteht nun darin, zu dieser Abbildungsfunktion die inverse Funktion aufzufinden, um aus beobachteten Bilddaten die gesuchte räumliche Verteilung von Strahlungsemittern zu erhalten. Zu diesen Verfahren gehören insbesondere Entfaltungsverfahren. Bei iterativen Entfaltungsverfahren, beispielsweise unter Verwendung des Richardson-Lucy-Iterationsschemas, wird nicht direkt die inverse Abbildungsfunktion ermittelt, sondern es wird iterativ die Verteilung von Strahlungsemittern gesucht, die bei Anwendung der Abbildungsfunktion am besten zu den beobachteten Bilddaten passt.
-
Eine weitere Methode nutzt einen Joint Deconvolution Ansatz (jDCV). Hierzu ist ebenso die Kenntnis der Abbildungsfunktion, beispielsweise in Form der Punktverteilungsfunktion (PSF), zu jeder Mikrolinse notwendig und die Rechenzeiten sind deutlich länger als etwa bei Shift&Sum-Verfahren. Dafür erhält man ein deutlich kontrastreicheres Bild.
-
Außerdem können sogenannte Wiener-Entfaltungsverfahren (Wiener-Deconvolution) bei den Rekonstruktionsverfahren zum Einsatz kommen, um das Rauschen bei hohen Ortsfrequenzen zu reduzieren.
-
Eine gattungsgemäße Vorrichtung und Verfahren zur Bildrekonstruktion sind beschrieben in Vol. 27, No. 18 / 2 September 2019 / Optics Express 25573.
-
Eine Schwierigkeit bei Verfahren zur Rekonstruktion der dreidimensionalen Bilder aus einem gemessenen Bilddatensatz ist, dass bei bestimmten Probenbedingungen Artefakte in den rekonstruierten Objekten entstehen können.
-
Problematisch kann beispielsweise ein Untergrundsignal mit niedrigen Ortsfrequenzen, insbesondere ein homogenes Untergrundsignal, sein. Solch ein Untergrundsignal kann beispielsweise von der Probe selbst kommen, zum Beispiel in Form von Autofluoreszenzlicht von Gewebe und/oder Autofluoreszenzlicht eines Einbettmediums, in welchem die zu untersuchende Probe eingebettet ist. Auch bestimmte Messaufbauten können dazu neigen, hohe Untergrundsignale zu liefern.
-
Weiterhin können starke Gradienten der Helligkeit in den Bilddaten die Rekonstruktionsverfahren vor Schwierigkeiten stellen. Sodann können Strukturen, die sich mit der verwendeten Lichtfeld-Anordnung nicht eindeutig erfassen lassen, dazu führen, dass die Rekonstruktionsverfahren Artefakte liefern. Beispiele dafür sind insbesondere Mehrdeutigkeiten der Bilddaten, die daraus resultieren, dass in der optischen Übertragungsfunktion der Lichtfeld-Anordnung bestimmte Ortsfrequenzbereiche fehlen. Zum Beispiel kann es Situationen geben, in denen sich die Bilddaten für eine Hohlkugel nicht von denjenigen unterscheiden, die für eine volle Kugel gewonnen werden.
-
Darüber hinaus können Strukturen der Probe, die sich außerhalb eines rekonstruierten Volumens befinden, zu Artefakten führen, etwa durch Streulicht, welches von solchen außerhalb liegenden Strukturen auf den Bereich des rekonstruierten Volumens gestrahlt wird.
-
Es ist klar, dass auch Situationen, in denen mehrere der angegebenen Bedingungen vorliegen, problematisch sind.
-
Als Artefakte werden insbesondere Unterschwinger und Überschwinger an steilen Intensitätskanten in der x-, y- und z-Richtung beobachtet. Solche Phänomene werden auch als „Ringing“ bezeichnet. Sodann findet man auch die Aufspaltung von hellen Strukturen in den fokussierten Bereichen. Schließlich werden Artefakte beobachtet, die aus Strukturen des abgebildeten Objekts resultieren, die in dem Objekt real außerhalb des eventuell eingeschränkten rekonstruierten Volumens liegen.
-
Als Aufgabe der Erfindung kann angesehen werden, ein Verfahren und eine Vorrichtung zur Lichtfeldmikroskopie anzugeben, mit denen die Rekonstruktion eines dreidimensionalen Objekts, welches die jeweils untersuchte Probe darstellt, verbessert wird.
-
Diese Aufgabe wird durch das Verfahren mit den Merkmalen des Anspruchs 1 und durch die Vorrichtung mit den Merkmalen des Anspruchs 31 gelöst.
-
Bei dem erfindungsgemäßen Verfahren zur Lichtfeldmikroskopie werden folgende Verfahrensschritte durchgeführt:
- a) Messung eines Bilddatensatzes von einer Probe mit einer Lichtfeldanordnung;
- b) Erzeugen mindestens eines Teildatensatzes aus dem Bilddatensatz;
- c) Rekonstruieren eines dreidimensionalen Objekts aus dem im Schritt b) erzeugten Teildatensatz.
-
Die Vorrichtung zur Lichtfeldmikroskopie mit den oben angegebenen Merkmalen ist erfindungsgemäß dadurch weitergebildet, dass die Steuer- und Auswerteeinheit außerdem dazu eingerichtet ist, das erfindungsgemäße Verfahren durchzuführen.
-
Die erfindungsgemäße Vorrichtung zur Lichtfeldmikroskopie ist mithin zur Durchführung des erfindungsgemäßen Verfahrens geeignet und eingerichtet.
-
Bevorzugte Varianten des erfindungsgemäßen Verfahrens werden im Folgenden, insbesondere im Zusammenhang mit den abhängigen Ansprüchen und den Figuren erläutert.
-
Allgemeines Ziel der Lichtfeldmikroskopie ist es, aus einem Bilddatensatz, der mit einer Kamera gewonnen wurde, ein dreidimensionales Bild der untersuchten Probe zu rekonstruieren. Die rekonstruierten dreidimensionalen Bilder werden zur begrifflichen Trennung von den Bilddaten, die mit der Kamera gewonnen werden, in der vorliegenden Beschreibung und in den Ansprüchen allgemein als Objekte, insbesondere als dreidimensionale Objekte, bezeichnet. Wenn ein rekonstruiertes Objekt nur einen Teil der untersuchten Probe darstellte oder nur einen Teil derjenigen Bereiche der untersuchten Probe darstellt, für die man sich interessiert, kann es auch als Teilobjekt bezeichnet werden. Ein rekonstruiertes Objekt, welches als finales Ergebnis der Rekonstruktionsverfahren und mithin als Darstellung der untersuchten Probe gelten kann, wird als Probenobjekt oder, wenn es sich aus mehreren Teilobjekten zusammensetzt, auch als Gesamtobjekt bezeichnet.
-
Als eine erste wesentliche Erkenntnis der Erfindung kann angesehen werden, dass es zum Vermeiden von Artefakten bei der Rekonstruktion zweckmäßig ist, die Bilddaten nicht unmittelbar so, wie sie durch die Messung gewonnen werden, der Rekonstruktion zuzuführen, sondern vielmehr aus einem gewonnenen Bilddatensatz mindestens einen Teildatensatz zu erzeugen, abzuspalten oder abzutrennen, für den dann ein Objekt rekonstruiert wird.
-
Das rekonstruierte Objekt kann beispielsweise ein Teilobjekt sein. Unter Verwendung des im Schritt c) rekonstruierten dreidimensionalen Objekts kann ein endgültiges dreidimensionales Objekt erzeugt werden, welches die zu untersuchende Probe darstellt. Dieses endgültige dreidimensionale Objekt kann als Probenobjekt, finales Probenobjekt oder als Gesamtobjekt bezeichnet werden.
-
Es ist auch möglich, dass das im Schritt c) rekonstruierte dreidimensionale Objekt schon als Darstellung der untersuchten Probe, also als Endergebnis der Rekonstruktion und mithin als finales Probenobjekt angesehen oder gewertet werden kann.
-
Unter dem Begriff des Teildatensatzes sollen alle Teilmengen eines Bilddatensatzes aber auch aus dem Bilddatensatz oder Teilen davon durch Bearbeitung, beispielsweise Filterung, hervorgegangene Datensätze verstanden werden.
-
Der Teildatensatz kann insbesondere mit der Maßgabe aus dem Bilddatensatz erzeugt werden, dass Artefakte beim Rekonstruieren eines endgültigen dreidimensionalen Objekts, welches die untersuchende Probe darstellt, reduziert werden.
-
Mit dem erfindungsgemäßen Verfahren können Artefakte deutlich reduziert werden. Außerdem können die zur Verfügung stehenden Rechnerressourcen effektiver für die Rekonstruktion der Probenobjekte eingesetzt werden.
-
Das Anregungslicht ist elektromagnetische Strahlung, insbesondere im sichtbaren Spektralbereich und angrenzenden Bereichen. An das kontrastgebende Prinzip ist für die vorliegende Erfindung nur insoweit eine Anforderung gestellt, als die Probe infolge der Bestrahlung mit dem Anregungslicht Emissionslicht abstrahlt und/oder das Anregungslicht ablenkt, streut oder zurückstrahlt. Typischerweise ist das Emissionslicht Fluoreszenzlicht, welches die Probe, insbesondere dort vorhandene Farbstoffmoleküle, infolge der Bestrahlung mit dem Anregungslicht abstrahlt oder abstrahlen.
-
Zum Bereitstellen des Anregungslichts kann mindestens eine Lichtquelle, beispielsweise ein Laser, vorhanden sein. Die spektrale Zusammensetzung des Anregungslichts kann, insbesondere zwischen zwei oder mehr Farben, einstellbar sein. Das Anregungslicht kann auch simultan polychromatisch sein, beispielsweise wenn gleichzeitig unterschiedliche Farbstoffe nachgewiesen werden sollen.
-
Mit dem Begriff des Beleuchtungsstrahlengangs werden alle optischen strahlführenden und strahlverändernden Komponenten bezeichnet, beispielsweise Linsen, Spiegel, Prismen, Gitter, Filter, Blenden, Strahlteiler, Modulatoren, z.B. Spatial-Light Modulatoren (SLM), mit denen und über welche das Anregungslicht der Lichtquelle bis auf die zu untersuchende Probe geleitet wird.
-
Die Beleuchtung der Probe kann über eine Optik, insbesondere ein Mikroskopobjektiv, erfolgen, welche nicht Teil des Detektionsstrahlengangs ist.
-
Alternativ kann die Beleuchtung der Probe über dasselbe Mikroskopobjektiv erfolgen, welches auch Teil des Detektionsstrahlengangs ist.
-
Von der zu untersuchenden Probe infolge der Bestrahlung mit dem Anregungslicht ausgesandtes und/oder abgelenktes, beispielsweise gestreutes, Licht wird als Emissionslicht bezeichnet und gelangt über den Detektionsstrahlengang auf die Kamera. Mit dem Begriff des Detektionsstrahlengangs werden alle strahlführenden und strahlverändernden optischen Komponenten, beispielsweise Objektive, Linsen, Spiegel, Prismen, Gitter, Filter, Blenden, Strahlteiler, Modulatoren, z.B. Spatial-Light Modulatoren (SLM), bezeichnet, mit denen und über welche das Emissionslicht von der zu untersuchenden Probe bis auf den Detektor geleitet wird.
-
Der Detektor ist ein hinreichend schneller optischer Detektor mit einer zweidimensional ortsauflösenden Sensorfläche. Der Detektor kann insbesondere eine Kamera, insbesondere mit einem CCD-, sCMOS-, CMOS- oder SPAD-Kamera-Chip sein.
-
Das Multilinsenarray dient dazu, von einer Probe abgestrahltes Licht auf den Detektor abzubilden. Der Detektor kann dabei zwar bevorzugt in einer Brennebene der Linsen des Multilinsenarrays oder jedenfalls in der Nähe dieser Brennebene angeordnet sein. Dieses ist aber zur Verwirklichung der vorliegenden Erfindung nicht unbedingt notwendig. Die Abbildung kann in diesem Sinn auch unscharf sein. Notwendig ist nur, dass das Multilinsenarray in einer definierten und bekannten Relativposition zu dem zweidimensional ortsauflösenden Detektor angeordnet ist.
-
Mit dem Begriff der Steuereinheit werden alle Hardware- und Softwarekomponenten bezeichnet, die mit den Komponenten des erfindungsgemäßen Mikroskops zu dessen bestimmungsgemäßer Funktion zusammenwirken. Insbesondere kann die Steuereinheit eine Recheneinrichtung, beispielsweise einen PC, und eine Kamerasteuerung aufweisen, die zum schnellen Auslesen von Messsignalen in der Lage ist.
-
Die Rechnerressourcen der Steuer- und Auswerteeinheit können auf mehrere Rechner und gegebenenfalls auf ein Rechnernetz, insbesondere auch über des Internet, verteilt sein. Die Steuer- und Auswerteeinheit kann insbesondere übliche Bedienungs- und Peripheriegeräte aufweisen, wie Maus, Tastatur, Bildschirm, Speichermedien, Joystick, Internetverbindung. Die Steuer und Auswerteeinheit kann insbesondere die Bilddaten von dem Detektor einlesen.
-
Die Rekonstruktion der dreidimensionalen Objekte aus einem aufgenommenen Bild der untersuchten Probe unter Verwendung von Parametern der Lichtfeldanordnung, wie numerische Apertur des Mikroskopobjektivs, optische Parameter des Multilinsenarrays, wird durch die Steuer- und Auswerteeinheit ausgeführt.
-
An das Mikroskopobjektiv ist keine besondere Anforderung gestellt. Es kann insbesondere ein Immersionsobjektiv sein.
-
Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung eignen sich grundsätzlich für jede Art von Proben, die zugänglich sind für die Untersuchung mit Lichtfeldmikroskopie.
-
Die mit dem Lichtfeldmikroskop aufgenommenen Bilder umfassen jeweils einen Satz von Teilbildern. Die Teilbilder sind diejenigen Bilder, die von einer einzelnen Linse des Multilinsenarrays auf dem zweidimensional ortsauflösenden Detektor erzeugt werden. Die Anzahl der Teilbilder entspricht also der Anzahl der genutzten Linsen des Multilinsenarrays. Das Multilinsenarray kann beispielsweise 37 oder 89 Linsen aufweisen.
-
Die von dem Detektor bei einer Messung erhaltenen Bilddaten können zwar als eine der Anzahl der genutzten Linsen des Multilinsenarrays entsprechende Anzahl von Teilbildern aufgefasst und als solche ausgewertet werden. Das gesamte von dem Detektor gemessene Bild, das als Gesamtbild bezeichnet werden kann, kann aber auch als ein einzelnes Bild mit einer entsprechenden Anzahl von Bildbereichen aufgefasst werden. Die Auswertung der Bildinformation und Rekonstruktion der Volumenstruktur der Probe kann auf Basis von einigen oder allen Teilbildern oder auf Basis des Gesamtbilds erfolgen. Möglich ist auch, dass nur Ausschnitte von allen oder nur einigen Teilbildern für die Auswertung berücksichtigt werden.
-
Die Lichtfeldmikroskopie kann als Fluoreszenzmikroskopie durchgeführt werden und als Lichtquellen werden dann bevorzugt Lichtquellen, insbesondere Laser, verwendet, die zur Fluoreszenzanregung der Farbstoffe, mit denen die zu untersuchenden Proben präpariert wurden, geeignet sind.
-
Bei einer besonders vorteilhaften Ausführungsform der erfindungsgemäßen Vorrichtung ist das Multilinsenarray in einer zur hinteren Brennebene des Mikroskopobjektivs optisch konjugierten Ebene (Pupillenebene) angeordnet. Die zu den einzelnen Linsen gehörenden Teilbilder entsprechen dann Bildern der Probe aus unterschiedlichen parallaktischen Winkeln. Bei dieser als Fourier-Lichtfeldmikroskopie bezeichneten Variante sind die Teilbilder anschaulich verständlich. Die vorliegende Erfindung ist aber nicht auf die Fourier-Lichtfeldmikroskopie beschränkt. Vielmehr kann für das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung die als Ortsraum-Lichtfeldmikroskopie bezeichnete Variante zum Einsatz kommen, bei der das Multilinsenarray in einer zu einer Ebene der Probe optisch konjugierten Ebene (Zwischenbildebene) angeordnet ist.
-
Möglich sind außerdem Anordnungen und Verfahrensvarianten, bei denen sich das Multilinsenarray weder in einer Zwischenbildebene noch in einer Pupillenebene befindet. Die mit solchen Anordnungen erhaltenen Bilddaten enthalten grundsätzlich dieselbe Information wie bei der Ortsraum-Lichtfeldmikroskopie und der Fourier-Lichtfeldmikroskopie. Die Verfahren zur Rekonstruktion eines dreidimensionalen Bilds der Probe müssen dann unter Verwendung der jeweils bestehenden geometrischen Parameter des Abbildungssystems, insbesondere der Relativposition des Multilinsenarrays zu einer Zwischenbildebene und/oder einer Pupillenebene, angepasst werden.
-
Ob und inwieweit Artefakte bei der Rekonstruktion vermieden werden können, hängt im Einzelnen spezifisch von den Verfahren ab, welche zum Erzeugen des Teildatensatzes verwendet werden. Grundsätzlich kann der im Schritt b) erzeugte Teildatensatz so erzeugt werden, dass er im Hinblick auf interessierende Probenbereiche im Wesentlichen erwünschte Anteile enthält. Eine Rekonstruktion eines solchen Teildatensatzes würde dann ein Objekt liefern, welches einem finalen Probenobjekt schon vergleichsweise ähnlich ist oder, gegebenenfalls, sogar schon als finales Probenobjekt gewertet werden kann. Es ist aber auch möglich, den Teildatensatz zunächst so zu erzeugen, dass er im Hinblick auf interessierende Probenbereiche im Wesentlichen unerwünschte Anteile enthält. Auf dem Weg zur Rekonstruktion eines finalen Probenobjekts sind dann neben der Rekonstruktion für einen solchen Teildatensatz weitere Verfahrensschritte notwendig. Schließlich ist es auch möglich, einen Teildatensatz im Schritt b) so zu generieren, dass er im Hinblick auf interessierende Probenbereiche, gegebenenfalls in gleicher oder ähnlicher Größenordnung, sowohl erwünschte als auch unerwünschte Anteile enthält.
-
Bei bevorzugten Varianten des erfindungsgemäßen Verfahrens erfolgt das Erzeugen des mindestens einen Teildatensatzes durch eine Zerlegung des Bilddatensatzes in eine Mehrzahl von Teildatensätzen. In der Praxis hat sich gezeigt, dass es schon ausreichend sein kann, wenn der Bilddatensatz in genau zwei Teildatensätze zerlegt wird.
-
Beispielsweise kann der gemessene Bilddatensatz als Summe oder eine andere Verknüpfung von Teildatensätzen darstellbar sein.
-
Wenn aus einem gemessenen Bilddatensatz Daten abgetrennt werden, sei es im Ortsraum, beispielsweise wenn Daten von den Bilddatensatz subtrahiert werden, oder im Raum der Ortsfrequenzen, beispielsweise bei einer Filterung, kann der verbleibende Teilbilddatensatz als Restbilddatensatz bezeichnet werden.
-
Die Ringing-Artefakte entstehen insbesondere, wenn die Probe einen, beispielsweise konstanten Untergrund oder Hintergrund zeigt. Im Rahmen der Arbeiten, die zu der vorliegenden Erfindung geführt haben, konnte gezeigt werden, dass das Rekonstruktionsergebnis, mithin die rekonstruierten Objekte, deutlich weniger Ringing-Artefakte aufweisen, wenn bei dem gemessenen Bilddatensatz vor Anwendung eines Rekonstruktionsverfahrens der Hintergrund von dem Gesamtsignal abgetrennt wird. Beispielsweise kann zum Abtrennen von Hintergrundsignal eine Filterung des Bilddatensatzes oder eines Restbilddatensatzes durchgeführt werden. Filterung ist hier zu verstehen als eine Manipulation des Spektrums der Ortsfrequenzen des Bilddatensatzes, d. h. ein Bilddatensatz oder Restbilddatensatz wird im Raum der Ortsfrequenzen manipuliert. Andere Verfahren sind möglich, insbesondere können die Daten auch direkt im Ortsraum manipuliert werden.
-
Beispielsweise kann ein Teildatensatz erzeugt werden, indem auf den gemessenen Bilddatensatz oder einen Restbilddatensatz mindestens eines der folgenden Verfahren angewendet wird:
- • Hochpassfilterung;
- • Tiefpassfilterung;
- • Bandpassfilterung;
- • Rolling-Ball-Algorithmus;
- • Filterung mit Wavelet-Filter;
- • Algorithmus zur Bestimmung des konstanten oder sich örtlich ändernden Hintergrundsignals im Ortsraum
-
Beispielsweise kann der Bilddatensatz oder ein Restbilddatensatz in mindestens zwei, gegebenenfalls teilweise überlappende, Frequenzbänder der Ortsfrequenzen zerlegt werden. In der Praxis hat sich gezeigt, dass es schon ausreichend sein kann, den Bilddatensatz in zwei Frequenzbänder zu zerlegen.
-
Alternativ oder ergänzend kann zur Erzeugung eines Teildatensatzes eine Offset-Funktion von dem Bilddatensatz oder einem Restbilddatensatz subtrahiert werden. Dieses Verfahren ist ebenfalls zur Entfernung eines Hintergrunds besonders geeignet.
-
Die Offset-Funktion kann insbesondere lokal im Bild unterschiedliche Werte aufweisen, das heißt in Abhängigkeit der x- und y-Koordinate kann ein unterschiedlicher Offset subtrahiert werden.
-
Beispielsweise kann die Offset-Funktion für mindestens zwei Teilbilder, insbesondere für mehrere oder alle Teilbilder des gemessenen Bilddatensatzes oder eines Restbilddatensatzes, jeweils einen konstanten Wert aufweisen. Der Wert des Offsets kann durch Bildauswertung, insbesondere individuell für jedes der Teilbilder, bestimmt werden.
-
Grundsätzlich muss im Auge behalten werden, dass bei jeder Filterung und/oder Subtraktion eines Offsets auch Messinformation, die von der Probe stammt, verlorengeht. Je nachdem welcher Natur die untersuchten Probe ist, kann das unerwünscht sein.
-
Die unterschiedlichen Algorithmen zur Rekonstruktion von dreidimensionalen Objekten sind für unterschiedliche Probenbedingungen jeweils unterschiedlich anfällig für bestimmte Bildartefakte in den rekonstruierten Objekten. Es hat sich zum Beispiel gezeigt, dass Proben mit homogenem Untergrund mehr Artefakte erzeugen als Proben ohne Untergrundsignal. Andererseits ist bei Bilddaten mit vergleichsweise geringem Kontrast, im Wesentlichen unabhängig von der Höhe eines Untergrundsignals, die Ausbildung von Artefakten eher gering.
-
Es kann deshalb zweckmäßig sein, den gemessenen Bilddatensatz in mehrere Teildatensätze zu zerlegen, die jeweils einen unterschiedlichen Bildkontrast aufweisen.
-
Wichtig ist generell, dass sämtliche hier beschriebenen Verfahren zur Erzeugung von Teildatensätzen und zur Zerlegung eines gemessenen Bilddatensatzes in mehrere Teildatensätze miteinander kombiniert werden können und, wo zweckmäßig, parallel oder sequenziell durchgeführt werden können.
-
Grundsätzlich kann es schon ausreichen, aus einem einzigen Teildatensatz ein dreidimensionales Objekt zu rekonstruieren, welches dann als finales Probenobjekt gewertet wird. Bei einer Variante des erfindungsgemäßen Verfahrens wird mithin mindestens aus einem und insbesondere aus allen Teildatensätzen jeweils ein dreidimensionales Teilobjekt rekonstruiert.
-
Ein dreidimensionales Gesamtobjekt, insbesondere ein die untersuchte Probe darstellendes finales Probeobjekt, kann erhalten werden, indem mindestens zwei Teilobjekte, die aus zwei unterschiedlichen aus dem gemessenen Bilddatensatz erzeugten Teildatensätzen rekonstruiert wurden, miteinander kombiniert werden. Dabei geht weniger Information der Probe verloren und Artefakte, beispielsweise Ringing-Artefakte, können gleichwohl reduziert werden.
-
Grundsätzlich kann aus jedem der Teildatensätze mit demselben Rekonstruktionsverfahren ein Teilobjekt rekonstruiert werden. Es kann aber zweckmäßig sein, dass jeweils zum Einsatz kommende Rekonstruktionsverfahren in Abhängigkeit des jeweiligen Teildatensatzes auszuwählen. Bevorzugte Varianten des erfindungsgemäßen Verfahrens zeichnen sich also dadurch aus, dass die Rekonstruktion für mindestens zwei Teildatensätze, insbesondere für alle Teildatensätze, mit jeweils unterschiedlichen Rekonstruktionsverfahren oder mit demselben Rekonstruktionsverfahren unter Verwendung unterschiedlicher Parameter, wie beispielsweise unterschiedliche räumliche Auflösung, durchgeführt wird.
-
Bei weiteren bevorzugten Ausgestaltungen des erfindungsgemäßen Verfahrens werden aus mindestens zwei Teildatensätzen oder aus allen Teildatensätzen sequenziell oder parallel jeweils dreidimensionale Teilobjekte rekonstruiert.
-
Bei einer besonders bevorzugten Variante des erfindungsgemäßen Verfahrens ist eine räumliche Auflösung, mit welcher eine Rekonstruktion für einen bestimmten Teildatensatz durchgeführt wird, umso höher, je höher die in dem jeweiligen Teildatensatz enthaltenen Ortsfrequenzen sind. Die räumliche Auflösung wird auch als Sampling bezeichnet. Je geringer die räumliche Auflösung gewählt wird, umso geringer ist auch der Rechenaufwand.
-
Zur Rekonstruktion eines dreidimensionalen Objekts aus einem Teildatensatz kann mindestens eines der folgenden Verfahren angewendet werden:
- • Shift&Sum-Verfahren;
- • Shift&Multiply-Verfahren;
- • Wiener-Entfaltung oder Lucy Richardson Entfaltung in Kombination mit Shift&Sum oder Shift&Multiply-Verfahren;
- • Lucy-Richardson-Entfaltung;
- • Joint oder Multi-View Lucy-Richardson-Entfaltung;
- • Single-Value-Decomposition-Verfahren, insbesondere in Kombination mit einer Regularisierung (z.B. inverse Filterung mit Tikhonov Regularisierung);
- • Entfaltung mit Punktverwaschungsfunktionen, die insbesondere Streulichtanteile enthalten können.
-
Auch Verfahren unter Verwendung von künstlicher Intelligenz und neuronalen Netzen können zum Einsatz kommen.
-
Sämtliche hier beschriebenen Varianten zur Rekonstruktion von dreidimensionalen Objekten aus Teildatensätzen können miteinander kombiniert werden.
-
Die Kombination von dreidimensionalen Teilobjekten zu einem dreidimensionalen Gesamtobjekt kann insbesondere bewerkstelligt werden durch eine Überlagerung von mindestens zwei dreidimensionalen Teilobjekten, die jeweils durch Rekonstruktion aus verschiedenen Teildatensätzen des Bilddatensatzes hervorgehen.
-
Beispielsweise kann zum Überlagern der Teilobjekte zu dem Gesamtobjekt mindestens eines der folgenden Verfahren durchgeführt werden:
- • Addition der Teilobjekte im Ortsraum;
- • gewichtete Addition der Teilobjekte im Ortsraum;
- • Multiplikation der Teilobjekte im Ortsraum;
- • gewichtete Multiplikation der Teilobjekte im Ortsraum;
- • Addition der Teilobjekte im Raum der Ortsfrequenzen;
- • gewichtete Addition der Teilobjekte im Raum der Ortsfrequenzen.
-
Eine Addition von Teilobjekten im Raum der Ortsfrequenzen entspricht einer Überlagerung oder Überblendung von Frequenzbändern. In der Praxis hat sich gezeigt, dass dabei schon mit zwei Frequenzbändern gute Resultate erreicht werden. Die Frequenzbänder können insbesondere teilweise überlappen. Die Addition von Teilobjekten kann eine gewichtete Addition sein, bei der die einzelnen Summanden jeweils mit einem individuellen Gewichtungsfaktor gewichtet werden. Diese Faktoren können so gewählt werden, dass ihre Summe gleich 1 ist.
-
Ein wichtiger Sachverhalt bei der Erzeugung eines Teildatensatzes aus einem gemessenen Bilddatensatz beziehungsweise bei dessen Zerlegung in eine Mehrzahl von Teildatensätze ist, dass die Teildatensätze möglicherweise insoweit inkonsistent sind, als kein reales dreidimensionales Objekt existiert, für welches eine Lichtfeld-Abbildung den betreffenden Teildatensatz liefert.
-
Bei einer weiteren Gruppe von vorteilhaften Ausführungsvarianten des erfindungsgemäßen Verfahrens werden Effekte solcher Inkonsistenzen reduziert, indem die Teildatensätze jeweils unter Wahrung der Konsistenz erzeugt werden. Insbesondere ist es dann auch möglich, ein Gesamtobjekt aus Teilobjekten zusammenzusetzen oder zu kombinieren, welche jeweils aus konsistenten Teildatensätzen rekonstruiert wurden. Artefakte können auf diese Weise deutlich reduziert werden.
-
Bevorzugt können folgende Verfahrensschritte durchgeführt werden: im Schritt c) wird aus einem Teildatensatz ein Teilobjekt rekonstruiert, für dieses Teilobjekt wird ein Lichtfeld-Bilddatensatz simuliert, der simulierte Lichtfeld-Bilddatensatz wird mit dem Teildatensatz verglichen und danach wird mindestens einer der folgenden Schritte durchgeführt:
- • Abspeichern eines Ergebnisses des Vergleichs;
- • Ausgeben und/oder Anzeige des Ergebnisses des Vergleichs an einen Benutzer;
- • Erzeugen einer Empfehlung an einen Benutzer in Abhängigkeit des Ergebnisses des Vergleichs hinsichtlich weiterer Schritte zur Rekonstruktion eines Objekts;
- • Ändern der Erzeugung des Teildatensatzes im Schritt b).
-
Eventuelle Inkonsistenzen des Teildatensatzes führen dazu, dass der simulierte Lichtfeld-Bilddatensatz nicht vollständig mit dem Teildatensatz, aus dem der simulierte Lichtfilter-Bilddatensatz hervorgeht, übereinstimmt. Unterschiede zwischen dem ursprünglichen Teildatensatz und dem simulierten Lichtfeld-Bilddatensatz werden bei dem Vergleich ermittelt und können als Maß für die Konsistenz oder Inkonsistenz des jeweiligen Teildatensatzes herangezogen werden.
-
Weil die optische Transferfunktion, insbesondere die Punktverwaschungsfunktionen des Mikroskopobjektivs und der Linsen des Multilinsenarrays, gut bekannt sind, ist die Simulation des Lichtfeld-Bilddatensatzes mit sehr guter Genauigkeit möglich. Wichtig ist, dass der Lichtfeld-Bilddatensatz, der durch solch eine Simulation entsteht, konsistent ist, wenn das Objekt, für welches die Simulation durchgeführt wird, mindestens theoretisch möglich ist. Der Konsistenz des simulierten Datensatzes ist es aber nicht abträglich, wenn das Objekt zwar theoretisch möglich ist, als solches aber nicht plausibel ist, beispielsweise weil es in der Natur nicht vorkommende Strukturen aufweist.
-
Für den Vergleich können grundsätzlich bekannte Verfahren zum Einsatz kommen, wie beispielsweise Bildkorrelation, Summe der quadratischen Abweichungen. Die Empfehlungen an einen Benutzer können insbesondere Vorschläge zur Veränderung von Verfahrensvarianten oder Verfahrensparametern im Hinblick auf die Rekonstruktion eines Teilobjekts und insbesondere im Hinblick auf die Rekonstruktion eines finalen Probenobjekts betreffen. Insbesondere können die Empfehlungen die Erzeugung des Teildatensatzes im Schritt b) betreffen, so dass im Hinblick auf die Rekonstruktion eines Teilobjekts und insbesondere die Rekonstruktion eines finalen Probenobjekts Verbesserungen erreicht werden.
-
Bei einem weiteren bevorzugten Ausführungsbeispiel des erfindungsgemäßen Verfahrens werden die folgende Schritte
- • Erzeugen eines Teildatensatzes;
- • Rekonstruieren eines Objekts aus dem erzeugten Teildatensatz;
- • Simulieren eines Lichtfeld-Bilddatensatzes aus dem rekonstruierten Objekt;
- • Vergleichen des simulierten Lichtfeld-Bilddatensatzes mit dem Teildatensatz;
- • Ändern der Erzeugung des Teildatensatzes im Schritt b)
mehrmals hintereinander durchgeführt, bis ein Ergebnis-Teildatensatz erreicht ist, für den der Vergleich mit dem simulierten Lichtfeld-Bilddatensatz eine hinreichend gute Übereinstimmung liefert.
-
Für den so ermittelten Ergebnis-Teildatensatz und/oder für denjenigen Teildatensatz, der dem ursprünglichen Bilddatensatz abzüglich des Ergebnis-Teildatensatzes entspricht, kann dann ein Objekt rekonstruiert werden.
-
Artefakte können schon deutlich reduziert werden, wenn die zu rekonstruierenden Teildatensätze geeignet erzeugt beziehungsweise die für die Erzeugung der Teildatensätze anzuwendenden Verfahren geeignet gewählt werden. Es ist aber auch möglich, Teildatensätze und/oder rekonstruierte Objekte gezielt im Hinblick auf Artefakte zu untersuchen. Dabei erhaltene Informationen, können einerseits verwendet werden, um die Erzeugung des jeweiligen Teildatensatzes zu verändern. Teildatensätze und/oder rekonstruierte Objekte können aber auch gezielt verändert oder korrigiert werden. Bei einer vorteilhaften Variante des erfindungsgemäßen Verfahrens werden beispielsweise folgende Verfahrensschritte durchgeführt: in einem dreidimensionalen Objekt, welches aus einem Teildatensatz rekonstruiert wird, werden Objektbereiche gesucht, die auf Artefakte der Rekonstruktion hindeuten, und danach wird mindestens einer der folgenden Schritte ausgeführt:
- • Abspeichern von gefundenen Objektbereichen;
- • Ausgeben und/oder Anzeigen der gefundenen Objektbereiche an einen Benutzer;
- • Erzeugen und Ausgeben und/oder Anzeigen einer Empfehlung an einen Benutzer in Abhängigkeit der gefundenen Objektbereiche betreffend weitere Schritte zur Rekonstruktion eines Objekts oder finalen Probenobjekts;
- • Korrigieren der gefundenen Objektbereiche, die auf Artefakte der Rekonstruktion hindeuten.
-
Anhand von ausgegebenen oder angezeigten Objektbereichen kann ein Benutzer manuell das Objekt korrigieren. Das Ausgeben und/oder Anzeigen der gefundenen Objektbereiche kann dem Benutzer auch relevante Informationen zur Verfügung stellen, anhand deren der Benutzer Verfahrensparameter verändern kann für die Erzeugung der Teildatensätze und/oder deren Rekonstruktion zur Verbesserung letzten Endes der Rekonstruktion eines finalen Probenobjekts. Ebenso können die Empfehlungen an den Benutzer betreffen: Korrekturen in den gefundenen Objektbereichen, Änderungen von Parametern der Verfahren zur Erzeugung der Teildatensätze und/oder der Verfahren zu deren Rekonstruktion alles zur Verbesserung der Rekonstruktion eines finalen Probenobjekts. Möglich ist auch, dass solche Änderungen von Verfahrensparametern und/oder Korrekturen des Objekts automatisch vorgenommen werden.
-
Als Objektbereiche, die auf Artefakte hindeuten, können beispielsweise solche Pixel des Objekts gewertet werden, deren Bildwerte außerhalb von festzulegenden Werteintervallen liegen. Möglich ist zum Beispiel, dass Pixel des Objekts, deren Bildwerte kleiner als null oder größer als ein Schwellwert sind, als Objektbereiche gewertet werden, die auf Artefakte hindeuten.
-
Ein korrigiertes Objekt kann beispielsweise erzeugt werden, indem Pixel, deren Bildwerte außerhalb von festzulegenden Werteintervallen liegen, insbesondere Pixel, mit negativen Bildwerten, in dem dreidimensionalen Objekt auf festzulegende Werte, insbesondere auf Null, gesetzt werden. Dieses kann automatisch oder manuell, gegebenenfalls für nur einige der gefundenen Objektbereiche, durch einen Benutzer, durchgeführt werden.
-
Zweckmäßig kann auch sein, auf ein, gegebenenfalls korrigiertes, Objekt zur Reduzierung von nicht plausiblen Strukturen, beispielsweise von besonders scharfen Kanten, weitere Algorithmen auf das betreffende Objekt zu dessen weiterer Korrektur anzuwenden. Beispielsweise kann eine Weichzeichnerfunktion angewendet werden.
-
Bei weiteren bevorzugten Ausgestaltungen des erfindungsgemäßen Verfahrens können die folgenden Verfahrensschritte durchgeführt werden: Zunächst wird aus einem gemessenen Bilddatensatz ein Teildatensatz erzeugt, wobei das grundsätzlich unter Einsatz von jedem der hier beschriebenen Verfahren durchgeführt werden kann. Aus dem erzeugten Teildatensatz wird ein dreidimensionales Objekt rekonstruiert. Gegebenenfalls können an diesem Objekt, wie vorstehend beschrieben, Korrekturen durchgeführt werden. Für das, insbesondere korrigierte, dreidimensionale Objekt wird sodann ein Lichtfeld-Bilddatensatz simuliert. Aus den oben beschriebenen Gründen ist dieser Lichtfeld-Bilddatensatz immer konsistent. Sodann wird ein Differenzdatensatz berechnet durch Bilden der Differenz zwischen dem gemessenen Bilddatensatz und dem simulierten Lichtfeld-Bilddatensatz. Weil die Lichtfeld-Abbildung eine lineare Abbildung ist und weil der simulierte Lichtfeld-Bilddatensatz konsistent ist, wird auch der Differenzdatensatz konsistent sein, wenn der ursprünglich gemessene Bilddatensatz konsistent ist.
-
Bevorzugt können in dem Differenzdatensatz wiederum Bildbereiche gesucht werden, die auf Artefakte der Rekonstruktion hindeuten und anschließend kann mindestens einer der folgenden Schritte ausgeführt werden:
- • Abspeichern von gefundenen Bildbereichen;
- • Ausgeben und/oder Anzeigen der gefundenen Bildbereiche an einen Benutzer;
- • Erzeugen und Ausgeben und/oder Anzeigen einer Empfehlung an einen Benutzer in Abhängigkeit der gefundenen Objektbereiche betreffend weitere Schritte zur Rekonstruktion eines Objekts, insbesondere eines finalen Probenobjekts;
- • Korrigieren der gefundenen Bildbereiche, die auf Artefakte der Rekonstruktion hindeuten.
-
Anhand von ausgegebenen oder angezeigten Bereichen des Differenzdatensatzes kann ein Benutzer den Differenzdatensatz manuell korrigieren. Das Ausgeben und/oder Anzeigen von gefundenen Bereichen des Differenzdatensatzes kann dem Benutzer auch relevante Informationen zur Verfügung stellen, anhand deren Verfahrensparameter verändert werden können für die Erzeugung der Teildatensätze und/oder deren Rekonstruktion zur Verbesserung letzten Endes der Rekonstruktion eines finalen Probenobjekts. Ebenso können die Empfehlungen an den Benutzer betreffen: mögliche Korrekturen in den gefundenen Bereichen des Differenzdatensatzes, Änderungen von Parametern der Verfahren zur Erzeugung der Teildatensätze und/oder der Verfahren zu deren Rekonstruktion alles zur Verbesserung der Rekonstruktion eines finalen Probenobjekts. Möglich ist auch, dass solche Änderungen von Verfahrensparametern und/oder Korrekturen des Differenzdatensatzes automatisch vorgenommen werden.
-
Als Bildbereiche, die auf Artefakte hindeuten, können solche Pixel des Differenzdatensatzes gewertet werden, deren Bildwerte außerhalb von festzulegenden Werteintervallen liegen, beispielsweise größer als ein Schwellwert oder kleiner als Null sind.
-
Ein korrigierter Differenzdatensatz kann beispielsweise erzeugt werden, indem Pixel, deren Bildwerte außerhalb von festzulegenden Werteintervallen liegen, insbesondere Pixel mit negativen Bildwerten, in dem Differenzdatensatz manuell oder automatisch auf festzulegende Werte, insbesondere auf Null, gesetzt werden.
-
In vergleichbarer Weise wie bei der Korrektur eines rekonstruierten Objekts kann es auch hier zweckmäßig sein, auf einen, gegebenenfalls korrigierten, Differenzdatensatz zur Reduzierung von nicht plausiblen Strukturen, beispielsweise von besonders scharfen Kanten, weitere Algorithmen auf den betreffenden Differenzdatensatz zu dessen weiterer Korrektur anzuwenden. Beispielsweise kann eine Weichzeichnerfunktion auf den Differenzdatensatz angewendet werden.
-
Aus dem, gegebenenfalls korrigierten, Differenzdatensatz kann dann ein Teilobjekt rekonstruiert werden, welches als Rest-Teilobjekt bezeichnet werden kann. Dieses Rest-Teilobjekt repräsentiert die restlichen Anteile des ursprünglichen Bilddatensatzes, die bei der ursprünglichen Erzeugung des Teildatensatzes nicht abgespalten wurden. Für die Rekonstruktion des Teilobjekts aus dem Differenzdatensatz können grundsätzlich alle hier beschriebenen Rekonstruktionsverfahren zur Anwendung kommen.
-
Oben wurden Verfahrensvarianten beschrieben, bei denen ein einziger Teildatensatz aus dem gemessenen Bilddatensatz erzeugt oder abgespalten wird, aus diesem Teildatensatz sodann ein Teilobjekt rekonstruiert wird und anschließend aus dem Restbilddatensatz ein weiteres Teilobjekt rekonstruiert wird, welches die restliche Bildinformation repräsentiert. Es ist aber auch möglich, von vornherein mehrere Teildatensätze zu erzeugen, wobei die jeweiligen Verfahren zur Erzeugung der Teildatensätze sowohl auf den ursprünglich gemessenen Bilddatensatz als auch auf die jeweils verbleibenden Restbilddatensätze angewendet werden können.
-
Wenn nach der Rekonstruktion eines Teilobjekts ein aus einer Simulation gewonnener Lichtfeld-Bilddatensatz von dem ursprünglich gemessenen Bilddatensatz oder einem Restbilddatensatz abgezogen werden soll, hatte sich zum Vermeiden von Artefakten als zweckmäßig erwiesen, dass zuerst Teilobjekte aus Teildatensätzen rekonstruiert werden, die niedrigere Ortsfrequenzen enthalten, und dass anschließend nach und nach Teilobjekte aus Teildatensätzen rekonstruiert werden, die zunehmend höhere Ortsfrequenzen enthalten. Es hat sich gezeigt, dass das Subtrahieren von hochfrequenter Bildinformation aus dem gemessenen Bilddatensatz leicht Artefakte insoweit erzeugen kann, als auf dem niederfrequenten Untergrund durch die Differenzbildung eine künstliche Löcherstruktur entsteht.
-
Die Rekonstruktion von dreidimensionalen Objekten aus den Lichtfeld-Bilddaten ist rechenintensiv. Die benötigte Rechenzeit hängt insbesondere davon ab, wie groß das zu rekonstruierende Volumen gewählt wird. Wenn das zu rekonstruierende Volumen in Richtung der optischen Achse kleiner gewählt wird als das reale abgebildete Objekt, können sich bei der Rekonstruktion im rekonstruierten Volumen, welches auch als Zielbereich bezeichnet werden kann, Artefakte ergeben, die aus realen Strukturen außerhalb des rekonstruierten Volumens resultieren.
-
Solche Artefakte können bei der folgenden Variante des erfindungsgemäßen Verfahrens reduziert werden, bei der folgende Verfahrensschritte durchgeführt werden:
- • Rekonstruieren eines Objekts aus dem Bilddatensatz oder einem daraus erzeugten Teildatensatz mit reduzierter Ortsauflösung für ein Volumen, in welchem interessierende Bereiche der Probe enthalten sind;
- • Erzeugen eines reduzierten Teilobjekts durch Setzen der Bildwerte des Objekts für alle Pixel in einem Zielbereich, in welchem sich die interessierenden Bereiche der Probe befinden, auf einen festzulegenden Wert, insbesondere auf Null;
- • Simulieren eines Lichtfeld-Bilddatensatzes für das reduzierte Teilobjekt;
- • Erzeugen eines Differenzdatensatzes durch Bilden der Differenz zwischen dem ursprünglich gemessenen Bilddatensatz und dem für das reduzierte Teilobjekt simulierten Lichtfeld-Bilddatensatz;
- • Rekonstruieren eines Teilobjekts aus dem Differenzdatensatz.
-
Der Zielbereich kann durch Auswertung des mit reduzierter räumlicher Auflösung rekonstruierten Teilobjekts ermittelt werden. Dieses kann durch einen Benutzer visuell, aber auch vollständig oder teilweise automatisiert erfolgen.
-
Dadurch, dass das Objekt zunächst für ein vergleichsweise großes Volumen rekonstruiert wird, werden bei dieser Verfahrensvariante auch Effekte von defokussierten Objektstrukturen erfasst. Das vergleichsweise große zu rekonstruierende Volumen führt für sich genommen zu einer deutlich erhöhten Berechnungszeit. Dem wird bei dieser Verfahrensvariante aber dadurch begegnet, dass das große Volumen mit einer reduzierten örtlichen Auflösung rekonstruiert wird. Die Rechenzeit kann so reduziert werden. Hierzu ist es zweckmäßig, den Teildatensatz, aus welchem im ersten Verfahrensschritt ein Objekt rekonstruiert wird, zu erzeugen aus den gemessenen Bilddaten durch Entfernen von Hintergrundsignal aus dem Bilddatensatz, insbesondere durch Anwenden eines Tiefpassfilters oder eines Rolling-Ball-Algorithmus auf den gemessenen Bilddatensatz. Weiterhin kann die örtliche Auflösung des Teildatensatzes, die auch als Pixel-Sampling bezeichnet wird, reduziert werden. Beispielsweise kann der Datensatz in den Koordinaten x und y jeweils um den Faktor 4 und somit insgesamt um den Faktor 16 reduziert werden.
-
Das reduzierte Teilobjekt enthält nur noch defokussierte Strukturen außerhalb des Zielbereichs.
-
Die Ortsauflösung des reduzierten Teilobjekts und/oder das Pixel-Sampling des für das reduzierte Objekt simulierten Lichtfeld-Bilddatensatzes kann dann wieder erhöht werden und, wie oben beschrieben, kann für den Differenzdatensatz ein Objekt, jetzt mit einer für das Volumen des Zielbereichs erhöhter Ortsauflösung, berechnet werden.
-
Weil bei der Lichtfeldmikroskopie die Ortsauflösung außerhalb vom Fokus abnimmt, kann die Rekonstruktion der defokussierten Objektstrukturen mit deutlich reduzierter Ortsauflösung, also deutlich reduziertem Sampling, erfolgen. Wenn für die Rekonstruktion ein iteratives Entfaltungsverfahren verwendet wird, beispielsweise ein Richardson-Lucy-Verfahren, kann bei der Rekonstruktion des großvolumigen Objekts mit vergleichsweise wenigen Iterationsschritten gearbeitet werden. Durch die reduzierte Ortsauflösung (reduziertes Sampling) und/oder die reduzierte Anzahl von Iterationen benötigt die Rekonstruktion des großvolumigen Objekts gleichwohl vergleichsweise wenig Rechenzeit.
-
Vorteilhaft ist auch bei dieser Verfahrensvariante, dass der Differenzdatensatz, wie oben beschrieben, ein konsistenter Datensatz ist. Optional kann das im ersten Verfahrensschritt rekonstruierte Objekt, wie oben beschrieben, korrigiert werden. Ergänzend und/oder alternativ kann der Differenzdatensatz korrigiert werden, bevor daraus ein Probenobjekt rekonstruiert wird.
-
Bei diesen Verfahren wird der Zielbereich, also der Bereich, in dem sich die Probenstrukturen befinden, für die man sich interessiert, in einer die Konsistenz der Teildatensätze erhaltenden Weise aus dem gemessenen Bilddatensatz herausgeschnitten.
-
Weitere Vorteile und Merkmale der vorliegenden Erfindung werden im Folgenden mit Bezug auf die beigefügten Figuren erläutert. Darin zeigt:
- 1: eine schematische Übersicht über eine erfindungsgemäße Vorrichtung zur Lichtfeldmikroskopie;
- 2: ein Flussdiagramm eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens sowie Varianten davon;
- 3: ein Flussdiagramm eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens;
- 4: ein Flussdiagramm eines dritten Ausführungsbeispiels des erfindungsgemäßen Verfahrens; und
- 5: ein Flussdiagramm eines vierten Ausführungsbeispiels des erfindungsgemäßen Verfahrens.
-
Ein Beispiel einer erfindungsgemäßen Vorrichtung zur Lichtfeldmikroskopie 100, die zur Durchführung des erfindungsgemäßen Verfahrens geeignet und eingerichtet ist, wird mit Bezug auf 1 erläutert. Die dort gezeigte Vorrichtung 100 beinhaltet als wesentliche Komponenten: eine Lichtquelle 1, typischerweise einen oder mehrere Laser, zum Aussenden von Anregungslicht 2, einen Beleuchtungsstrahlengang mit einem Mikroskopobjektiv 4 zum Leiten des Anregungslichts 2 auf oder in eine Probe 5, einen zweidimensional ortsauflösenden Detektor 11 zum Nachweis von von der Probe 5 abgestrahltem Licht 6 und einen Detektionsstrahlengang mit dem Mikroskopobjektiv 4 und einem Multilinsenarray 9 zum Leiten des von der Probe 5 abgestrahlten Lichts 6 auf den Detektor 11. Der Detektor 11 ist in oder in der Nähe einer Brennebene des Multilinsenarrays 9 angeordnet und kann typischerweise eine sCMOS-, CMOS-, CCD- oder SPAD-Kamera sein. Das Multilinsenarray 9 könnte auch Teil des Objektivs 4 sein und in dessen hinterer Brennebene angeordnet sein.
-
Schließlich ist zum Ansteuern der Lichtquelle 1 und des Detektors 11 und zum Auswerten der von dem Detektor 11 erhaltenen Messdaten eine Steuer- und Auswerteeinheit 12 vorhanden, bei der es sich insbesondere um einen Rechner grundsätzlich bekannter Natur handeln kann.
-
Die Steuer- und Auswerteeinheit kann grundsätzlich durch einen einzigen Rechner verwirklicht sein. Es ist aber auch möglich, dass die Steuer- und Auswerteeinheit mehrere Rechner aufweist, auf denen jeweils unterschiedliche Aufgaben, insbesondere Rekonstruktionsverfahren, durchgeführt werden, beispielsweise wenn für die Rekonstruktionsverfahren neuronale Netze für die Auswertung und Verarbeitung des Bilddatensatzes zum Einsatz kommen. Insoweit kann die Bezeichnung Steuer- und Auswerteeinheit auch Funktionseinheiten umfassen, die an unterschiedlichen Orten angeordnet, und gegebenenfalls weit voneinander entfernt und über die Cloud miteinander verbunden sind. Zur Interaktion mit einem Benutzer kann die Steuer- und Auswerteeinheit 12 grundsätzlich bekannte Funktionskomponenten, wie Maus, Joystick, Tastatur, Bildschirm, Lautsprecher, Kamera, Internetverbindung aufweisen.
-
Das von der Lichtquelle 1 ausgesendete Licht 2, insbesondere Anregungslicht für Fluoreszenzfarbstoffe, mit denen die Probe 5 präpariert ist, gelangt durch einen dichroitischen Strahlteiler 3 zum Mikroskopobjektiv 4 und wird von diesem in eine Probenebene auf oder in der Probe 5 fokussiert. Von der Probe 5 abgestrahltes Emissionslicht, insbesondere von Fluoreszenzfarbstoffen abgestrahltes Fluoreszenzlicht, gelangt über das Mikroskopobjektiv 4 zurück auf den dichroitischen Strahlteiler 3 und wird an diesem reflektiert in Richtung einer Relayoptik 8. Die Relayoptik 8 besteht aus mindestens zwei teleskopartig zueinander angeordneten Linsen. An der Position 7 befindet sich eine Zwischenbildebene, also eine zur Probenebene optisch konjugierte Ebene. Nach Durchtritt durch die Relayoptik 8 gelangt das Emissionslicht auf ein Multilinsenarray 9, welches in einer zur hinteren Brennebene des Mikroskopobjektivs 4 (Objektivpupille BFP) optisch konjugierten Ebene angeordnet ist. Die einzelnen Linsen des Multilinsenarrays 9 generieren auf dem in einer Brennebene des Multilinsenarrays 9 angeordneten Detektor 11 Teilbilder, die jeweils Einzelbilder der Probe 5 aus unterschiedlichen Winkeln, genauer: unterschiedlichen Parallaxewinkeln, sind. Ein mit der Vorrichtung zur Lichtfeldmikroskopie 100 aufgenommener Bilddatensatz umfasst also jeweils einen Satz von Teilbildern.
-
Bei der in 1 gezeigten Anordnung mit dem in einer Pupillenebene angeordneten Multilinsenarray 9 handelt es sich um einen Aufbau zur Fourier-Lichtfeldmikroskopie. Alternativ wäre auch die sogenannte Ortsraum-Lichtfeldmikroskopie für die Verwirklichung der Erfindung möglich, bei der ein Multilinsenarray in einer zur Objektebene (statt zur hinteren Brennebene des Mikroskopobjektivs 4) optisch konjugierten Ebene im Detektionsstrahlengang angeordnet ist. Die mit der Ortsraum-Lichtfeldmikroskopie erhaltene Rohbildinformation hängt mit derjenigen, die man mit der Fourier-Lichtblattmikroskopie gewinnt, über eine Fourier-Transformation zusammen. Das Resultat beider Methoden ist aber am Ende prinzipiell gleich. Auch Zwischenformen sind möglich, bei denen sich das Multilinsenarray irgendwo zwischen einer Zwischenbildebene und einer Pupillenebene befindet.
-
In realen Ausbildungen kann die erfindungsgemäße Vorrichtung 100 zahlreiche weitere optische Komponenten, insbesondere Spiegel, Linsen, Farbfilter und Blenden, aufweisen, deren Funktion an sich bekannt ist und die deshalb in der vorliegenden Beschreibung nicht eigens beschrieben werden. Weiterhin können ansteuerbare Komponenten, die die Wellenfronten des propagierten Lichts beeinflussen, vorhanden sein, beispielsweise Spatial-Light-Modulatoren und/oder deformierbare Spiegel. Diese Komponenten sind in 1 ebenfalls nicht dargestellt.
-
Die Steuer- und Auswerteeinheit 12 ist erfindungsgemäß dazu eingerichtet, die Lichtquelle 1 und den Detektor 11 zur Aufnahme mindestens eines Bilddatensatzes der Probe 5 anzusteuern und das Verfahren nach einem der Ansprüche 1 bis 30 durchzuführen.
-
Bei der in dem Flowchart der 2 veranschaulichten Variante wird im ersten Verfahrensschritt mit einer Lichtfeldanordnung, beispielsweise der in 1 gezeigten Art, von einer Probe ein Bilddatensatz aufgenommen. Im zweiten Verfahrensschritt wird dieser Bilddatensatz sodann zerlegt in einen ersten Teildatensatz, der im wesentlichen Bildinformation der Probe enthält (Vordergrund) und einen zweiten Teildatensatz, der im wesentlichen Hintergrundsignal enthält. Sodann wird aus dem ersten Teildatensatz ein Objekt 1 rekonstruiert. Das Objekt 1 kann gegebenenfalls evaluiert werden und kann schon als finales Probenobjekt angesehen werden.
-
Optional kann auch aus dem zweiten Teildatensatz, der im wesentlichen Hintergrundsignal enthält, ein zweites Objekt 2 rekonstruiert werden. Das Objekt 1 und das Objekt 2 können auch als Teilobjekt 1 und Teilobjekt 2 bezeichnet werden. Ebenfalls optional können das Teilobjekt 1 und das Teilobjekt 2 zu einem Gesamtobjekt kombiniert oder überlagert werden, welches die untersuchte Probe repräsentiert.
-
Die in 3 gezeigte Variante unterscheidet sich von derjenigen der 2 insoweit, als konkret angegeben ist, dass der Teildatensatz aus dem im ersten Verfahrensschritt gemessenen Bilddatensatz hervorgeht durch Anwendung eines Filters oder eines Korrekturalgorithmus dergestalt, dass der Teildatensatz im Wesentlichen Bilddaten ohne Hintergrundsignal enthält. Beispielsweise kann der Filter ein Tiefpassfilter sein.
-
Bei der in 4 veranschaulichten Variante wird der Teildatensatz erzeugt durch Anwendung eines Rolling-Ball-Algorithmus auf den im ersten Verfahrensschritt gemessenen Bilddatensatz. Die Wirkung eines Rolling-Ball-Algorithmus ist ähnlich wie diejenige eines Tiefpassfilters, d. h. es werden niederfrequente Komponenten aus den Bilddaten entfernt, jedoch wirkt der Rolling-Ball-Filter lokal auf die Bilddaten und global wie der Tiefpassfilter. Aus dem erhaltenen Teildatensatz wird sodann bei dieser Variante unter Verwendung eines Richardson-Lucy-Entfaltungsalgorithmus ein finales Probenobjekt rekonstruiert. Auch andere Rekonstruktionsverfahren können zum Einsatz kommen.
-
Eine weitere bevorzugte Variante des erfindungsgemäßen Verfahrens wird schließlich mit Bezug auf das Diagramm in 5 beschrieben. Das Zeichen # ist hier jeweils zu lesen und zu verstehen als „Nummer“.
-
Das Verfahren startet, entsprechend dem Verfahrensschritt a) des Anspruchs 1, im Schritt 1 mit der Messung eines Bilddatensatzes von einer Probe mit einer Lichtfeldanordnung, beispielsweise der in 1 gezeigten Art.
-
Wie im Folgenden beschrieben wird, können bei dem in 5 veranschaulichten Verfahren die Verfahrensschritte 2, 3, 6, 7 und 10 und optional einer, mehrere oder jeder der Schritte 4, 5, 8, 9 in einem Zyklus mehrmals durchlaufen werden. Deshalb wird zu Beginn nach dem Verfahrensschritt 1 ein Zähler n auf 1 gesetzt.
-
Wichtig ist außerdem, dass bei der in 5 veranschaulichten Variante des erfindungsgemäßen Verfahrens in noch zu erläuternder Weise Differenzdatensätze gebildet werden. In der hier verwendeten Terminologie ist der ursprünglich aufgenommene Bilddatensatz der Differenzdatensatz #0. Aus dem ursprünglichen Bilddatensatz, mithin dem Differenzdatensatz #0, wird im Verfahrensschritt 2 ein Teildatensatz #1 erzeugt. Zum Beispiel kann als Teildatensatz #1 ein niederfrequenter Anteil aus dem Differenzdatensatz #0, also aus dem ursprünglich gemessenen Bilddatensatz abgespalten werden, beispielsweise durch Anwendung eines Tiefpassfilters.
-
Im Schritt 3 wird dann (dem Verfahrensschritt c) des Anspruchs 1 entsprechend) aus dem Teildatensatz #1 ein Teilobjekt #1 rekonstruiert.
-
Im optionalen Verfahrensschritt 4 kann dieses Teilobjekt #1 ausgewertet und/oder evaluiert werden. Gegebenenfalls kann nach diesem Schritt das Verfahren schon beendet werden und das Teilobjekt #1 kann als finales Probenobjekt ausgegeben werden.
-
An die Auswertung des Teilobjekts #1 kann sich aber auch eine Korrektur des Teilobjekts #1 anschließen (optionaler Verfahrensschritt 5). Beispielsweise können die Pixel des Teilobjekts #1, welche, typischerweise aufgrund von Artefakten der Rekonstruktion im Verfahrensschritt 3, negative Werte aufweisen, auf 0 gesetzt werden. Als Ergebnis des optionalen Verfahrensschritts 5 erhält man ein Teilobjekt #1. Auch nach dem Schritt 5 kann das Verfahren gegebenenfalls beendet werden und das korrigierte Teilobjekt #1 kann als finales Probenobjekt ausgegeben werden. Die Korrektur kann automatisch erfolgen oder interaktiv durch einen Benutzer.
-
Im Verfahrensschritt 6 wird sodann aus dem Teilobjekt #1 oder dem korrigierten Teilobjekt #1 ein simulierter Bilddatensatz #1 erzeugt.
-
Im Verfahrensschritt 7 wird sodann ein Differenzdatensatz #1 erzeugt durch Bilden der Differenz zwischen dem ursprünglichen Bilddatensatz, also dem Differenzdatensatz #0, und dem simulierten Bilddatensatz #1.
-
Hieran kann sich eine Auswertung des Differenzdatensatzes #1 anschließen (optionaler Verfahrensschritt 8) und gegebenenfalls auch eine Korrektur des Differenzdatensatzes #1 (optionaler Verfahrensschritt 9). Beispielsweise können Pixel, bei denen der Differenzdatensatz #1 negative Werte aufweist , auf null gesetzt werden. Man erhält so als Ergebnis des optionalen Verfahrensschritts 9 einen korrigierten Differenzdatensatz #1. Auch hier kann die Korrektur automatisch erfolgen oder interaktiv durch einen Benutzer.
-
Die Simulierung eines Bilddatensatzes für ein Objekt liefert immer einen konsistenten Bilddatensatz, selbst wenn das Objekt, für welches dieser Bilddatensatz simuliert wird, nicht plausibel oder real nicht möglich ist. Wenn der ursprüngliche Bilddatensatz (=Differenzdatensatz #0) ein konsistenter Datensatz ist, wird deshalb auch der Differenzdatensatz ein konsistenter Bilddatensatz sein.
-
Der Differenzdatensatz #1 entspricht in dem Beispiel, dass der im Verfahrensschritt 2 erzeugte Teildatensatz #1 der niederfrequente Anteil des ursprünglichen Bilddatensatzes ist, einem Anteil mittlerer und hoher Frequenzen des ursprünglichen Bilddatensatzes (=Differenzdatensatz #0).
-
Im Verfahrensschritt 10 folgt dann eine Entscheidung, ob aus dem Differenzdatensatz #1 ein weiterer Teildatensatz erzeugt werden soll.
-
Wird diese Entscheidung im Verfahrensschritt 10 mit Ja beantwortet, wird im Verfahrensschritt 11 zunächst der Zähler n um 1 erhöht und anschließend werden (Verfahrensschritt 12) die Verfahrensschritte 2, 3, 6, 7 und 10 und optional einer, mehrere oder jeder der Schritte 4, 5, 8, 9 wiederholt. Beispielsweise kann beim zweiten Durchlauf (n=2) des Verfahrensschritts 2 als Teildatensatz #2 ein Anteil mittlerer Frequenzen des Differenzdatensatzes #1 durch Anwendung eines Filters abgespalten werden. Der im Verfahrensschritt 7 beim zweiten Durchlauf erzeugte Differenzdatensatz #2 entspricht dann im Wesentlichen dem Anteil hoher Frequenzen des ursprünglichen Bilddatensatzes, also des Differenzdatensatzes #0.
-
Die Differenzdatensätze, die im Verfahrensschritt 7 mit n größer 0 erzeugt werden, sind jeweils Restbilddatensätze und Teildatensätze im Sinn der Ansprüche und der vorstehenden Beschreibung. Die simulierten Bilddatensätze sind simulierte Lichtfeld-Bilddatensätze im Sinn der Ansprüche und der vorstehenden Beschreibung.
-
Wenn die Frage im Verfahrensschritt 10 mit Nein beantwortet wird, kann im Verfahrensschritt 13 aus dem Differenzdatensatz #1 ein letztes Teilobjekt rekonstruiert werden, welches wiederum optional ausgewertet, evaluiert und/oder korrigiert werden kann.
-
Schließlich wird im Verfahrensschritt 14 aus mindestens 2, insbesondere aus allen Teilobjekten, die bisher rekonstruiert wurden, gegebenenfalls aus den korrigierten Teilobjekten, durch Kombination ein Gesamtobjekt erzeugt. Beispielsweise können die Teilobjekte zur Kombination zu dem Gesamtobjekt im Frequenzraum überlagert werden.
-
Wenn der Tiefpassfilter, mit dem der Teildatensatz #1 abgespalten wird, so gewählt wird, dass im wesentlichen Hintergrundsignal, also niedrige Ortsfrequenzen (unerwünschte Anteile), abgespalten werden, könnte beispielsweise im Verfahrensschritt 14 das Gesamtobjekt kombiniert werden aus den erwünschten Anteilen des Bilddatensatzes, mithin den hohen und mittleren Ortsfrequenzen. Konkret würde das finale Probenobjekt also kombiniert werden aus dem Teilobjekt #2, welches aus dem Teildatensatz #2 rekonstruiert wurde und die mittleren Ortsfrequenzen enthält, und dem letzten Teilobjekt, welches aus dem Differenzdatensatz #2 rekonstruiert wurde und die hohen Ortsfrequenzen enthält.
-
Die hier beschriebene Vorgehensweise, zunächst Teildatensätze abzuspalten, welche die niedrigen Ortsfrequenzen enthalten, daraus Teilobjekte zu rekonstruieren und nach und nach die höheren Ortsfrequenzen abzuspalten, ist bevorzugt. Der Grund dafür ist, dass es bei der umgekehrten Vorgehensweise, also bei der Subtraktion eines Bilddatensatzes, der für ein Teilobjekt mit hohen Ortsfrequenzen simuliert wurde, von einem gemessenen Bilddatensatz vergleichsweise häufig Artefakte entstehen.
-
Bezugszeichenliste und verwendete Abkürzungen
-
- 1
- Lichtquelle (Laser)
- 2
- Anregungslicht
- 3
- dichroitischer Strahlteiler
- 4
- Mikroskopobjektiv
- 5
- Probe
- 6
- Emissionslicht
- 7
- Zwischenbildebene
- 8
- Relayoptik
- 9
- Multilinsenarray
- 10
- Fourierebene (optisch konjugiert zu BFP des Mikroskopobjektivs 4)
- 11
- Detektor (Kamera, in Bildebene)
- 12
- Steuer- und Auswerteeinheit
- 100
- Vorrichtung zur Lichtfeldmikroskopie
- BFP
- hintere Objektivpupille (back focal plane)
- LFM
- Lichtfeldmikroskop
- LSM
- Laser-Scanning-Mikroskop
- MLA
- Multilinsenarray
- PSF
- Punktverteilungsfunktion
