DE102020213715A1 - Vorrichtung und Verfahren zur schnellen dreidimensionalen Erfassung von Bilddaten - Google Patents

Abstract

Die Erfindung betrifft eine Vorrichtung (1) zur Erfassung von Bilddaten, umfassend einen Detektionsstrahlengang, entlang dem Detektionsstrahlung (DS) geführt ist und ein Mittel zur Aufteilung (2) der Detektionsstrahlung (DS) auf einen ersten Detektionspfad (3) und einen zweiten Detektionspfad (6). In jedem Detektionspfad (3, 6) ist ein Detektor (4, 7) mit Detektorelementen (4.1, 7.1) vorhanden. Jedem Detektor (4, 7) ist in einer Pupille ein Mikrolinsenarray (5, 8) vorgeordnet. Der erste Detektor (4) und der zweite Detektor (7) weisen eine im Wesentlichen gleiche räumliche Auflösung auf. Die Detektorelemente (4.1) des ersten Detektors (4) sind zeilenweise in einer ersten Zeilenrichtung (Z1) angeordnet, während die Detektorelemente (7.1) des zweiten Detektors (7) zeilenweise in einer zweiten Zeilenrichtung (Z2) angeordnet sind.Erfindungsgemäß sind der erste Detektor (4) und der zweite Detektor (7) relativ zum zu erfassenden Bild so angeordnet, dass die erste Zeilenrichtung (Z1) und die zweite Zeilenrichtung (Z2) gegeneinander geneigt sind; undeine Ausleseeinheit (10.1) zum Auslesen der Bilddaten der Detektoren (4, 7) vorhanden ist, wobei die Ausleseeinheit (10.1) zum selektiven Auslesen derjenigen zeilenweise angeordneten Detektorelemente (5.1, 8.1) konfiguriert ist, die eine Bildzeile (BZ) bilden.Die Erfindung betrifft außerdem ein Mikroskop (11) mit einer erfindungsgemäßen Vorrichtung (1) und ein Verfahren zur Erfassung von Bilddaten.

Description

• Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur schnellen dreidimensionalen Erfassung von Bilddaten.
• Die schnelle Erfassung dreidimensionaler Probenvolumina rückt mehr und mehr in den Fokus der modernen Mikroskopie. Eine wesentliche Anwendung stellt hierbei die Messung neuronaler Signale in Netzwerken von Nervenzellen dar. Diese Netzwerke breiten sich im Hirn über mehrere hundert oder tausend Mikrometer aus. Um nun wesentliche Leistungen des Hirns verstehen zu können, sollen Reaktionen dieser Netzwerke oder großer Teile derselben mit hoher zeitlicher Auflösung möglichst vollständig erfasst werden.
• Da es hierbei nicht nur um das Verständnis der morphologischen Struktur, sondern um funktionale Prozesse geht, werden diese Verfahren auch unter dem Stichwort der funktionalen Bildgebung zusammengefasst.
• Auf dem Gebiet der Mikroskopie sind eine Reihe unterschiedlicher Methoden bekannt, mit denen sich der funktionalen Bildgebung genähert werden kann. Methodische Ansätze, wie zum Beispiel eine schnelle 2D-Aufnahme, die dann axial gerastert wird, sind in der Regel für das oben umrissene Anwendungsgebiet zu langsam. Rein auf eine algorithmische Auswertung orientierte Methoden (computational imaging) sind in der Regel anfällig für Artefakte.
• Konfokale, scannende Verfahren mit einem geringen Grad an Parallelisierung haben den Nachteil, dass sie relativ langsam und zeitsequenziell arbeiten. Eine Erhöhung der Geschwindigkeit geht oft einher mit einer Erhöhung der Lichtleistung in der Probe, wobei eine höhere Lichtleistung verwendete fluoreszente Marker sättigen und die Probe schädigen kann. Eine weitere punktscannende Methode stellt die Mehrphotonenmikroskopie dar. Auch hierbei ist der Grad der Parallelisierung gering.
• Eine höhere Parallelisierung ist beispielsweise mittels der Spinning-Disk-Mikroskopie möglich. Dabei wird eine größere Anzahl von Abtaststrahlen gleichzeitig über eine Probe geführt und die jeweils bewirkten Detektionsstrahlungen durch sogenannte Pinholes erfasst, die in einer sich drehenden Scheibe (Disk) vorhanden sind. Diese konfokale Methode erlaubt beispielsweise, einige hundert Fokalvolumina parallel zu scannen.
• Ebenfalls einen höheren Grad an Parallelisierung weisen Verfahren und Anordnungen auf, welche von einer sogenannten Lichtblattbeleuchtung Gebrauch machen. Dazu wird ein statisches oder dynamisches Lichtblatt erzeugt und in die Probe gerichtet. Aufgrund der sehr geringen Dicke des Lichtblatts quer zu dessen flächiger Ausdehnung (Lichtblattdicke) wird nur in einer aktuell beleuchteten Ebene Detektionsstrahlung, insbesondere Fluoreszenzstrahlung, bewirkt.
• Um mit nur einer Aufnahme zusätzlich auch räumliche Informationen der Probe zu erhalten, kann eine Detektion nach der Lichtfeld-Technologie angewendet werden. Diese erlaubt eine schnelle Datenerfassung innerhalb, aus Sicht der Mikroskopie, größerer Volumina, sowie eine gute Tiefenauflösung. Die Nachteile sind in der fehlenden Möglichkeit des optischen Schneidens und einer starken Hintergrundstrahlung zu sehen.
• Die Erfassung eines größeren Volumens bei gleichzeitig verbesserter Auflösung kann durch die Verwendung eines Mikrolinsenarrays vor dem Detektor erzielt werden. In der Publikation Cong et al. (Cong, L. et al. 2017; eLife, 6:e28158) ist dazu ein Mikrolinsenarray vorgeschlagen, in dem Mikrolinsen unterschiedlicher Fokallänge angeordnet sind. Nachteilig ist allerdings, dass von jeder der Mikrolinsengruppen nur ein Teil der Apertur genutzt wird.
• Der Erfindung liegt die Aufgabe zu Grunde eine weitere Möglichkeit vorzuschlagen, mittels der dreidimensionale Bereiche einer Probe mit einer hohen zeitlichen Auflösung abgebildet werden können.
• Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
• Die Aufgabe wird mittels einer Vorrichtung zur Erfassung von Bilddaten gelöst. Diese umfasst einen Detektionsstrahlengang, entlang dem Detektionsstrahlung, beispielsweise eines Mikroskops, geführt wird beziehungsweise führbar ist. Um die Detektionsstrahlung auf einen ersten Detektionspfad und einen zweiten Detektionspfad aufzuteilen, ist ein Mittel zur Aufteilung der Detektionsstrahlung vorhanden. In dem ersten Detektionspfad sind in einer Bildebene ein erster Detektor und in dem zweiten Detektionspfad in einer Bildebene ein zweiter Detektor angeordnet. Beiden Detektoren ist in einer zur Systempupille konjugierten Ebene ein Mikrolinsenarray vorgeordnet.
• Der erste Detektor weist in der Bildebene in Detektorzeilen in einer ersten Zeilenrichtung angeordnete Detektorelemente auf. Ebenso weist der zweite Detektor in der Bildebene in Detektorzeilen in einer zweiten Zeilenrichtung angeordnete Detektorelemente auf. Jeder Mikrolinse des betreffenden Mikrolinsenarrays sind jeweils eine Anzahl von Detektorelementen optisch zugeordnet. Eine Mikrolinse bildet also die von ihr erfasste Detektionsstrahlung auf die zugeordneten Detektorelemente (auch als Bildelemente oder Pixel bezeichnet) in Form eines Einzelbildes oder Sub-Bildes ab. Im Ergebnis ist eine Bildzeile des zu erfassenden Bildes durch diejenigen Detektorelemente (Pixel) mindestens einer Detektorzeile des ersten beziehungsweise des zweiten Detektors gebildet, die den Mikrolinsen des jeweiligen Mikrolinsenarrays optisch zugeordnet sind und die betreffenden Sub-Bilder erfassen.
• Erfindungsgemäß ist eine Ausleseeinheit zum Auslesen und optional zum Speichern der Bilddaten der Detektoren vorhanden. Die Ausleseeinheit ist zum selektiven Auslesen derjenigen zeilenweise angeordneten Detektorelemente konfiguriert, die eine Bildzeile bilden.
• Kern der Erfindung ist die Erfassung und optionale Auswertung lediglich ausgewählter Bildzeilen. Dabei werden eine sehr schnelle Bilderfassung und Bildverarbeitung ermöglicht, während Verluste in der räumlichen Auflösung gering bleiben. Das selektive Auslesen kann ganze Detektorzeilen betreffen, wenn der technische Aufbau des betreffenden Detektors nur diese Möglichkeit erlaubt. Werden Detektoren eingesetzt, deren Detektorelemente gänzlich oder weitgehend unabhängig voneinander selektiv ausgelesen werden können, können auch nur diejenigen Detektorelemente einer oder mehrerer Detektorzeilen ausgelesen werden, die eine Bildzeile bilden.
• Das Prinzip der Erfindung kann wie folgt erläutert werden: Mikrolinsen sind optische Linsen und besitzen einen Durchmesser von einigen Mikrometern bis zu wenigen Millimetern. Nutzt man zur Abbildung eines Objekts (Probe) einen Detektor mit einem vorgeordneten Mikrolinsenarray derart, dass die Systempupille, die sich in der Regel in einer konjugierten Ebene zur Austrittspupille eines Objektivs („back focal plane“) befindet, auf das Mikrolinsenarray abgebildet wird, so liefert jedes Teilbild hinter jeder dieser Mikrolinsen einen Blick auf das Objekt unter einem gewissen Winkel. Aus den Teilbildern aller Mikrolinsen kann ein dreidimensionales Volumen (Voxel) des Objekts rekonstruiert werden. Um höhere Erfassungsgeschwindigkeiten zu erzielen, wird nur eine geringe Anzahl an Zeilen des Detektors (Detektorzeilen) ausgelesen. Vorteilhafterweise wird eine ganze Anzahl von Bildzeilen ausgelesen, wobei eine Bildzeile durch diejenigen Detektorzeilen definiert ist, die zu denjenigen Bildern (Einzelbilder, Sub-Bilder) auf dem Detektor gehören, die von optisch zugeordneten Mikrolinsen, beispielsweise von einer Zeile von Mikrolinsen, erzeugt werden und demnach eine Zeile von (Sub-)Bildern darstellt. Für die Bilderfassung werden Detektoren verwendet, deren Detektorelemente in Detektorzeilen angeordnet sind. In den meisten üblichen Detektoren werden die Detektorelemente zur Datengewinnung jeweils zeilenweise ausgelesen. Das Auslesen der Detektorzeilen kann daher auch als schnelle Ausleserichtung bezeichnet werden, während die Richtung quer zu den einzelnen Detektorzeilen als langsame Ausleserichtung angesehen werden kann.
• In einer Ausführung der Erfindung sind der erste Detektor und der zweite Detektor relativ zum zu erfassenden Bild so angeordnet, dass die erste Zeilenrichtung und die zweite Zeilenrichtung gegeneinander geneigt sind. Die Neigung der ersten Zeilenrichtung und der zweiten Zeilenrichtung zueinander ist größer als Null Grad und geringer als 180°, die Zeilenrichtungen unterscheiden sich also. Wie weiter unten noch erläutert wird, ist eine Neigung in einem Bereich von 60° bis 120°, insbesondere von 90°, vorteilhaft.
• Die räumliche und die zeitliche Auflösung des ersten Detektors und des zweiten Detektors sind in einer möglichen Ausführung im Wesentlichen gleich. Die Detektoren sind außerdem zur Erfassung desselben Bildes einer Probe eingerichtet. Mit einer solchen Ausführung können die Bilddaten der Detektoren mit geringem Aufwand miteinander verrechnet werden. Die Erfassung des Bildes erfolgt vorteilhaft im Wesentlichen gleichzeitig, um eine schnelle Bereitstellung der resultierenden 3-D-Bilder zu ermöglichen und um vorteilhaft geringe Arbeitsspeicherkapazitäten vorhalten zu müssen.
• In einer vorteilhaften Ausführung der Erfindung werden je Detektor nur die Zeilen der Detektorelemente selektiv ausgelesen, die den, beispielsweise entlang einer Linie angeordneten, Mikrolinsen des Mikrolinsenarrays optisch zugeordnet sind, also die Teilbilder der betreffenden Mikrolinsen erfassen. Es ist auch möglich, lediglich ausgewählte Bildzeilen selektiv auszulesen. Dazu müssen nicht ganze Detektorzeilen ausgelesen werden.
• Wird lediglich eine Bildzeile eines Detektors, also die eine Bildzeile repräsentierenden Detektorzeilen oder, sofern technisch möglich, die entsprechenden Abschnitte der betreffenden Detektorzeilen, ausgelesen, erhöht sich die Erfassungsgeschwindigkeit gegenüber einer Erfassung sämtlicher Detektorzeilen. Im Sinne der Erfindung wird dieser Umstand vorteilhaft genutzt. Allerdings wird das Objekt unter verschiedenen Winkeln in nur einer Richtung abgebildet. Infolge der Erfassung von Teilbildern einer Zeile von Mikrolinsen gehen diejenigen Informationen verloren, die in einer Richtung orthogonal zur Zeile von Mikrolinsen abgebildet werden. Bei einer Reihe von Proben kann es vorkommen, dass Strukturen ganz oder teilweise überdeckt sind und nur in einer Richtung um das die Struktur überdeckende Hindernis herumgeschaut wird. Zudem entspricht die Anzahl rekonstruierbarer Ebenen in z-Richtung ungefähr der Anzahl der Mikrolinsen.
• Dieser Nachteil wird durch die Umsetzung einer weiterführenden Überlegung im Rahmen der Erfindung deutlich reduziert. Dazu werden der erste Detektor und der zweite Detektor wie angegeben in Bezug auf das zu erfassende Bild so angeordnet, dass die jeweiligen Detektorzeilen, also die Zeilenrichtungen, gegeneinander geneigt sind. Die schnellen Ausleserichtungen verlaufen somit zueinander geneigt, beispielsweise orthogonal.
• Mittels der erfindungsgemäßen Vorrichtung kann das Objekt parallaktisch in zwei Richtungen betrachtet und abgebildet werden. Eine mögliche Verrechnung der Bilddaten beider Detektoren erfolgt vorteilhaft so, als ob die Bilddaten von nur einem Detektor erfasst worden wären.
• Die den eine Bildzeile repräsentierenden Detektorzeilen optisch zugeordneten Mikrolinsen können in einer Ausführung der Mikrolinsenarrays entlang einer virtuellen Linie angeordnet sein. Unter einer Anordnung entlang einer Linie ist zu verstehen, dass beispielsweise die entlang einer Linie angeordneten Mikrolinsen einander unmittelbar benachbart sind. Die virtuelle Linie verläuft im Wesentlichen durch die Mittelpunkte der Mikrolinsen. Die Anzahl der so angeordneten Mikrolinsen beträgt wenigstens fünf, vorteilhaft wenigstens zehn. Sind die Mikrolinsen in einer weiteren Ausführungsform beispielsweise in einem sogenannten Bienenwabenmuster angeordnet, dann können einige der Mikrolinsen zumindest in bestimmten Richtungen des Mikrolinsenarrays entlang einer Linie angeordnet sein.
• Alternativ können Mikrolinsen, die alternierend lateral gegeneinander versetzt angeordnet sind (z. B. bestimmte Richtungen eines Bienenwabenmusters), hinsichtlich ihrer Fokuslängen und Abbildungsrichtungen, zum Beispiel hinsichtlich ihrer jeweiligen optischen Achsen, so gestaltet sein, dass durch diese lediglich eine oder mehrere bestimmte Detektorzeilen beleuchtet werden.
• In einer möglichen weiteren Ausführungsform der erfindungsgemäßen Vorrichtung ist den beiden Detektoren in einer Pupille ein gemeinsames Mikrolinsenarray vorgeordnet. Dieses gemeinsame Mikrolinsenarray erfüllt technisch die Aufgaben des ersten und des zweiten Mikrolinsenarrays. Eine Aufteilung der Detektionsstrahlung auf den ersten und den zweiten Detektionspfad erfolgt in dieser Ausführung erst nach dem gemeinsamen Mikrolinsenarray. Eine derartige Ausführung der Erfindung erlaubt eine vereinfachte Bauweise, reduziert aber zugleich die Variationsmöglichkeiten hinsichtlich der Gestaltung des gemeinsamen Mikrolinsenarrays.
• Eine gleichzeitige Erfassung des Bildes wird beispielsweise dadurch unterstützt, dass beide Detektionspfade eine gleiche optische Weglänge aufweisen.
• Vorteilhaft ist eine Auswerteeinheit, beispielsweise ein Rechner oder FPGA (field programmable gate array), zur Auswertung der erfassten Bilddaten der ersten und zweiten Detektoren vorhanden, wobei die Auswerteeinheit derart konfiguriert ist, dass eine Auswertung der selektiv ausgelesenen Bilddaten beider Detektoren erfolgt und aus diesen ausgewerteten Bilddaten ein dreidimensional aufgelöstes resultierendes Bild erzeugt wird. Zusätzlich oder alternativ kann ein Rechner oder ein FPGA vorhanden sein, der beziehungsweise das zum Laden („streamen“) und Vorverrechnen der erfassten Bilddaten ausgebildet ist. Unter der Annahme, dass die Detektoren beispielsweise 150 Bilder pro Sekunde bei einer beispielhaften Pixelzahl von 26.000.000 mit 12 bit Datentiefe bereitstellen, können zum Beispiel Datenraten von 2 x 5 GByte/Sekunde erreicht werden.
• Unter einem Bild, insbesondere einem dreidimensional aufgelösten resultierenden Bild, wird insbesondere ein Datensatz verstanden, der eine (digitale) dreidimensionale Repräsentation der Probe darstellt. Dieser Datensatz kann beispielsweise als zwei- oder dreidimensionale Grafik visualisiert werden.
• Die ersten und zweiten Detektoren der Vorrichtung sind beispielsweise zweidimensionale Detektoren, die eine Anzahl in Zeilen angeordneter Detektorelemente aufweisen. Da eine sehr hohe Sensitivität (geringes Rauschen) erforderlich ist, kommen als Detektoren beispielsweise EMCCD oder sCMOS-Sensoren infrage. Zukünftig werden auch SPAD-Detektoren, beispielsweise SPAD-Arrays wie zum Beispiel CMOS-SPAD-Array-Sensoren an Bedeutung gewinnen.
• Die verwendeten Detektoren können in einem einfachen Fall baugleich sein. Es ist in weiteren Ausführungen auch möglich, dass unterschiedliche Typen von Detektoren verwendet werden. Von Bedeutung dabei ist, dass diese hinsichtlich ihrer räumlichen und zeitlichen Auflösung im Wesentlichen gleich sind.
• In einer weiteren Ausführung unterscheiden sich die Detektoren konstruktiv hinsichtlich ihrer räumlichen Auflösung. Eine im Wesentlichen gleiche räumliche Auflösung kann erzielt werden, indem eine entsprechende Anzahl von Detektorelementen des höher auflösenden Detektors miteinander verrechnet werden (sog. binning), um der räumlichen Auflösung des Detektors mit der geringeren Auflösung zu entsprechen. Die Auswerteeinheit ist in diesem Fall entsprechend konfiguriert. Eine solche Ausführung der Vorrichtung ermöglicht zusätzlich zu der hier beschriebenen Erfindung eine dreidimensionale Bilderfassung nach einem Verfahren, das Gegenstand einer weiteren Anmeldung ist.
• Um eine Verrechnung der mit den jeweiligen Detektoren erfassten Bilddaten zu unterstützen, sind der erste Detektor und der zweite Detektor vorteilhaft derart zueinander justiert, dass eine Zuordnung der Bilddaten aufeinander einfach möglich ist. Einer Kombination der erfassten Bilddaten dient es auch, wenn erster und zweiter Detektor hinsichtlich ihrer jeweiligen Erfassungsintervalle zueinander synchronisiert sind.
• Die Aufteilung der Detektionsstrahlung auf den ersten beziehungsweise auf den zweiten Detektionspfad kann in unterschiedlicher Weise erfolgen. Das Mittel zur Aufteilung der Detektionsstrahlung kann beispielsweise ein Strahlteiler, insbesondere ein Neutralteiler, ein dichroitischer Strahlteiler, ein Polarisationsteiler, ein diffraktives optisches Element, ein räumlich strukturierter Strahlteiler oder ein schaltbarer Spiegel sein.
• Wird ein dichroitischer Strahlteiler verwendet, kann die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren (siehe unten) für eine zweifarbige Abbildung des beobachteten Volumens genutzt werden. Dies setzt voraus, dass für die Bilderzeugung nicht die höchstmögliche Ausleserate benötigt wird und damit entsprechende Kapazitäten bei der Erfassung der Bilddaten zur Verfügung stehen.
• Die Detektionsstrahlung kann an einer Zwischenbildebene als Schnittstelle zwischen Mikroskop und erfindungsgemäßer Vorrichtung übergeben werden. Die Detektionsstrahlung wird mittels Fouriertransformation von einer Zwischenbildebene in eine optische Pupille überführt. Die erfindungsgemäße Vorrichtung kann Bestandteil eines Mikroskops sein oder mit einem solchen verbunden werden.
• Die zu erfüllenden Anforderungen beispielsweise für die Untersuchung von Vorgängen im Gehirn kleiner Organismen, wie beispielsweise einer Fruchtfliege, sollen an einem Beispiel verdeutlicht werden. Gewünscht ist dabei eine Beobachtung von ca. 10.000 Neuronen. Die optische Auflösung sollte dabei mindestens in der Größe des Perikaryon der Neuronen mit ca. 5 µm liegen. Rechnet man das Volumen des Gehirns auf einen Würfel um, so sollte ein Volumen von 400 x 400 x 400 µm beobachtet werden können. Zur Erfüllung dieser Erfordernisse geeignete Verfahren sind unter anderem als plenoptisches Prinzip, Lichtfeldmikroskopie oder Integralabbildung bekannt und in der Mikroskopie angewandt.
• Aus der Literatur sind verschiedene Methoden bekannt, um mit einem zweidimensionalen Sensor dreidimensionale Volumina abzubilden. So unterscheidet man prinzipiell zwei Varianten denen gemeinsam ist, dass ein Mikrolinsenarray (MLA) vor einem Detektor angebracht ist. In der bislang häufig verwendeten Lichtfeldmikroskopie ist das MLA oft in der nominalen Bildebene platziert. Die in einer Bildebene befindlichen Detektorelemente oder Pixel hinter der jeweiligen Mikrolinse erfassen dann die jeweilige Winkelinformation des von der Probe (Objekt) ausgesandten Lichtes (z. B. Broxton et al. 2013; OPTICS EXPRESS 21: 25418 - 39).
• Eine vorteilhafte Anordnung für die Mikroskopie ist allerdings gegeben, wenn die Pupillenebene der Anordnung optisch aufgeteilt ist (Fourierraum-Lichtfeldmikroskopie). Hierfür wird ein Mikrolinsenarray derart angeordnet, dass der Detektor in einer zur Probenebene konjugierten Ebene (Bildebene) steht. Die Mikrolinsen des Mikrolinsenarrays sind dabei in einer zur Objektivpupille optisch konjugierten Ebene implementiert. Die Erfindung bezieht sich eben auf diese Variante der Lichtfeldmikroskopie.
• Die Mikrolinsenarrays der erfindungsgemäßen Vorrichtung müssen nicht identisch zueinander sein. Unterschiedliche Mikrolinsenarrays können beispielsweise ausgewählt sein, um eine gute Anpassung an die Geometrie eines Detektors, beziehungsweise an dessen Chip, zu erreichen oder um die räumliche Auflösung gegenüber der Detektionsrate etc. gegeneinander auszubalancieren.
• Derzeit verfügbare Detektoren erlauben eine parallelisierte Aufnahme mit einer großen Anzahl von Pixeln bis in den Bereich einiger Megapixel. Lediglich beispielhaft wird in den nachfolgenden allgemeinen Beschreibungen der Erfindung auf Detektoren der Firma PCO AG. (Kehlheim, Deutschland) abgehoben.
• Beispielsweise erlaubt die Kamera pco.edge 26 MP die Aufnahme von 5120 × 5120 Pixeln, wobei jedes Pixel (Detektorelement) eine Größe von 2,5 µm × 2,5 µm hat. Damit ergibt sich eine sensitive Fläche des Detektors von 12,8 mm × 12,8 mm. Die Sensordiagonale hat damit eine Länge von 18,1 mm. Die Bildaufnahmerate der Kamera beträgt laut Datenblatt (Stand Juli 2020) 7,1 Bilder pro Sekunde (fps), wobei die Pixeldatenrate mit 267 Mpixel/s angegeben wird.
• Zukünftig kann erwartet werden, dass die Bildraten dieser Systeme eher noch höher werden. Letztlich jedoch sind die maximalen Ausleseraten des vollen Kamerasensors durch die übertragbare und verarbeitbare Datenrate begrenzt. Allerdings gilt für Kameras dieses Typs immer, dass kleinere Bereiche auf der Kamera, die hinsichtlich der Anzahl auszulesender Detektorzeilen begrenzt sind, sehr viel schneller ausgelesen werden können, als man für den gesamten Kamerachip benötigen würde. In ungefähr gewinnt man z.B. beim Auslesen nur weniger Zeilen einen Geschwindigkeitsfaktor, der dem Verhältnis der ausgelesenen Zeilen gegenüber der Gesamtzahl der Zeilen entspricht. Liest man also z.B. nur 1/10 der Zeilen aus, so wird die Kamera ungefähr um einen Faktor 10 schneller. Das ist auch verständlich, da letztlich die Datenrate begrenzend ist und weniger Pixel dadurch entsprechend schneller lesbar sind.
• Bei einer Reduktion der ausgelesenen Pixelanzahl von beispielsweise 5120 × 64 Pixeln werden über 500 Volumina pro Sekunde erreicht. Die Zeitdifferenz zwischen zwei erfassten vollen Volumina beträgt dann lediglich 2 ms. Diese Geschwindigkeiten sind entscheidend, um die Reaktion neuronaler Netzwerke vollumfänglich sowohl im Raum als auch in der Zeit erfassen zu können. So wird beispielsweise die mittlere Impulsrate (average firing rate) eines Neurons der Fruchtfliege mit etwa 40 Hz und die Größe eines Neurons mit etwa 2 bis 5 µm angegeben (Weisenburger, S. & Vaziri, A., 2018; Annual Review of Neuroscience 41: 431 - 452). Natürlich können, abhängig von der Messaufgabe und der technisch möglichen Datenrate, auch durch mehrere Zeilen von Mikrolinsen beleuchtete Detektorzeilen und damit zum Beispiel Vielfache der beispielhaften Pixelzahl 64 selektiv ausgelesen werden.
• Bildet die erfindungsgemäße Vorrichtung einen Bestandteil eines Mikroskops, dann kann dieses in einer möglichen Ausführung statt einer weitfeldartigen Beleuchtung der Probe zur Beleuchtung mit einem gescannten Lichtblatt ausgebildet sein. Diese Art der Beleuchtung ist aus verschiedenen Gründen vorteilhaft. Zum Beispiel wird sehr gut Licht aus nicht interessierenden Probenebenen diskriminiert, die axiale Auflösung kann erhöht werden und gleichzeitig wird ein geringer Energieeintrag in die Probe und damit eine geringe Photoschädigung erreicht.
• Um beispielsweise die in einer erfindungsgemäßen Vorrichtung verwendeten Detektoren auszuwählen, können die folgenden Erwägungen vorgenommen werden.
• Für die laterale Auflösung bei der Fourier-Lichtfeldmikroskopie gilt (Scrofani, G. et al., 2018; BIOMEDICAL OPTICS EXPRESS 9: 335 - 346): $$\mathrm{\delta }\text{x}\le \text{max}\left\{\frac{\mathrm{\lambda }\text{N}}{2{\text{NA}}_{\text{MO}}};2\text{ps}\frac{{\text{f}}_{\text{TL}}{\text{f}}_{\text{MO}}}{{\text{f}}_{\text{MLA}}{\text{f}}_{\text{pup}}}\right\}$$

  
• Hierbei ist λ die Wellenlänge des Lichts, N die Anzahl der Subaperturen, NA_MO die numerische Apertur des Mikroskopobjektivs, ps die Pixelgröße und f sind Brennweiten der Tubuslinse (TL), des Mikroskopbjektivs (MO), des Mikrolinsenarrays (MLA) und der Linse zur Pupillentransformation (pup).
• Der erste Ausdruck beschreibt die wellenoptische Auflösung, bei der davon ausgegangen wird, dass die Punktbildfunktion am Detektor gemäß dem Nyquistkriterium abgetastet wird. Der zweite Ausdruck ist dann limitierend, wenn nicht mehr nach dem Nyquistkriterium abgetastet wird. Die Auflösung ist dann durch die Größe der in die Probe abgebildeten Pixel limitiert.
• Da keine bessere Auflösung erzielt wird, wenn die Erfordernisse des Nyquistkriteriums wesentlich übererfüllt werden, muss nicht mit mehr Pixeln als nötig abgetastet werden. Die Verhältnisse der Brennweiten, Pixelzahlen und Mikrolinsen werden daher vorteilhaft so gewählt, dass beide Ausdrücke oben ungefähr gleich groß sind.
• Die Größe des abgebildeten Zwischenbildes (ZBE), welches beispielsweise als Übergabestelle des Mikroskops fungiert, ergibt sich gemäß Gleichung (2): $$\text{ZBE}=\#\text{px ps}\frac{{\text{f}}_{\text{pup}}}{{\text{f}}_{\text{MLA}}}$$

  
• Hierbei bezeichnet #px die Anzahl der Pixel. Eine Beleuchtung, beispielsweise mit einem Lichtblatt, kann mittels eines Objektivs erfolgen, das als Beleuchtungsobjektiv und als Detektionsobjektiv dient. Diese Ausführung erlaubt eine kompakte Bauweise. In einer weiteren Ausführung kann die Beleuchtung beispielsweise seitlich eingestrahlt werden und somit unabhängig von dem Detektionsobjektiv sein. Zudem kann es vorteilhaft sein, wenn Mittel zum Einstellen einer zeitlich gepulsten Beleuchtung im Sinne einer stroboskopischen Beleuchtung im Bereich von Millisekunden vorhanden sind, um eine zeitliche Variation der Fluoreszenzsignale zu stimulieren.
• In einer weiteren Ausführung der Erfindung kann die Erfassung von Bilddaten nach dem Prinzip der Weitfeldbeleuchtung mit der Laserscanningmikroskopie verbunden werden. Dazu kann in einer weiteren Ausführung der Erfindung ein aus dem Stand der Technik bekannter zweidimensionaler Detektor (2D-Detektor) ohne vorgeordnetem MLA vorhanden sein. Der weitere Detektor ist zusätzlich zu dem ersten Detektor und dem zweiten Detektor vorhanden. In diesem Fall wird ein resultierendes Bild aus den Bilddaten der Detektoren mit vorgeordnetem MLA und den Bilddaten des 2D-Detektors erzeugt.
• Es ist in einer weiteren Ausführung der Erfindung auch möglich, dass sich im Beleuchtungsstrahlengang eine Scanvorrichtung befindet, mittels der ein Beleuchtungslichtfleck über eine abzubildende Probe geführt werden kann. Eine aktuelle Ausrichtung der Scanvorrichtung lässt eine eindeutige Zuordnung einer Position des Beleuchtungslichtflecks beispielsweise in einer sich orthogonal zur optischen Achse eines Beleuchtungsobjektivs erstreckenden Ebene (X-Y-Ebene) zu. Ebenfalls wird eine aktuelle Position der Fokuslage eines Detektionsobjektivs (Z-Position) erfasst. In einer solcher Ausführung kann die Lichtquelle eines Laserscanmikroskops (LSM) für die Bereitstellung der Beleuchtungsstrahlung genutzt werden. Es ist also eine mögliche Ausführungsform der Erfindung, wenn ein LSM mit einem Lichtfeldmikroskop (LFM), beispielsweise beide an einem gemeinsamen Stativ befindlich, kombiniert werden und eine Verrechnung der unterschiedlich räumlich und/oder zeitlich aufgelösten und mit unterschiedlichen Funktionsweisen der Mikroskope erfassten Bilddaten zu einem dreidimensionalen resultierenden Bild erfolgt. Die Beleuchtungsstrahlung des LSM kann für beide Mikroskope (LSM und LFM) genutzt werden. Erforderlichenfalls wird zwischen den Detektionspfaden alternierend hin und her geschaltet. Optional kann eine Detektionsstrahlung auch anteilig auf die Detektionspfade aufgeteilt werden. Sowohl die Erfassung des zugehörigen Ortes erfasster Bilddaten als auch eine Information einer zugehörigen Z-Position der betreffenden Bilddaten erlauben die Erzeugung eines dreidimensionalen Bilddatensatzes mittels des ersten und zweiten Detektors einer derartigen Ausführung der Vorrichtung. Alternativ zu einer Scanvorrichtung kann eine Relativbewegung zwischen Beleuchtungslichtfleck und Probe durch ein gesteuertes Verstellen eines z. B. motorisierten Probentisches bewirkt werden.
• Die erfindungsgemäße Vorrichtung kann insbesondere mit einem Mikroskop verbunden oder eine Komponente eines Mikroskops sein. Ein Mikroskop mit einer erfindungsgemäßen Vorrichtung kann vielfältig eingesetzt werden und erlaubt insbesondere eine sowohl räumlich als auch zeitlich hoch aufgelöste, dreidimensionale Abbildung eines Probenvolumens. Beispielsweise kann ein Mikroskop mit einer erfindungsgemäßen Vorrichtung und einer ersten Funktionsweise mit einem anderen Mikroskop einer zweiten Funktionsweise verbunden sein. So kann beispielsweise ein Lichtfeldmikroskop mit einem Laserscanningmikroskop technisch wie erwähnt so verbunden sein, dass beispielsweise die Lichtquelle des Laserscanningmikroskops für beide Funktionsweisen verwendet wird.
• Das Mikroskop kann in einem Beleuchtungsstrahlengang eine Lichtquelle, ein als Beleuchtungsobjektiv fungierendes Objektiv und eine Vorrichtung zur Erzeugung eines Lichtblatts aufweisen, wobei das Lichtblatt in einem Probenraum objektseitig vor dem Objektiv erzeugt wird beziehungsweise erzeugt werden kann.
• In einer möglichen Ausführung der Erfindung ist das Lichtblatt im Sinne einer selektiven Volumenbeleuchtung als ein eher dickes Lichtblatt ausgebildet, welches in seiner Dicke ungefähr der Schärfentiefe der Lichtfelddetektion entspricht [etwa (NA_MO/N)^2] oder sogar dicker sein kann.
• Die Lichtquelle kann in einer weiteren möglichen Ausführung zur Bereitstellung von gepulstem Beleuchtungslicht ausgebildet sein. So können Pulse mit Pulsdauern im Bereich von Pikosekunden oder Femtosekunden erzeugt und bereitgestellt werden. Eine derartige Beleuchtung kann zur nichtlinearen Fluoreszenzanregung genutzt werden. Weiterhin ist mit einem entsprechenden Sensor damit eine Erfassung der Fluoreszenzlebensdauern möglich. Beispielsweise ist ein gepulster Laser als Lichtquelle verwendet. Einer der Detektoren kann ein SPAD-Array (Single Photon Avalanche Diode-Array) sein. Diese Detektoren können mit hochgenauen time-to-digital converters (TDC) ausgerüstet sein, sodass eine pixelweise Erfassung der zeitaufgelösten Photonenabsorptionsereignisse möglich wird.
• Die Vorrichtung zur Erzeugung eines Lichtblatts in einer Lichtblattebene kann beispielsweise eine Zylinderoptik, eine Scanvorrichtung oder eine Kombination aus beidem sein. Beide Ausführungen können dazu ausgelegt sein, ein bezüglich der optischen Achse des Beleuchtungsobjektivs schräg gestelltes Lichtblatt in einer sich entsprechend schräg erstreckenden Lichtblattebene zu erzeugen. Dazu kann ein durch Wirkung der Zylinderlinse geformter Beleuchtungslichtstrahl beziehungsweise mittels der Scanvorrichtung ein fokussierter Beleuchtungslichtstrahl der Lichtquelle in einen Eintrittsort in einer Objektivpupille (nachfolgend auch als Eintrittspupille bezeichnet) des Objektivs gerichtet sein, der abseits der optischen Achse des Objektivs liegt. Eine solche Ausführung ermöglicht es, ein gemeinsames Objektiv für die Beleuchtung und die Detektion zu verwenden. In alternativen Ausführungen können ein Beleuchtungsobjektiv und ein Detektionsobjektiv angeordnet sein.
• Um eine Dicke des erzeugten Lichtblatts quer zur Lichtblattebene einzustellen, können im Beleuchtungsstrahlengang einstellbare optische Mittel, beispielsweise eine Zoomoptik und/oder eine Abblendvorrichtung, vorhanden sein. Die Einstellung der Dicke kann dabei manuell oder automatisch geschehen, indem beispielsweise eine auszuführende Messaufgabe gewählt und die Dicke des Lichtblatts entsprechend angepasst wird. Zusätzlich oder alternativ kann eine Regelschleife die Dicke des Lichtblatts beeinflussen, wenn beispielsweise vorgegebene Qualitätsparameter der erfassten Bilddaten nicht erreicht werden. Solche Qualitätsparameter sind beispielsweise ein vorbestimmtes Signal-zu-Rausch-Verhältnis (signal-to-noise ration; SNR) oder ein Signal-zu-Hintergrund-Verhältnis (signal-to-background ratio; SBR).
• Die Aufgabe der Erfindung wird außerdem mit einem Verfahren zur Erfassung von Bilddaten gelöst, bei dem Detektionsstrahlung, insbesondere eines Mikroskops, auf einen ersten Detektionspfad und einen zweiten Detektionspfad aufgeteilt wird und in jedem der Detektionspfade in einer Bildebene neben einer Ortsinformation des Ursprungs der Detektionsstrahlung auch mehrere Winkelinformationen der Detektionsstrahlung erfasst werden. Die Bilddaten werden also unter Anwendung der Lichtfeldtechnologie erfasst.
• Erfindungsgemäß werden in dem ersten Detektionspfad und in dem zweiten Detektionspfad Bilddaten desselben Bildes mit einer im Wesentlichen gleichen räumlichen und zeitlichen Auflösung erfasst. Die im erfindungsgemäßen Verfahren verwendeten Bilddaten repräsentieren ausgewählte Bildelemente, von denen eine Anzahl entlang einer Linie in einer ersten Bildrichtung im ersten Detektionspfad erfasst werden und eine Anzahl entlang einer Linie in einer zweiten Bildrichtung im zweiten Detektionspfad erfasst werden. Dazu werden die entsprechenden Bildelemente ausgewählt und deren Bilddaten selektiv ausgelesen. Dies kann beispielsweise dadurch geschehen, dass Zeilen der verwendeten Detektoren selektiv ausgelesen werden. Insbesondere können solche Detektorzeilen ausgelesen werden, die eine Bildzeile repräsentieren (zur Begriffsbestimmung siehe oben).
• Die ausgewählten Bilddaten der ersten und zweiten Bildrichtung des Bildes können in einem nächsten Schritt ausgewertet und gemeinsam zu einem dreidimensional aufgelösten resultierenden Bild verrechnet werden.
• Das erfindungsgemäße Verfahren kann insbesondere mit einer erfindungsgemäßen Vorrichtung ausgeführt werden. Dabei entsprechen die Bildelemente den Pixeln beziehungsweise den Detektorelementen. Die erste Bildrichtung entspricht der ersten Zeilenrichtung, während die zweite Bildrichtung der zweiten Zeilenrichtung entspricht.
• Erfindungsgemäß werden die erfassten Bilddaten beider Detektoren miteinander verrechnet, um ein dreidimensional aufgelöstes resultierendes Bild zu erhalten. Dabei ist es beispielsweise möglich, in dem ersten und zweiten Detektionspfad erfasste Bilddaten je Detektor zu einem dreidimensional aufgelösten Bild zu verrechnen und anschließend die dreidimensional aufgelösten Bilder zu einem resultierenden Bild zu kombinieren, oder die erfassten Bilddaten beider Detektoren werden zu einem dreidimensional aufgelösten resultierenden Bild verrechnet.
• Die selektiv ausgelesenen Detektorzeilen müssen nicht in der Mitte des betreffenden Detektors beziehungsweise dessen Detektorfläche (Chip) liegen. Vorteilhaft liegen diese jedoch einander benachbart. Eine Auswahl anderer Detektorzeilen ermöglicht eine Erfassung von Bilddaten unter einem anderen Winkel, was bei Strukturüberdeckungen vorteilhaft sein kann.
• Die Verrechnung der erfassten Bilddaten und/oder die Kombination der Bilddaten beziehungsweise der Bilder zu einem resultierenden Bild kann in weiteren Ausgestaltungen des Verfahrens unter Anwendung maschinellen Lernens (machine learning), insbesondere unter Anwendung von Convolutional Neural Networks (CNN), ausgeführt werden.
• Im Falle vieler Schichten (layer) des Netzwerks spricht man auch von deep CNNs. Diese Algorithmen werden zum Beispiel genutzt, um eine virtuelle Erhöhung der Auflösung bei klassisch aufgenommenen Bildern zu erzielen. Hierfür wird das Netzwerk mit hochaufgelösten Daten des Typs des entsprechenden Objektes angelernt und trainiert. Nachfolgend kann das trainierte CNN auch aus weniger gut aufgelösten Daten eine virtuelle Hochauflösung berechnen (z. B. Wang, H. et al., 2018; Nature Methods 16: 103 - 110). Ein Vergleich verschiedener Algorithmen findet sich in Zhang, H. et al., 2019; Sensors 19: 3234.
• Die zur Nutzung vorgesehenen Algorithmen werden derart angelernt, dass sie für eine Verbesserung der Auflösung der aufgenommenen Bilddaten eingesetzt werden können. Soll beispielsweise Hirngewebe abgebildet werden, wird das Netzwerk mit hinreichend vielen Bilddaten von Hirngeweben angelernt. Im Ergebnis ist eine Verbesserung der Bildqualität in beiden Detektionspfaden der angegebenen Vorrichtung möglich.
• Von Vorteil ist, dass unterschiedliche Mikroskopobjektive verwendet werden können, ohne die Anordnung der Vorrichtung verändern zu müssen. Dies gelingt insbesondere dann, wenn die Pupillengröße ungefähr gleich groß ist. Es können vorteilhaft solche Objektive verwendet sein, deren NA/M-Verhältnis gleich ist (z. B. 40x/1,2 NA; 20x/0,6 NA, 10x/0,3 NA). Damit ist eine Beobachtung verschieden großer Volumina bei jeweils etwas verschiedener Auflösung möglich.
• Die Verrechnung der Bilddaten von Aufnahmen kann mit verschiedenen Vergrößerungsverhältnissen vorgenommen werden. Dazu wird ein höher aufgelöst erfasstes kleineres Volumen in einem etwas geringer aufgelösten großen erfassten Volumen eingebettet.
• Für die Bereitstellung der Beleuchtung kann ein Laser-Scanning-Mikroskop (LSM), beispielsweise in Form eines Zusatzmoduls verwendet werden. Hochaufgelöste, mit einem LSM-Modus erfasste Bilddaten können beispielsweise mit geringer aufgelösten Bilddaten einer 3D-Messung gemäß der Erfindung kombiniert werden. Hierfür kann das LSM in einer optional auswählbaren Betriebsart derart eingestellt werden, dass eine Lichtblatterzeugung ermöglicht wird. Dies kann beispielsweise durch eine Fokussierung des Laserstrahls in die Eintrittspupille des Mikroobjektives erreicht werden.
• Entsprechend ist auch eine Kombination der Erfassung nach der Lichtfeld-Technologie mit der Strukturierte-Beleuchtung-Mikroskopie (structured illumination microscopy; SIM) möglich.
• Die erfassten und/oder verrechneten Bilddaten können in weiteren Ausgestaltungen der Erfindung mit Messdaten eines LSM oder auch anderer bildgebender Mikroskopieverfahren (z. B. Phasenkontrast; Differentieller Interferenzkontrast; Strukturierte-Beleuchtungs-Mikroskopie etc.) kombiniert werden.
• Wird maschinelles Lernen eingesetzt, kann mit diesem eine Verbesserung der Bildauflösung auf Basis eines entsprechend angelernten CNN erzielt werden. Das CNN kann fortwährend unter Nutzung einer Bild-zu-Bild-Korrespondenz zwischen den beiden Detektionspfaden angepasst und verbessert werden.
• Weitere Verbesserungen der Bildqualität können erreicht werden, indem zum Beispiel Daten eines dreidimensional aufgenommenen Bildstapels in den Anlernprozess des CNN oder in einer anderen Art und Weise der Bildfusion einfließen. Die Daten können beispielsweise durch ein gleichzeitig betriebenes Laser-Scanning-Mikroskop gewonnen und bereitgestellt werden. Die Erfindung erlaubt außerdem optische Manipulationen in 2D und 3D (z. B. holografisch). Außerdem kann eine Auswertung der Messungen im Sinne von dSTORM, PALM etc. vorgenommen werden.
• Vorteile der Erfindung liegen in einer guten bis sehr guten räumlichen Auflösung und einer sehr guten zeitlichen Auflösung durch hohe Parallelisierung der Voxel-Erfassung. Bei Beleuchtung mit einem Lichtblatt kann eine starke Unterdrückung des Hintergrunds und/oder eine hohe axiale Auflösung erreicht werden. Vorteilhaft ist ferner, dass die Erfindung an einem vorhandenen Mikroskop umgesetzt werden kann und dabei die numerische Apertur des Mikroskopobjektivs voll nutzbar ist. Nach einer Verrechnung der Bilddaten kann eine axiale Auflösung erreicht werden, die im Vergleich zur Schärfentiefe des Objektivs mit voller numerischer Apertur nur geringfügig verschlechtert ist. Die Erfindung ist beispielsweise aufgrund ihrer geringen Belastung für die Probe und einer schnellen dreidimensionalen Bildgebung vorteilhaft für die Verwendung an lebenden Proben geeignet.
• Mittels der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens können gleichzeitig dreidimensionale Bereiche einer Probe mit einer zeitlichen Auflösung im Bereich von sub-Millisekunden bis Sekunden bei gleichzeitig hinreichender räumlicher Auflösung von ca. 1-3 µm erfasst werden. Außerdem werden störende Hintergrundsignale effektiv unterdrückt, sodass eine hohe Sensitivität bei Abbildung der beobachteten Bereiche der Probe erzielt wird. In der 3D Probe sollen somit schließlich möglichst viele Voxel mit möglichst hoher Zeitauflösung gleichzeitig aufgenommen werden. Die hier vorgeschlagene Methode erlaubt dies und bietet eine sehr hoch parallelisierte Abbildung dreidimensionaler Volumina. Außerdem können verschiedene Mikroskopobjektive verwendet werden, ohne dass dabei die Vorrichtung weitergehend verändert werden muss. Dies trifft insbesondere dann zu, wenn die Pupillengröße ungefähr gleich groß ist.
• Die Erfindung erlaubt insbesondere Beobachtungen von Objekten in einer Größenordnung von etwa 0,005 mm bis etwa 3 mm (z. B. bis hinab zu einer Größe von Dendriten). Die zeitliche Auflösung beträgt etwa 0,01 bis 1 Sekunde, kann aber in speziellen Fällen auch 0,001 bis 100 Sekunden oder darüber hinaus betragen.
• Mittels der erfindungsgemäßen Vorrichtung und des Verfahrens kann simultan ein bestimmtes Volumen erfasst werden. Dabei kann die volle numerische Apertur des Detektionsobjektivs genutzt werden, ohne dass eine Scheimpflug-Geometrie erforderlich ist.
• Die hier vorgeschlagene Lösung stellt einen für den praktischen Einsatz äußerst tauglichen Kompromiss dar und erlaubt einerseits eine Abbildung mit hoher optischer Auflösung und auf der anderen Seite eine sehr hohe Volumenabbildungsrate. Bemerkenswert ist insbesondere die Flexibilität in der Anpassung des Betriebsmodus an die Messaufgabe und an die jeweilige Probe indem eine entsprechende Softwareeinstellung in der Steuerung möglich ist.
• Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher beschrieben. Es zeigen:
• 1 eine schematische Darstellung eines ersten Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung als Bestandteil eines Mikroskops;
• 2 eine schematische Darstellung eines Mikrolinsenarrays, eines Detektors und einer Ausleseeinheit;
• 3a und 3b schematische Darstellungen eines ersten Detektors (3a) und eines zweiten Detektors (3b);
• 4a bis 4c schematische Darstellungen eines ersten Ausführungsbeispiels eines ersten Mikrolinsenarrays (4a); eines zweiten Mikrolinsenarrays (4b) und einer virtuellen Überlagerung beider Mikrolinsenarrays (4c), beide Mikrolinsenarrays in einer ersten Ausführungsform;
• 5a bis 5c schematische Darstellungen eines zweiten Ausführungsbeispiels eines ersten Mikrolinsenarrays (5a); eines zweiten Mikrolinsenarrays (5b) und einer virtuellen Überlagerung beider Mikrolinsenarrays (5c), beide Mikrolinsenarrays in einer ersten Ausführungsform;
• 6 eine schematische Darstellung eines zweiten Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung als Bestandteil eines Mikroskops;
• 7 eine schematische Darstellung eines dritten Ausführungsbeispiels eines Mikroskops mit einer erfindungsgemäßen Vorrichtung mit Mitteln zur Erzeugung eines Lichtblatts, Detektionspfaden für die Lichtfeldmikroskopie und mit einem konfokalen Detektionspfad; und
• 8 ein Ablaufschema einer Ausgestaltung des erfindungsgemäßen Verfahrens.
• Ein allgemeiner Aufbau einer erfindungsgemäßen Vorrichtung 1 weist entlang eines Strahlengangs ein Mittel 2 zur Aufteilung von Detektionsstrahlung in Form eines Strahlteilers (Strahlteiler 2) auf, durch dessen Wirkung Detektionsstrahlung DS auf einen ersten Detektionspfad 3 mit einem ersten Detektor 4 und einem vorgeordneten ersten Mikrolinsenarray 5 mit Mikrolinsen 5.1 (angedeutet gezeigt, siehe auch 4a und 5a) sowie auf einen zweiten Detektionspfad 6 mit einem zweiten Detektor 7 und einem vorgeordneten zweiten Mikrolinsenarray 8 mit Mikrolinsen 8.1 (angedeutet gezeigt, siehe auch 4b und 5b) aufgeteilt wird. Die Mikrolinsenarrays 5 und 8 sind jeweils in einer Pupille angeordnet. Sind in den Ausführungsbeispielen optische Linsen 9 angegeben, stehen diese optional auch für entsprechende Kombinationen von optischen Elementen (Linsensysteme). Durch Wirkung der Mikrolinsen 5.1 beziehungsweise 8.1 wird die Detektionsstrahlung auf die in jeweils einer Bildebene BE angeordneten Detektoren 4 beziehungsweise 7 abgebildet.
• Der erste Detektor 4 und der zweite Detektor 7 sind hinsichtlich ihrer räumlichen und zeitlichen Auflösung gleich. Hinsichtlich der Zeilenrichtungen Z1, Z2 der Detektorzeilen DZ von erstem Detektor 4 und zweitem Detektor 7 sind diese gegeneinander geneigt, wie dies beispielhaft in den 3a und 3b dargestellt ist. In einem einfachen Fall, bei dem die Ausrichtung eines zu erfassenden Bildes in den Detektionspfaden 3 beziehungsweise 6 nicht relativ zueinander gedreht wird, können die geneigten Zeilenrichtungen Z1, Z2 beispielsweise durch eine um 90° gegeneinander gedrehte Einbaulage der Detektoren 4 und 7 bewirkt werden (siehe dazu auch 3a und 3b).
• Eine von einem Mikroskop 11 kommende und durch Wirkung einer Tubuslinse 9TL fokussierte Detektionsstrahlung DS passiert eine optionale Feldblende 14 in einer Zwischenbildebene, gelangt zu einer optischen Linse 9 und wird durch Wirkung des Strahlteilers 2 auf den ersten Detektionspfad 3 und den zweiten Detektionspfad 6 beispielsweise im Verhältnis 50/50 aufgeteilt. Die Abbildung der Pupillenebene des Mikroskops 11, insbesondere einer Pupillenebene (back focal plane) des Mikroskopobjektivs 18 (siehe z. B. 7) in die Ebenen der Mikrolinsenarrays 5, 8 erfolgt über das Linsensystem 9TL, 9. Die Linse 9TL fungiert als Tubuslinse während die nachgeordnete Linse 9 als Fourierlinse wirkt, d.h. eine Fouriertransformation der Detektionsstrahlung bewirkt. Tubuslinse und Fourierlinse stellen so ein Abbildungssystem von der Pupillenebene des Mikroskopobjektivs 18 auf die Mikrolinsenarrays 5, 8 dar.
• Die Mikrolinsenarrays 5 und 8 sind in einem Ausführungsbeispiel identisch gestaltet. In weiteren möglichen Ausführungen können die Mikrolinsenarrays 5 und 8 unterschiedlich gestaltet sein, um beispielsweise auf die verwendeten Detektoren 4, 7 abgestimmt zu sein.
• Die von den Detektoren 4, 7 erfassten Bilddaten werden von einer Ausleseeinheit 10.1 selektiv ausgelesen und einer Auswerteeinheit 10.2 in Form beispielsweise eines Rechners oder eines FPGA zugeführt. Die Ausleseeinheit 10.1 kann ebenfalls als ein Rechner oder FPGA ausgebildet sein. Sowohl Ausleseeinheit 10.1 als auch Auswerteeinheit 10.2 können Kompartimente eines Rechners oder FPGAs sein, weshalb beide beispielhaft in einem gemeinsamen Rahmen gesetzt sind. Die Auswerteeinheit 10.2 ist derart konfiguriert, dass die Auswertung der erfassten und selektiv ausgewählten Bilddaten unter Berücksichtigung von Ortsinformationen, Winkelinformationen und Intensitätswerten erfolgt und beispielsweise die erfassten Anteile der Winkelinformationen beider Detektoren 4, 7 als Bilddaten zu einem dreidimensional aufgelösten resultierenden Bild kombiniert, insbesondere verrechnet, werden. Die Ausleseeinheit 10.1 ist derart konfiguriert, dass mittels dieser selektiv Detektorzeilen DZ (siehe 2) ausgelesen und der Auswerteeinheit 10.2 zugeleitet werden. Sie kann durch die Steuereinheit 12 angesteuert werden, um beispielsweise die aktuell selektiv auszulesenden Detektorzeilen DZ zu spezifizieren.
• Die Auswerteeinheit 10.2 ist optional mit einer Anzeige 13, beispielsweise einem Monitor, verbunden, auf der die Bilddaten und/oder das resultierende Bild bzw. ein resultierender Bildstapel darstellbar sind. Außerdem ist die Auswerteeinheit 10.2 optional mit einer Steuereinheit 12 verbunden, die insbesondere Bestandteil des Mikroskops 11 sein kann. In weiteren möglichen Ausführungen ist die Steuereinheit 12 kein integraler Bestandteil des Mikroskops 11, kann aber mit diesem in einer zur Übertragung von Daten geeigneten Weise in Verbindung stehen (siehe z. B. schematisch in 7).
• Die Steuereinheit 12 ist konfiguriert, um aufgrund von Ergebnissen der Auswerteeinheit 10.2 Steuersignale zu generieren. Diese können zur Ansteuerung von Funktionen des Mikroskops 11 dienen.
• In 2 ist am Beispiel des ersten Mikrolinsenarrays 5 und des ersten Detektors 4 das Zusammenwirken beider technischer Elemente veranschaulicht. Der Detektor 4 weist eine Vielzahl von Detektorzeilen DZ auf, von denen beispielhaft lediglich einige in einer y-Richtung (zweite Zeilenrichtung Z2) eines zu erfassenden Bildes dargestellt sind. Die einzelnen Detektorzeilen DZ des ersten Detektors 4 verlaufen in einer x-Richtung (erste Zeilenrichtung Z1) eines zu erfassenden Bildes und umfassen jeweils eine Anzahl von Detektorelementen 4.1. Lediglich beispielhaft sind hier fünfzehn Detektorelemente 4.1 je Detektorzeile DZ gezeigt. Die mittels der Detektorelemente 4.1 jeweils einer Detektorzeile DZ erfassten Bilddaten werden zeilenweise durch die Ausleseeinheit 10.1 ausgelesen (für einige Detektorzeilen DZ mit Pfeilen und Verbindungslinien zwischen Detektor 4 und Ausleseeinheit 10.1 symbolisiert).
• Das dem ersten Detektor 4 in einer Pupille vorgeordnete Mikrolinsenarray 5 weist eine Anzahl von Mikrolinsen 5.1 auf, von denen lediglich zur Illustration fünfzehn in drei Reihen zu je fünf Mikrolinsen 5.1 gezeigt sind. Anhand einer Mikrolinse 5.1 der ersten Reihe ist dargestellt, dass die auf die Mikrolinse 5.1 auftreffende Detektionsstrahlung DS durch deren Wirkung beispielsweise auf drei benachbarte Detektorelemente 4.1 jeweils dreier benachbarter Detektorzeilen DZ (3x3-Array) gerichtet ist. Im Beispiel ist aus Gründen der Übersichtlichkeit der Mikrolinse 5.1 ein 3x3-Array zugeordnet, in der praktischen Umsetzung kann eine Mikrolinse 5.1 ein gut aufgelöstes Bild von beispielsweise 512x512 Pixeln erzeugen. Entsprechend der jeweiligen relativen Position der Mikrolinsen 5.1 werden mittels des Detektors 4 Bilder einer Probe 25 erfasst, die jeweils eine etwas unterschiedliche Sicht auf die Probe 25 wiedergeben. Entsprechendes gilt für die zweite bis fünfte Mikrolinse 5.1 der ersten Reihe (nicht explizit gezeigt). Da die mit einer Reihe von Mikrolinse 5.1 optisch erfasste Detektionsstrahlung DS im Ergebnis von Detektorelementen 4.1 dreier Detektorzeilen DZ in Bilddaten überführt werden, repräsentieren diese drei Detektorzeilen DZ eine Bildzeile BZ eines zu erfassenden Bildes.
• Aufgrund einer entsprechenden Ansteuerung der Ausleseeinheit 10.1 durch die Steuereinheit 12 können die eine Bildzeile BZ verkörpernden Detektorzeilen DZ selektiv ausgelesen werden, was durch ausgefüllte Pfeile veranschaulicht ist. Auf diese Weise können Bilddaten einer ersten Zeilenrichtung Z1 ausgelesen und einer Auswertung zur Verfügung gestellt werden.
• Die unterschiedlichen relativen Orientierungen der Detektorzeilen DZ des ersten Detektors 4 und des zweiten Detektors 7 sind in 3a und 3b veranschaulicht. Die Detektorzeilen DZ der Detektoren 4 und 7 sind in Bezug auf ein zu erfassendes Bild, dessen Bildrichtungen jeweils mittels der Achsen des Koordinatensystems angegeben sind, zueinander orthogonal ausgerichtet. 3a zeigt den ersten Detektor 4 mit entlang der x-Achse in der ersten Zeilenrichtung Z1 verlaufenden Detektorzeilen DZ, während 3b den zweiten Detektor 7 zeigt, dessen Detektorzeilen DZ in Richtung der y-Achse, also in der zweiten Zeilenrichtung Z2, verlaufen. Die mit den beiden Detektoren 4, 7 erfassten Bildzeilen BZ (hier nur zwei ausgewählt) sind ebenfalls gegeneinander um 90° gedreht.
• Ein erstes Ausführungsbeispiel der Mikrolinsenarrays 5 beziehungsweise 8 ist in den 4a und 4b gezeigt. Die Mikrolinsen 5.1 beziehungsweise 8.1 sind in einem hexagonalen Raster angeordnet. In 4a ist beispielhaft eine horizontal in x-Richtung verlaufende Zeile von Mikrolinsen 5.1 schraffiert hervorgehoben. Die auf die Mikrolinsen 5.1 der schraffiert hervorgehobenen Zeile auftreffende Detektionsstrahlung DS wird auf Detektorelemente 4.1 mehrerer Detektorzeilen DZ des ersten Detektors 4 gerichtet (Bildzeile BZ), wie dies zu 4 und 5a beschrieben ist. In der 4b ist eine vertikale Spalte von Mikrolinsen 8.1 in y-Richtung schraffiert gezeigt. Die gemeinsame Wirkung der Mikrolinsenarrays 5 und 8 ist in 4c illustriert. Werden die mittels der Detektoren 4 und 7 erfassten Bilddaten miteinander zu einem resultierenden Bild verrechnet, wird ein Bild erhalten, als wäre die Bilderfassung mit einem Mikrolinsenarray gemäß 4c erfolgt. Die Aufteilung in zwei Detektionspfade 3, 6 ist jedoch aufgrund der zeilenweisen Anordnung der Detektorelemente 4.1 und 7.1 sowie deren Auslesemodus in einzelnen Detektorzeilen DZ erforderlich.
• In den 5a und 5b sind wieder Mikrolinsenarrays 5, 8 einem hexagonalen Raster gezeigt. Das Mikrolinsenarray 5 weist mindestens eine Zeile von Mikrolinsen 5.1 auf (schraffiert hervorgehoben), die in einer x-Richtung des zu erfassenden Bildes verläuft (5a). Die Mikrolinsen 5.1 und 8.1 sind kreisförmig in hexagonaler Anordnung dargestellt, können aber auch hexagonal angeordnet und dann sechseckig geformt sein, um geringe Abstände zwischen den einzelnen Mikrolinsen 5.1 beziehungsweise 8.1 zu erlauben.
• Das zweite Mikrolinsenarray 8 entspricht dem ersten Mikrolinsenarray 5, allerdings ist nun eine Reihe von Mikrolinsen 8.1 entlang einer Linie ausgewählt (schraffiert hervorgehoben), die um etwa 60° zur x-Richtung des zu erfassenden Bildes verläuft (5b). Das auf die Mikrolinsen 8.1 der schraffiert hervorgehobenen Zeile treffende Detektionslicht DS wird entsprechend auf Detektorelemente 7.1 gerichtet (Bildzeile BZ), die 60° geneigt zur Richtung der x-Achse (zweite Zeilenrichtung Z2) verlaufen (siehe 5b). Der zugehörige zweite Detektor 7 ist entsprechend auch um 60° gedreht, damit dessen Detektorzeilen DZ (zweite Zeilenrichtung Z2) zum Verlauf der Mikrolinsen 8.1 korrespondieren (nicht gezeigt).
• Die gemeinsame Wirkung der Mikrolinsenarrays 5 und 8 ist in 5c illustriert. Werden die mittels der Detektoren 4 und 7 erfassten Bilddaten miteinander zu einem resultierenden Bild verrechnet, wird ein Bild erhalten, als wäre die Bilderfassung mit einem Mikrolinsenarray gemäß 5c erfolgt. Aus den 4a bis 5c ist beispielhaft ersichtlich, dass die ausgewählten Mikrolinsen, und damit auch die entsprechend optische zugeordneten Detektorelemente 5.1, beziehungsweise 8.1 auch außerhalb der Mitte des Mikrolinsenarrays 5 beziehungsweise 8 beziehungsweise der Detektoren 4 und 7 verlaufen können.
• Falls solche Detektoren 4, 7 zur Verfügung stehen, deren Detektorelemente 4.1, 7.1 selektiv und einzeln auslesbar sind, kann eine Anordnung von Mikrolinsen 5.1, 8.1 entsprechend der Schraffur der 5c in nur einem Detektionspfad 3 oder 6 verwendet werden. Alternativ kann individuell ein Detektor 4, 7 mit ggfls. zueinander geneigten Detektorzeilen DZ verwendet werden. Wichtig ist allerdings, dass diese Regionen mit hoher Geschwindigkeit ausgelesen werden können. Technologische Ansätze hierzu sind zum Beispiel bei EMCCDs bekannt, bei welchen verschiedene Sensorbereiche im Grunde parallel ausgelesen werden können.
• Eine erfindungsgemäßen Vorrichtung 1 in einem Mikroskop 11 mit einem feststehenden gemeinsamen Mikrolinsenarray 5, 8 ist in der 6 gezeigt. Das gemeinsame Mikrolinsenarray 5, 8 ist in einer Pupille des Detektionsstrahlengangs angeordnet. Die durch das gemeinsame Mikrolinsenarray 5, 8 hindurchgetretene Detektionsstrahlung DS wird mittels des Strahlteilers 2 auf den ersten Detektionspfad 3 und den zweiten Detektionspfad 6 aufgeteilt und dort jeweils mit dem vorhandenen ersten Detektor 4 beziehungsweise dem zweiten Detektor 7 erfasst. Bezüglich der Detektoren 4, 7 ist das gemeinsame Mikrolinsenarray 5, 8 wiederum in einer Pupille optisch vorgeordnet, sodass die Erfassung der Bilddaten nach dem Prinzip der Fourierraum-Lichtfeldmikroskopie erfolgt.
• Das gemeinsame Mikrolinsenarray 5, 8 weist mindestens je eine Reihe von Mikrolinsen 5.1, 8.1 in einer ersten Richtung und in einer zweiten Richtung auf. Die Auswahl der jeweils zu erfassenden Detektorzeilen DZ der Detektoren 4 beziehungsweise 7 kann wie zu 4a bis 4c und 5a bis 5c erläutert durch eine entsprechende Ausrichtung der Detektorzeilen DZ der Detektoren 4 und 7 erfolgen, ohne dass das gemeinsamen Mikrolinsenarray 5, 8 tatsächlich gedreht wird.
• In einem dritten Ausführungsbeispiel der erfindungsgemäßen Vorrichtung 1 in einem Mikroskop 11 (7) sind in einem Anregungsstrahlengang eine Lichtquelle 15 zur Bereitstellung eines Beleuchtungslichts, welches vorteilhaft Laserlicht sein kann, als Anregungslicht, optische Linsen 9, eine lichtlenkende Einrichtung 17 oder Scanvorrichtung 17, ein Farbteiler 16 und ein als Beleuchtungsobjektiv fungierendes Objektiv 18 mit einer Eintrittspupille EP vorhanden. Die Lichtquelle 15, insbesondere in Form einer Laserlichtquelle, kann optional gepulst betrieben werden.
• In einem Detektionsstrahlengang (durch unterbrochene Volllinien symbolisiert) sind eine optische Linse 9 und der Strahlteiler 2 angeordnet, durch den Detektionsstrahlung DS entlang des ersten Detektionspfads 3 mit dem ersten Mikrolinsenarray 5 und dem ersten Detektor 4 und/oder entlang des zweiten Detektionspfads 6 mit dem zweiten Mikrolinsenarray 8 und dem zweiten Detektor 7 gelenkt wird. Die Detektoren 4 und 7 stehen mit der Ausleseeinheit 10.1 sowie mit der Auswerteeinheit 10.2 und diese mit der Steuereinheit 12 in einer zum Austausch von Daten geeigneten Weise in Verbindung. Mittels der Steuereinheit 12 können Steuerbefehle generiert werden, die zum Ansteuern der Scanvorrichtung 17 (fortan auch: Scanner 17) dienen. In weiteren Ausführungen kann auch die Lichtquelle 15 durch die Steuereinheit 12 angesteuert sein (mit unterbrochener Volllinie symbolisiert).
• Beim Betrieb des Mikroskops 11 mit der erfindungsgemäßen Vorrichtung 1 wird von der Laserlichtquelle 15 ausgesendetes Laserlicht fokussiert und gelangt zur Scanvorrichtung 17. Die durch die Steuereinheit 12 angesteuerte Scanvorrichtung 17 lenkt das Laserlicht gesteuert in einer x-Richtung x und/oder in einer y-Richtung y ab. Mit der Scanvorrichtung 17 können der Einstrahlwinkel des Anregungslichtes in der Eintrittspupille EP (Objektivpupille) variiert werden.
• Das Anregungslicht wird nach Durchlaufen des dichroitischen Farbteilers 16 in einen Eintrittsort in der Eintrittspupille EP gerichtet, der abseits der optischen Achse oA des Objektivs 18 liegt. Im Ergebnis wird objektseitig durch das Objektiv 18 ein zur optischen Achse oA inkliniertes Lichtblatt 19 in einer entsprechend inklinierten Lichtblattebene erzeugt. Befindet sich in einem Probenraum 20 vor dem Objektiv 18 eine Probe 25, kann das Lichtblatt 19 in diese gerichtet werden.
• Im Anregungsstrahlengang (= Beleuchtungsstrahlengang) können optional einstellbare optische Mittel 21 wie zum Beispiel eine Zoomoptik oder eine Blende vorhanden sein, durch deren Wirkung eine Dicke des Lichtblatts 19 quer zur Lichtblattebene einstellbar ist (nur angedeutet gezeigt). Eine Ansteuerung des einstellbaren optischen Mittels 21 kann mittels der Steuereinheit 12 erfolgen.
• Durch Wirkung des aus dem Anregungslicht gebildeten Lichtblatts 19 kann in der Probe 25 Fluoreszenz angeregt und als Detektionslicht (Detektionsstrahlung) emittiert werden. Emittiertes Detektionslicht wird mit dem Objektiv 18, das sowohl als Beleuchtungsobjektiv als auch als Detektionsobjektiv dient, gesammelt. Im Farbteiler 16 wird die gegenüber dem Anregungslicht längerwellige Detektionsstrahlung DS in den weiteren Verlauf des Detektionsstrahlengangs reflektiert und gelangt über den Strahlteiler 2 zu dem ersten Mikrolinsenarray 5 und/oder dem zweiten Mikrolinsenarray 8. Die angedeutet gezeigten Mikrolinsen können als einzelne Abbildungssysteme angesehen werden. Die von den einzelnen Mikrolinsen bewirkten Bilder werden durch entsprechend positionierte Detektorelemente der Detektoren 4 beziehungsweise 7 als Bilddaten erfasst, mittels der Ausleseeinheit 10.1 selektiv ausgelesen und der Auswerteeinheit 10.2 zugeleitet.
• Im Beleuchtungsstrahlengang ist zwischen der Lichtquelle 15 und der Scanvorrichtung 17 ein weiterer dichroitischer Strahlteiler 22 angeordnet. Durch dessen Wirkung wird Detektionsstrahlung DS, die von dem Probenraum 20 kommend den Strahlteiler 16 und die nachfolgenden optischen Elemente durchlaufen hat und durch Wirkung der Scanvorrichtung 17 in einen ruhenden Strahl (descannt) überführt wurde, in den letzten Abschnitt eineses dritten Detektionspfades 23 gelenkt. Der Strahlteiler 16 fungiert in diesem Ausführungsbeispiel (auch) zur Aufteilung der erfassten Detektionsstrahlung auf den ersten und den zweiten Detektionspfad 3, 6 beziehungsweise den dritten Detektionspfad und kann dichroitisch sein oder Detektionsstrahlung DS in einem bestimmten Verhältnis aufteilen. Die Detektionsstrahlung DS wird mittels einer optischen Linse 9 in eine Zwischenbildebene ZB fokussiert, in der sich ein Pinhole 24 in Form einer Lochblende oder einer Schlitzblende befindet. Durch Wirkung des Pinholes 24 werden diejenigen Anteile aus dem Strahlenbündel der Detektionsstrahlung DS entfernt oder zumindest weitgehend reduziert, die aus außerfokalen Bereichen stammen. Als dritter Detektor 26 kann beispielsweise ein Sekundärelektronenvervielfacher (photomultiplier tube, PMT), ein Array mehrerer PMT's oder ein zweidimensionaler Detektor (siehe oben) verwendet sein. Der dritte Detektor 26 steht mit der Auswerteeinheit 10.2 in Verbindung. Diese ist wiederum mit der Scanvorrichtung 17 verbunden, um Daten zu einer jeweils aktuellen Ausrichtung der Scanvorrichtung 17 zu erhalten. Anhand der aktuellen Ausrichtung kann den mittels des dritten Detektors 26 erfassten einzelnen Bilddaten eine Position in einer X-Y-Ebene zugeordnet werden. Informationen zur axialen Position (Position in z-Richtung, Z-Position) können anhand der bekannten Lage der aktuellen Fokusebene des Objektivs 18 sowie optional unter Berücksichtigung einer für das Bilderfassungssystem bekannten Punktbildspreizfunktion (point spread function; PSF) ermittelt werden. Eine Erfassung von Bilddaten kann an unterschiedlichen z-Positionen (z-Stapel) erfolgen. Auf diese Weise können mit dem dritten Detektor 26 dreidimensional aufgelöste Bilddaten erfasst werden. Infolge der Gestaltung des dritten Detektionspfades 23 als ein konfokaler Detektionspfad ist eine gegenüber dem ersten Detektor 4 und dem zweiten Detektor 7 höhere räumliche Auflösung erreicht. Wird zwischen einer Erfassung mittels des dritten Detektionspfads 23 (konfokal) und dem ersten und zweiten Detektionspfad 3, 6 alternierend geschalten, kann das einstellbare optische Mittel 21 entsprechend angesteuert werden, um entweder einen Beleuchtungslichtfleck oder ein Lichtblatt 19 zu erzeugen.
• Der Strahlteiler 16 kann in weiteren Ausführungen beispielsweise durch einen schaltbaren Spiegel ersetzt sein. Die mittels des ersten Detektors 4 und/oder des zweiten Detektors 7 erfassten Bilddaten werden durch die Auswerteeinheit 10.2 mit Bilddaten des dritten Detektors 26 zusammengeführt und ein dreidimensionales resultierendes Bild errechnet.
• Die in den 1, 6 und 7 dargestellten Ausführungsbeispiele können beispielsweise für eine 2-Kanal-Lichtfeldmikroskopie eingesetzt werden. Eine Trennung spektraler Anteile der Detektionsstrahlung kann mittels des Strahlteilers 2 erfolgen.
• Das erfindungsgemäße Verfahren ist zusammenfassend in 8 gezeigt. Die Detektionsstrahlung wird in den ersten und/oder den zweiten Detektionspfad 3, 6 gelenkt und dort mittels des jeweils vorhandenen Detektors 4, 7 beispielsweise entsprechend des Prinzips der Lichtfeldtechnologie erfasst. Die erfassten Bilddaten der Detektoren 4 und 7 werden zu einem resultierenden dreidimensional aufgelösten Bild kombiniert. Nicht gezeigt ist eine entsprechende Erweiterung um einen dritten Detektionspfad 23, wie dies zu 7 beschrieben ist.
• In weiteren Ausgestaltungen des Verfahrens können die mittels des ersten Detektors 4 und des zweiten Detektors 7 erfassten Bilddaten beziehungsweise daraus errechnete Bilder unter Anwendung eines CNN (Convolutional Neural Network) aufeinander abgebildet und ein dreidimensional aufgelöstes resultierendes Bild errechnet werden.
• Bezugszeichenliste

1

Vorrichtung

2

Mittel zur Aufteilung (der Detektionsstrahlung; Strahlteiler)

3

erster Detektionspfad

4

erster Detektor

4.1

Detektorelemente, Pixel, Bildelemente (des ersten Detektors 4)

5

erstes Mikrolinsenarray

5.1

Mikrolinse

6

zweiter Detektionspfad

7

zweiter Detektor

7.1

Detektorelemente, Pixel, Bildelemente (des zweiten Detektors 7)

8

zweites Mikrolinsenarray

8.1

Mikrolinse

9

optische Linse

10.1

Ausleseeinheit

10.2

Auswerteeinheit

11

Mikroskop

12

Steuereinheit

13

Anzeige

14

Feldblende

16

Farbteiler

15

Lichtquelle

17

Scanvorrichtung

18

Objektiv

19

Lichtblatt

20

Probenraum

21

einstellbares optisches Mittel

22

Strahlteiler (für konfokalen Strahlengang)

23

dritter Detektionspfad

24

Pinhole

25

Probe

26

dritter Detektor

BE

Bildebene

BZ

Bildzeile

DZ

Detektorzeile, Zeile

DS

Detektionsstrahlung

EP

Eintrittspupille

oA

optische Achse

Z1

erste Zeilenrichtung

Z2

zweite Zeilenrichtung

Claims (16)

1. Vorrichtung (1) zur Erfassung von Bilddaten umfassend - einen Detektionsstrahlengang, entlang dem Detektionsstrahlung (DS) geführt wird beziehungsweise führbar ist; - und ein Mittel zur Aufteilung (2) der Detektionsstrahlung (DS) auf einen ersten Detektionspfad (3) und einen zweiten Detektionspfad (6); - in dem ersten Detektionspfad (3) einen ersten Detektor (4) und in dem zweiten Detektionspfad (6) einen zweiten Detektor (7) und beiden Detektoren (4, 7) in einer zur Systempupille konjugierten Ebene ein Mikrolinsenarray (5, 8) vorgeordnet ist; wobei - der erste Detektor (4) in einer Bildebene (BE) angeordnete Detektorelemente (4.1) aufweist, die in Detektorzeilen (DZ) in einer ersten Zeilenrichtung (Z1) angeordnet sind; und - wobei der zweite Detektor (7) in einer Bildebene angeordnete Detektorelemente (7.1) aufweist, die in Detektorzeilen (DZ) in einer zweiten Zeilenrichtung (Z2) angeordnet sind; - und jeder Mikrolinse (5.1, 8.1) des Mikrolinsenarrays (5, 8) jeweils eine Anzahl von Detektorelementen (4.1, 7.1) optisch zugeordnet sind, sodass eine Bildzeile (BZ) des ersten beziehungsweise des zweiten Detektors (4, 7) durch diejenigen Detektorelemente (4.1, 7.1) mindestens einer Detektorzeile (DZ) gebildet sind, die den Mikrolinsen (5.1, 8.1) des Mikrolinsenarrays (5, 8) optisch zugeordnet sind; dadurch gekennzeichnet, dass - eine Ausleseeinheit (10.1) zum Auslesen der Bilddaten der Detektoren (4, 7) vorhanden ist, wobei die Ausleseeinheit (10.1) zum selektiven Auslesen derjenigen zeilenweise angeordneten Detektorelemente (5.1, 8.1) konfiguriert ist, die eine Bildzeile (BZ) bilden.
2. Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass der erste Detektor (4) und der zweite Detektor (7) relativ zum zu erfassenden Bild so angeordnet sind, dass die erste Zeilenrichtung (Z1) und die zweite Zeilenrichtung (Z2) gegeneinander geneigt sind.
3. Vorrichtung (1) nach Anspruch 1 oder 2, gekennzeichnet durch eine Auswerteeinheit (10.2) zur Auswertung der erfassten Bilddaten der ersten und zweiten Detektoren (4, 7), wobei die Auswerteeinheit (10.2) derart konfiguriert ist, dass eine Auswertung der selektiv ausgelesenen Bilddaten beider Detektoren (4, 7) erfolgt und aus diesen ausgewerteten Bilddaten ein dreidimensional aufgelöstes resultierendes Bild erzeugt wird.
4. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der erste Detektor (4) und der zweite Detektor (7) eine im Wesentlichen gleiche räumliche und zeitliche Auflösung besitzen und die Detektoren (4, 7) zur Erfassung desselben Bildes einer Probe (24) eingerichtet sind.
5. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Mittel zur Aufteilung (2) der Detektionsstrahlung (DS) ein Strahlteiler, ein dichroitischer Strahlteiler, ein Polarisationsteiler, ein räumlich strukturierter Strahlteiler, ein diffraktives Element oder ein schaltbarer Spiegel ist.
6. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein den beiden Detektoren (4, 7) in einer zur Systempupille konjugierten Ebene vorgeordnetes gemeinsames Mikrolinsenarray (5, 8).
7. Mikroskop (11) mit einer Vorrichtung (1) nach einem der vorhergehenden Ansprüche.
8. Mikroskop (11) nach Anspruch 7, dadurch gekennzeichnet, dass in einem Beleuchtungsstrahlengang eine Lichtquelle (15), insbesondere eine Laserlichtquelle (15) und ein als Beleuchtungsobjektiv fungierendes Objektiv (18) vorhanden sind, wobei eine Weitfeldbeleuchtung erzeugt wird.
9. Mikroskop (11) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Lichtquelle (15) zur Bereitstellung von gepulstem Beleuchtungslicht, insbesondere mit Pulsdauern im Bereich von Pikosekunden oder Femtosekunden, ausgebildet ist.
10. Mikroskop (11) nach Anspruch 7, dadurch gekennzeichnet, dass in einem Beleuchtungsstrahlengang eine Lichtquelle (15), ein als Beleuchtungsobjektiv fungierendes Objektiv (18) und eine Vorrichtung zur Erzeugung eines Lichtblatts (19) vorhanden sind, wobei das Lichtblatt (19) objektseitig vor dem Objektiv (18) in einem Probenraum (20) erzeugt wird.
11. Mikroskop (11) nach Anspruch 10, dadurch gekennzeichnet, dass die Vorrichtung zur Erzeugung eines Lichtblatts (19) eine Zylinderoptik und/oder eine Scanvorrichtung (17) ist, wobei ein durch Wirkung der Zylinderoptik geformter Beleuchtungslichtstrahl beziehungsweise mittels der Scanvorrichtung (17) abgelenkter Beleuchtungslichtstrahl der Lichtquelle (15) in einen Eintrittsort in einer Objektivpupille (EP) des Objektivs (18) gerichtet ist, der abseits der optischen Achse (oA) des Objektivs (18) liegt.
12. Mikroskop (11) nach einem der Ansprüche 10 und 11, dadurch gekennzeichnet, dass im Beleuchtungsstrahlengang einstellbare optische Mittel (21) vorhanden sind, durch deren Wirkung eine Dicke des Lichtblatts (19) quer zu einer Lichtblattebene einstellbar ist.
13. Mikroskop (11) nach Anspruch 11, dadurch gekennzeichnet, dass ein dritter Detektionspfad (23) vorhanden ist, in den wahlweise mittels der Scanvorrichtung (17) descannte Detektionsstrahlung (DS) geführt werden kann, wobei der dritte Detektionspfad (23) eine Konfokalblende (24) in einer Zwischenbildebene (ZB) aufweist.
14. Verfahren zur Erfassung von Bilddaten, bei dem Detektionsstrahlung (DS), insbesondere eines Mikroskops (11), auf einen ersten Detektionspfad (3) und einen zweiten Detektionspfad (6) aufgeteilt wird und in jedem der Detektionspfade (3, 6) in einer Bildebene (BE) neben einer Ortsinformation des Ursprungs der Detektionsstrahlung (DS) auch mehrere Winkelinformationen der Detektionsstrahlung (DS) erfasst werden, dadurch gekennzeichnet, dass - in dem ersten Detektionspfad (3) und in dem zweiten Detektionspfad (6) Bilddaten desselben Bildes mit einer im Wesentlichen gleichen räumlichen und zeitlichen Auflösung mittels Detektoren (4, 7) erfasst werden, wobei die verwendeten Bilddaten ausgewählte Bildelemente (Pixel) repräsentieren, von denen eine Anzahl in einer ersten Bildrichtung im ersten Detektionspfad (3) erfasst werden und eine Anzahl in einer zweiten Bildrichtung im zweiten Detektionspfad (6) erfasst werden; - die entsprechenden Bildelemente ausgewählt und deren Bilddaten selektiv ausgelesen werden; indem Detektorzeilen (DZ) der zur Bilderfassung verwendeten Detektoren (4, 7) selektiv ausgelesen werden.
15. Verfahren nach Anspruch 14 dadurch gekennzeichnet, dass die ausgewählten Bilddaten der ersten und zweiten Bildrichtung des Bildes ausgewertet und gemeinsam zu einem dreidimensional aufgelösten resultierenden Bild verrechnet werden oder dass zusätzlich mit einer weiteren, insbesondere hochauflösenden, Bilderfassungsmethode erfasste Bilddaten für die Erzeugung des dreidimensional aufgelösten resultierenden Bildes verwendet werden.
16. Verfahren nach einem der Ansprüche 14 bis 15, dadurch gekennzeichnet, dass die Verrechnung der Bilddaten und/oder die Kombination der Bilddaten oder der Bilder zu einem resultierenden Bild unter Anwendung maschinellen Lernens, insbesondere unter Anwendung von CNN (Convolutional Neural Networks) ausgeführt wird.

Images