DE102020109734B4

DE102020109734B4 - Verfahren und Bestrahlungsvorrichtung in der Reflexionsmikroskopie

Info

Publication number: DE102020109734B4
Application number: DE102020109734.4A
Authority: DE
Inventors: Ivan Vishniakou; Johannes Dominik Seelig
Original assignee: Stiftung Caesar Center of Advanced European Studies and Research
Current assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority date: 2020-04-07
Filing date: 2020-04-07
Publication date: 2022-02-10
Anticipated expiration: 2040-04-08
Also published as: DE102020109734A1; WO2021204663A1; US20230098493A1

Abstract

Verfahren zum Trainieren eines mathematischen Modells, das die Lichtausbreitung bei einer Reflexionsmikroskopie, insbesondere bei der (konfokalen) Laser-Mikroskopie im Rasterverfahren, beschreibt umfassend die folgenden Schritte:a) Einstrahlen einer Lichtverteilung I0mit einer einem Mikroskop zugeordneten Beleuchtungseinheit in einen Anregungspfad (10) des Mikroskops;b) Modulieren der Lichtverteilung I0zu einer Lichtverteilung IAin dem Anregungspfad (10) mittels eines optischen Modulators (30), wobei der optische Modulator (30) die Licht-Modulation MAbewirkt;c) Reflektieren der Lichtverteilung IA, insbesondere am Ort der Probe, in einen Detektionspfad (20) des Mikroskops;d) Modulieren der bekannten Lichtverteilung IAzu einer Lichtverteilung IDin dem Detektionspfad (20) mittels eines weiteren optischen Modulators (30), wobei der optische Modulator (30) die Licht-Modulation MDbewirkt;e) Aufzeichnen der reflektierten Lichtverteilung ID;n-fache Wiederholung der Schritte a) bis e) wodurch ein n-faches 3-Tupel (MA, MD; ID) erzeugt wird;Übergabe des n-fachen 3-Tupels (MA, MD; ID) an einen Rechner auf dem ein mathematische Modell F zur Lichtausbreitung bei der Reflexionsmikroskopie implementiert ist und Ermittlung des mathematischen Modells F das die Lichtausbreitung bei der Reflexionsmikroskopie beschreibt auf der Basis des n-fachen 3-Tupels (MA, MD; ID).

Description

Die vorliegende Erfindung betrifft das technische Gebiet der adaptiven Mikroskopie und insbesondere der adaptiven Reflexionsmikroskopie.
In der optischen Mikroskopie, insbesondere in der optischen Mikroskopie von biologischen Proben, ist die Bildgebung durch Aberrationen und Streuung begrenzt. In diesem Zusammenhang hat sich gezeigt, dass die optische Auflösung verbessert werden kann, wenn beispielsweise die Methode der Laser-Scanning-Mikroskopie mit Methoden der adaptiven Optik kombiniert wird. Dies ermöglicht, dass Aberrationen mittels einer geeigneten Wellenfrontformung vermindert werden können.
Um eine solche beschränkt durchsichtige (d.h. mit Aberrationen und Lichtstreuung behaftete) Probe zu untersuchen kann Bestrahlungslicht analysiert werden, nachdem es die Probe durchlaufen hat oder wenn es von der Probe reflektiert wird. Bei einer beschränkt lichtdurchlässigen Probe, insbesondere wenn ein Bild innerhalb eines Streuenden Materials aufgenommen werden soll das von einer Seite optisch besser zugänglich ist als von der anderen, erscheint insbesondere die Bildgebung mit reflektiertem Licht geeigneter.
Die Bildgebung mit reflektiertem Licht ist jedoch mit der Schwierigkeit verbunden, dass Aberrationen, die in einem Anregungspfad entstehen (wenn das Bestrahlungslicht zu der Probe hingeführt wird) und Aberrationen, die in einem Detektionspfad entstehen (der Weg den das von der Probe reflektierte Licht läuft) im Allgemeinen verschieden und auch nicht leicht voneinander zu trennen sind.
Noch einmal in anderen Worten: In zahlreichen Anwendungen der (biologischen) Mikroskopie, wenn versucht wird mit einem Lichtmikroskop in Gewebe oder andere nur teilweise durchsichtige Materialien zu schauen, werden Bestrahlungslichtstrahlen abgelenkt und gestreut, was zu einem unscharfen Bild mit wenig Licht führt. Insbesondere kann das Bestrahlungslicht durch einen Laser bereitgestellt werden, der über die Probe rastert. Das so erzeugte Bild wird allgemein dadurch gebildet, dass Anregungslicht, das aus einem Mikroskopobjektiv in die Probe eindringt, dort teilweise in das Objektiv zurückreflektiert wird und in ein „Probenbild“ fokussiert wird, welches aufgrund der Steuerung verzerrt ist. Die Verzerrung eines Bildes innerhalb eines wenig durchsichtigen Materials entsteht dadurch, dass das Bestrahlungslicht, das auf dem Anregungspfad in die Probe eindringt von seinem Weg abgelenkt wird. Analog verhält sich das von der Probe reflektierte Licht: Dieses wird von einer Ebene, die im Fokus eines Mikroskops liegt, zurückgestreut. Diese Fokusebene (oder besser Fokusvolumen) kann zusammen mit den dort vorhandenen reflektierenden Strukturen (zum Beispiel Gewebe) als sekundäre Lichtquelle betrachtet werden. Das von der sekundären Lichtquelle ausgehende reflektierte Licht wird von einem Objektiv gesammelt und in ein Bild fokussiert. Das reflektierte Licht (oder in anderen Worten die sekundäre Lichtquelle) wird bei seinem Weg aus der Probe heraus, ähnlich wie das Bestrahlungslicht, von seinem ungestörten Weg abgelenkt. Die kombinierten Ablenkungen des Bestrahlungslichts und des Reflexionslichts tragen - zusammen mit den Eigenschaften des reflektierenden Materials - zu der gesamten Verzerrung des Bildes bei.
In jüngerer Zeit wurden Ansätze für die Wellenfronterkennung auf der Grundlage „tiefer neuronaler Netze“ („deep neural networks“) entwickelt (siehe S. W. Paine and J. R. Fienup, „Machine learning for improved image-based wavefront sensing,“ Opt. letters 43, 1235-1238 (2018).) Diese Methoden vergleichen gemessene Lichtverteilungen direkt zu rechnerisch generierten. Diese Ansätze funktionieren bisher nachteilig nur, wenn ein einmaliger Durchgang durch eine Probe korrigiert werden muss. Also sind diese Methoden insbesondere nicht für Mikroskopie oder Bildgebung mit von der Probe reflektiertem Licht geeignet.
In diesem Kontext beschreibt die US 2017 0 343 784 A1 eine Bestrahlungsvorrichtung und ein Verfahren zur konfokalen Bildgebung. In einer Implementierung kann ein konfokales Bildgebungssystem eine Lichtquelle umfassen, die konfiguriert ist, um Anregungslicht mit einer oder mehreren Wellenlängen zu emittieren, einen Probenhalter, der konfiguriert ist, um eine Probe zu halten, eine zweidimensionale (2-D) Bildgebungsvorrichtung, einen ersten Satz von optischen Elemente und einen zweiten Satz optischer Elemente.
Der erste Satz optischer Elemente kann einen ersten räumlichen Lichtmodulator (SLM) und mindestens eine Linse enthalten. Der erste Satz optischer Elemente kann zusammen konfiguriert sein, um das Anregungslicht zu kollimieren, ein vorbestimmtes Phasenmodulationsmuster auf das kollimierte Anregungslicht anzuwenden und die Probe in einem Anregungsmuster zu beleuchten.
Es ist die Aufgabe der Erfindung ein Verfahren sowie eine Bestrahlungsvorrichtung anzugeben mit denen Verzerrungen bei der Bildgebung in der Reflexionsmikroskopie effektiv reduziert werden können.
Die Aufgabe wird gelöst mit den Merkmalen der unabhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zum Trainieren eines mathematischen Modells angegeben, das die Lichtausbreitung bei einer Reflexionsmikroskopie, insbesondere bei der Laser-Mikroskopie im Rasterverfahren, beschreibt, wobei das Verfahren folgende Schritte umfasst:

a) Einstrahlen einer Lichtverteilung I₀ - typischerweise ein Laserstrahl mit einem Gaußschen Intensitätsprofil der im Mikroskop fokussiert wird - mit einer einem Mikroskop zugeordneten Beleuchtungseinheit in einen Anregungspfad des Mikroskops. Der Lichtweg, der zu einer Probe des Mikroskops führt, wird nachstehend als Anregungspfad bezeichnet, da die Probe, wenn sie mit der Lichtverteilung I₀ bestrahlt wird, quasi „angeregt“ wird als „sekundäre Lichtquelle“ zu leuchten;
b) Modulieren der Lichtverteilung I₀ zu einer Lichtverteilung I_A in dem Anregungspfad mittels eines optischen Modulators, wobei der optische Modulator die Licht-Modulation M_A bewirkt. Die Licht-Modulation M_A durch den optischen Modulator repräsentiert hierbei eine mögliche Verzerrung, insbesondere eine Verzerrung in der Phase des Lichts, die die Lichtverteilung I₀ beim Eindringen in den Probenkörper erfährt. Die Probe wird also nicht mehr mit der eigentlich gewünschten Lichtverteilung I₀ bestrahlt;
c) Reflektieren der Lichtverteilung I_A, insbesondere am Ort der Probe, in einen Detektionspfad des Mikroskops. Hierbei ist der Detektionspfad der Strahlengang des Mikroskops, der von dem Ort der Probe weg zu einer Aufnahmeeinheit führt.
d) Modulieren der bekannten Lichtverteilung I_A zu einer Lichtverteilung I_D in dem Detektionspfad mittels eines weiteren optischen Modulators, wobei der optische Modulator die Licht-Modulation M_D bewirkt. Anlog zu M_A repräsentiert M_D eine mögliche Verzerrung des Lichts beim Austritt aus dem Probenkörper;
e) Aufzeichnen der reflektierten Lichtverteilung I_D. Vorzugsweise wird die reflektierte Lichtverteilung I_D, die quasi ein „finales Bild“ vom Ort der Probe repräsentiert, durch eine Kamera, insbesondere eine CCD-Kamera oder eine CMOS-Kamera, aufgezeichnet. n-fache Wiederholung der Schritte a) bis e) wodurch ein n-faches 3-Tupel (M_A, M_D; I_D) erzeugt wird. Hierbei kann es erforderlich sein die Schritte 50.000-fach, bevorzugt 100.000-fach, besonders bevorzugt 200.000-fach (oder mehr) zu wiederholen.

Übergabe des n-fachen 3-Tupels (M_A, M_D; I_D) an einen Rechner auf dem ein mathematische Modell F zur Lichtausbreitung bei der Reflexionsmikroskopie implementiert ist und Ermittlung des mathematischen Modells F das die Lichtausbreitung bei der Reflexionsmikroskopie beschreibt auf der Basis des n-fachen 3-Tupels (M_A, M_D; I_D). Vorzugsweise wird zur Berechnung des mathematischen Models zusätzlich zu dem 3-Tupel eine Eichmessung des optischen Systems hinzugefügt. Diese Eichmessung beschreibt Verzerrungen die in der Mikroskopoptik zwischen dem Anregungspfad und dem Detektionspfad intrinsisch vorkommen. Diese Beziehung zwischen Anregungs- und Detektionspfad hängt auch von der Anfangslichtverteilung I₀ und der genauen Strahlausrichtung im Mikroskop ab. Diese Parameter helfen, dass das mathematische Modell F die Lichtausbreitung besser modulieren kann. Da diese Parameter aber häufig - im Gegensatz zu den anderen Parametern - gar nicht variiert werden, sondern konstant sind, können sie dem mathematischen Modell F auch zu Beginn einmalig bekannt gemacht werden.
Dadurch, dass die Modulationen M_A und M_D bekannt sind, kann das entsprechend ausgebildete mathematische Modell F die Lichtausbreitung bei einer Reflexionsmikroskopie modellieren, wenn lediglich die „finale“ Lichtverteilung I_D vermessen und mit den ihr zugrundeliegenden Modulationen verknüpft an das mathematische Modell als Input übergeben wird. Ist das mathematische Modell F nach einer ausreichenden Wiederholung der Verfahrensschritte, also einem ausreichend großen Datensatz, adäquat trainiert, ist es möglich, lediglich aufgrund der Kenntnis der Lichtverteilung I_D auf die jeweiligen Modulationen M_A und M_D des Anregungspfads bzw. des Detektionspfads zu schließen. Die Verzerrungen des Anregungspfads und des Detektionspfads können also voneinander getrennt respektive „entwirrt“ werden. Die Kenntnis der Verzerrung in den jeweiligen Pfaden kann vorteilhaft dazu genutzt werden die Verzerrungen zu korrigieren und ein Bild der Probe mit einer höheren Auflösung zu erlangen. Dies kann erreicht werden indem die komplex konjugierte Verzerrungen auf dem Modulator im Anregungs- und/oder Detektionspfad verwendet werden, um die tatsächlichen Verzerrungen in der Probe zu kompensieren.
Zweckmäßig ist der optische Modulator ein räumlicher Lichtmodulator (Spatial Light Modulator „SLM“), der das Profil des Lichtstrahls moduliert. Für viele Anwendungen ist die Kontrolle der Phase und Intensität des Lichtstrahls von hoher Bedeutung. Besonders bevorzugt ist der SLM basierend auf flüssigen Kristallen, der insbesondere zur Phasenmodulation verwendet wird. In diesem Fall ist es zweckmäßig Phasenmuster zum Training des neuronalen Netzwerks zu verwenden. Alternativ dazu kann der räumliche Lichtmodulator ein digitaler Spiegel zum Erzeugen eines binären Intensitätsmusters sein. Bekannte hochgeschwindigkeits digitale Spiegel („high speed digital micromirror device“, DMD) können binäre Muster hoher und niedrige Werte (1er und 0er) mit einer Bildfrequenz von 22,7 kHz erzeugen. Wird also beispielsweise ein Dauerstrichlaser eingesetzt, der beständig auf den digitalen Spiegel strahlt, kann ein n-Tupel (I_Ei, I_Ai) mit dieser Frequenz erzeugt werden. Dieser DMD kann auch zur Erzeugung von Phasenmustern verwendet werden. Es ist im Prinzip möglich mit einer Kombination von mehreren optischen Modulatoren oder mit einem Modulator, mehrere Lichtparameter (Intensität, Phase und Polarisation) gleichzeitig zu variieren, um die bestmöglich Kontrolle über die Lichtverteilung zu bekommen. Hierdurch wird das Verfahren noch flexibler und genauer.
Bevorzugt wird das mathematische Modell F durch ein neuronales Netzwerk ausgebildet.
Insbesondere für komplexe Systeme, die sich vielleicht gar einer funktionalen Beschreibung im engeren Sinne entziehen, sind neuronale Netzwerke besonders geeignet, um das Verhalten dieser Systeme zu modellieren. Deshalb ist im Rahmen dieser Erfindung der Begriff mathematisches Modell F auch als weit gefasst zu betrachten und soll letztlich nur widerspiegeln, dass durch die Eingabe von Inputwerten ein Output erzeugt wird, wobei der Output Wert durch die modellierte Lichtausbreitung festgelegt wird. Ein solches Ergebnis kann bevorzugt durch das neuronale Netzwerk generiert werden, ohne dass diesem eine algebraische Funktion an sich zugrunde liegen muss. Das neuronale Netzwerk berechnet bzw. simuliert das mathematische Modell F durch das dem neuronale Netzwerk zugrundeliegende Modell aus künstlichen „Neuronen“ und deren Verbindungen. Eine weitere Eigenschaft von neuronalen Netzwerken ist es, dass sie ein komplexes System desto besser modellieren, je mehr Daten zum Trainieren des neuronalen Netzwerks erhoben werden. Ein neuronales Netzwerk korrigiert also in Richtung des realen Systems mit einer steigenden Anzahl von Trainings-Datensätzen, wobei die Struktur des Netzwerkes zu einer besseren Nutzung der größeren Datenmengen angepasst werden sollte.
In einem bevorzugten Ausführungsbeispiel wird die Lichtmodulationen (M_A, M_D) bei jeder Wiederholung geändert respektive variiert.
Diese Variationen können kontrolliert durchgeführt werden, wobei vorher festgelegt wird, über welchen Parameterraum mit zuvor festgelegten Iterationsschritten variiert wird oder aber die Variationen können zufallsbasiert implementiert sein. Je größer der Trainingsdatensatz ist, desto vorteilhafter ist es im Allgemeinen zufallsbasierte Variationen durchzuführen, da die Praxis gezeigt hat, dass hierdurch reale Systeme besser moduliert werden können.
Diese Variationen bieten den Vorteil, dass durch eine beständige Änderung der Lichtmodulation ein großer Parameterraum über viele mögliche reale streuende Proben, die im Mikroskop simuliert werden, aufgespannt wird. Würden die Lichtmodulationen (M_A, M_D) nicht geändert werden, könnte man letztlich nur ein einziges reales System abbilden, aber keine Voraussagen für andere Systeme treffen. Bevorzugt werden beide Lichtmodulationen (M_A, M_D) verändert, weil es hierdurch eine Vielzahl von Beleuchtungsvorrichtungen allgemein zu beschreiben. Wobei es auch möglich ist, nur eine einzelne der Lichtmodulationen M_A oder M_D zu verändern. Dies kann beispielsweise in Ausnahmefällen dann Sinn machen, wenn nur in einem einzigen Pfad Verzerrungen zu erwarten sind. Eine Möglichkeit ist, die Lichtmodulationen (M_A, M_D) so zu gestalten, dass sie sogenannten Zernike-Moden entsprechen. Es ist bekannt, dass sich diese Zernike-Moden zur Beschreibung von schwachen Verzerrungen eigenen.
Vorzugsweise sind die Variationen der Lichtmodulationen (M_A, M_D) bei jeder Wiederholung abhängig oder völlig voneinander unabhängig geändert werden.
Sind die Variationen von M_A und M_D völlig unabhängig voneinander, so kann hierdurch in großer Allgemeinheit die Lichtausbreitung in eine Vielzahl von Beleuchtungsvorrichtungen und Proben beschrieben werden. Die völlige Unabhängigkeit ist dahingehend zu verstehen, dass die Verzerrung in dem Anregungspfad M_A völlig unabhängig von der Verzerrung des Detektionspfads M_D ist. Der Nachteil an diesem Verfahren ist, dass in der Regel deutlich mehr Wiederholungen durchgeführt werden müssen, um einen ausreichend großen Trainingsdatensatz für das mathematische Modell F zu generieren.
In der Realität ist zumeist (abhängig von der Stärke der Aberrationen in der Probe) die Annahme gültig, dass die Verzerrung in dem Anregungspfad M_A nicht völlig unabhängig von der Verzerrung des Detektionspfads M_D ist. Schon allein deshalb, weil der Lichtstrahl zumindest teilweise denselben Weg aus der Probe hinausgeht, wie er ihn auch hineingegangen ist. Beispielsweise wird eine maximale Variation zwischen dem Detektionspfads M_D und dem Anregungspfad M_A von +/- 30 % gewählt. Dies bietet den Vorteil, dass hierdurch viele reale Systeme ausreichend gut beschrieben werden können und zugleich ein deutlich kleinerer Trainingsdatensatz benötigt wird als im Falle der völligen Unabhängigkeit der Variation von M_D und M_A.
In einem Ausführungsbeispiel wird die Lichtverteilung I_A am Ort der Probe mit einem Spiegel reflektiert. Dies bietet den Vorteil, dass die Lichtverteilung mit günstigen Mitteln und möglichst unverfälscht reflektiert wird. Beim Generieren des Trainingssatzes sollen, wenn möglich, die einzigen Verzerrungen durch die optischen Modulatoren hervorgerufen werden.
Anstatt mit einem Spiegel, kann die Erzeugung des Datensatzes auch mit einem anderen streuenden oder reflektierendem Material, z.B. mit Gewebe, erzeugt werden.
Alternativ zur experimentellen Erzeugung des Datensatzes, können auch alle Schritte des Verfahrens im Rechner simuliert werden. In diesem Fall würden die Datensätze nur Rechnerisch erzeugt, und durch mögliche Eichmessungen an die spezifischen Mikroskop- und Probenparameter angepasst.
Dies bietet den Vorteil, dass eine große Zahl von Wiederholungen sehr effizient durchgeführt werden kann. Dies ermöglicht, dass ein sehr großer Datensatz generiert werden kann, mit dem das mathematische Modell F trainiert wird. Eine Simulation der Schritte im Rechner ist möglich, da Lichtausbreitung in ein Mikroskop im Rahmen der Wellen- oder Fourier-Optik sehr genau moduliert werden kann.
Gemäß einem zweiten Aspekt der Erfindung ist ein Verfahren zum Korrigieren eines Reflexionsbildes in der Mikroskopie, insbesondere bei der Laser-Mikroskopie im Rasterverfahren, angegeben. Alle Merkmale, sofern diese nicht ausdrücklich ausgeschlossen werden, die zuvor im Zusammenhang mit dem Verfahren zum Trainieren eines mathematischen Modells, das die Lichtausbreitung bei einer Reflexionsmikroskopie beschreibt, gemacht wurden, gelten auch in dem nun zu beschreibenden Verfahren.
Hierbei umfasst das Verfahren folgende Schritte:

a) Einstrahlen einer Lichtverteilung I₀ mit einer einem Mikroskop zugeordneten Beleuchtungseinheit, insbesondere einem Laser, in einen Anregungspfad des Mikroskops; wobei der Anregungspfad die Lichtverteilung I₀ auf eine Probe führt und die Lichtverteilung I₀ beim Eintritt in die Probe, insbesondere durch Streueffekte, zu einer Lichtverteilung I_A, Probe verzerrt wird;
b) Reflektieren der Lichtverteilung I_A, Probe an der Probe in einen Detektionspfad des Mikroskops, wobei die I_A, Probe beim Austritt aus der Probe zu der Lichtverteilung I_D, _Probe verzerrt wird;
c) Aufzeichnen der reflektierten Lichtverteilung I_D, Probe;
d) Übergabe der reflektierten Lichtverteilung I_D, Probe an ein mathematisches Modell F, insbesondere an ein mathematisches Modell F nach einem der Ansprüche 1-6, das die Lichtausbreitung bei der Reflexionsmikroskopie beschreibt. Vorzugsweise werden dem mathematisches Modell F zusätzlich die Anfangslichtverteilung I₀ und eine Beziehung B₀ zwischen dem Anregungs- und Detektionspfad als weitere Parameter übergeben, die helfen, dass das mathematische Modell F die Lichtausbreitung aufgrund einer möglichst großen Anzahl von Parametern, die die Startbedingungen beschreiben, berechnen kann. Da I₀ und B₀ aber häufig - im Gegensatz zu den anderen Parametern - gar nicht variiert werden, sondern konstant sind, können sie dem mathematischen Modell F auch zu Beginn einmalig bekannt gemacht werden.
e) Ausgabe eines 2-Tupels (M_A, M_D), wobei M_A die Verzerrung der Lichtverteilung I₀ beim Eintritt in die Probe beschreibt und wobei M_D die Verzerrung der Lichtverteilung I_A, _Probe beim Austritt aus die Probe beschreibt;
f) Einstellen eines komplementären Verzerrungsmusters M_A ^# (basierend auf dem komplex konjugierten Muster zu M_A) auf einem optischen Modulator des Anregungspfades und/oder eines komplementären Verzerrungsmusters M_D ^# (basierend auf dem komplex konjugierten Muster zu M_D) auf einem weiteren optischen Modulator des Detektionspfades Eine weitere Möglichkeit ist das Einstellen eines komplementären Verzerrungsmusters basierend auf einer beliebigen Kombination der oben erwähnten Verzerrungsmuster (z.B. ein komplementäres Verzerrungsmusters basierend auf M_A ^# sowohl im Anregungs- wie auch im Detektionspfad).

Indem zumindest die reflektierten Lichtverteilung I_D, Probe an das mathematische Modell F übermittelt wird, kann das mathematische Modell F ermitteln, welchen Verzerrungen die Lichtverteilung I₀ im Anregungspfad sowie davon unabhängig im Detektionspfad unterworfen war, sodass die „finale“ reflektierte Lichtverteilung I_D, Probe resultiert, die mit einer Kamera, insbesondere einer CMOS-Kamera, aufgezeichnet wird. Bei der Messung der verzerrten reflektierten Lichtverteilung I_D, Probe können die optischen Modulator bereits im Anregungspfad und auch in Detektionspfad angebracht sein. Sind die optischen Modulatoren auf „neutral“ gestellt beeinflussen diese die Verzerrung des Lichtstrahls vernachlässigbar. Das Licht wird dann quasi wie an einem Spiegel reflektiert. In diesem Zusammenhang ist es zudem vorteilhaft die Lichtverteilung I₀ durch einen Laser zu erzeugen. Die Vorteile eines Lasers sind, dass dessen Strahleigenschaften sehr genau justiert werden können, sodass die Lichtverteilung I₀ als bekannt und konstant betrachtet werden kann. Zudem ist das Abrastern einer Probe praktikabel am besten mit einem Laser möglich, da ein Laser ermöglicht einen kollimierten Lichtstrahl mit konstantem Durchmesser durch ein Mikroskop zu schicken.
Das 2-Tupel (M_A, M_D), das von dem mathematischen Modell F ausgegeben wird beschreibt, welche Verzerrungen das Licht in dem Anregungspfad sowie in den Detektionspfad unterworfen war. Wird nun der optische Modulator des Anregungspfads auf das zu M_A komplementäre Verzerrungsmusters M_A ^# eingestellt, wird dadurch die Verzerrung M_A im Vorfeld korrigiert, sodass näherungsweise die Lichtverteilung I₀ auf die Probe auftrifft. Beim Austritt aus der Probe wird die Lichtverteilung I₀ wiederum durch Steuereffekte entsprechend dem Faktor M_D verzerrt, was wiederum dadurch ausgeglichen wird, dass der im Detektionspfad befindliche optische Modulator auf M_D ^# eingestellt wird. Der optische Modulator des Anregungspfads ist also in Strahlrichtung vor dem Eintritt in die Probe angeordnet und der optische Modulator des Detektionspfads ist in Strahlrichtung nach dem Austritt aus der Probe angeordnet. Dieses Verfahren ermöglicht die durch die Probe induzierten Verzerrungen weitestgehend zu korrigieren und das Bild der Probe mit einer hohen Auflösung detektieren zu können.
Ein Bild kann entweder mit reflektiertem Licht erzeugt werden (Reflektionsmikroskopie) wobei vorteilhaft Verzerrungen im Anregungspfad und im Detektionspfad korrigiert werden. In der Reflektionsmikroskopie wird ein Bild typischerweise mit einem Detektor (Photomultiplier tube (PMT) oder Avalanche Photodiode (APD)) in einem konfokalen Detektionsschema durch eine Lochblende erzeugt zusammen mit dem Abrastern der Probe durch den fokussierten Laserstrahl. Alternativ dazu kann die gefundene Korrektur des Anregungspfads auch für Fluoreszenzmessungen, z.B. mit Ein-, oder Mehrphotonen-Anregung, verwendet werden. Es kann in diesem Fall auch Genügen, nur die Korrektur des Anregungspfades zu verwenden, da die Bildformung nicht von der Korrektur des Detektionspfads abhängt.
In diesem Zusammenhang ist es möglich zwei verschiedene optische Modulatoren zu verwenden oder einen einzigen optischen Modulator, wobei bei einem einzigen optischen Modulator der Anregungspfad und der Detektionspfad auf getrennte räumliche Bereiche des optischen Modulators treffen, die individuell angesteuert werden können.
Gemäß einem weiteren Aspekt der Erfindung ist eine Bestrahlungsvorrichtung angegeben, welches zur Durchführung des vorstehend beschriebenen Verfahren geeignet ist. Die Bestrahlungseinrichtung weist auf:

ein Mikroskop umfassend
- eine Beleuchtungseinheit, insbesondere einen Laser, ausgebildet zur Erzeugung einer Lichtverteilung I₀,
- einen Anregungspfad mit einem in dem Anregungspfad vorgesehenen optischen Modulator, wobei der Anregungspfad die Lichtverteilung I₀ an den Ort einer Probe führt;
- einen Detektionspfad mit einem in dem Detektionspfad vorgesehenen optischen Modulator, wobei der Detektionspfad das am Ort der Probe reflektierte Licht weiterleitet;
- eine Kamera, die das reflektierte Licht des Detektionspfads aufzeichnet;
- einer Rechnereinheit, wobei die Rechnereinheit dem Mikroskop zugeordnet ist.

Mit dieser Beleuchtungsvorrichtung kann ein verzerrtes Bild einer Probe in der Reflexionsmikroskopie effektiv korrigiert werden, sodass ein Bild mit einer höheren Auflösung vom Mikroskop aufgenommen werden kann.
Vorzugsweise ist die Rechnereinheit ausgebildet ein mathematisches Modell F zur Beschreibung Lichtausbreitung bei einer Reflexionsmikroskopie zu erstellen.
Die Rechnereinheit ist ausgebildet ein 2-Tupel korrigierender Verzerrungsmusters (M_A ^#, M_D ^#) zu ermitteln und das korrigierende Verzerrungsmusters M_A ^# auf den optischen Modulator des Anregungspfads aufzuspielen und das für die Situation passende korrigierende Verzerrungsmusters auf den weiteren optischen Modulator des Detektionspfades aufzuspielen.
Diese Rechnereinheit kann mit der Beleuchtungsvorrichtung verbunden sein, sodass die Daten der Beleuchtungsvorrichtung effektiv an die Rechnereinheit übertragen werden können auf der das mathematische Modell F implementiert ist. Die Rechnereinheit ist ebenfalls dazu ausgebildet, entsprechend der Ausgaben, die das mathematische Modell F bereitstellt, die optischen Modulatoren zu steuern, sodass die Verzerrung des Bildes korrigiert wird. Dies bietet also die Möglichkeit, dass die Auflösung des Bildes der Probe völlig automatisiert verbessert werden kann.
Im Folgenden werden bevorzugte Ausführungsbeispiele der vorliegenden Erfindung unter Bezugnahme auf die begleitende Figur erläutert:

1: zeigt einen schematischen Aufbau der adaptiven Bestrahlungsvorrichtung.
2: zeigt eine Simulation des Einflusses von verschiedenen Verzerrungen auf einen reflektierten Fokus.
3: zeigt eine erfindungsgemäße Korrektur der Verzerrungen eines Bildes der Probe in der Reflexionsmikroskopie.
4: zeigt Beispiele von vorhergesagten und gemessenen Lichtverteilung.
5: zeigt den schematischen Aufbau von 1 mit weiteren Details.

Nachfolgend werden zahlreiche Merkmale der vorliegenden Erfindung anhand von bevorzugten Ausführungsformen ausführlich erläutert. Die vorliegende Offenbarung ist dabei nicht auf die konkret genannten Merkmalskombinationen beschränkt. Vielmehr lassen sich die hier genannten Merkmale beliebig zu erfindungsgemäßen Ausführungsformen kombinieren, sofern dies nachfolgend nicht ausdrücklich ausgeschlossen ist.
Zunächst wird der Aufbau, der schematisch in 1 und detailliert in 5 illustriert ist, beschrieben.
1 und 5 zeigen eine adaptiven Bestrahlungsvorrichtung 1 zur Ermittlung und Korrektur von Bildverzerrungen sowohl in einem Anregungspfad als auch in einem Reflexionspfad. Bevor eine Beschreibung des Aufbaus der 1 und 5 gegeben wird, werden zunächst die Bauteile aus 5 aufgelistet.
5 zeigt im Detail: M01 = Nikon 16 x, N.A. 0,8, Wasserimmersionsobjektiv (CFI75 LWD 16X W); MO2 = Olympus 40x, N.A. 0,8, LUMPLFLN; alle Linsen waren von Thorlabs, achromatisch Dubletten, antireflektierend beschichtet für 650 bis 1050 nm. Die Brennweiten (in mm) L1 = 300, L2 = 30, L3 = 50, L4 = 125, L5 = 300, L6 = 100, L7 = 400, L8 = 75, L9 = 250, L10 =150, L11 = 150, L12 = 40, L13 = 50, L14 = 75, L15 = 75, L16 = 300. PBS = Polarisationsstrahlteiler; BS = Strahlteiler, (beide anti-reflexionsbeschichtet für 650 nm bis 1050 nm); λ/2= polymere Halbwellenplatte nullter Ordnung (WPH05ME-980), PM = reflektierender Prismenspiegel; P = Lochblende mit 300 µm Durchmesser, CMOS = CMOS-Kameras (Basler, acA640-750um); SLM = räumlicher Lichtmodulator (Meadowlark, HSP1920-1064-HSP8), M = Spiegel, DC = dichroitischer Spiegel, SM = Scanning-Spiegel; PMT = Photomultiplier-Röhre für Fluoreszenz Erkennung (Zwei-Photonen-Bildgebung). Die CMOS 4 wurde nur zur Beobachtung der resultierenden Korrekturen für einen stationären Anregungsstrahl verwendet und wurde nicht zur Berechnung von Korrekturen verwendet.
Die adaptiven Bestrahlungsvorrichtung 1 umfasst ein Mikroskop 5, insbesondere ein Zwei-Photonen-Mikroskop, das mit einem Resonanz-Scanner ausgestattet ist und über das Programm „Scanimage“ gesteuert wird. Die Bestrahlungsvorrichtung 1 weist einen Anregungspfad 10 auf, der das zur Bestrahlung eines Objekts 15 bzw. einer Probe 15 vorgesehene Licht, das Bestrahlungslicht, auf das Objekt 15 bzw. die Probe 15 führt. In 5 ist am Ort der Probe 15 ein Mikroskop-Objektiv angeordnet, das das Bild in einer Kamera leitet. Das Bestrahlungslicht wird von der Probe 15 reflektiert und über einen Detektionspfad 20 geführt. Der Anregungspfad 10 und der Detektionspfad 20 können, müssen sich aber nicht, räumlich ganz oder teilweise überschneiden. Wie in den 1 und 5 gezeigt ist, verlaufen der Anregungspfad 10 und der Detektionspfad 20 räumlich getrennt nachdem das reflektierte Licht einen Polarisationsstrahlteiler („polarisation beam splitter“, PBS) 25 durchläuft.
Sowohl das Bestrahlungslicht des Anregungspfads 10, als auch das reflektierte Licht des Detektionspfads 20 können mit einem räumlichen Lichtmodulator (SLM) 30 unabhängig voneinander moduliert werden, indem beide Pfade auf verschiedene räumliche Bereich des SLMs 30 gestrahlt werden
Das Bestrahlungslicht, auch als Anregungsstrahl bezeichnet, wird vergrößert, vom SLM 30 reflektiert, verkleinert durch den Polarisationsstrahlteiler 25 geführt und auf einen Scanning-Spiegel 35 gerichtet. Der Scanning-Spiegel 35 sind vorgesehen, um den Anregungsstrahl, der vorzugsweise ein Laserstrahl ist, so abzulenken, dass der Anregungsstrahl respektive der Laserstrahl über verschieden Stellen der Probe 15 „rastert“. Die Polarisationsrichtung wird für eine maximale Übertragung durch den PBS 25 mit einem λ/2-Piättchen eingestellt. Der Scanning-Spiegel 35 wird auf die hintere Brennebene eines Mikroskop-Objektivs 40 (MO in 1, MO1 in 7) abgebildet. Eine Viertelwellenplatte wird nach der Tubuslinse platziert, um eine zirkuläre Polarisation zu erreichen und das reflektierte Licht beim Durchgang durch den PBS 25 zu optimieren.
Das reflektierte Licht wird auf einen anderen räumlichen Bereich des SLMs 30 als der Anregungsstrahl gerichtet und kann dadurch unabhängig moduliert werden. In Strahlrichtung nach dem SLM 30 durchquert das reflektierte Licht eine Lochblende 45. Nach der Lochblende 45 wird das reflektierte Licht mittels dreier 50/50 Strahlteiler 50 auf drei verschiedene Kameras 55a, b, c abgebildet, wobei jeder der Kameras in einer anderen Fokuseben angeordnet ist. Einer der Kameras 55a, b, c ist in vor der Fokusebene, eine in der Fokusebene und eine hinter der Fokusebene angeordnet.
Für die unabhängige Modulation des Anregungspfads 10 und des Detektionspfad 20 wurde der SLM 30 in zwei räumliche getrennte Bereiche aufgeteilt (siehe 5). Die beiden räumlich getrennten Bereiche weisen jeweils eine Größe von 960 1080 Pixeln auf. Der SLM 30 wurde durch kundenspezifische Software, die in Python unter Verwendung des von Meadowlark Optics zur Verfügung gestellten Blink SDK geschrieben wurde, angesteuert. Zum präzisen Zentrieren der Phasenmodulationen auf dem SLM 30 wurde ein zentrumssymmetrisches Phasenmuster auf beiden Teilen des SLMs 30 angezeigt. Das zentrale Pixel des jeweiligen SLM-Fensters wurde durch Verschieben des Musters gefunden, bis das reflektierte Fokus zentrumssymmetrisch war. Die Polarisationsrichtung des auf das SLM 30 abgebildeten Strahls war optimiert für die Modulation mit λ/2-Platten sowohl im Anregungspfad 10 als auch im Detektionspfad 20.
Im Folgenden werden Einzelheiten des neuronalen Netzwerks beschrieben, das mit den Daten der Experimente trainiert wird. Prinzipiell ist es allerdings auch möglich andere Ausgestaltungen von neuronalen Netzwerken zu verwenden.
Die Convolutional Neural Network (CNN) - Architektur besteht aus einer Kaskade von 4 Faltungsschichten mit sogenannten ReLu-Aktivierungen (64 filters 11 × 11 mit stride 4 × 4 und batch normalization, 64 filters 5 × 5 mit stride 2 × 2 und batch normalization, 128 filters 3 × 3 mit 2 × 2 max pooling, und 192 filters 3 × 3 mit 2 × 2 max pooling). Auf diese Schichten folgt eine dichte Schicht mit 3072 Elementen, Sigmoid-Aktivierung und 0,3-Dropout-Regulierung sowie eine ausgabendichte Schicht mit linearer Aktivierung, deren Größe der Anzahl der vorhergesagten Zernike-Moden entspricht. Das Netzwerk wurden trainiert durch Minimierung des mittleren absoluten Fehlers (MAE) der Vorhersage mit dem Adam-Optimierer bei einer Lernrate von 0,0001.
Das konfokale Volumen 55a-c (in 1), abgebildet in 3 Ebenen, wurde durch Division durch 255 normalisiert, um 8 bpp-Bilder in den Bereich 0 ... 1 zu bringen und wurde in einen Tensor 192x192x3 gestapelt, der als Input für das neuronale Netzwerk dient.
Der Output war die entsprechende Phasenmodulation, dargestellt als Vektor von Zernike-Koeffizienten (Z1 ... Z28), in Fällen, in denen sowohl Modulationen des Anregungslichtes als auch des reflektierten Lichts verwendet wurden, wurden beide als einzelner Vektor (Z1_exc ... Z28_exc, Z1 _det ... Z28_det) verkettet. Jede zufällige Modulation wurde durch Mischen einer harmonischen Sequenz 1,5 π/n und zufällige Wahl des Vorzeichens jeder seiner Elemente erzeugt. Sowohl für die Anregung als auch für die Detektion/Reflexion ist der Modus Z1 (piston) auf 0 gesetzt.
Zurückkommend auf 1: Das Zwei-Photonen-Mikroskop 5 wird mit räumlichen Lichtmodulatoren 30 (SLM) und einer Reflexionsdetektion zur Wellenfronterfassung und Wellenfronkorrektur kombiniert. Der von der Probe 15 reflektierte Brennfleck wird in drei verschiedenen Fokalebenen mit den Kameras 55a-c überwacht. Anregungspfad 10 und Detektionspfad 20, auch als Reflexionspfad 20 bezeichnet (weil der Detektionspfad das von der Probe 15 reflektierte Licht zu den Kameras führt), werden räumlich getrennt und können deshalb unabhängig voneinander mit den SLMs 30 moduliert werden. Hierzu ist es sowohl möglich einen SLM 30 für den Anregungspfad 10 und einen anderen SLM 30 für den Detektionspfad 20 vorzusehen oder aber, wie es in 5 gezeigt ist, verschiedene räumliche Bereiche eines einzigen SLMs 30 für die jeweiligen Pfade vorzusehen.
Die Motivation den Anregungspfad 10 und den Detektionspfad 20 voneinander räumlich zu trennen ist, dass sich Verzerrungen in den beiden Pfaden voneinander unterscheiden können, sodass es notwendig wird sowohl den Anregungspfad 10 als auch den Detektionspfad 20 getrennt zu modellieren, sodass Verzerrungen korrigiert werden können und sich im Mikroskop ein klares Bild der Probe 15 ergibt.
Im Allgemeinen, erfährt das Licht des Anregungspfad Verzerrungen, dass die PSF in der Brennebene, zumeist am Ort der Probe 15, verändert. Das von der Probe 15 reflektierte Licht wirkt dann quasi als eine „sekundäre Lichtquelle“ in Bezug auf den Detektionspfad 20, welche ebenfalls wieder verzerrt wird. Dadurch ergeben sich unterschiedliche Aberrationen für die beiden Pfade.
Dies wird mit einer Simulation gemäß 2 veranschaulicht:

Mit einem „Rayleigh-Sommerfeld-Solver [L. M. Sanchez Brea, „Diffractio, python module for diffraction and interference optics,“ https://pypi.org/project/diffractio/ (2019).]“ kann eine Lichtausbreitung durch das Mikroskop 5 simuliert werden, wobei die „point-spread-function (PSF)“ am Ort der Probe und die reflektierte Fokalebene simuliert wurden. Der Aufbau einer Simulation und die Ergebnisse sind in 2 gezeigt.

Der simulierte Lichtpfad ist in dargestellt: Eine flache Wellenfront 100 tritt in ein Mikroskopobjektiv eines Mikroskops 105 ein und trifft auf eine Oberfläche einer aberrierenden Schicht 110 - auch als Verzerrungsschicht 110 bezeichnet - was eine räumliche Phasenmodulation verursacht. Der Lichtstrahl erreicht einen Spiegel 115 (wobei die PSF in der Spiegelebene berechnet wird) wird zurückreflektiert, passiert wieder die Verzerrungsschicht 110 und wird schließlich mit einer Linse auf die reflektierte Fokalebene 120 fokussiert.
2 zeigt also die Simulation des Einflusses verschiedener Aberrationen auf ein resultierendes reflektiertes Fokusvolumen 120a.
2a: Schema des simulierten optischen Systems. Eine flache Wellenfront tritt in das Mikroskopobjektiv und erfährt eine probeninduzierte Phasenmodulation im Abstand von 0,5 mm bezogen auf den Spiegel 115 sowohl auf dem Anregungspfad als auch auf dem reflektierten Rückweg; Der reflektierte Strahl wird mit einem 200-mm-Objektiv fokussiert. Die PSF am Ort des Spiegels 115 und die reflektierten Fokalebenen 120 werden simuliert.
2b zeigt ein Simulationsbeispiel ohne Aberrationen. Obere Reihe: flache Wellenfront, zweite Reihe: reflektierte Wellenfront, dritte Reihe: Fokus auf der Spiegel 115, untere Reihe: Fokus auf der reflektierten Fokalebene 120.
2c zeigt ein Simulationsbeispiel mit Aberrationen von gerader radialer Ordnung, die sich auf dem Rückweg selbst vergrößern. Dies ist ein Beispiel für schwache Aberration, die von radial-geraden Zernike-Moden geformt sind. Die kombinierten Verzerrungen, die sich im Anregungs- und Detektionspfad akkumuliert haben, verdoppeln sich, was zu dem Interferenzmuster im Fokusvolumen in der unteren Zeile führt.
2d zeigt ein Simulationsbeispiel selbstkorrigierender Aberrationen von ungerader radiale Ordnung Zernike-Moden. Die Verzerrungen heben sich gegenseitig auf.
2e zeigt ein Simulationsbeispiel wie in 2d aber mit stärkeren Aberrationen von ungeraden radialen Zernike Moden. Dies führt zu unterschiedlichen Verzerrungen im Anregungspfad 10 und im Detektionspfad 20.
Es zeigt sich, dass die Selbstkorrektur in dieser Situation scheitert und sich ein verzerrtes Bild in der reflektierten Fokalebene 120 ergibt.
Das Ziel war es nun, das neurale Netz so zu trainieren, dass die Verzerrungen des Anregungspfads 10 und des Detektionspfad 20 unabhängig voneinander ermittelt werden können, um dann das Bild einer Probe entsprechend korrigieren zu können. Mit anderen Worten: Der Anregungspfad 10 und der Detektionspfad 20 sollen „entwirrt“ werden.
Hierzu werden zwei Szenarien getestet, die jeweils zu zwei verschiedenen neuronalen Netzwerken führen.
Szenario 1: Die Phasenmodulationen des Anregungspfads 10 und des Detektionspfad 20 sind völlig unabhängig voneinander. Dies führt zu dem trainierten „Netzwerk 1“.
Der Datensatz für das Szenario 1 wurde generiert, indem vermittels des SLMs 30 sowohl in dem Anregungspfad 10 als auch im dem Detektionspfad 20 gleichzeitig unabhängige Verzerrungen, in Form von zufälligen Zernike Modi bis zu einer Ordnung von 28, erzeugt wurden. Die Modulation des Lichtstrahls im Anregungspfad 10 durch den im Anregungspfad 10 vorgesehenen SLM 30 repräsentiert die Verzerrung, die durch das „Eindringen“ des Lichtstrahls in die Probe 15 verursacht werden würde. Die Modulation des Lichtstrahls im Detektionspfad 20 durch den im Detektionspfad 20 vorgesehenen SLM 30 repräsentiert die Verzerrung, des von der Probe 15 abgehenden reflektierten Lichtstrahls.
Ein Spiegel ist im Szenario 1 am Ort der Probe 15 anstatt der Probe angebracht und das von dem Spiegel reflektierte Licht wird von den Kameras 55a-c aufgezeichnet. Zur Bestrahlung wird Laserlicht in einem „Rastermodus“ verwendet. Szenario 1 modelliert eine planare Probe mit völlig unkorrelierten Anregungs- und Detektionsaberrationen.
Mit dem Set-Up von Szenario 1 wurden 180.000 Paare von verschiedenen Anregungs- und Detektionsphasen, also 180.000-mal wurden die SLMs 30 des Anregungspfades 10 und des Detektionspfades 20 anders eingestellt, erzeugt und in Experimenten gemessen. Prinzipiell ist es aber auch möglich, sowohl in Szenario 1 als auch in Szenario 2, diese Messungen zu simulieren und mit den simulierten Ergebnissen das neuronale Netzwerk zu trainieren. Dies ist deshalb möglich, weil insbesondere Strahlengänge in der Wellen- oder Fourier-Optik mit heutigen Computersimulationen sehr genau nachgebildet werden können. Es kann sich hierbei als vorteilhaft erweisen, dass die Simulationen viel schneller automatisiert durchgeführt werden können als Messungen und dass Materialfehler/Verschmutzungen Ergebnisse nicht verfälschen. Das kann vor allem dann von Bedeutung sein, wenn das trainierte neuronale Netzwerk an einer Beleuchtungsvorrichtung zur Korrektur der Verzerrungen verwendet werden soll an dem die Experimente zum Trainieren der Daten nicht durchgeführt wurde. Soll die Korrektur jedoch auch an der Beleuchtungsvorrichtung durchgeführt werden an der auch die Messungen werden können, so kann es sich als vorteilhaft erweisen die Messpaare tatsächlich real in Experimenten zu vermessen, da hierdurch eventuell Eigenheiten der Beleuchtungsvorrichtung abgebildet werden können, die in den Simulationen nicht erfasst werden, beispielsweise Verschmutzungen von Linsen oder Materialfehler usw. Die Simulationen könnten auch durch Parameter an Messungen angepasst werden.
4 zeigt rechts die vorhergesagten als auch die gemessenen Phasenmodulationen des Bestrahlungslichts sowohl in dem Anregungspfad 10 als auch in dem Detektionspfad 20. In 4 unten ist ein Histogramm 205 des mittleren absoluten Fehlers gezeigt. Das Histogramm 205 zeigt den mittleren absoluten Fehlers zwischen Vorhersage und Zielmodulation. Diese Ergebnisse zeigen, dass das trainierte neuronale Netzwerk 1 den Anregungspfad 10 und den Detektionspfad 22 zuverlässig entwirren kann und unabhängige Anregungs- und Detektionsphasenmuster auf der Grundlage reflektierter konfokaler Bilder vorhersagt die sich aus der kombinierten Modulation ergeben. 4 zeigt dies auch noch für zwei weitere Netzwerke, nämlich Netzwerk 2 und Netzwerk 3. Im weiteren Verlauf wird jedoch nur das Netzwerk 2 eingehend erläutert, da es die wesentlichen Konzepte, die auch bei Netzwerk 1 und 3 auftreten, beschreibt.
Bei real vorkommenden Systemen dürfte es allerdings nur bei sehr starker Streuung der Fall sein, dass die Phasenmodulation des Anregungspfads 10 und des Detektionspfads 20 völlig unabhängig voneinander sind, wie in Szenario 1 modelliert. Aus diesem Grund wurden weitere Untersuchungen vorgenommen, um zu testen, ob ein entsprechend trainiertes Netzwerk in der Lage ist den Anregungspfad 10 und Detektionspfad 20 für reflektierte Bilder von tatsächlichen Streukörpern zu entwirren und ob diese Resultate für eine spätere Korrektur der Verzerrungen genutzt werden können. Durch die völlige Unabhängigkeit des Anregungspfads 10 und des Detektionspfads 20 bildet Szenario 1 allerdings den allgemeinen Fall für Spezialfälle. Ein Nachteil von Szenario 1 ist allerdings, dass aufgrund der Allgemeinheit prinzipiell deutlich mehr Paare von verschiedenen Anregungs- und Detektionsphasen gemessen bzw. simuliert werden müssen. Der Vorteil ist allerdings, dass prinzipiell jedes mögliche System durch Szenario 1 modelliert werden kann.
Szenario 2: Die Phasenmodulationen des Anregungspfads 10 und des Detektionspfad 20 variierten bis zu +/- 30 % im Hinblick auf die Zernike-Koeffizienten. Es wird angenommen, dass diese Variation schwachsteuernde Proben effizienter modelliert als Szenario 1. Wiederum wurden 180.000 Paare von verschiedenen Anregungs- und Detektionsphasen. Dies führt zu dem trainierten „Netzwerk 2“.
4 zeigt in der Mitte die vorhergesagten als auch die gemessenen Phasenmodulationen des Bestrahlungslichts sowohl in dem Anregungspfad 10 als auch in dem Detektionspfad 20 des „Netzwerks 2“ 210. In 4 unten ist ein Histogramm 205 des mittleren absoluten Fehlers gezeigt. Das Histogramm 205 zeigt den mittleren absoluten Fehler zwischen Vorhersage und Zielmodulation. Diese Ergebnisse zeigen, dass das trainierte neuronale Netzwerk 2 den Anregungspfad 10 und den Detektionspfad 22 zuverlässig entwirren kann und unabhängige Anregungs- und Detektionsphasenmuster auf der Grundlage reflektierter Bilder vorhersagt, die sich aus der kombinierten Modulation ergeben. Die Fokusebene der reflektierten Bilder kann z.B. durch eine konfokale Lochblende besser bestimmt werden.
Nachdem das Netzwerk 2 trainiert war, wurden Experimente durchgeführt, um zu testen, wie effektiv die Bestrahlungsvorrichtung bei einer Laser-Scanning-Mikroskopie ein verzerrtes Probenbild mithilfe des neuronalen Netzwerks verbessern.
In diesen Experimenten wurde durch eine Schicht von Vakuumfett auf eine reflektierende Oberfläche am Ort der Probe 15 fokussiert. Über einen 50/50 Strahlteiler wurde das Bild vom Ort der Probe zu einer Kamera zur Auswertung geführt. Dies so reflektierte Fokusbild ermöglichte eine Überwachung des Fokus an der Probe. Um eine Korrektur der Verzerrung des Bildes der Probe 15 durch die Beleuchtungsvorrichtung zu überprüfen und zu testen, wurden fluoreszierende Kügelchen als Probe 15 mit einem bekannten Durchmesser von 0,1 µm auf der Oberfläche des Strahlteilers platziert. Laserlicht wurde zur Bestrahlung über die fluoreszierenden Kügelchen gerastert und das von dem Spiegel (oder Strahlteiler) und den darauf liegenden fluoreszierenden Kügelchen reflektierte Licht von den Kameras 55a-c aufgezeichnet, die jeweils 2-5 Mikrometer in Strahlrichtung zueinander verschoben sind. Durch die Aufnahme eines Fokusvolumens (durch die drei Kameras) anstatt nur einer Fokusebene (mittels einer Kamera) können mehr Informationen ausgewertet werden, die die Korrektur des Probenbildes verbessern können. Diese Verzerrungsbilder wurde an das trainierte Netzwerk 2 übergeben. Das trainierte Netzwerk 2 verwendet das Verzerrungsbild, entwirrt den Anregungspfad 10 von dem Detektionspfads 20 und gibt sowohl für den Anregungspfad 10 als auch für den Detektionspfad 20 einen Verzerrungsvektor von Zernike-Koeffizienten heraus, die die Verzerrung des jeweiligen Pfades beschreiben. Mittelung mit mehrere leicht unterschiedlichen Messungen, können verwendet werden, um die Korrektur zu verbessern.
Zur Korrektur des Verzerrungsbildes kann zum einen auf den SLM 30 des Anregungspfads 10 ein Korrekturvektor von Zernike-Koeffizienten eingestellt, wobei der Korrekturvektor auf dem komplex konjugierten Vektor des Verzerrungsvektors des Anregungspfads 10 basiert.
Zur Korrektur des Verzerrungsbildes wird zum anderen auf den SLM 30 des Detektionspfads 20 ein Korrekturvektor von Zernike-Koeffizienten eingestellt, wobei der Korrekturvektor auf dem komplex konjugierten Vektor des Verzerrungsvektors des Detektionspfads 20 basiert.
Auch andere Kombinationen von Anregungs- und/oder Detektionskorrektur können verwendet werden, z.B. können Korrekturen ausschließlich basierend auf der Anregungskorrektur in beiden Pfaden verwendet werden.
Die verzerrten Bilder der Probe 15 sowie entsprechenden Korrekturen sind in 3 illustriert.
3a zeigt, dass Aberrationen der reflektierten Fluoreszenzbilder („Uncorrected“) unter Verwendung des trainierten neuronalen Netzes 2 effizient korrigiert werden können („Corrected“). Der verbesserte Fokus führt zu einer verbesserten Auflösung der Probe 15 und einem verbesserten Signal, wie in 3c zu sehen ist. 3 f-h zeigt ähnliche Ergebnisse wie 3a-d, aber für eine andere Probe 15.
Dieses Verfahren ermöglicht die Analyse reflektierter Bildaufnahmen von Proben vermittels der Laser-Scanning-Mikroskopie mit beugungslimitierter Auflösung.
Verzerrungskorrekturen könnten zusätzlich durch die Einbeziehung von Zernike-Modi höherer Ordnung verbessert werden. In der aktuellen Implementierung wurden Zernike-Polynome bis zur Ordnung 28 verwendet. Bis zu 120 Ordnungen wurden z.B. in einer Transmissionskonfiguration unter Verwendung einer Kombination aus tiefen neuronalen Netzwerken und Wellenfrontsensoren gemessen, was darauf hindeutet, dass Moden höherer Ordnung auch in der Abbildung im Reflexionsmodus erkannt werden könnten.
Zusätzlich zu größeren Datensätzen könnten auch verschiedene Netzwerkarchitekturen verwendet werden, die von solchen größeren Datensätzen profitieren würden, wie z.B. „ResNet“ oder „Inception“. Alternativ zu Zernike-Polynomen können (tiefe) neuronale Netze auch mit verschiedenen Basissätzen trainiert werden, die möglicherweise besser mit den tatsächlichen Streueigenschaften der Probe übereinstimmen könnten. Als Alternative zur Erzeugung von Trainingsdaten mit einem SLM könnten auch vollständig rechnerisch erzeugte Datensätze verwendet werden. Dies würde es ermöglichen, Datensätze mit Streulichtverteilungen zu simulieren, die mit den in den interessierenden Proben beobachteten übereinstimmen. Insgesamt bietet der hier skizzierte Ansatz einen vielseitigen Rahmen für Anregungs- und Detektions-Aberrationskorrekturen, der unabhängig von der Probenmarkierung ist und sich in die Laser-Scanning-Mikroskopie integrieren lässt.

Claims

Verfahren zum Trainieren eines mathematischen Modells, das die Lichtausbreitung bei einer Reflexionsmikroskopie, insbesondere bei der (konfokalen) Laser-Mikroskopie im Rasterverfahren, beschreibt umfassend die folgenden Schritte: a) Einstrahlen einer Lichtverteilung I₀ mit einer einem Mikroskop zugeordneten Beleuchtungseinheit in einen Anregungspfad (10) des Mikroskops; b) Modulieren der Lichtverteilung I₀ zu einer Lichtverteilung I_A in dem Anregungspfad (10) mittels eines optischen Modulators (30), wobei der optische Modulator (30) die Licht-Modulation M_A bewirkt; c) Reflektieren der Lichtverteilung I_A, insbesondere am Ort der Probe, in einen Detektionspfad (20) des Mikroskops; d) Modulieren der bekannten Lichtverteilung I_A zu einer Lichtverteilung I_D in dem Detektionspfad (20) mittels eines weiteren optischen Modulators (30), wobei der optische Modulator (30) die Licht-Modulation M_D bewirkt; e) Aufzeichnen der reflektierten Lichtverteilung I_D; n-fache Wiederholung der Schritte a) bis e) wodurch ein n-faches 3-Tupel (M_A, M_D; I_D) erzeugt wird; Übergabe des n-fachen 3-Tupels (M_A, M_D; I_D) an einen Rechner auf dem ein mathematische Modell F zur Lichtausbreitung bei der Reflexionsmikroskopie implementiert ist und Ermittlung des mathematischen Modells F das die Lichtausbreitung bei der Reflexionsmikroskopie beschreibt auf der Basis des n-fachen 3-Tupels (M_A, M_D; I_D).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das mathematische Modell F durch neuronales Netzwerk ausgebildet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lichtmodulationen (M_A, M_D) bei jeder Wiederholung geändert werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Lichtmodulationen (M_A, M_D) bei jeder Wiederholung abhängig oder völlig voneinander unabhängig geändert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lichtverteilung I_A am Ort der Probe mit einem Spiegel reflektiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schritte des Verfahrens im Rechner simuliert werden.
Verfahren zum Korrigieren eines Reflexionsbildes in der Mikroskopie, insbesondere bei der Laser-Mikroskopie im Rasterverfahren, umfassend die folgenden Schritte: a) Einstrahlen einer Lichtverteilung I₀ mit einer einem Mikroskop zugeordneten Beleuchtungseinheit in einen Anregungspfad (10) des Mikroskops; wobei der Anregungspfad (10) die Lichtverteilung I₀ auf eine Probe (15) führt und die Lichtverteilung I₀ beim Eintritt in die Probe, insbesondere durch Streueffekte, zu einer Lichtverteilung I_A, _Probe verzerrt wird; b) Reflektieren der Lichtverteilung I_A, _Probe an der Probe (15) in einen Detektionspfad (20) des Mikroskops, wobei die I_A, _Probe beim Austritt aus der Probe (15) zu der Lichtverteilung I_D, _Probe verzerrt wird; c) Aufzeichnen der reflektierten Lichtverteilung I_D, _Probe; d) Übergabe der reflektierten Lichtverteilung I_D, _Probe an ein mathematisches Modell F, insbesondere an ein mathematisches Modell F nach einem der Ansprüche 1-6, das die Lichtausbreitung bei der Reflexionsmikroskopie beschreibt; e) Ausgabe eines 2-Tupels (M_A, M_D), wobei M_A die Verzerrung der Lichtverteilung I₀ beim Eintritt in die Probe beschreibt und wobei M_D die Verzerrung der Lichtverteilung I_A, _Probe beim Austritt aus die Probe beschreibt; f) Einstellen eines komplementären Verzerrungsmusters M_A ^# auf einem optischen Modulator (30) des Anregungspfades (10) und/oder eines komplementären Verzerrungsmusters M_D ^# auf einem weiteren optischen Modulator (30) des Detektionspfades (20).
Bestrahlungsvorrichtung geeignet zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 6 und/oder geeignet zur Durchführung eines Verfahrens nach Anspruch 7 aufweisend: ein Mikroskop umfassend eine Beleuchtungseinheit, insbesondere einen Laser, ausgebildet zur Erzeugung einer Lichtverteilung I₀, einen Anregungspfad mit einem in dem Anregungspfad vorgesehenen optischen Modulator (30), wobei der Anregungspfad die Lichtverteilung I₀ an den Ort einer Probe (15) führt; einem Detektionspfad (20) mit einem in dem Detektionspfad (20) vorgesehenen optischen Modulator (30), wobei der Detektionspfad (20) das am Ort der Probe reflektierte Licht weiterleitet; eine Kamera, die das reflektierte Licht des Detektionspfads (20) aufzeichnet; einer Rechnereinheit, wobei die Rechnereinheit dem Mikroskop zugeordnet ist, dadurch gekennzeichnet, dass die Rechnereinheit ausgebildet ist ein 2-Tupel korrigierender Verzerrungsmusters (M_A ^#, M_D ^#) zu ermitteln und das korrigierende Verzerrungsmusters M_A ^# auf den optischen Modulator (30) des Anregungspfads (10) aufzuspielen und das korrigierende Verzerrungsmusters M_D ^# auf den weiteren optischen Modulator (30) des Detektionspfades (20) aufzuspielen.
Bestrahlungsvorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Rechnereinheit ausgebildet ist ein mathematisches Modell F zur Beschreibung der Lichtausbreitung bei einer Reflexionsmikroskopie zu erstellen.