DE102020122605A1 - Verfahren, Bildverarbeitungseinheit und Laserscanningmikroskop zum hintergrundreduzierten Abbilden einer Struktur in einer Probe - Google Patents

Abstract

Es wird ein Verfahren, eine Bildverarbeitungsvorrichtung und ein Laserscanningmikroskop zum Abbilden einer mit einem Fluoreszenzfarbstoff markierten Struktur in einer Probe, wobei (störender) Bildhintergrund gegenüber Verfahren aus dem Stand der Technik reduziert sind, beschrieben.Die Erfindung zeichnet sich dadurch aus, dass das Fluoreszenzsignal mit mehreren, in einer Detektionsfläche angeordneten Detektorelementen detektiert wird und dass aus den Signalen der Detektorelemente Rohbilder berechnet werden, die gegenüber den Detektorsignalen reduzierte Anteile von Quellen aufweisen, die außerhalb der Abbildungsebene liegen. Die Rohbilder können durch Verschieben und Aufsummieren oder Bildentfaltung zu einem im Signal verbesserten Bild der Struktur verrechnet werden.

Description

• Technisches Gebiet der Erfindung
• Die Erfindung bezieht sich auf bestimmte Verfahren der konfokalen, abtastenden Mikroskopie, bei denen in einer Detektionsebene jeweils eine ortsaufgelöste Detektion der Emission aus einer Probe, die jeweils durch eine beugungsbegrenzt fokussierte Beleuchtungsverteilung an einem Abtastpunkt aus einer Menge von Abtastpunkten in der Probe angeregt wird, erfolgt. Der Begriff der konfokalen, abtastenden Mikroskopie ist dabei weit zu verstehen und umfasst auch entsprechende Verfahren der STED-Mikroskopie (Stimulated Emission Depletion) und der RESOLFT-Mikroskopie (Reversible Saturable Optical Fluorescence Transitions).
• Weiter bezieht sich die Erfindung auf ein Laserscanningmikroskop mit einem Detektor in einer Detektionsebene, der Fluoreszenzemission aus einer Probe, die jeweils durch eine beugungsbegrenzt fokussierte Beleuchtungsverteilung an einem Abtastpunkt aus einer Menge von Abtastpunkten in der Probe angeregt wird, ortsaufgelöst detektiert, und sie richtet sich auf eine Bildverarbeitungseinheit zur Verarbeitung der mit dem Detektor erhaltenen Daten zu einem vorarbeiteten Rohbild der Probe und/oder einem Bild der Probe.
• Stand der Technik
• In der Bildverarbeitung sind zahlreiche Methoden etabliert, mit denen Rohbilder, die mit optischen Systemen aufgenommene Abbilder sind, - insbesondere auch mikroskopische Bilder - geschärft und im Kontrast verbessert werden können. Die zugrunde liegende Aufgabe besteht darin, aus einem beobachtetem Rohbild g das ursächliche Objekt f zu rekonstruieren bzw. eine Schätzung f̂ des Objekts zu bestimmen, für die die Wahrscheinlichkeit, das Rohbild g zu beobachten, maximiert wird. Zu den diesbezüglich grundlegenden Algorithmen zählt die Wiener-Entfaltung, ein linearer Entfaltungsfilter, der die Fehlerquadratsumme zwischen beobachtetem Rohbild g und der Schätzung f̂ bei Kenntnis der Punktspreizfunktion (engl. point spread function, PSF) h der Abbildung minimiert. Aus Gründen eines reduzierten Rechenaufwands erfolgt die Anwendung des Wiener-Filters vorteilhaft im Ortsfrequenzraum und erfolgt dort gemäß $$\widehat{F}=\frac{H*}{{\left|H\right|}^2+\frac{1}{\text{SNR}}}G,$$

  

  wobei F̂, G und H die Fouriertransformierten der Objektsschätzung f̂ im abgebildeten Objekt, des beobachteten Rohbildes g und der PSF h sind, SNR das Signal-Rausch-Verhältnis darstellt und das Symbol * die komplexe Konjugierung der betreffenden Größe kennzeichnet. Lineare Entfaltungen mit dem Wiener-Filter oder auch dem verwandten Tikhonov-Filter haben den Vorteil, dass sie nur vergleichsweise geringen Rechenaufwand erfordern; allerdings sind die Lösungen häufig, abhängig von den zugrunde liegenden Bildern, artefaktbehaftet.
• Als Verbesserung gegenüber den genannten linearen Filtern wurden zahlreiche nichtlineare Entfaltungsalgorithmen für die Bildbearbeitung entwickelt, bei denen iterativ eine Näherungslösung des Entfaltungsproblems berechnet wird. Bei der Richardson-Lucy-Entfaltung, einer der am häufigsten eingesetzten iterativen Methoden in der Mikroskopie, wird beginnend mit einer Startschätzung f̂⁽⁰⁾ des Objekts f̂ - die oft das beobachtete Rohbild g selbst ist - in jedem Iterationsschritt gemäß der Vorschrift $${\widehat{ƒ}}^{\left(n+1\right)}={\widehat{ƒ}}^{\left(n\right)}\cdot \left(\frac{g}{{\widehat{ƒ}}^{\left(n\right)}\otimes h}\otimes h*\right)$$

  

  eine neue Schätzung f̂⁽ⁿ⁺¹⁾ berechnet, die eine gegenüber der vorhergehenden Schätzung f̂⁽ⁿ⁾ verbesserte Lösung des Entfaltungsproblems darstellt. Empirisch konnte gezeigt werden, dass f̂⁽ⁿ⁾ sich der Maximum Likelihood-Lösung annähert. Zu beachten ist, dass die Iterationen rechtzeitig bei Finden einer guten Näherungslösung abgebrochen werden, da in weiteren Iterationsschritten Bildrauschen und Artefakte stark verstärkt werden. Zu beachten ist weiter, dass der Richardson-Lucy-Algorithmus, ebenso wie viele andere iterative Entfaltungsalgorithmen, Bilder mit ausschließlich positiven Intensitätswerten erfordern, während negative Intensitätswerte oft unkontrolliert verstärkt werden. Diese Einschränkung ist bei eventuellen Vorverarbeitungsschritten, die mit den Rohbildern durchgeführt werden, bevor ein Entfaltungsalgorithmus angewendet wird, zu berücksichtigen.
• Sofern von einem Objekt mehrere Beobachtungen g₁,g₂, ... von verschiedenen Detektoren oder unter verschiedenen Beobachtungsbedingungen vorliegen, können die Entfaltungsalgorithmen dahingehend erweitert werden, dass mittels einer Multi-Bild-Entfaltung (engl. Multi-Image Deconvolution) eine gemeinsame Lösung f̂ bestimmt wird, die die Übereinstimmung mit dem ursächlichen Objekt f̂ auf Basis aller Beobachtungen g₁,g₂, ... maximiert. Eine Multi-Bild-Entfaltung kann in der Laserscanningmikroskopie bei der Verarbeitung der Signale mehrerer Detektorelemente eines Detektor-Arrays zu einem Rasterbild angewendet werden.
• Neben einer Steigerung der Bildschärfe bewirken die regelmäßig in der Mikroskopie angewendeten Bildentfaltungsverfahren zusätzlich auch einen verbesserten Kontrast innerhalb einer Bildebene, da sie Rauschen unterdrücken. Mit der Steigerung der Bildschärfe verbunden sind bei dreidimensionalen Bilddaten im entfalteten Bilddatensatz in einer betrachteten Bildebene solche Signalbeiträge unterdrückt, die im Rohbild zwar zu der betrachteten Bildebene beitragen, aber aus dem Hintergrund, das heißt aus Bereichen des abgebildeten Objekts, die außerhalb der betrachteten Abbildungsebene liegen, stammen. Unter Abbildungsebene wird hier die zur betrachteten Bildebene konjugierte Ebene im Objekt verstanden. In der Fluoreszenzmikroskopie tritt das Hintergrundproblem in besonderem Maß in dicht gefärbten Proben und insbesondere bei der Verwendung räumlich hochauflösender Mikroskopieverfahren auf. In der konfokalen Laserscanningmikroskopie bewirkt die Anordnung einer Lochblende vor dem Detektor zwar eine Unterdrückung von Signalbeiträgen aus Bereichen außerhalb der Abbildungsebene, allerdings ist die Tiefendiskriminierung insbesondere in dicht gefärbten Proben oft nicht ausreichend, um feine und entsprechend mit wenig Fluoreszenzfarbstoff markierte Strukturen ausreichend vom Hintergrund abzuheben. Das Problem tritt noch verstärkt bei hochauflösenden Methoden wie der STED-Mikroskopie auf.
• Der Theorie zufolge liefert die Entfaltung eines Bildstapels g eines Objekts f eine gute Näherung f̂ der Signalverteilung im Objekt, die frei ist von Hintergrundsignalen aus jeweils anderen Bildebenen. Dies gilt allerdings nur unter der idealisierten Annahme, dass die PSF der Abbildung präzise und vollständig bekannt ist und dass sich die Messdaten über einen räumlich unbegrenzten Bereich erstrecken. Beide Annahmen sind in der Praxis nicht erfüllbar. Zum einen ist die PSF insbesondere in Randbereichen, die weit vom geometrischen Fokuspunkt entfernt liegen, aufgrund ihrer geringen Amplitude und unvermeidlicher optischer Aberrationen des Abbildungssystems kaum präzise zu charakterisieren. In der Praxis werden daher oft simulierte PSFs oder vereinfachte Modellfunktionen, insbesondere Gaußfunktionen, für die Bildentfaltung verwendet. Trotz der geringen Amplitude tragen die Randbereiche der PSF jedoch maßgeblich zum Bildhintergrund bei, da sie sich über ein großes Volumen in der Probe erstrecken.
• Zum anderen ist es in der Praxis in aller Regel unmöglich, vollständige dreidimensionale Bilddaten des Objekts aufzunehmen. Durch Fotobleichen, begrenzte Messzeiten, Bewegungen des Objekts und ähnliche Randbedingungen ist die Bildaufnahme regelmäßig auf einen kleinen Ausschnitt des Objekts begrenzt, nicht selten auf nur ein Bild in einer Ebene des Objekts. Signalbeiträge aus anderen als der bzw. den aufgenommenen Bildebenen können dann nicht im Rahmen einer Bildentfaltung ihrer eigentlichen Quelle zugeordnet werden, sondern wirken wie Hintergrund, das die Qualität der aufgenommenen Daten verschlechtert.
• Zur Steigerung der Auflösung und des Signals eines (konfokalen) Laserscanningmikroskops kann statt eines einzelnen konfokalen (Punkt-)Detektors ein das konfokale Signal in der Detektionsebene ortsauflösender Detektor mit mehreren Detektorelementen eingesetzt werden. Dieser Ansatz geht zurück auf C. J. R. Sheppard, „Super-resolution in confocal imaging“, Optik 80, 53-54 (1988), worin eine Detektion des Fluoreszenzsignals mit einem Array von Detektorelementen vorgeschlagen wird, deren Signale in einem Verarbeitungsschritt jeweils korrespondierenden Bildpunkten zugewiesen (engl. Pixel Reassignment) und nachfolgend bildpunktweise aufsummiert (sog. Sheppard-Summe) werden. Das Verfahren ist in verschiedenen Ausführungsformen, bei denen die Summenbildung rechnerisch oder auch optisch/mechanisch erfolgen kann, unter dem Begriff Image Scanning Microscopy (ISM) bekannt und wird auch in kommerziellen Mikroskopen eingesetzt. Sofern große, ausgedehnte Detektor-Arrays verwendet werden, kann die Auflösung um einen Faktor von 1,4 gegenüber konfokalen Mikroskopen verbessert werden, gleichzeitig nimmt auch das Signal um einen Faktor 2 zu. Allerdings verschlechtert sich bei der Aufsummierung die Tiefendiskriminierung. Abhilfe schafft hier, die Signale der Detektorelemente nicht durch Pixel Reassignment und Aufsummierung miteinander zu verrechnen, sondern auf die Daten eine (dreidimensionale) Multi-Bild-Entfaltung anzuwenden, bei der die Tiefendiskriminierung gegenüber der konfokalen mit einem Einzeldetektor verbessert wird. Von M. Castello et al., „Image Scanning Microscopy with Single-Photon Detector Array“, bioRxiv 335596 (2018) wurde Image Scanning Microscopy (ISM) auch im Kontext der STED-Mikroskopie beschrieben, wobei als Bildauswertung neben der Bildung der Sheppard-Summe auch eine Multi-Bild-Entfaltung angewendet wurde.
• Problematisch bei der Multi-Bild-Entfaltung ist allerdings der hohe Rechenaufwand, der mit der Anzahl der Detektorelemente skaliert und insbesondere bei der Verwendung iterativer Entfaltungsalgorithmen zu erheblichen (unerwünschten) Rechenzeiten führt. Diesbezüglich ist aus der DE 10 2017 122 858 A1 ein modifizierter Entfaltungsalgorithmus mit reduziertem Rechenaufwand bekannt, bei dem in einem ersten Verarbeitungsschritt die Detektorsignale zunächst gruppenweise zu wenigen Rohbildern verrechnet werden (durch Bilden der Sheppard-Summe oder eine zweidimensionale Multi-Bild-Entfaltung), und erst in einem zweiten Schritt eine dreidimensionale Multi-Bild-Entfaltung der Rohbilder zum finalen Bild(stapel) erfolgt. Eine Minderung der Tiefendiskriminierung im ersten Verarbeitungsschritt wird dabei vermieden, da die Detektorelemente gemäß ihrem Abstand von der optischen Achse gruppiert werden und damit innerhalb jeder Gruppe nur über Detektorelemente mit gleicher Tiefendiskriminierung summiert wird.
• Explizit zur Verbesserung der Tiefenauflösung in einem Laserscanning-Mikroskop beschreibt die DE 10 2017 119 531 A1 ein Verfahren zur hochauflösenden 2D-Scanning-Mikroskopie. Bei diesem wird eine Probe in einer festen axialen Position, d.h. in einer Fokuslage, unter Nutzung eines räumlich auflösenden Flächendetektors und konfokaler Beleuchtung lateral abgescannt. Aus den so aufgenommenen Daten wird nun in einem Zwischenschritt eine dreidimensionale Rekonstruktion des abzubildenden Objekts gewonnen. Eine derartige dreidimensionale Rekonstruktion unterliegt im Allgemeinen einer Uneindeutigkeit hinsichtlich der z-Richtung, die durch Einführen einer Asymmetrie in die Beleuchtungs- und/oder der Abbildungspunktbildverteilungsfunktion gebrochen werden könnte. Bei dem Verfahren gemäß DE 10 2017 119 531 A1 wird diese Uneindeutigkeit dagegen hingenommen, und es wird nur zwischen Signalen in der Fokusebene und außerhalb dieser Fokusebene unterschieden. Die aus der Fokusebene stammenden Signale werden ausgewählt, so dass eine zweidimensionale Rekonstruktion der Fokusebene erhalten wird, die weniger durch Signalbeiträge aus außerfokalen Lagen beeinflusst ist als dies bei einer von Beginn an zweidimensionalen Rekonstruktion der Fall wäre. Ein dreidimensionaler Bilddatensatz wird erhalten, indem das Verfahren zur zweidimensionalen Rekonstruktion unter Anwendung des Zwischenschritts der dreidimensionalen Rekonstruktion für verschiedene Fokuslagen wiederholt wird. Mit dem Verfahren werden Bilddaten mit verbesserter Tiefendiskriminierung erhalten.
• Aus der chinesischen Patentschrift CN 105242390 B ist ein Detektor für die konfokale Detektion bekannt, der eine zentrale Detektionsfläche und um diese herum angeordnet weitere ringförmige Detektionsflächen aufweist. Bei der Anwendung in der konfokalen Laserscanningmikroskopie erfolgt mit diesem in einer Detektionsebene jeweils eine ortsaufgelöste Detektion der Emission aus einer Probe, die mit einem fokussierten Anregungslicht angeregt wird. Die Signale können auf verschiedene Weise zur Erzeugung von Bildern genutzt werden. Es wird vorgeschlagen, aus Messwerten äußerer Ringe eine erste Summe zu bilden und aus den Messwerten innerer Ringe und des zentralen Elements eine zweite Summe zu bilden und die zweite Summe und die erste Summe ins Verhältnis zu setzen, um hieraus einen Effektivwert zu bestimmen. Ein aus solchen Effektivwerten aufgebautes Bild weist eine erhöhte axiale Auflösung auf, die im Detail davon abhängt, welche Ringe zu den äußeren Ringen gerechnet werden.
• Aus der Publikation von Heintzmann et al., „A dual path programmable array microscope (PAM): simultaneous acquisition of conjugate and non-conjugate images“, Journal of Microscopy 204, 119 (2001), ist ein Mikroskop bekannt, welches zwei Kameras aufweist, die jeweils für die Abbildung eines ganzen Bildfelds eingerichtet sind. Das System enthält in einer Zwischenbildebene ein sogenanntes DigitalMicromirror Device (DMD), welches eine Vielzahl von Mikrospiegeln aufweist, die jeweils zwischen zwei Winkeleinstellungen geschaltet werden können. In einer ersten Schaltstellung leitet ein Mikrospiegel einfallendes Beleuchtungslicht über ein Objektiv fokussiert in oder auf eine Probe und leitet das von dem Auftreffort in der Probe emittierte oder reflektierte Licht auf eine erste Kamera. Durch serielles Schalten der einzelnen Mikrospiegel in die erste Stellung wird auf der ersten Kamera ein Bild aufgezeichnet, welches dem eines konfokalen Scans entspricht, da der Mikrospiegel im Detektionspfad die Wirkung einer konfokalen Blende hat. Das DMD wird auch auf die zweite Kamera abgebildet, wobei im Bild auf der Kamera die Bereiche dunkel erscheinen, die zu Spiegeln in der ersten Schaltstellung gehören, während die Bereiche, die zu Spiegeln in der zweiten Schaltstellung gehören, eine Helligkeit aufweisen, die dem auf den betreffenden Spiegel fallenden Licht entspricht. Dieses Licht stammt gerade nicht von dem Ort der Probe, der fokussiert beleuchtet würde, wäre der Spiegel in der ersten Schaltstellung. Es ist insbesondere auch Licht aus anderen Ebenen der Probe als die, zu der mit der ersten Kamera ein konfokales Bild aufgezeichnet wird. Auch mit der zweiten Kamera wird ein Bild aufgezeichnet. Es werden verschiedene Verfahren wie die Bildung einer Differenz auch mit einem Gewichtungsfaktor oder eine kombinierte Entfaltung beider Bilder vorgeschlagen, um Bilder mit hoher axialer Auflösung zu erhalten
• Aus der Dissertation von R. Siegmund, „isoSTED microscopy for live cell imaging“, Georg-August-Universität Göttingen (2019) ist ein isoSTED-Mikroskop, d. h. ein STED-Mikroskop mit zwei gegenüberliegenden Objektiven für die Sammlung der Emission und insbesondere die Beaufschlagung mit Anregungs- und STED-Licht bekannt, bei dem um einen konfokalen Hauptdetektor Hilfsdetektoren angeordnet sind. Der laterale Abstand der Hilfsdetektoren vom zentralen Hauptdetektor ist groß im Vergleich zum Durchmesser einer Airy-Scheibe. Der Abstand ist so gewählt, dass die PSF jedes Hilfsdetektors nach lateraler Integration gerade dort in axialer Richtung ein Minimum aufweist, wo die PSF des Hauptdetektors maximal ist. Gleichzeitig weist die PSF jedes Hilfsdetektors axiale Maxima dort auf, wo die PSF des Hauptdetektors Nebenmaxima aufweist. Dadurch wird sichergestellt, dass die Hilfsdetektoren gerade solches Licht detektieren, welches nicht aus dem Fokus des Hauptdetektors stammt, von diesem aber detektiert wird, da es aus Nebenmaxima der PSF des Hauptdetektors emittiert wird. Außerdem wird sichergestellt, dass Licht aus dem Fokus des Hauptdetektors nicht oder nur schwach zum Signal eines Hilfsdetektors beiträgt. Zur Korrektur des Hintergrundanteils im Signal des Hauptdetektors wird von diesem eine gewichtete Summe der Signale der Hilfsdetektoren abgezogen. Die Gewichte werden dabei ausgehend von der Annahme, dass auf den Hilfsdetektoren keine Emission aus dem Fokus des Hauptdetektors detektiert wird, auf Basis eines mathematischen Modells berechnet. Da die zugrunde liegende Annahme aber nur näherungsweise erfüllt ist, wird tatsächlich auch ein Teil des aus der Fokusebene des Hauptdetektors stammenden Lichts abgezogen.
• Aufgabe der Erfindung
• Der Erfindung liegt die Aufgabe zugrunde, die konfokale abtastende Mikroskopie, bei der in einer Detektionsebene jeweils eine ortsaufgelöste Detektion der Emission aus einer Probe, die jeweils durch eine beugungsbegrenzt fokussierte Beleuchtungsverteilung an einem Abtastpunkt aus einer Menge von Abtastpunkten in der Probe angeregt wird, dahingehend zu erweitern und / oder zu verbessern, dass der Einfluss von Hintergrundsignalen in den Bildern der Probe minimiert wird.
• Lösung
• Die Aufgaben der Erfindung werden durch ein Verfahren nach dem unabhängigen Anspruch 1, durch eine Bildverarbeitungseinrichtung nach dem unabhängigen Anspruch 16 und durch ein Laserscanningmikroskop nach dem unabhängigen Anspruch 17 gelöst. Die abhängigen Ansprüche 2 bis 15 betreffen bevorzugte Ausführungsformen des Verfahrens, während sich die abhängigen Ansprüche 18 bis 25 auf bevorzugte Ausführungsformen des erfindungsgemäßen Laserscanningmikroskops beziehen.
• Beschreibung der Erfindung
• Bei dem erfindungsgemäßen Verfahren zum Abbilden einer mit einem Fluoreszenzfarbstoff angefärbten Struktur in einer Probe wird die Probe oder ein Ausschnitt der Probe mit einer ein lokales Intensitätsmaximum aufweisenden Intensitätsverteilung von Fluoreszenzanregungslicht an mehreren Abtastpositionen x_k für k ∈ N = {1, ..., n} innerhalb eines Abtastbereichs abgetastet. Jede Abtastposition wird jeweils in eine Detektionsfläche abgebildet, in der einzeln oder in Gruppen auslesbare Detektorelemente D_i für i ∈ P = {1, ...,p} angeordnet sind, wobei sich innerhalb eines Innenbereichs einer Beugungsstruktur mehrere Detektorelemente befinden. An jeder Abtastposition x_k wird Fluoreszenzlicht aus der Probe detektiert, die Detektionssignale s_i(x_k) aus den einzelnen und / oder den Gruppen von Detektorelementen D_i ausgelesen und aus den Detektionssignalen s_i(x_k) ein Bild der Struktur bestimmt.
• Ein Verfahren mit diesen Merkmalen ist als Image Scanning Mikroskopie (ISM) bekannt. Im Zusammenhang mit der Image Scanning Mikroskopie sind verschiedene Verfahren bekannt, wie aus den Detektionssignalen s_i(x_k) ein Bild der Struktur bestimmt wird. Demgegenüber gibt die Erfindung insbesondere ein Verfahren zum Erhalt vorverarbeiteter Rohdaten an, die anschließend beispielsweise mit den aus der Image Scanning Mikroskopie bekannten Verfahren weiterverarbeitet werden. Ein weiteres solches Verfahren ist aus der Patentschrift CN 105242390 B bekannt.
• Das erfindungsgemäße Verfahren ist nun dadurch gekennzeichnet, dass zu allen oder zu einer Auswahl der Detektorelemente Rohbilder berechnet werden, indem jeder Abtastposition x_k in einem zu einem Detektorelement gehörenden Rohbild ein Bildpunkt mit einem Helligkeitswert zugeordnet wird, der bestimmt wird als eine Differenz aus einem Detektionswert s_i(k) des betreffenden Detektorelements an der Abtastposition x_k und einem Wert b_i(k), der additiv aus Detektionswerten s_j(k) anderer Detektorelemente D_j, j≠ i bestimmt wird. Alternativ können statt der Detektionswerte s_j(k) auch durch Glättung mit an benachbarten Abtastpositionen x_k' ausgelesenen Detektionswerten s_j(k') erhaltene Detektionswerte s_j(k) zur Bestimmung von b_i(k) herangezogen werden.
• Das erfindungsgemäße Verfahren umfasst also zunächst ein Abtasten einer Probe oder eines Ausschnitts einer Probe mit fokussiertem Anregungslicht, also mit einer Intensitätsverteilung von Anregungslicht, die ein lokales Intensitätsmaximum aufweist. Das Maximum kann punktförmig oder linienförmig sein. Das Anregungslicht ist in seiner Wellenlänge so gewählt, dass es einen Fluoreszenzfarbstoff, mit dem eine Struktur in der zu untersuchenden Probe angefärbt ist, zur Abgabe einer Fluoreszenz anregt.
• Zusätzlich kann beim Abtasten der Probe oder eines Ausschnitts der Probe Fluoreszenzverhinderungslicht mit einer Intensitätsverteilung verwendet werden, die ein dem lokalen Intensitätsmaximum des Anregungslichts räumlich überlagertes, lokales Intensitätsminimum aufweist. Unter Fluoreszenzverhinderungslicht ist jede Art von Licht zu verstehen, die geeignet ist, das Fluoreszieren des Farbstoffs bei der Beleuchtung mit Anregungslicht zu verhindern, zu reduzieren oder gänzlich zu unterdrücken. Insbesondere kann Fluoreszenzverhinderungslicht Stimulationslicht sein, das eine stimulierte Emission elektronisch angeregter Farbstoffmoleküle induziert, wodurch die Farbstoffmoleküle (zurück) in den elektronischen Grundzustand überführt und an einer spontanen Fluoreszenzemission gehindert werden. In diesem Fall handelt es sich um ein Verfahren, das der STED-Mikroskopie zuzurechnen ist. Wie aus der RESOLFT-Mikroskopie bekannt, kann Fluoreszenzverhinderungslicht aber auch lichtinduzierte chemische Reaktionen, insbesondere Isomerisierungs- oder Zyklisierungs-/ Zykloreversionsreaktionen, auslösen, die mit einer Modulation der Fluoreszenzemission einhergehen.
• Das Abtasten der Probe mit dem Anregungslicht erfolgt an einer Folge von Abtastpositionen x_k für k ∈ N = {1, ...,n} innerhalb eines Abtastbereichs, die üblicherweise auf einem regelmäßigen, meist kartesischen Raster in einer, zwei oder drei Raumrichtungen angeordnet sind. Das erfindungsgemäße Verfahren unterscheidet sich in diesem Aspekt nicht von bekannten Formen der Laserscanningmikroskopie.
• Der Abtastbereich der Probe wird in eine Detektionsebene auf einen Detektor abgebildet, der in einer Detektionsfläche mehrere Detektorelemente D_i, i ∈ P = {1, ..., p} aufweist, die einzeln oder in Gruppen ausgelesen werden können. Einzeln auslesbar bedeutet hier, dass jedes Detektorelement bzw. jede Gruppe von Detektorelementen ein separates Signal liefert, nicht aber notwendigerweise, dass das Auslesen eines Signals erfolgen kann, ohne dass die anderen Signale ebenfalls ausgelesen werden. Es stellt also auch ein CCD-Sensor, bei dem in einem Ausleseschritt immer alle Detektorelemente ausgelesen werden müssen, einen für die Verwendung in dem erfindungsgemäßen Verfahren prinzipiell geeigneten Detektor dar.
• Die Detektorelemente können dabei real oder virtuell in der Detektionsfläche angeordnet sein; wichtig ist, dass auf jedem einzelnen Detektorelement ein Signal detektiert wird, das jeweils einer zugehörigen begrenzten Teilfläche der Detektionsfläche zugeordnet ist. Eine typische Anordnung von Detektorelementen umfasst beispielsweise ein zentrales Detektorelement, das von sechs weiteren Detektorelementen in hexagonaler Anordnung umgeben ist. Grundsätzlich kann der Detektor auch eine zentrale Detektionsfläche und um diese herum angeordnet weitere ringförmige Detektionsflächen aufweisen. Ein solcher Detektor ist aus der Patentschrift CN 105242390 B bekannt. Für das Verfahren bevorzugt sind allerdings Detektorkonfigurationen mit 20 oder mehr auf einem Raster angeordneten Detektorelementen, mit denen weitaus bessere Ergebnisse erzielt werden können. Der Detektor weist dabei innerhalb eines Innenbereichs einer Beugungsstruktur, der im Falle einer punktweisen Abtastung durch das erste Minimum einer Punktspreizfunktion und im Falle einer linienweisen Abtastung durch die Lage der ersten Minima einer Linienspreizfunktion (LSF) begrenzt ist, mehrere Detektorelemente auf. Im Falle der linienweisen Abtastung ist dies so zu verstehen, dass der Detektor entlang einer Senkrechten zur Ausrichtung der Linienbeleuchtung mehrere Detektorelemente innerhalb des Innenbereichs der Beugungsstruktur aufweist. Im Falle einer punktweisen Abtastung bedeutet dies, dass das auf den Detektor abgebildete Fluoreszenzlicht von mehr als einem Detektorelement innerhalb einer Airy-Scheibe detektiert wird. Wenn in der Folge eine Aussage sowohl für eine Punktspreizfunktion als auch eine Linienspreizfunktion gilt, wird der Begriff der Abbildungsspreizfunktion verwendet.
• Die Platzierung mehrerer Detektorelemente innerhalb einer Airy-Scheibe ermöglicht die Durchführung einer (Multi-Bild-)Entfaltung oder, wenn die mehreren Detektorelemente auf einem Raster angeordnet sind, eines Pixel Reassignments, um die Auflösung, vor allem aber das Fluoreszenzsignal zu verbessern. Es ist mit der Anordnung der Detektorelemente auf einem Raster daher möglich, sowohl eine Hintergrundreduktion, die im Folgenden beschrieben wird, als auch ein Pixel Reassignment und eine (Multi-Bild)-Entfaltung durchzuführen und somit die Vorteile beider Bearbeitungsschritte zu kombinieren.
• Zur Durchführung des erfindungsgemäßen Verfahrens werden an jeder Abtastposition x_k die Signale mehrerer oder aller Detektorelemente D_i für i ∈ P' c P ausgelesen. Es liegen also bis zu p Messwerte pro Abtastposition vor, die sich aufgrund der unterschiedlichen Positionen der Detektorelemente in der Detektionsebene voneinander unterscheiden. Das Signal des i-ten Detektorelements bei Abtastung an der Abtastposition x_k sei hier mit s_i(x_k) bezeichnet. Die Menge der s_i(x_k) bildet die Menge der Detektionsdaten. (Soweit die Bezüge eindeutig sind, wird das Funktionsargument der Übersichtlichkeit halber im Folgenden weggelassen.) Es wird davon ausgegangen, dass die Signale s_i nicht nur die Fluoreszenz aus der Abbildungsebene widerspiegeln, sondern auch Fluoreszenzbeiträge, die aus Bereichen ober- und unterhalb dieser Ebene stammen und hier als Hintergrund $s_i^{\text{bg}}$

  

  bezeichnet werden. Für das tatsächlich aus der Bildebene stammende Signal $s_i^{\text{fg}}$

  

  gilt folglich: $$s_i^{\text{fg}}=s_i-s_i^{\text{bg}}$$

  
• Dem erfindungsgemäßen Verfahren liegt nun die Idee zugrunde, jeweils den Hintergrundbeitrag $s_i^{\text{bg}}$

  

  des i-ten Detektorelements aus den Signalen der anderen Detektorelemente s_j, j ≠ i zu approximieren, um den interessierenden Signalanteil $s_i^{\text{fg}}$

  

  zu extrahieren.
• Die Erfinder haben nun erkannt, dass dies möglich ist, wenn den Detektorelementen jeweils eine Hintergrundspreizfunktion, im Falle einer punktweisen Abtastung also eine Hintergrund-PSF und im Falle einer linienweisen Abtastung eine Hintergrund-LSF, zugewiesen wird, die aus der Abbildungsspreizfunktion bzw. den Abbildungsspreizfunktionen h_i erzeugt werden kann und bevorzugt aus diesen erzeugt wird. Hiervon ausgehend können Gewichte (ŵi)_j derart bestimmt werden, dass ein Hintergrundbeitrag zu einem Signal s_i(x_k) des i-ten Detektorelements an der Abtastposition x_k abgeschätzt werden kann durch eine gewichtete Summe Σ_j,i≠i(ŵ_i)_js_j (x_k) über die Signale der jeweils anderen Detektorelemente.
• Der Erfindung liegt somit der Gedanke zugrunde, dass ebenso wie der Bildentstehungsprozess im Mikroskop als Faltungsprodukt einer Abbildungsspreizfunktion h mit dem Objekt f beschrieben werden kann, auch der Hintergrundbeitrag $s_i^{\text{bg}}$

  

  als Faltung einer Hintergrundspreizfunktion $h_i^{\text{bg}}$

  

  mit dem Objekt f̂ dargestellt werden kann: $$s_i^{\text{bg}}=h_i^{\text{bg}}\otimes ƒ.$$

  
• Da der Hintergrund definitionsgemäß nicht im Fokus der Abbildung liegt, ist die entsprechende PSF ausgewaschen und kann bis auf einen Skalierungsfaktor λ_i für alle Detektorelemente als näherungsweise gleich angenommen werden: $$h_i^{\text{bg}}\approx {\lambda }_i{h}^{\text{bg}}.$$

  
• Es ist es nun möglich, jede Hintergrundspreizfunktion durch eine geeignete Summe der anderen Hintergrundspreizfunktionen auszudrücken. Denn mit $t^{\left(i\right)}=\left(t_1^{\left(i\right)},\dots ,t_p^{\left(i\right)}\right)\in {ℝ}^p\text{mit}{\displaystyle {\sum }_j{t}_j^{\left(i\right)}}=1$

  

  und $t_i^{\left(i\right)}=0$

  

  gilt: $$h_i^{\text{bg}}\approx {\lambda }_i{\displaystyle \sum _j{t}_j^{\left(i\right)}{h}^{\text{bg}}}\approx {\lambda }_i{\displaystyle \sum _j\frac{t_j^{\left(i\right)}{h}_j^{\text{bg}}}{{\lambda }_j}=:{\displaystyle \sum _j{w}_{i,j}{h}_j^{\text{bg}}}}.$$

  
• Die Skalierungsfaktoren λ_i, i ∈ P der unterschiedlichen Hintergrundspreizfunktionen in Gl. (5) sind unbekannt, aber es kann eine Darstellung nach Gl. (6) für jeden Index i durch Lösen des folgenden Minimierungsproblems gewonnen werden: $${\widehat{w}}_i\in \underset{w_i=\left(w_{i\mathrm{,1}},\dots ,w_{i,p}\right)\in {ℝ}^p:w_{i,i}=0}{{\displaystyle \text{argmin}}}\frac{1}{2}{\Vert h_i^{\text{bg}}-{\displaystyle \sum _j{w}_{i,j}{h}_j^{\text{bg}}}\Vert }^2$$

  
• Die Lösung dieses Minimierungsproblems führt jeweils auch dann zu geeigneten Gewichten, wenn die $h_i^{\text{bg}}$

  

  nicht bis auf einen Skalierungsfaktor miteinander übereinstimmen, sondern auch dann, wenn diese Bedingung nur näherungsweise erfüllt ist. Weist die Menge der Hintergrundspreizfunktionen der Detektorelemente voneinander zu stark abweichende Hintergrundspreizfunktionen auf, so kann für jede Hintergrundspreizfunktion $h_i^{\text{bg}}$

  

  eine Menge solcher Hintergrundspreizfunktionen $h_j^{\text{bg}}$

  

  ausgewählt werden, die einander hinreichend ähnlich sind. Hiermit wird eine Auswahl getroffen, aus den Signalen welcher Detektorelemente jeweils der Hintergrund für ein ausgewähltes Detektorelement abgeschätzt werden soll.
• Regelmäßig messen benachbarte Detektorelemente ähnliche Signale. Insbesondere erfassen sie ähnliche Anteile der Emission aus dem Vordergrund, der schließlich abgebildet werden soll. Im Falle einer punktweisen Abtastung gilt dies insbesondere für solche Detektorelemente, die miteinander benachbart sind und zum Zentrum der Intensitätsverteilung in der Detektionsebene einen ähnlichen oder denselben Abstand aufweisen. Es hat sich nun als günstig erwiesen, bei der Abschätzung des Hintergrunds insbesondere für solche Detektorelemente, die Nachbarelemente mit besonders ähnlichen aus dem Vordergrund stammenden Signalanteilen aufweisen (dies können aus Parametern der optischen Abbildung bestimmt werden), eben diese Nachbarelemente auszuschließen.
• Um beide hier oberhalb genannten Fälle zu erfassen, kann jedes Minimierungsproblem nun allgemeiner wie folgt angeben werden: $${\widehat{w}}_i\in \underset{w_i=\left(w_{i\mathrm{,1}},\dots ,w_{i,p}\right)\in {ℝ}^p:w_{i,k}=0\forall k\in P_i^{\text{'}\text{'}}}{{\displaystyle \text{argmin}}}\frac{1}{2}{\Vert h_i^{\text{bg}}-{\displaystyle \sum _j{w}_{i,j}{h}_j^{\text{bg}}}\Vert }^2$$

  
• Ein Lösungsweg für solche und ähnliche Minimierungsprobleme, beispielsweise entsprechende Minimierungsprobleme mit zusätzlichen Randbedingungen, sind dem Fachmann aus dem Stand der Technik bekannt. Tatsächlich kann es vorteilhaft sein, hierauf wird an anderer Stelle eingegangen, das zugrunde liegende Minimierung unter bestimmten Randbedingungen zu lösen.
• Für das oben angegebene Minimierungsproblem nach Gl. (7) kann die Lösung beispielsweise gefunden werden durch (numerisches) Lösen der Gleichung $$H_i{\tilde{w}}_i=v_i$$

  

  nach w̃_i, wobei die Matrix $$H_i=\left(\begin{array}{cccccc}\langle h_1^{\text{bg}},h_1^{\text{bg}}\rangle & \cdots & \langle h_1^{\text{bg}},h_{i-1}^{\text{bg}}\rangle & \langle h_1^{\text{bg}},h_{i+1}^{\text{bg}}\rangle & \cdots & \langle h_1^{\text{bg}},h_p^{\text{bg}}\rangle \\ ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ \langle h_{i-1}^{\text{bg}},h_1^{\text{bg}}\rangle & \cdots & \langle h_{i-1}^{\text{bg}},h_{i-1}^{\text{bg}}\rangle & \langle h_{i-1}^{\text{bg}},h_{i+1}^{\text{bg}}\rangle & \cdots & \langle h_{i-1}^{\text{bg}},h_p^{\text{bg}}\rangle \\ \langle h_{i+1}^{\text{bg}},h_1^{\text{bg}}\rangle & \cdots & \langle h_{i+1}^{\text{bg}},h_{i-1}^{\text{bg}}\rangle & \langle h_{i+1}^{\text{bg}},h_{i+1}^{\text{bg}}\rangle & \cdots & \langle h_{i+1}^{\text{bg}},h_p^{\text{bg}}\rangle \\ ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ \langle h_p^{\text{bg}},h_1^{\text{bg}}\rangle & \cdots & \langle h_p^{\text{bg}},h_{i-1}^{\text{bg}}\rangle & \langle h_p^{\text{bg}},h_{i+1}^{\text{bg}}\rangle & \cdots & \langle h_p^{\text{bg}},h_p^{\text{bg}}\rangle \end{array}\right)$$

  

  und der Vektor $$v_i={\left(\langle h_1^{\text{bg}},h_i^{\text{bg}}\rangle \cdots \langle h_{i-1}^{\text{bg}},h_i^{\text{bg}}\rangle \langle h_{i+1}^{\text{bg}},h_i^{\text{bg}}\rangle \cdots \langle h_p^{\text{bg}},h_i^{\text{bg}}\rangle \right)}^{\text{T}}$$

  

  unter Annahme jeweils einer Hintergrundspreizfunkton-PSF $h_j^{\text{bg}}$

  

  berechnet werden können und zwischen w̃_i und w̃_i der Zusammenhang $${\left({\widehat{w}}_i\right)}_j=\left\{\begin{array}{cc}{\left({\tilde{w}}_i\right)}_j& j<i\\ 0& j=i\\ {\left({\tilde{w}}_i\right)}_{j-1}& j>i\end{array}\right\}$$

  

  besteht. Hier bedeutet $$\langle h_j^{\text{bg}},h_k^{\text{bg}}\rangle ={\displaystyle {\int }_{{ℝ}^3}{h}_j^{\text{bg}}\left(y\right)h_{kj}^{\text{bg}}\left(y\right)\text{d}y,}j,k\in P,$$

  

  wobei das Integral in der Praxis durch eine geeignete Summation gelöst wird.
• Da die Hintergrundspreizfunktionen prinzipiell im gesamten Raum zur Verfügung stehen, ist die Auswertung des Integrals nicht notwendigerweise an das durch das Abtastverfahren vorgegebene Gitter der x_k gebunden.
• Erfindungsgemäß werden nun unter Verwendung der Lösungen der Minimierungsprobleme w̃_i zu jedem (oder einem Teil) der Detektorelemente Rohbilder berechnet, wobei den Pixeln der Rohbilder jeweils ein Helligkeitswert $$g_i\left(x_k\right)=s_i\left(x_k\right)-{\displaystyle \sum _{j,j\ne i}{\left({\widehat{w}}_i\right)}_j{s}_j\left(x_k\right)}\text{f}\ddot{\text{u}}\text{r}i\in P\text{'}\subset P$$

  

  zugeordnet wird. (Unter Rohbildern sind hier und im Folgenden explizit auch Stapel von Rohbildern, d. h. drei- oder höherdimensionale Datensätze zu verstehen.)
• Unter der Annahme, dass die Hintergrundspreizfunktionen bis auf einen Skalierungsfaktor λ_i für alle Detektorelemente gleich sind, sind diese Rohbilder sind frei von Hintergrundbeiträgen, denn mit der Beziehung $$s_i^{\text{bg}}\approx h_i^{\text{bg}}\otimes ƒ\approx {\displaystyle \sum _j{\left({\widehat{w}}_i\right)}_j{h}_j^{\text{bg}}}\otimes ƒ\approx {\displaystyle \sum _j{\left({\widehat{w}}_i\right)}_j{s}_j^{\text{bg}}},$$

  

  folgt: $$g_i=s_i-{\displaystyle \sum _{j,j\ne i}{\left({\widehat{w}}_i\right)}_j{s}_j}\approx s_i^{\text{fg}}-{\displaystyle \sum _{j,j\ne i}{\left({\widehat{w}}_i\right)}_j{s}_j^{\text{fg}}}$$

  

  (hier wurde die Beziehung ${\left({\widehat{w}}_i\right)}_i=\frac{t_i^{\left(i\right)}}{{\lambda }_i}=0$

  

  genutzt).
• Die Anordnung der Detektorelemente in der Detektionsfläche kann grundsätzlich frei gewählt werden und ist in der Praxis oft durch die Verfügbarkeit der Detektor-Arrays vorgegeben. Da insbesondere die Lage der Detektorelemente relativ zur Größe einer Beugungsstruktur von Interesse ist, kann auf diese relevante Lageeigenschaft auch bei einem vorgegebenen Detektor durch eine Anpassung des Abbildungsmaßstabs der optischen Abbildung genommen werden. Der Vollständigkeit halber soll hier erwähnt werden, dass es insbesondere bei einem großen Detektorarray, beispielsweise einem Array, welche unter den gegeben Abbildungsbedingungen einen Durchmesser aufweist, der größer ist als der 1,5-fachen oder der 3-fachen Durchmesser einer Airy-Scheibe, sinvoll sein kann, eine Auswahl auszuwertender Detektorelemente vorzunehmen, die insgesamt einen zentrierten Bereich der Intensitätsverteilung, das heißt um das Zentrum der Intensitätsverteilung, dieses einschließend, im Wesentlichen symmetrisch angeordneten Bereich, beispielsweise mit einem Durchmesser entsprechend dem 1,4-fachen, 1,3-fachen oder 1-fachen einer Airy-Scheibe, erfassen. Es ist für die Hintergrundkorrektur vorteilhaft, wenn einige Detektorelemente ganz vorwiegend Signal aus den Hintergrundbereichen und nur wenig Fluoreszenz aus der Abbildungsebene detektieren. Aus diesem Grund ist die Anordnung von Detektorelementen derart, dass Detektorelemente vorhanden sind, die gerade die Intensität im Bereich entlang der ersten Nulllinie der Detektionsspreizfunktion (d.h. im Falle einer punktweisen Abtastung auf dem Radius der Airy-Scheibe) erfassen, vorteilhaft. Ebenfalls vorteilhaft kann eine Anordnung derart sein, dass Detektorelemente vorhanden sind, die gerade die Intensität im Bereich des ersten Minimums der optischen Abbildungsspreizfunktion, die sich aus der (effektiven) Anregungsspreizfunktion und der Spreizfunktion der Optik des Detektionspfades ergibt, erfassen. Weiter kann für den Fall, dass die Abtastung mit einer Anregungslichtverteilung, der eine STED-Lichtverteilung mit einem lokalen Minimum am Ort des Maximums der Anregungslichtverteilung überlagert ist, eine Anordnung vorteilhaft sein, die solche Detektorelemente aufweist, die vorwiegend Signal aus dem Bereich des Maximums der STED-Lichtverteilung empfangen. Letztere Anordnung ermöglicht eine gute Korrektur insbesondere bezüglich der vom STED-Licht durch Mehrphotonen-Anregung induzierten Hintergrundfluoreszenz. Gegebenenfalls kann im Falle einer punktweisen Abtastung anstelle der mehreren Einzeldetektoren in den oben bezeichneten Bereichen auch jeweils ein ringförmiges Detektorelement angeordnet werden.
• Zur Berechnung der Matrix H_i (diese muss für jeden Index i bestimmt werden, sofern die Gewichte wie oberhalb beschrieben bestimmt werden) und des Vektors v_i muss ein geeignetes Modell für die Hintergrund-PSF $h_i^{\text{bg}}$

  

  angesetzt werden. Diese kann beispielsweise aus jeder Abbildungsspreizfunktion h_i durch Anwendung eines Operators 0_i, erzeugt werden $$h_i^{\text{bg}}\approx O_i{h}_i,$$

  

  wobei der Operator 0_i jeweils so gewählt ist, dass er die zentralen Bereiche der Abbildungsspreizfunktion ausblendet. Eine mögliche Form eines derartigen der Operators lautet $$\left(O_i{h}_i\right)\left(x\right)=\{\begin{array}{cc}{h}_i\left(x\right)& x\notin M_i\\ 0& x\in M_i\end{array}={\mathrm{\iota }}_M\left(x\right)h_i\left(x\right),$$

  

  wobei die Menge M_i alle Punkte enthält, die dem zentralen Bereich der Abbildungsspreizfunktion zuzuordnen sind. Diese können im einfachsten Fall über den Abstand zum geometrischen Fokuspunkt selektiert werden. Um der unterschiedlichen Ausdehnung der Abbildungsspreizfunktion h_i in lateraler und axialer Rechnung zu tragen, kann als Menge M_i auch die Menge aller Punkte gewählt werden, die sich innerhalb eines Quaders oder eines (Rotations-) Ellipsoids befinden, dessen Abmessungen sich an der Ausdehnung der Abbildungsspreizfunktion in der jeweiligen Raumrichtung bemisst.
• Um Randartefakte in der Auswertung durch den harten Schnitt in Gl. (18) zu vermeiden, kann stattdessen eine geglättete Version verwendet werden, in der ı_m durch ı_M⊗φ_ε für einen Glättungskern φ_ε(x) = ε^-3φ(x/ε) mit Parameter ε > 0 und kompakt getragener Funktion φ ersetzt wird, zum Beispiel: $$\mathrm{\phi }\left(x\right)=\{\begin{array}{rr}\hfill c{e}^{-1/\left(1-{\left|x\right|}^2\right)},& \hfill \left|x\right|<1\\ \hfill \mathrm{0,}& \hfill \left|x\right|\ge 1\end{array}.$$

  
• Um aus den Rohbildern g_i ein Bild bzw. einen Bildstapel I(x_k) der Struktur in der Probe zu generieren, kann im einfachsten Fall bei punktweiser Abtastung direkt das konfokale Rohbild g₀ als Bild verwendet werden, d. h. das Rohbild desjenigen Detektorelements, das eine zum Anregungsfokus konfokale Anordnung aufweist bzw. dieser Anordnung am nächsten kommt. Hierzu ist kein weiterer Rechenaufwand erforderlich, so dass sich das konfokale Rohbild insbesondere als Vorschaubild eignet, das ohne eine Verzögerung durch weitere Rechenoperationen angezeigt werden kann.
• Die Rohbilder g_i der verschiedenen Detektoren repräsentieren verschiedene Ansichten des abgetasteten Bereichs der Probe, die aufgrund der unterschiedlichen Positionen der Detektorelemente D_i gegeneinander verschoben sind. Die Berechnung des Bildes I(x_k) kann daher auch erfolgen, indem die zwischen den Rohbildern bzw. Rohbildstapeln der Detektorelemente bestehenden Verschiebungen zueinander kompensiert und die um die Verschiebungen kompensierten Rohbilder bzw. Rohbildstapel zum Bild I(x_k) aufsummiert werden: $$I\left(x_k\right)={\displaystyle \sum _{\text{i}\in \text{P}\text{'}}{g}_i\left(x_k-d_i\right)},$$

  

  wobei d_i ein Verschiebungsvektor des i-ten Detektorelements gegenüber einem frei wählbaren Referenzpunkt x₀ ist. Durch die Summation kann das Signal des resultierenden Bildes gegenüber dem einzelnen konfokalen Rohbild um bis zu einen Faktor 2 verbessert. Dieses Vorgehen entspricht dem aus der Image Scanning Microscopy bekannten Pixel Reassignment mit nachfolgender Aufsummierung (Bilden der Sheppard-Summe). Das Verschieben der Bilder kann nach einer Fouriertransformation der Rohbild(stapel) auch als Phasenverschiebung im Ortsfrequenzraum erfolgen. Da Fouriertransformationen sehr effizient berechnet werden können, ist die Durchführung der Berechnungen im Ortsfrequenzraum im Hinblick auf die erforderliche Rechenzeit besonders günstig.
• Unter der idealisierenden Annahme, dass die Anregungs- und Detektions-PSFs durch Gaußfunktionen gleicher Halbwertsbreite dargestellt werden können, entspricht die Verschiebung zwischen den Rohbildern g₁ und g₂ zweier Detektorelemente D₁ und D₂ gerade der halben Differenz der Ortsvektoren r₁, r₂ der beiden Detektorelemente, d.h. d₁₂ = (r₂ - r₁)/2. Bezogen auf den Referenzpunkt x₀ ist dann der Verschiebungsvektor für das i-te Detektorelement d_i = (r_i - x₀)/2. In der Praxis können diese idealisierten Verschiebungsvektoren zur Summation der Rohbilder nach Gl. (20) genutzt werden, sofern die Nominalpositionen der einzelnen Detektorelemente - auch unter Berücksichtigung des Abbildungsmaßstabs in die Probe - ausreichend genau bekannt sind. Um genauere Verschiebungsvektoren d_i zu berechnen, können anstatt der gaußförmigen PSFs mit (vektorieller) Beugungstheorie numerisch berechnete PSFs verwendet werden, wobei auch Unterschiede in der Anregungs- und Fluoreszenzwellenlänge, im Brechungsindex des Immersionsmediums und anderen experimentellen Parametern berücksichtigt werden können. Die für ein Detektorelement D_i effektive PSF h^eff ergibt sich dann aus dem Produkt der simulierten Anregungs-PSF mit der an die jeweilige Position r_i des Detektorelement D_i verschobenen Detektions-PSF; der Verschiebungsvektor d_i ist durch das Zentrum der effektiven PSF h^eff definiert. In vielen Fällen kann der Verschiebungsvektor allgemein ausgedrückt werden durch d₁₂ = (r₂ - r₁)/a, wobei a Werte von 1 bis 2 annehmen kann. Ein solcher Verschiebungsvektor, der aus Parametern der Abbildung bestimmt wird, wird in der Folge als abbildungstheoretischer Verschiebungsvektor bezeichnet.
• Die Verschiebungsvektoren d_i können alternativ auch direkt aus den Rohbildern g_i berechnet werden, was insbesondere dann von Vorteil ist, wenn keine quantitativen Informationen über die Position der Detektorelemente vorliegen oder die Positionen nicht ausreichend genau bestimmt werden können oder wenn der zu verwendende Verschiebungsvektor nicht mehr allgemein durch eine Gleichung d₁₂ = (r₂ - r₁)/a, ausgedrückt werden kann. Dies ist beispielsweise in der STED-Mikroskopie regelmäßig der Fall. Hierzu wird ausgenutzt, dass die Rohbilder bei optimaler Verschiebung eine maximale Ähnlichkeit aufweisen. Ein übliches Maß für die Ähnlichkeit zwischen zwei Bildern g_i und g_j ist die (normierte) Kreuzkorrelation $$\text{CCF}\left(d\right)=\frac{{\displaystyle {\sum }_{\text{x}}{g}_i\left(x\right)g_j\left(x+d\right)}}{\sqrt{{\displaystyle {\sum }_{\text{x}}{g}_i^2\left(x\right)}}\sqrt{{\displaystyle {\sum }_{\text{x}}{g}_j^2\left(x\right)}}},$$

  

  die für den Verschiebungsvektor d, bei dem die Bilder die beste Übereinstimmung aufweisen, einen Maximalwert annimmt. In der Praxis bietet es sich an, die Kreuzkorrelationen jeweils bezogen auf ein Referenzbild, beispielsweise das konfokale Rohbild g₀ zu berechnen. Eine der Kreuzkorrelation entsprechende Methode im Fourierraum ist die Phasenkorrelation, mit der die Verschiebungsvektoren d_i ebenfalls bestimmt werden können. Die Phasenkorrelation eignet sich insbesondere für Bilder mit frequenzabhängigem Rauschen, sie lässt sich außerdem effizient mittels der schnellen Fouriertransformation (engl. Fast Fourier Transform, FFT) implementieren.
• Schließlich können die Verschiebungsvektoren d_i durch Lösen des Minimierungsproblems $$d_i:={\text{argmin}}_{\text{d},\lambda >0}{\Vert g_i\left(x-d\right)-\lambda g_0\left(x\right)\Vert }^2,$$

  

  bestimmt werden, wobei g₀ ein gemeinsames Referenzbild ist.
• Eine weitere Möglichkeit, die Rohbilder g_i zu einem Bild der Struktur zu verrechnen, besteht in einer (Multi-Bild-)Entfaltung. Bevorzugte Algorithmen hierzu stellen der Wiener-Filter oder iterative Verfahren wie die Richardson-Lucy-Entfaltung dar. Gegenüber dem Pixel Reassignment und Aufsummieren liefern Entfaltungsalgorithmen bessere Ergebnisse, insbesondere können sie unter vollem Erhalt der Tiefendiskriminierung angewendet werden. Nachteilig ist der erheblich höhere Rechenaufwand für eine (Multi-Bild-)Entfaltung.
• Ebenso kann der aus der DE 10 2017 122 858 A1 bekannte, modifizierte Entfaltungsalgorithmus mit reduziertem Rechenaufwand angewendet werden, demgemäß in einem ersten Verarbeitungsschritt die Rohbilder g_i zunächst gruppenweise zu wenigen Rohbildern verrechnet werden (durch Bilden der Sheppard-Summe oder eine zweidimensionale Multi-Bild-Entfaltung), und erst in einem zweiten Schritt eine dreidimensionale Multi-Bild-Entfaltung der Rohbilder zum finalen Bild(stapel) erfolgt.
• Auch das Verfahren zur Verbesserung der Tiefenauflösung in einem Laserscanning-Mikroskop gemäß der DE 10 2017 119 531 A1 kann angewendet werden. Diesem folgend wird aus Daten g_i(x_k) zu einer festen axialen Position, d. h. Fokusebene in einer Probe in einem Zwischenschritt eine dreidimensionale Rekonstruktion des abzubildenden Objekts gewonnen, von der rekonstruierte Werte, die nicht zu der Fokusebene gehören, verworfen werden.
• Die Schritte der Hintergrundkorrektur und der (Multi-Bild-)Entfaltung können optional auch in einem einzigen Rechenschritt zusammengefasst werden. Die zur Entfaltung anzusetzende effektive PSF $h_i^{\text{eff}},$

  

  die sowohl die Entstehung des Bildes als auch des Bildhintergrunds beschreibt, lässt sich aus Gl. (16) herleiten: $$g_i=s_i-{\displaystyle \sum _{j,j\ne i}{\left({\widehat{w}}_i\right)}_j{s}_j}=\left(h_i-{\displaystyle \sum _{j,j\ne i}{\left({\widehat{w}}_i\right)}_j{h}_j}\right)\otimes ƒ.$$

  
• Damit ist $$h_i^{\text{eff}}=h_i-{\displaystyle \sum _{j,j\ne i}{\left({\widehat{w}}_i\right)}_j{h}_j}.$$

  
• Die Rohbilder ergeben sich also aus der Faltung der Probe mit einer effektiven Abbildungsspreizfunktion $h_i^{\text{eff}},$

  

  die man aus einer Summation der Abbildungsspreizfunktionen h_j erhält. Die Minimierungseigenschaft der Gewichte (ŵi)_j sorgt dabei dafür, dass das Signal nicht übermäßig verstärkt wird. Die separate Bestimmung des Hintergrundanteils sorgt zudem dafür, dass die effektive Abbildungsspreizfunktion eine endliche Reichweite hat, also nur Signal aus der Scanebene (bzw. wenigen benachbarten Ebenen) misst.
• Eine bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens umfasst die folgenden Schritte:
1. 1. Abtasten der Probe oder eines Ausschnitts der Probe an mehreren Abtastpositionen und Auslesen von Signalen s_i aus den Detektorelementen (oder Gruppen von Detektorelementen) an allen Abtastpositionen.
2. 2. Berechnen der Matrizen H_i und der Vektoren v_i aus einem Modell der Hintergrundspreizfunktionen $h_i^{\text{bg}}.$
   
3. 3. Lösen der Minimierungsprobleme von Gl. (7).
4. 4. Berechnen von Rohbildern g_i gemäß Gl. (14).
5. 5. Berechnen eines Bildes aus den Rohbildern g_i.
• Bei der Korrektur der Detektorsignale nach Gl. (14) kann es vorkommen, dass einzelnen Pixeln der Rohbilder negative Helligkeitswerte zugewiesen werden. Ursächlich hierfür ist üblicherweise (unvermeidbares) Bildrauschen, aber auch vereinfachte Modelle für die Abbildungsspreizfunktionen können negative Bildbereiche zur Folge haben. Negative Pixelwerte sind aus physikalischer Sicht nicht interpretierbar, sind vor allem aber problematisch, wenn die Rohbilder einer (Multi-)Bildentfaltung unterzogen werden sollen. Einige, insbesondere iterative Bildentfaltungsalgorithmen erfordern als Eingabe Bilder mit nicht-negativen Pixelwerten. Unter der Annahme, dass negative Bildpixel durch Rauschen oder Artefakte entstehen, können negative Bildpixel ohne eine erhebliche Verfälschung der Bilddaten auf den Wert null gesetzt werden. In einer Weiterbildung des erfindungsgemäßen Verfahrens kann alternativ vorgesehen sein, dass die Gewichte (ŵ_l)_j durch eine Nutzereingabe (global) skaliert werden können. Durch eine Skalierung mit einem Skalierungsfaktor kleiner als 1 wird zwar die Wirkung der Hintergrundkorrektur abgeschwächt; gleichzeitig können aber negative Bereiche vermieden werden. Eine Skalierung der Gewichte kann auch automatisiert erfolgen, beispielsweise indem die Gewichte so lange reduziert werden, bis nur noch ein vorgegebener Prozentsatz der Bildpixel (oder kein Bildpixel) einen negativen Wert aufweist. Es können auch von vornherein Gewichte verwendet werden, die durch eine Skalierung mit einem Skalierungsfaktor zwischen 0 und 1 aus den Gewichten (ŵ_l)_j, die bei Lösung des Minimierungsproblems erhalten werden, skaliert sind. Hierdurch wird der Grad der Hintergrundreduzierung zwar gemindert, vorteilhaft wird aber das Auftreten von Artefakten und/oder Rauschen reduziert.
• Es kann der Fall auftreten, dass die Lösung eines Minimierungsproblems nach Gl. (7) oder Gl. (8) für gegebene Hintergrundspreizfunktionen negative Gewichte liefert. Dies führt in der Regel zu einer schlechteren Hintergrundkorrektur. Deshalb ist in einer Weiterbildung der Erfindung vorgesehen, dass das betreffende Minimierungsproblem unter Randbedingungen gelöst wird oder gelöst ist, so dass keine negativen Gewichte auftreten.
• In einer vorteilhaften Ausgestaltung der Erfindung werden die Werte für den Hintergrund geglättet, indem an die Stelle der Werte s_j(x_k) Werte treten, die aus den Werten zu einer Menge von benachbarten Abtastpositionen $x_k^{\text{'}}$

  

  bestimmt werden. Beispielsweise kann an die Stelle eines Werts s_j(x_k) der arithmetische Mittelwert oder bevorzugt der Median der Werte zu weiteren Abtastpositionen $x_k^{\text{'}},$

  

  die die Abtastpositionen x_k lateral oder auch in axial umgeben, treten. Die Anzahl und die Lage der Abtastpositionen, die für diese Art der Glättung bevorzugt verwendet werden, kann sowohl von den Abständen der Abtastpositionen zueinander als auch von weiteren Aufnahmebedingungen, insbesondere den Probeneigenschaften, abhängen.
• Die erfindungsgemäße Bildverarbeitungseinheit ist dadurch gekennzeichnet, dass sie eingerichtet ist, ein erfindungsgemäßes Verfahren auszuführen.
• Bei der Erfindung handelt es sich weiterhin um ein Laserscanningmikroskop, das zumindest eine Lichtquelle für Fluoreszenzanregungslicht, eine Strahlabtastvorrichtung zum Abtasten der Probe mit dem fokussiertem Fluoreszenzanregungslicht, ein Objektiv und eine Detektionsvorrichtung umfasst, die in einer Detektionsfläche mehrere einzeln oder in Gruppen auslesbare Detektorelemente aufweist. Das Laserscanningmikroskop beinhaltet weiterhin ein optisches System zur Abbildung der Probe in die Detektionsfläche, wobei die Vergrößerung der Abbildung so bemessen ist und der Detektor so ausgebildet ist, dass der Detektor innerhalb eines Innenbereichs einer Beugungsstruktur, der im Falle einer punktweisen Abtastung durch das erste Minimum einer Punktspreizfunktion und im Falle einer linienweisen Abtastung durch die Lage der ersten Minima einer Linienspreizfunktion (LSF) begrenzt ist, mehrere Detektorelemente aufweist. Erfindungsgemäß weist das Laserscanningmikroskop eine Bildverarbeitungseinheit, die auch in einer integrierten Steuer- und Bildverarbeitungseinheit vorliegen kann, zur Ausführung des erfindungsgemäßen Verfahrens auf.
• Bezüglich der Anordnung der Detektorelemente in der Detektionsfläche bestehen grundsätzlich kaum Restriktionen. Kommerziell verfügbar sind vor allem Detektor-Arrays mit regelmäßig, in einem kartesischen oder hexagonalen Raster angeordneten Detektorelementen. Diese Art von Detektoren sind zum Aufbau erfindungsgemäßer Laserscanningmikroskope geeignet. Eine bezüglich der Anzahl der Detektorelemente besonders effiziente Anordnung umfasst ein zentrales Detektorelement, das von einem oder mehreren ringförmigen Detektorelementen konzentrisch umgeben ist, wobei die ringförmigen Detektorelemente auch als ringförmige angeordnete, gemeinsam auslesbare Gruppe von mehreren (Punkt-)Detektorelementen ausgeführt sein können. Insbesondere mit Blick auf die Anwendung von aus der Image Scanning Mikroskopie bekannten Verfahren ist es bevorzugt, wenn die ringförmig angeordneten (Punkt-) Detektorelemente einzeln auslesbar sind.
• In einer bevorzugten Ausführungsform des Laserscanningmikroskops sind die einzelnen Detektorelemente jeweils als Avalanche-Fotodioden (APD) ausgeführt, die im Photonenzähl- bzw. Geigerzählmodus betrieben werden. Avalanche-Fotodioden weisen eine hohe Quanteneffizienz auf, die zudem für gewünschte Wellenlängenbereiche optimiert werden kann. Zudem werden Photonenzählereignisse instantan erfasst und können ohne Verzögerung weiterverarbeitet werden. Insbesondere können auch die Ankunftszeiten der Photonen mit hoher zeitlicher Präzision bestimmt werden, so dass mittels zeitkorreliertem Photonenzählen Fluoreszenzlebensdauern bestimmt werden können. Bevorzugt erfolgt die Verarbeitung der Zählereignisse durch eine in den Detektor integrierte Auswerteschaltung. Eine hinsichtlich der weiteren Datenverarbeitung besonders flexible Art der Datenaufbereitung besteht dabei darin, jedes Zählereignis mit einem Zeitstempel und einer Kanalkennung zu versehen und über ein digitales Datenprotokoll für die Speicherung und Analyse an einen Steuer- und Auswerterechner zu übertragen.
• Prinzipiell eignen sich zur Durchführung des erfindungsgemäßen Verfahrens und zur Implementierung eines erfindungsgemäßen Laserscanningmikroskops auch CCD- oder CMOS-Sensoren als ortsauflösende Detektoren, nachteilig sind aber ihre vergleichsweise langen Auslesezeiten, so dass sie sich für eine schnelle Bildaufnahme weniger eignen.
• Schließlich muss der lichtempfindliche Teil der Detektorelemente nicht notwendigerweise direkt in der Detektionsfläche angeordnet sein; stattdessen kann das Licht auch mit Hilfe eines Lichtleiterbündels von der Detektionsfläche zu an anderer Stelle platzierten Detektoren oder zu einem anderer Stelle platzierten Mehrkanal-Detektor geleitet werden. Dabei nehmen die Eintrittsöffnungen der einzelnen Lichtleiter des Bündels die Funktion der Detektorelemente ein und sind entsprechend in der Detektionsfläche angeordnet. Auf diese Weise können auch Fotomultiplier oder Mehrkanal-Fotomultiplier eingesetzt werden, die nicht so weit miniaturisierbar sind, dass sie direkt in der Detektionsfläche angeordnet werden könnten.
• In der Praxis bedecken die Detektorelemente meist nicht die gesamte Detektionsfläche, sondern weisen Zwischenräume auf, in denen Fluoreszenzphotonen nicht detektiert werden. Der Füllfaktor, d.h. der Anteil der lichtempfindlichen Fläche an der Gesamtfläche des Detektors, kann abhängig vom Sensortyp sehr hoch sein (z.B. CCD-Sensoren, ≥ 90 %), ist aber bei den für das erfindungsgemäße Laserscanningmikroskop bevorzugten APD-Arrays typischerweise im Bereich von 25 %. Eine Steigerung der Lichteffizienz kann in diesen Fällen bewirkt werden, wenn vor den Detektorelementen Sammellinsen bzw. ein Mikrolinsenarray angeordnet wird, so dass alle einfallenden Photonen auf lichtempfindliche Bereiche des Sensors, das heißt jeweils auf einen lichtempfindlichen Bereich eines Detektorelements, gelenkt werden.
• Optional kann das Laserscanningmikroskop auch als STED- oder RESOLFT-Mikroskop ausgebildet sein, d. h. es kann eine weitere Lichtquelle für Fluoreszenzverhinderungslicht samt einer Strahlformungsvorrichtung aufweisen, so dass das Fluoreszenzverhinderungslicht in der Probe eine ein lokales Minimum aufweisende Intensitätsverteilung ausbildet. Geeignete Strahlformungseinrichtungen sind dem Fachmann aus dem Stand der Technik zur STED-Mikroskopie bekannt; beispielhaft seien an dieser Stelle nur (Vortex-)Phasenplatten und pixelierte Flüssigkristallmodulatoren (engl. Spatial Light Modulator, SLM) genannt. Das Minimum des Fluoreszenzverhinderungslichts ist mit dem Fokus des Anregungslichts in der Probe überlagert, und die Strahlablenkvorrichtung verlagert die Intensitätsverteilungen von Fluoreszenzanregungslicht und Fluoreszenzverhinderungslicht gemeinsam.
• Die Bildverarbeitungseinheit des Laserscanningmikroskops, die integriert sein kann in einer kombinierten Steuer- und Bildverarbeitungseinheit, weist zumindest eine Recheneinheit mit einem Programm auf, das die Berechnung der Rohbilder g_i(x_k) nach Gl. (14) durchführen kann. Das Programm implementiert üblicherweise auch einen Algorithmus zur Lösung des Minimierungsproblems nach Gl. (7) und / oder Gl. (8), wobei der Algorithmus eingerichtet sein kann, Randbedingungen an die Lösung des Minimierungsproblems zu berücksichtigen, und zur Berechnung der Gewichte ŵ_i; dies ist allerdings nicht zwingend erforderlich, da die Gewichte ŵ_i für gegebene Hintergrund-PSFs bzw. Hintergrundspreizfunktionen $h_i^{\text{bg}}$

  

  vorberechnet werden können. Eine integrierte Steuer- und Bildverarbeitungseinheit wird typischerweise weitere Funktionen wie die Ansteuerung der Lichtquellen, die Ansteuerung der Strahlablenkvorrichtung zum Abtasten eines vorgebbaren Bereichs der Probe und das Auslesen der Detektorelemente an jeder Abtastposition beinhalten.
• In einer Weiterbildung weist das erfindungsgemäße Laserscanningmikroskop ein grafisches Nutzerinterface auf, das eine Anzeige eines oder mehrerer hintergrundkorrigierter Rohbilder oder eines aus mehreren Rohbildern verrechneten Bildes beinhaltet. Zudem kann das grafische Nutzerinterface ein grafisches Bedienelement aufweisen, mit dem der Benutzer die Gewichte ŵ_t (global) skalieren kann. Ein solches Bedienelement kann beispielsweise in Form eines Schiebereglers, eines Drehknopfes oder eines numerischen Eingabefeldes ausgestaltet sein. Ein sinnvoller Einstellbereich für den Skalierungsfaktor liegt beispielsweise im Bereich von 0 bis 2, bevorzugt im Bereich von 0 bis 1.
• Bevorzugt bewirkt eine Änderung des Skalierungsfaktors mit dem Bedienelement eine unmittelbare Neuberechnung und Aktualisierung der Anzeige der hintergrundkorrigierten Bilder, so dass die Einstellung des Skalierungsfaktors durch den Nutzer interaktiv erfolgen kann.
• Die Funktionen zur Ausführung des erfindungsgemäßen Verfahrens können durch dedizierte Hardware oder durch eine speicherprogrammierbare Hardware in Verbindung mit einem Programm erzielt werden, durch dessen Ausführung die jeweilige Funktion implementiert wird. Wenn die Funktionen durch eine speicherprogrammierbare Hardware bereitgestellt werden, kann diese als Rechenwerk insbesondere einen Mikroprozessor oder Mikrocontroller mit einem oder mehreren Rechenkernen, eine Mehrzahl von Mikroprozessoren oder Mikrocontrollern, ein Field Programmable Array (FPGA) oder einen digitaler Signalprozessor (DSP) oder eine Kombination dieser Elemente aufweisen. Die speicherprogrammierbare Hardware kann darüber hinaus weitere Hardware-Komponenten zur Ausführung der Funktionen enthalten, insbesondere flüchtige und/oder nichtflüchtige Lese- oder Schreib-/Lesespeicher, Datenaufnahme- und Schnittstellenbausteine. Die speicherprogrammierbare Hardware kann konkret ein Personal Computer (PC) sein, und die Schritte des erfindungsgemäßen Verfahrens können durch die CPU oder die GPU des PCs ausgeführt werden. Die speicherprogrammierbare Hardware kann zudem weitere Funktionen ausführen, die nicht zur Ausführung des erfindungsgemäßen Verfahrens erforderlich sind.
• Weitere vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Patentansprüchen, der Beschreibung und den Zeichnungen. Die in der Beschreibung beschriebenen Vorteile von Merkmalen und von Kombinationen mehrerer Merkmale der Erfindung sind lediglich beispielhaft und können alternativ oder kumulativ zur Wirkung kommen, ohne dass die Vorteile zwingend von erfindungsgemäßen Ausführungsformen erzielt werden müssen. Ohne dass hierdurch der Gegenstand der beigefügten Patentansprüche verändert wird, gilt hinsichtlich des Offenbarungsgehalts der ursprünglichen Anmeldungsunterlagen und des Patents das Folgende: weitere Merkmale sind den Zeichnungen zu entnehmen. Die Kombination von Merkmalen unterschiedlicher Ausführungsformen der Erfindung oder von Merkmalen unterschiedlicher Patentansprüche ist ebenfalls abweichend von den gewählten Rückbeziehungen der Patentansprüche möglich und wird hiermit angeregt. Dies betrifft auch solche Merkmale, die in separaten Figuren dargestellt sind oder bei deren Beschreibung genannt werden. Diese Merkmale können auch mit Merkmalen unterschiedlicher Patentansprüche kombiniert werden. Ebenso können in den Patentansprüchen aufgeführte Merkmale für weitere Ausführungsformen der Erfindung entfallen.
• Der in den Patentansprüchen und der Beschreibung genutzte unbestimmte Artikel „ein“ für ein Merkmal ist so zu verstehen, dass es sich hinsichtlich der Anzahl um genau eine oder auch um mehrere Ausführungen dieses Merkmals handeln kann, ohne dass es einer expliziten Verwendung des Adverbs „mindestens“ bedarf. Die in den Patentansprüchen angeführten Merkmale können gegebenenfalls durch weitere Merkmale ergänzt werden oder auch die einzigen Merkmale sein, die das jeweilige Verfahren aufweist.
• Figurenliste
• 1 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
• 2 zeigt eine mögliche Maskierung der Abbildungs-PSF zur Erzeugung einer Hintergrund-PSF.
• 3 zeigt verschiedene Anordnungen von Detektorelementen in der Detektionsfläche.
• 4 zeigt schematisch den Aufbau eines erfindungsgemäßen Laserscanningmikroskops.
• Beschreibung der Figuren
• In 1 ist ein erfindungsgemäßes Verfahren in Form eines Ablaufdiagramms gezeigt. Die Darstellung zeigt die logische, nicht aber notwendigerweise die zeitliche Abfolge der Schritte. Insbesondere können mehrere Schritte auch parallel oder verschachtelt ausgeführt werden.
• In einem Datenaufnahmeschritt 1 wird zunächst die Probe oder ein Ausschnitt der Probe, in dem sich eine mit einem Fluoreszenzfarbstoff angefärbte Struktur befindet, mit fokussiertem Anregungslicht abgetastet, d. h. das fokussierte Anregungslicht wird nacheinander an verschiedene Positionen in der Probe positioniert und die Probe an der jeweiligen Position mit Anregungslicht beleuchtet. In der Probe angeregtes Fluoreszenzlicht wird in eine Detektionsfläche abgebildet und dort mit einer Mehrzahl von Detektorelementen detektiert. Die Vergrößerung der Abbildung ist dabei so gewählt, dass die Abmessungen der Detektionsfläche dem ein- bis dreifachen Durchmesser einer Airy-Scheibe entspricht, die eine im Fokus der Abbildung in der Probe befindliche Punktlichtquelle in der Detektionsfläche erzeugen würde. An jeder der Abtastpositionen werden die Detektorsignale s_i(x_k) 2 mehrerer oder aller Detektorelemente registriert und für die spätere Weiterverarbeitung gespeichert.
• Für den nachfolgenden Korrekturschritt 3 ist zunächst eine Berechnung der Gewichte ŵ_i durch Lösen der (in der Figur nicht ausformulierten) Minimierungsprobleme 4 nach Gl. (7) oder Gl. (8) (ggf. unter Randbedingungen für die Lösung) erforderlich. Sofern die Punktspreizfunktion (PSF) der Abbildung konstant ist, können die Gewichte ŵ_i vorberechnet und müssen nicht bei jeder Ausführung des Verfahrens erneut berechnet werden. Sofern das Verfahren aber als STED- oder RESOLFT-Variante ausgebildet ist, d. h. die Abtastung nicht nur mit Anregungslicht, sondern zusätzlich auch mit einer ein lokales Minimum aufweisenden Intensitätsverteilung von Fluoreszenzverhinderungs- bzw. Stimulationslicht ausgeführt wird, hängt die Amplitudenverteilung der effektiven Abbildungs-PSF und der Hintergrund-PSF von der eingesetzten Intensität des Fluoreszenzverhinderungs- bzw. Stimulationslicht und der Art des Fluoreszenzfarbstoffs ab, und eine Bestimmung der Gewichte ŵ_i muss unter Verwendung einer für die jeweiligen Aufnahmebedingungen angepassten Abbildungs- bzw. Hintergrund-PSF erfolgen. Mit den Gewichten ŵ_i erfolgt nun eine Hintergrundkorrektur der Detektorsignale zu Rohbildern 5 mit Helligkeitswerten g_i(x_k). Dabei können Rohbilder 5 zu allen Detektorelementen i ∈ P berechnet werden oder auch nur zu einem Teil der Detektorelemente i ∈ P' c P.
• Aus den Rohbildern 5 wird schließlich ein Bild I(x_k) 6 der Struktur bestimmt. Im einfachsten Fall wird als Bild direkt das Rohbild 5 desjenigen Detektorelements gewählt, das eine zum Anregungsfokus konfokale Anordnung aufweist bzw. dieser Anordnung am nächsten kommt. Optional kann dieses Rohbild 5 einer Nachbearbeitung, insbesondere einer Bildentfaltung unterzogen werden. Die Bildentfaltung kann weiter als Multi-Bildentfaltung ausgestaltet sein und dann aus mehreren oder allen Rohbildern ein Bild 6 erzeugen. Eine hier lediglich beispielhaft genannte, weitere Option der Zusammenführung der Rohbilder 5 zu einem Bild 6 besteht in der Berechnung der Sheppard-Summe, d. h. durch Verschieben und Aufaddieren der Pixel der Rohbilder 5 über mehrere Abtastpositionen erfolgt.
• 2 zeigt, wie eine Hintergrund-PSF 7 zur Formulierung des Minimierungsproblems nach Gl. (7) konstruiert werden kann. Dargestellt ist das Profil einer beugungsbegrenzt fokussierten Abbildungsspreizfunktion h 8 entlang der optischen Achse (z-Achse). Als Maskierungsoperator 0 9 wird ein kontinuierlicher Operator, beispielsweise nach Gl. (18) und (19) angenommen, dessen Anwendung auf die Abbildungsspreizfunktion h 8 die Hintergrundpunktspreizfunktion h^bg ≈ 0 h 7 liefert. Umgekehrt ergibt sich der Vordergrundanteil der PSF zu h^fg ≈ (1 - 0)h 10.
• In 3 sind verschiedene Anordnungen von Detektorelementen 11 in der Detektionsfläche 12 gezeigt, die sich zur Implementierung des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Laserscanningmikroskops eignen. In Unterfigur A ist ein kartesisches Raster von quadratischen Detektorelementen 11 gezeigt, wie es insbesondere mit CCD-/CMOS-Bildsensoren realisiert werden kann. Die Flächenausnutzung, d. h. der Füllfaktor, ist in dieser Anordnung besonders günstig, da nur wenig Licht in Bereiche zwischen den Detektorelementen 11 fällt. Allerdings sind CCD-/CMOS-Bildsensoren in ihrer Auslesegeschwindigkeit begrenzt, weswegen sie sich für eine schnelle Bildaufnahme weniger eignen. In Unterfigur B ist ebenfalls ein kartesisches Raster von hier runden Detektorelementen 11 gezeigt, das beispielsweise als Array von Avalanche-Fotodioden (APDs) realisiert werden kann. Je nach Ausführungsform können die einzelnen Detektorelemente 11 hier signifikante Abstände voneinander aufweisen, so dass der Füllfaktor inhärent geringer ist. Zur Verbesserung der Detektionseffizienz bietet sich in dieser Ausführungsform die Anordnung von (hier nicht gezeigten) Sammellinsen (bzw. eines Mikrolinsenarrays) vor den Detektorelementen 11 an. Unterfigur C zeigt eine Variante von Unterfigur B, bei der die einzelnen Detektorelemente nicht in einem kartesischen, sondern in einem hexagonalen Raster 13 angeordnet sind. Das hexagonale Raster 13 eignet sich insbesondere zur Approximation rotationssymmetrischer Anordnungen von Detektorelementen 11 mit einem zentralen, konfokal zum Anregungsfokus angeordneten (Haupt-) Detektorelement 14, das vorwiegend Fluoreszenzsignale aus der Abbildungsebene empfängt, und dieses Hauptdetektorelement umgebende Detektorelemente, die im Verhältnis zum von ihnen detektierten Vordergrundsignal mehr Hintergrundfluoreszenz aus anderen Ebenen als der Abbildungsebene detektieren. In Unterfigur D ist schließlich eine konzentrische Anordnung von ringförmigen Detektorelementen 15 um ein zentrales rundes Detektorelement 14 gezeigt, das sich von den anderen Konfigurationen darin unterscheidet, dass die Detektorelemente sich nicht nur durch eine Translation, sondern auch in ihrer Geometrie voneinander unterscheiden. Die Signale derartig angeordneter Detektorelemente können in erfindungsgemäßer Weise hintergrundkorrigiert werden, allerdings ist eine nachträgliche Verrechnung der Rohbilder nur durch eine Multi-Bild-Entfaltung mit einer für jedes Detektorelement unterschiedlichen, individuellen PSF möglich, nicht aber durch Bilden der Sheppard-Summe.
• 4 zeigt schematisch ein erfindungsgemäßes Laserscanningmikroskop 16. Eine Lichtquelle 17 stellt einen Strahl 18 von Anregungslicht 19, bereit, das mit Hilfe eines dichroitischen Strahlteilers 20 in einen Hauptstrahlengang 21 des Mikroskops eingespiegelt wird. Mit Hilfe einer im Hauptstrahlengang 21 angeordneten Strahlablenkvorrichtung 22 und einer Tubuslinse 23 kann der Strahl in der rückwärtigen Pupille des Objektivs 24 verkippt und somit der Fokus 25 des Anregungslichts 19 zum Abtasten in der Probe 26 verlagert werden. Optional, nicht jedoch für eine erfindungsgemäße Ausführungsform des Laserscanningmikroskop 16 zwingend, kann mit einem weiteren Strahlteiler 20 zusätzlich ein Strahl von Fluoreszenzverhinderungs- bzw. Stimulationslicht 27 aus einer weiteren Lichtquelle 28 in den Hauptstrahlengang 21 eingekoppelt werden, wobei die Lichtstrahlen von Anregungs- und Fluoreszenzverhinderungs-/Stimulationslicht kollinear zueinander justiert werden, so dass ihre Foki 25 in der Probe 26 überlagert sind. Zur Ausbildung eines (zentralen) lokalen Intensitätsmaximums, idealerweise einer Nullstelle, ist im Strahl des Fluoreszenzverhinderungs-/ Stimulationslichts ein Phasenfilter 29 angeordnet. Das aus der Probe emittierte Fluoreszenzlicht 30 passiert die beiden Strahlteiler 20, wird durch einen Filter 31 von Streulicht separiert und mit einer Linse 32 auf einen mehrere Detektorelemente 11 aufweisenden Detektor 33 abgebildet; die Vergrößerung der Abbildung ist dabei so bemessen, dass eine charakteristische Abmessung der Detektionsfläche dem ein- bis dreifachen Durchmesser einer Airy-Scheibe entspricht, die eine im Fokus der Abbildung in der Probe befindliche Punktlichtquelle auf dem Detektor 33 erzeugen würde. Der Detektor weist innerhalb des Durchmessers einer Airy-Scheibe mehrere Detektorelemente auf. Das Mikroskop verfügt weiter über eine Mess- und Steuereinheit 34, die das Abtasten der Probe 26 durch Übermittlung von Steuersignalen 35 an die Strahlablenkvorrichtung 22 und das Erfassen/Speichern der Detektorsignale 2 koordiniert. Erfindungsgemäß beinhaltet das Laserscanningmikroskop 16 eine Bildverarbeitungseinheit 36, die integriert in eine Steuereinheit vorliegt, mit einem Programm, das eine Verarbeitung der Detektorsignale 2 nach dem erfindungsgemäßen Verfahren implementiert. Bevorzugt verfügt das Laserscanningmikroskop 16 auch über ein grafisches Nutzerinterface 37, das eine Darstellung des Bildes und/oder eines Vorschaubildes sowie ein Bedienelement 39, z.B. in Form eines Schiebereglers 40, umfasst, mit dem ein Bediener die zur Hintergrundkorrektur angewendeten Gewichte skalieren kann. Durch eine Neuberechnung des Bildes/ des Vorschaubildes erlaubt das Nutzerinterface 37 eine interaktive Einstellung der Hintergrundkorrektur unter visueller Kontrolle des Bedieners.
• Bezugszeichenliste

1

Datenaufnahmeschritt

2

Detektorsignal

3

Korrekturschritt

4

Minimierungsproblem

5

Rohbild

6

Bild

7

Hintergrundpunktspreizfunktion

8

Abbildungspunktspreizfunktion

9

Maskierungsoperator

10

Vordergrundpunktspreizfunktion

11

Detektorelement

12

Detektionsfläche

13

hexagonales Raster

14

zentrales Detektorelement

15

ringförmiges Detektorelement

16

Laserscanningmikroskop

17

Lichtquelle

18

Strahl

19

Anregungslicht

20

Strahlteiler

21

Hauptstrahlengang

22

Strahlablenkvorrichtung

23

Tubuslinse

24

Objektiv

25

Fokus

26

Probe

27

Fluoreszenzverhinderungslicht/Stimulationslicht

28

Lichtquelle

29

Phasenfilter

30

Fluoreszenz

31

Filter

32

Linse

33

Detektor

34

Steuereinheit

35

Steuersignal

36

Bildverarbeitungseinheit

37

Nutzerinterface

38

Vorschaubild

39

Bedienelement

40

Schieberegler

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 102017122858 A1 [0010, 0050]
• DE 102017119531 A1 [0011, 0051]
• CN 105242390 B [0012, 0018, 0024]

Claims (25)

1. Verfahren zum Abbilden einer mit einem Fluoreszenzfarbstoff angefärbten Struktur in einer Probe, wobei - die Probe oder ein Ausschnitt der Probe mit einer ein lokales Intensitätsmaximum aufweisenden Intensitätsverteilung von Fluoreszenzanregungslicht an mehreren Abtastpositionen x_k für k ∈ N = {1, ...,n} innerhalb eines Abtastbereichs abgetastet wird; - jede Abtastposition jeweils in eine Detektionsfläche abgebildet wird, in der einzeln oder in Gruppen auslesbare Detektorelemente D_i für i ∈ P = {1,...,p} angeordnet sind, wobei innerhalb eines Innenbereichs einer Beugungsstruktur mehrere Detektorelemente angeordnet sind, - wobei Fluoreszenzlicht aus der Probe detektiert wird und Detektionssignale s_i(x_k) aus den einzelnen und / oder den Gruppen von Detektorelementen D_i an jeder Abtastposition x_k ausgelesen werden, - wobei aus den Detektionssignalen s_i(x_k) ein Bild der Struktur bestimmt wird, dadurch gekennzeichnet, dass - bis zu p Rohbilder berechnet werden, indem jeder Abtastposition x_k in einem i-ten Rohbild ein Bildpunkt mit einem Helligkeitswert zugeordnet wird, der bestimmt wird als eine Differenz aus einem Detektionswert s_i(x_k) des i-ten Detektorelements an der Abtastposition x_k und einem Wert b_i(x_k), der additiv aus Detektionswerten s_j(x_k) oder aus unter Nutzung von Detektionswerten $s_j\left(x_k^{\text{'}}\right)$

   

   zu der Abtastposition x_k benachbarter Abtastpositionen $x_k^{\text{'}}$

   

   geglätteten Detektionswerten $s_j^{\text{'}}\left(x_k\right)$

   

   anderer Detektorelemente als dem i-ten Detektorelement an der Abtastposition x_k bestimmt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass jeder Wert b_i(x_k) eine gewichtete Summe der Form $$b_i\left(x_k\right)=C{\displaystyle \sum _{j,j\ne i}{\left({\widehat{w}}_i\right)}_j{s}_j\left(x_k\right)}$$

   

   mit Gewichten (ŵ_i)_j und einem Skalierungsfaktor C ist.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Gewichte (ŵi)_j Lösungen der Minimierungsprobleme $${\widehat{w}}_i\in \underset{w_i=\left(w_{i\mathrm{,1}},\dots ,w_{i,p}\right)\in {ℝ}^p:w_{i,k}=0\forall k\in P_i^{\text{'}\text{'}}}{{\displaystyle \text{argmin}}}\frac{1}{2}{\Vert h_i^{\text{bg}}-{\displaystyle \sum _j{w}_{i,j}{h}_j^{\text{bg}}}\Vert }^2$$

   

   für ein $P_i^{\text{'}\text{'}}\subset P\text{mit}i\in P_i^{\text{'}\text{'}}$

   

   sind, wobei die $h_j^{\text{bg}}$

   

   h^bg Hintergrundspreizfunktionen sind, wobei an die Lösungen der Minimierungsprobleme optional Randbedingungen gestellt sind.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Hintergrundspreizfunktionen $h_j^{\text{bg}}$

   

   durch Anwendung eines Operators O_j auf eine simulierte oder experimentell bestimmte Abbildungsspreizfunktion h_j der Abbildung gemäß $h_j^{\text{bg}}\left(x\right)=\left(O_j{h}_j\right)\left(x\right)$

   

   bestimmt werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Operator O_j die Form $$\left(O_j{h}_j\right)\left(x\right)=\{\begin{array}{cc}{h}_j\left(x\right)& x\notin M_j\\ 0& x\in M_j\end{array}$$

   

   aufweist, wobei M_j eine Menge von Punkten darstellt, die einen Zentralbereich der Abbildungsspreizfunktion h_j(x) umfasst.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Abbildungsspreizfunktion h_j(x) eine Punktspreizfunktion und M_j die Menge aller Punkte eines am geometrischen Zentrum der Punktspreizfunktion h_j(x) zentrierten Quaders oder Rotationsellipsoids ist, wobei die Abmessungen des Quaders bzw. der Hauptachsen des Rotationsellipsoids mit der Ausdehnung der Punktspreizfunktion h_j(x) in der entsprechenden Raumrichtung skalieren.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Operator O_j mit einem kompakt getragenen Glättungskern gefaltet wird.
8. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass der Skalierungsfaktor C so gewählt wird, dass weniger als ein vorgegebener Anteil der Bildpunkte des Rohbildes oder des Rohbildstapels einen Wert kleiner als null annehmen.
9. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass der Skalierungsfaktor C den Wert 1 aufweist.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass negative Helligkeitswerte von Bildpunkten des Rohbildes auf den Wert null gesetzt werden.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zwischen den Rohbildern der Detektorelemente bestehende Verschiebungen zueinander kompensiert und die um die Verschiebungen kompensierten Rohbilder zu dem Bild der Struktur aufsummiert werden.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass zur Kompensation der Verschiebung zwischen den Rohbildern zweier Detektorelemente ein abbildungstheoretischer Verschiebungsvektor der Form d₁₂ = (r₂ - r₁)/a mit 1 < a < 2 verwendet wird.
13. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass zur Kompensation der Verschiebung zwischen den Rohbildern zweier Detektorelemente mittels einer Kreuzkorrelation der Rohbilder oder einer äquivalenten Operation im Ortsfrequenzraum ein Verschiebungsvektor berechnet und verwendet wird.
14. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass das Bild der Struktur unter Verwendung eines linearen oder nichtlinear-iterativen Bildentfaltungsalgorithmus ein berechnet wird.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass als Bildentfaltungsalgorithmus ein Wiener-Entfaltungsalgorithmus oder ein Richardson-Lucy-Entfaltungsalgorithmus verwendet wird.
16. Bildverarbeitungseinheit mit einem Computerprogramm, das ein Verfahren nach einem der Ansprüche 1 bis 15 zum hintergrundreduzierten Abbilden einer mit einem Fluoreszenzfarbstoff angefärbten Struktur in einer Probe implementiert.
17. Laserscanningmikroskop zur Aufnahme von Bildern in einer Probe - mit einer Lichtquelle, die Fluoreszenzanregungslicht bereitstellt, - mit einer Strahlabtastvorrichtung zur punktweisen Abtastung mit dem Fluoreszenzanregungslicht, - mit einem Objektiv, - mit einer Detektionsvorrichtung, die in einer Detektionsfläche mehrere einzeln oder in Gruppen auslesbare Detektorelemente aufweist; - mit optischen Elementen zur Abbildung der Probe in die Detektionsfläche, wobei die Vergrößerung der Abbildung so bemessen ist, dass die Detektionsvorrichtung in einem Innenbereich einer Beugungsstruktur in der Probe mehrere Detektorelemente aufweist, dadurch gekennzeichnet, dass es eine Bildverarbeitungseinheit nach Anspruch 15 aufweist.
18. Laserscanningmikroskop nach Anspruch 17, dadurch gekennzeichnet, dass es eine Lichtquelle für Fluoreszenzverhinderungslicht und eine im Strahlengang des Fluoreszenzverhinderungslichts angeordnete Strahlformungsvorrichtung aufweist, so dass das Fluoreszenzverhinderungslicht in der Probe eine ein lokales Minimum aufweisende Intensitätsverteilung ausbildet.
19. Laserscanningmikroskop nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass die Detektorelemente im Photonenzählmodus betriebene Avalanche-Fotodioden (APDs) sind.
20. Laserscanningmikroskop nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass die Detektorelemente der Detektionsvorrichtung auf einem kartesischen oder hexagonalen Raster angeordnet sind.
21. Laserscanningmikroskop nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass die Detektorelemente der Detektionsvorrichtung in Form konzentrischer Ringe um ein zentrales rundes Detektorelement angeordnet sind.
22. Laserscanningmikroskop nach einem der Ansprüche 17 bis 21, dadurch gekennzeichnet, dass die Detektorelemente durch Eintrittsflächen von Lichtleitern eines Lichtleiterbündels ausgebildet werden, wobei die Lichtleiter das empfangene Licht zu je einem Detektionskanal eines mehrkanaligen Lichtdetektors leiten.
23. Laserscanningmikroskop nach einem der Ansprüche 17 bis 20, dadurch gekennzeichnet, dass vor jedem Detektorelement eine Sammellinse angeordnet ist.
24. Laserscanningmikroskop nach einem der Ansprüche 17 bis 23, dadurch gekennzeichnet, dass es eine Bildverarbeitungseinrichtung aufweist, die zur Ausführung eines Verfahrens nach Anspruch 2 eingerichtet ist und dass ein Nutzerinterface mit einem grafischen Bedienelement aufweist, mit dem ein Bediener den Wert des Skalierungsfaktors C einstellen kann.
25. Lasermikroskop nach Anspruch 24, dadurch gekennzeichnet, dass das Nutzerinterface ein neu berechnetes Bild oder eine durch eine Näherung generierte Vorschau des Bildes der Struktur unmittelbar nach jeder Änderung des Skalierungsfaktors C durch den Bediener anzeigt.

Images