DE102019100184A1 - Hochauflösende Scanning-Mikroskopie - Google Patents

Hochauflösende Scanning-Mikroskopie Download PDF

Info

Publication number
DE102019100184A1
DE102019100184A1 DE102019100184.6A DE102019100184A DE102019100184A1 DE 102019100184 A1 DE102019100184 A1 DE 102019100184A1 DE 102019100184 A DE102019100184 A DE 102019100184A DE 102019100184 A1 DE102019100184 A1 DE 102019100184A1
Authority
DE
Germany
Prior art keywords
scan
sample
image
point
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019100184.6A
Other languages
English (en)
Inventor
Ingo Kleppe
Yauheni Novikau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to DE102019100184.6A priority Critical patent/DE102019100184A1/de
Priority to US16/732,585 priority patent/US11209636B2/en
Priority to CN202010009184.3A priority patent/CN111413791B/zh
Publication of DE102019100184A1 publication Critical patent/DE102019100184A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Abstract

Die Erfindung bezieht sich auf ein Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe (P), wobei folgende Schritte ausgeführt werden: a) die Probe (P) wird an einem Punkt (14) in oder auf der Probe (P) mit Beleuchtungsstrahlung (B) beleuchtet, b) der Punkt (14) wird längs einer optischen Achse und gemäß einer Punktbildverwaschungsfunktion in ein Beugungsbild (18) auf einen ortsauflösenden und Detektorpixel (31) aufweisenden Flächendetektor (17) abgebildet, wobei eine Beugungsstruktur (18a) des Beugungsbildes (18) aufgelöst wird, c) der Punkt (14) wird relativ zur Probe (P) in mind. zwei Scanrichtungen (x, y) verschoben und in verschiedenen Scanpositionen (32) werden von den Detektorpixeln Pixelsignale ausgelesen, wobei die Pixelsignale jeweils derjenigen Scanposition (32) zugeordnet werden, zu der sie ausgelesen wurden, und benachbarte Scanpositionen (32) sich überlappen und gemäß einer Scanschrittweite (d) angeordnet sind, d) aus den ausgelesenen Pixelsignalen und den zugeordneten Scanpositionen (32) wird ein Bild der Probe (P) erzeugt, das eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung gesteigert ist, wobei in Schritt d) auf Basis der ausgelesenen Pixelsignale und den zugordneten Scanpositionen (32) und auf Basis der Punktbildverwaschungsfunktion eine Entfaltung durchgeführt wird, wobei in der Entfaltung auf Basis der Pixelsignale für mind. eine der Scanrichtungen (x, y, z) Zwischenpositionen erzeugt werden, und das Bild der Probe (P) erzeugt wird, das mehr Bildpunkte enthält als Scanpositionen (32).

Description

  • Die Erfindung bezieht sich auf ein Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe, wobei die Probe an einem Punkt in oder auf der Probe mit Beleuchtungsstrahlung beleuchtet wird, der Punkt längs einer optischen Achse und gemäß einer Punktbildverwaschungsfunktion in ein Beugungsbild auf einen ortsauflösenden und Detektorpixel aufweisenden Flächendetektor abgebildet wird, wobei eine Beugungsstruktur des Beugungsbildes aufgelöst wird, der Punkt relativ zur Probe verschoben wird und zu Scanpositionen von den Detektorpixeln Pixelsignale ausgelesen werden, wobei benachbarte Scanpositionen sich überlappen und gemäß einer Scanschrittweite angeordnet sind, aus den ausgelesenen Pixelsignalen und den zugehörenden Scanpositionen ein Bild der Probe erzeugt wird, das eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung gesteigert ist.
  • Die Erfindung bezieht sich weiter auf ein Mikroskop zur hochauflösenden Scanning-Mikroskopie einer Probe, das aufweist: einen Beleuchtungsstrahlengang zum Beleuchten eines Punktes auf oder in der Probe, einen Abbildungsstrahlengang zur beugungsbegrenzen Abbildung des Punkts längs einer optischen Achse in ein Beugungsbild auf einen ortsauflösenden und Detektorpixel aufweisenden Flächendetektor, wobei der Abbildungsstrahlengang eine Punktbildverwaschungsfunktion aufweist und der Flächendetektor die eine Beugungsstruktur des Beugungsbildes auflöst, eine Scaneinrichtung zum Verschieben des Punkts relativ zur Probe, eine Auswerteeinrichtung, die mit dem Flächendetektor und der Scaneinrichtung steuernd verbunden ist und konfiguriert ist die Scaneinrichtung zur Verschiebung des Punkts relativ zur Probe anzusteuern zu Auslesezeitpunkten Scanposition von den Detektorpixeln Pixelsignale auszulesen, wobei die Auslesezeitpunkte Scanpositionen festlegen und benachbarte Scanpositionen überlappen und gemäß einer Scanschrittweite angeordnet sind, aus den ausgelesenen Pixelsignalen und den zum jeweiligen Auslesezeitpunkt gehörenden Scanpositionen ein Bild der Probe zu erzeugen, das eine Auflösung aufweist, die über eine Auflösungsgrenze des Abbildungsstrahlengangs gesteigert ist.
  • Ein klassisches Anwendungsgebiet der Lichtmikroskopie ist die Laser-Scanning-Mikroskope (auch LSM abgekürzt), die mittels einer konfokalen Detektionsanordnung nur diejenige Ebene der Probe abbildet, die sich in der Fokusebene des Objektives befindet (vgl. US 3013467 A ). Es wird ein optischer Schnitt gewonnen, dessen Dicke von der Größe der konfokalen Blende abhängt. Die Aufzeichnung mehrerer optischer Schnitte in verschiedenen Tiefen der Probe erlaubt es, ein dreidimensionales Bild der Probe zu generieren, das dann aus den verschiedenen optischen Schnitten zusammengesetzt ist. Die Laser-Scanning-Mikroskopie ist somit zur Untersuchung von dicken Präparaten geeignet.
  • In der Laser-Scanning-Mikroskopie wird die Probe in verschiedenen Scanpositionen abgetastet. An jeder Scanposition wird mittels eines Pinholes ein konfokales Signal aufgenommen. Die Ortsauflösung ist durch die Dichte der Scanpositionen maßgeblich bestimmt. Man erhält genauso viele Bildpunkte, wie es Scanpositionen gibt. Eine Erhöhung der Dichte der Scanpositionen hängt deshalb direkt mit einer Verkleinerung der Pinholeblende zusammen, da man bei Verdichtung der Scanpositionen das Pinhole verkleinern muss. Dies setzt der Auflösungserhöhung Grenzen, da bei einem zu kleinen Pinhole das Signal/Rausch-Verhältnis am Detektor so ungünstig wird, dass die einzelnen Signale, die zu den Scanpositionen gewonnen wurden, nicht mehr zu einem sinnvollen Bild zusammengesetzt werden können. An diesem Aspekt setzt die sog. Airy-Scan-Mikroskopie an. Sie steigert die Auflösung, indem sie eine dichtere Anordnung der Scanpositionen erlaubt, ohne dass dabei das Pinhole entsprechend verkleinert werden müsste. Es wird vielmehr von einem Probenbereich, der in der klassischen Laser-Scanning-Mikroskopie einem zu großen Pinhole entspräche und deshalb nicht zur Auflösungssteigerung geeignet wäre, das Probenlicht ortsaufgelöst detektiert, d.h. auf einen ortsauflösenden Detektor abgebildet. Zugleich ist der Abstand der Scanpositionen so reduziert, so dass die einzelnen Scanpositionen nun überlappen. Durch eine mathematische Entfaltung wird dennoch für jede Scanposition Bildinformation gewonnen, so dass insgesamt ein Bild entsteht, dessen Pixelzahl mit der Anzahl der (nun verdichteten) Scanpositionen übereinstimmt. Da die Dichte der Scanpositionen gegenüber der klassischen Laser-Scanning-Mikroskopie gesteigert ist, ist letztlich auch die Auflösung verbessert.
  • Ein derartiges Überwinden der Auflösungsgrenze des klassischen Laser-Scanning-Mikroskops ist z. B. in EP 2317362 A1 beschrieben. Diese kombiniert in der dort in 5 dargestellten und beschriebenen Ausführungsform eine beugungsbegrenzte Beleuchtung der Probe mit einem Flächendetektor, wobei eine Scaneinrichtung so ausgebildet ist, dass das Beugungsbild des mit dem beugungsbegrenzten Beleuchtungsfleck beleuchteten Punkts auf dem Flächendetektor ruht. Man bezeichnet diese Anordnung als sogenannte „de-scanned“ Detektoranordnung. Sie wird üblicherweise dadurch erreicht, dass ein Scanner zwischen der Probe und dem Vereinigungspunkt von Beleuchtungseinrichtung und Abbildungseinrichtung angeordnet ist, der den Strahlengang ablenkt. Ein solcher Scanner wirkt sowohl auf den Beleuchtungsfleck als auch auf die Abbildung des mit dem Beleuchtungsfleck beleuchteten Punkts, so dass in Abbildungsrichtung nach dem Scanner der Strahlengang ruht. Eine Alternative zu einem solchen Scanner ist die Verwendung eines bewegbaren Probentischs, der die Probe verschiebt. Auch dann ruht das Beugungsbild auf dem Flächendetektor. Im Konzept der EP 2317362 A1 ist der Flächendetektor mit einer Ortsauflösung versehen, die bezogen auf den Abbildungsmaßstab eine Überabtastung des Beugungsbildes bewirkt, und es erlaubt, die Struktur des Beugungsbildes aufzulösen und somit die (gegenüber klassischer Laser-Scanning-Mikroskopie) verdichtete Anordnung der Scanpositionen möglich macht. Weitere Publikationen zur Airy-Scan-Mikroskopie sind US 8705172 , DE 102010049627 A1 , US 2011/0267688 sowie die Veröffentlichungen C. Mueller et al., Phys. Rev. Lett., 104, 198101, 2010; A. York et al., „Resolution doubling in live, multi-cellular organisms via multifocal Structured Illumination Microscopy", Nature Methods, Vol. 9, 2012; G. De Luca et al., „Re-scan confocal microscopy: scanning twice for better resolution", Biomedical Optics Express, 4 (11), S. 2644-2656; S. Roth, „Optical photon reassignment microscopy (OPRA)", arXiv: 1306.6230, I. Gregor et al., Proc. SPIE 10071, „Single Molecule Spectroscopy and Superresolution Imaging X", 10071 0C, 24. April 2017, doi: 10.1117/12.2255891; und A. Jesacher et al., „Three-dimensional information from two-dimensional scans: a scanning microscope with postacquisition refocusing capability", Optica 2, S. 210-213, 2015. Letztere Veröffentlichung verwendet eine Phasenmaske zur z-Kodierung der Tiefeninformation.
  • Da in der Laser-Scanning-Mikroskopie und auch der Airy-Scan-Mikroskopie das Bild sequenziell durch Scannen entsteht, werden die Bildpixel, also die Pixel des endgültigen Bildes, aus einer zeitlichen Abfolge des ausgelesenen Signals des Detektors generiert. Je feiner die Scanpositionen liegen, z.B. je enger zeitlich ausgelesen wird, umso kleinere Scanning-Pixel sind prinzipiell zuzuordnen. Dies ist über das sog. Nyquist-Theorem mit der Ortsauflösung verknüpft. Demnach ist eine Überabtastung um mind. den Faktor 2 erforderlich, um eine gewünschte Auflösung zu erzielen. Jedoch steigt bei schnellem Auslesen eines Detektors die Datenrate und/oder sinkt die effektive Aufnahmegeschwindigkeit, mit der das Mikroskop betrieben werden kann. In der Regel verschlechtert sich das Rauschverhalten des Detektors, wenn er mit hoher Datenrate betrieben wird, also hochfrequent ausgelesen werden soll.
  • Der Erfindung liegt die Aufgabe zugrunde, bei der Airy-Scan-Mikroskopie die Aufnahmegeschwindigkeit zu steigern (z.B. die Auslesegeschwindigkeit zu reduzieren), ohne an Auflösung einzubüßen.
  • Die Erfindung ist in den unabhängigen Ansprüchen definiert. Die abhängigen Ansprüche betreffen vorteilhafte Ausführungsformen und Weiterbildungen.
  • Die Erfindung sieht ein Verfahren zur hochaufgelösten Laser-Scan-Mikroskopie einer Probe gemäß dem Airy-Scan-Prinzip vor. Die Probe wird mit Beleuchtungsstrahlung beleuchtet. Ein beleuchteter Punkt auf der Probe wird beugungsbegrenzt in ein Beugungsbild auf einen Flächendetektor abgebildet. Dies erfolgt längs einer optischen Achse und gemäß einer Punktbildverwaschungsfunktion (im Folgenden auch als PSF bezeichnet), welche bekanntermaßen die Abbildungsauflösung beschreibt. Der Flächendetektor weist Pixel auf und hat eine Ortsauflösung, die eine Beugungsstruktur des Beugungsbildes auflöst. Der abgebildete Punkt wird relativ in mindestens zwei Scanrichtungen relativ zur Probe verschoben. Grundsätzlich sind Scanpositionen festgelegt, die individuelle Lagen des jeweils abgebildeten Probenflecks auf der Probe angeben. Die Scanpositionen werden so gewählt, dass jeder Punkt der Probe mehrmals in einem Beugungsbild enthalten ist. Dies ist bevorzugt bei einem Rasterscan für jede Scanrichtung erfüllt, d.h. der Überlapp ist dann in x-, y-, und z-Richtung gegeben. Benachbarte Scanpositionen sind in mindestens einer bestimmten Richtung gemäß einer Scanschrittweite angeordnet. Dann sind ihre Zentren um eine Scanschrittweite beabstandet. Natürlich könnte man sich statt auf die Zentren auch auf einen anderen Bezugspunkt beziehen. Die Pixelsignale werden den Scanpositionen, bei denen sie gewonnen wurden, zugeordnet.
  • Die Scanrichtungen können die x-Richtung und/oder die y-Richtung und/oder z-Richtung umfassen.
  • Je nach Ausgestaltung des Scanners sind die Scanpositionen dadurch mit Auslesezeitpunkten verknüpft. Wird der Scanner in einer Richtung kontinuierlich verschoben, definieren die Auslesezeitpunkte die Scanpositionen, d.h. die jeweilige Lage des Scanners, zu dem der Detektor ausgelesen wird. Zu Auslesezeitpunkten werden dann von den Detektorpixeln Pixelsignale ausgelesen. In der Regel erfolgt das in einem gleichmäßigen Auslesetakt. Bei stufenweise arbeitenden Scannern, ist es rein die Ansteuerung des Scanners, welche die Scanposition festlegt. Es gibt auch Mischformen, bei denen beispielsweise ein Scanner in einer Richtung (z.B. der x-Richtung) kontinuierlich verschoben wird, und stufenweise senkrecht dazu (z.B. in y-Richtung). Unter dem Begriff „Scanner“ wird hier auch ein Tiefenscan verstanden, d.h. der Scanner kann auch eine Verschiebung in z-Richtung bewirken, auch dies kontinuierlich oder stufenweise.
  • Auf Basis der ausgelesenen Pixelsignale und der zugehörigen Scanpositionen und auf Basis der Punktbildverwaschungsfunktion wird eine in der Regel dreidimensionale und/oder z. B. lineare Entfaltung durchgeführt und das Bild der Probe erzeugt. Dabei werden innerhalb der Entfaltung auf Basis der Pixelsignale für mindestens eine Scanrichtung Zwischenpositionen erzeugt. Mittels dieser Zwischenpositionen wird dann das Bild der Probe erzeugt, das mehr Bildpunkte enthält, als Scanpositionen. Die Auflösung ist damit über die der herkömmlichen Airy-Scan-Mikroskopie gesteigert.
  • Von Bedeutung ist es, dass sich die benachbarten Scanpositionen überlappen. Mit Bezug auf die Punktbildverwaschungsfunktion kann dies an der Halbwertsbreite orientiert werden. Die Scanschrittweite ist, um den Überlapp zu realisieren, kleiner als das Doppelte der Halbwertsbreite der Punktbildverwaschungsfunktion. Orientiert man sich an der optischen Auflösungsgrenze, ist die Scanschrittweise kleiner als die optische Auflösungsgrenze.
  • Da eine Entfaltung bei der gemäß dem Airy-Scan-Prinzip durchgeführten Mikroskopie i.d.R. eine Fouriertransformation beinhaltet, ist es in Ausführungsformen bevorzugt, die Zwischenpositionen im Fourierraum zu erzeugen, nachdem bei der Entfaltung für jede Scanposition die Pixelsignale fouriertransformiert wurden. Die Zwischenpositionen sind dann im Fourierraum durch Frequenzen, nämlich höhere Frequenzen, repräsentiert und im Ortsraum Positionen zwischen den Scanpositionen.
  • Um den Flächendetektor möglichst langsam auszulesen, wird in Ausführungsformen die Scanschrittweite in der Scanrichtung, bevorzugt allen Scanrichtungen, d. h. in x-Richtung und/oder y-Richtung und/oder z-Richtung, innerhalb eines Längenintervall gehalten. Das Längenintervall ist nach oben durch die doppelte Halbwertsbreite der Punktbildverwaschungsfunktion begrenzt. Dies stellt sicher, dass die abgebildeten Probenflecke benachbarter Scanpositionen überlappen. Nach unten ist das Längenintervall durch die Halbwertsbreite der Punktbildverwaschungsfunktion begrenzt; was über der Mindestanforderung des Nyquist-Theorems liegt. Die Halbwertsbreite der Punktbildverwaschungsfunktion wird jeweils längs der jeweiligen (x,y,z)-Richtung gemessen. Das Längenintervall hat somit in Ausführungsformen verschiedene Grenzen für verschiedene Richtungen. x und y sind Beispiele für Richtungen quer zur optischen Achse, die z-Richtung erstreckt sich längs der optischen Achse. Bei einer üblichen, rotationssymmetrischen PSF ist das Längenintervall für x- und y-Richtung meist identisch, für die z-Richtung i.d.R. größer.
  • Bevorzugt sind die Scanpositionen größer beabstandet, als es nach Nyquist und im Stand der Technik vorgeschrieben ist. Dies reduziert die Bildaufnahmedauer gegenüber herkömmlicher Airy-Scan-Mikroskopie und erhöht dennoch die Auflösung, denn es wird zur Erzeugung der Zwischenpositionen die Information aus verschiedenen Detektorpixeln genutzt. Dadurch ist eine Überabtastung nach Nyquist nicht mehr nötig. Durch das Wissen über die Punktbildverwaschungsfunktion bei der Abbildung (und optional auch bei der Beleuchtung, also Anregung) kann die Scanschrittweite mit der Pixelgröße des Flächendetektors, also dessen Auflösung, so ausbalanciert werden, dass die Anzahl der Scanpositionen minimiert werden kann. Bei einem z-Stapel kann so z.B. die Zahl der nötigen Scanebenen etwa halbiert werden.
  • Die Detektorpixel sind die Pixel des Flächendetektors. Die Bildpixel sind die Pixel des endgültigen, hochauflösenden Bildes. Durch das Auslesen des Detektors bei einer Scanposition entstehen jeweils Scanning-Pixel. Die Erfindung erhöht die Zahl der Bildpixel gegenüber der Zahl der Scanning-Pixel, was nach Nyquist und herkömmlicher Airy-Scan-Mikroskopie nicht möglich war. Durch Erzeugung der Zwischenpositionen in der dreidimensionalen Entfaltung können die Scanning-Pixel größer sein, als die Halbwertsbreite der Punktbildverwaschungsfunktion. Die Vergrößerung der Scanschrittweite bzw. Reduktion der Anzahl der Scanning-Pixel führt überraschenderweise nicht zu einem Auflösungsverlust. Somit ist im Resultat die Zeitdauer zum Erzeugen eines Bildes reduziert, ohne dass die Auslesegeschwindigkeit des Flächendetektors gesteigert werden müsste, oder es wird bei gleichbleibender Bildaufnahmedauer die Auflösung gesteigert.
  • Bei der Erzeugung von in z-Richtung gestapelten Bildern kann mitunter eine Uneindeutigkeitsproblematik auftreten. Sie besteht darin, dass zwar die Relativlage eines Punktes zur Fokalebene bekannt ist, nicht jedoch, ob der Punkt über oder unter der Fokalebene liegt. Eine Absolutlage ist also nicht bekannt. Wenn die Punktbildverwaschungsfunktion nicht modifiziert wird, ist sie im Wesentlichen symmetrisch zur optischen Achse (unvermeidbare Rest-Asymmetrien können sich durch unperfekte Bauteile dennoch ergeben - entscheidend ist, dass keine gezielte PSF-Manipulation erfolgt). Diese Symmetrie ist in der Regel eine Symmetrie zur Fokalebene. In der Regel ist die Punktbildverwaschungsfunktion auch symmetrisch zur optischen Achse, insbesondere ist sie rotationssymmetrisch. Bei den meisten Mikroskopen entspricht die Punktbildverwaschungsfunktion einer Sanduhr-artigen Form, wobei die Taille in der Fokalebene liegt. Etwaige verbleibende Asymmetrien, die sich durch die reale Verwirklichung der abbildenden Elemente ergeben, führen nicht zu einer derartigen Modifikation, dass die dreidimensionale Rekonstruktion aus einem einzigen Bild ein tiefenaufgelöstes Bild ohne Eindeutigkeiten ergäbe.
  • Diese Uneindeutigkeit kann in einer Weiterbildung behoben werden, indem ein Bildstapel aus mind. zwei in z-Richtung beabstandeten Scanebenen ausgeführt wird, deren Tiefenschärfebereiche sich axial, d.h. in z-Richtung, in einem Überlappbereich überlappen. Die Scanschrittweite liegt dann in z-Richtung des Längenintervalls. Der Tiefenschärfebereich (gegeben durch die doppelte Halbwertsbreite der Punktbildverwaschungsfunktion in axialer Richtung) der zwei Scanebenen ist also so, dass sich die Scanebenen in axialer Richtung teilweise (aber nicht vollständig) überdecken. Mittels Bildinformation aus dem Überlappbereich kann die Uneindeutigkeit vermieden werden. Durch die Bildinformation aus dem Überlappbereich kann die Absolutlage ermittelt und Rekonstruktion die Uneindeutigkeit behoben werden.
  • Der Strahlengang der Abbildung und Beleuchtung ist in Ausführungsformen damit frei von Elementen, die die Punktbildverwaschungsfunktion manipulieren und einen gezielten, bestimmbaren Grad der Asymmetrie einführen, welcher für die tiefenaufgelösten Ansätze, wie sie beispielsweise in der Publikation von Jesacher et al. erläutert sind, notwendig und verwendet sind. Insbesondere finden sich im Strahlengang keine astigmatischen Linsen oder Phasenmasken, welche die Punktbildverwaschungsfunktion asymmetrisch und tiefenabhängig auf bestimmte Weise gezielt modulieren.
  • Die dreidimensionale Rekonstruktion erzeugt in einer Ausführungsform Bilder in mehreren diskreten, axial beabstandeten Schnittebenen. Es ist in einer Weiterbildung bevorzugt, das tiefenaufgelöste Bild so zu erzeugen, dass es mehrere diskrete Schnittebenen enthält, deren Abstand kleiner ist, als die Scanschrittweite in axialer Richtung.
  • Mit der Beleuchtungsstrahlung kann die Abgabe von Fluoreszenzstrahlung angeregt werden, was das Signal/Rausch-Verhältnis verbessert und den Algorithmus insgesamt stärkt, insbesondere kann die Schnittdicke dann sehr dünn sein. Optional wird deshalb die Beleuchtungsstrahlung an einem Punkt in oder auf der Probe zu einem beugungsbegrenzten Beleuchtungsfleck gebündelt. Im Falle der beugungsbegrenzten Beleuchtung überlappt der beugungsbegrenzt abgebildete Spot vollständig mit dem Beleuchtungsfleck.
  • Das analog zum Verfahren vorgesehen Mikroskop hat eine Auswerteeinrichtung, welche die Verfahrensschritte durchführt und dazu geeignet ausgebildet ist. Analog zum Verfahren ist ein entsprechendes Mikroskop vorgesehen, das einen Beleuchtungsstrahlengang zur Beleuchtung der Probe mit den genannten Eigenschaften und einen Abbildungsstrahlengang zur beugungsbegrenzten Abbildung des Punkts in ein Beugungsbild auf den Flächendetektor mit seinen Pixeln umfasst. Soweit vorstehend und/oder nachfolgend Aspekte des Verfahrens zur Mikroskopie erläutert werden, betreffen diese Aspekte gleichermaßen die Auswerteeinrichtung, die geeignet ausgebildet ist, die entsprechenden Verfahrensschritte auszuführen. Es kann sich dabei um einen Computer handeln, der mit entsprechender Software oder mit entsprechendem Programmcode ausgestaltet ist. Umgekehrt betreffen Aspekte, die anhand des Mikroskops und/oder dessen Auswerteeinrichtung und/oder Arbeitsweise geschildert werden, gleichermaßen das Verfahren zur Mikroskopie.
  • Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
  • Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbespiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen:
    • 1 eine Schemadarstellung eines Mikroskops zur hochauflösenden Mikroskopie,
    • 2 eine Schemadarstellungen von Detektorpixeln,
    • 3 eine Schemadarstellungen eines Scanmusters und
    • 4 ein Ablaufdiagramm zum Mikroskopieverfahren.
  • 1 zeigt schematisch ein Konfokalmikroskop 20 mit hoher, z. B. über die Beugungsgrenze gesteigerter Auflösung nach dem Prinzip des sog. Airy-Scans, wie es z. B. aus der EP 2317362 A1 bekannt ist. Es besitzt eine Lichtquelle 6 zur Beleuchtung der Probe P mit einem Beleuchtungsfleck 14. Das Beleuchtungslicht B wird über eine Strahlformung 7, einen Spiegel 8 zu einem Strahlteiler 9 geleitet. Der Strahlteiler 9 ist so ausgebildet, dass er möglichst viel Beleuchtungslicht B reflektiert und zu einem Scanner 10 weiterleitet. Vom Scanner 10 wird das Beleuchtungslicht B über weitere Strahlformungsoptiken 11 und 12 zu einem Objektiv 13 geleitet. Das Objektiv 13 bündelt das Beleuchtungslicht B auf die Probe P zu einem Beleuchtungsfleck, der in einer Fokalebene liegt.
  • Das von der Probe im Beleuchtungsfleck, d.h. am Punkt 14 erzeugte Probenlicht D wird vom Objektiv 13 gesammelt und über umgekehrten Weg wie das Beleuchtungslicht B zum Strahlteiler 9 geleitet. Der Strahlteiler 9 ist so gestaltet, dass er einen möglichst großen Anteil des Probenlichts D transmittiert. Das so vom Strahlteiler 9 transmittierte Probenlicht D wird über einen weiteren Filter 15 und eine weitere Strahlformungsoptik 16 zum Detektor 17 geleitet. Der Detektor 17 detektiert das Probenlicht D, erzeugt daraus elektrische Signale und leitet diese über Leiter 23, 24, 25 an eine Steuer- und Auswerteeinrichtung C, z. B. einen Computer, weiter. Auf diese Weise wird ein Beugungsbild 18 des Punktes 14 aufgenommen, das, wie die Beugungsstruktur 18a zeigt, beugungsbegrenzt ist. Mathematisch wird das durch die Punktbildverwaschungsfunktion (auch als Punktbildübertragungsfunktion bezeichnet; engl. Point spread function, PSF) beschrieben.
  • Um ein Bild von der Probe P zu erhalten, wird der Punkt 14 mit dem Scanner 10 über die Probe P bewegt und dabei der Detektor 17 ausgelesen. Aus den gewonnenen Signalen wird von der Steuer- und Auswerteeinrichtung C ein Bild zusammengesetzt, welches z. B. mittels eines Monitors dargestellt werden kann.
  • Der Scanner 10 erlaubt eine zweidimensionale Verschiebung lateral, also in einer Ebene senkrecht zur optischen Achse des Objektivs. Zudem ist das Objektiv 13 durch einen Antrieb 26 so verstellbar, dass die Lage der Fokalebene in der Probe P verschoben wird.
  • In 2 ist der Detektor 17 in Draufsicht schematisch dargestellt. Um die hohe Auflösung zu erreichen, besitzt der Detektor 17 des Konfokalmikroskops 20 mehrere Detektionselemente oder Pixel 31. Die Anordnung besitzt exemplarisch einundzwanzig Pixel 31; es kann auch eine andere Anzahl an Pixeln verwendet werden. Die Größe der Pixel 31 ist so gewählt, dass sie wesentlich kleiner als das auf dem Detektor 17 erzeugte Beugungsbild 18 sind. Die Beugungsstruktur 18a wird somit insgesamt aufgelöst. Gleichzeitig ist die Anzahl der Pixel 31 und damit die gesamte Fläche des Detektors 17 so gewählt, dass ein wesentlicher Anteil des Probenlichts D für das Beugungsbild 18 detektiert werden kann. Zum Vergleich ist in 2 eine Detektorfläche 30 gestrichelt angedeutet, wie sie für ein Konfokalmikroskop mit gewöhnlicher Auflösung verwendet würde. Dabei ist der Begriff gewöhnliche Auflösung so zu verstehen, dass die erreichte Auflösung maximal dem Abbe-Limit entspricht. Das Konfokalmikroskop 20 mit erhöhter Auflösung hingegen arbeitet nach dem Airy-Prinzip so, dass theoretisch eine doppelt so hohe Auflösung erreicht werden kann. In der Praxis ist die Auflösungssteigerung etwas geringer, weil Strukturen nahe der Auflösungsgrenze nur noch sehr kontrastarm übertragen werden können. Es lassen sich real Auflösungen bis zum 1,7-fachen des Abbe-Limits erreichen.
  • Der Detektor 17 des Konfokalmikroskops 20 mit hoher Auflösung erfasst für jeden abgetasteten Punkt P Pixelsignale entsprechend der Anzahl der Detektorpixel 31. Die Probe P wird abgescannt, indem der Punkt 17 über die Probe P verschoben wird. Dies ist in 3 veranschaulicht. Zu aufeinanderfolgenden Auslesezeitpunkten werden die Detektorpixel 31 ausgelesen. Da zugleich der Scanner 10 den Punkt 14 über die Probe verschiebt, liegt zu jedem Auslesezeitpunkt eine Scanposition 32 vor (in 3 der Einfachheit halber als Kreise gezeichnet). Bei einem in x-Richtung kontinuierlich vorschiebenden Scanner legt der zeitliche Abstand der Auslesezeitpunkte zusammen mit der Scangeschwindigkeit eine örtliche Scanschrittweite d fest, gemäß der benachbarte Scanpositionen 31 angeordnet sind (z.B. Abstand der Zentren oder anderer fester Bezugspunkte). Dies gilt entlang einer, nämlich der schnellsten Scanachse eines Rasterscans. In 3 ist das die x-Richtung. Bei einem vollständig intermittierend arbeitenden Scanner ist der Auslesetakt ohne Belang für die Definition der Scanposition. Für die bis zu zwei anderen Scanachsen (y, z) des Rasterscans legt hier die Scanneransteuerung alleine die Scanschrittweite d fest.
  • Die Scanschrittweite d ist in mind. einer bestimmten Richtung (z. B. z) mind. so groß wie die Halbwertsbreite der PSF. Diese Untergrenze ist also richtungsabhängig. Dies ist gleichbedeutend mit der halben Auflösung, d.h. der Hälfte der noch auflösbaren Struktur, in der jeweiligen Richtung. Die Scanschrittweite d ist andererseits nicht kleiner größer als die doppelte Halbwertsbreite der PSF in der jeweiligen Richtung, so dass die Scanpositionen überlappen. Somit ist auch die Obergrenze richtungsabhängig.
  • Jeder Probenpunkt liegt zwar mind. einmal in jedem Scanning-Pixel, das durch die Projektion der Detektorfläche in die Probe an der dem Scanning-Pixel zugeordneten Scanposition definiert ist - aber nicht mind. zweimal, wie vom Nyquist-Theorem gefordert.
  • Jedes Detektorpixel 31 erfasst als Pixelsignal ein Rohbildsignal von der Probe. Die Rohbildsignale unterscheiden sich voneinander, wobei die Unterschiede durch den lateralen Abstand des Punkts 14 relativ zum vom jeweiligen Detektorpixel detektierten Probenbereich bestimmt sind. Die Rohbildsignale werden mathematisch durch eine Faltung des „wirklichen“ Probenbildes mit der PSF des jeweiligen Detektorpixels 31 beschrieben.
  • Die Funktion der Auswerteeinheit C ist es, aus allen Pixelsignalen ein Bild zu rekonstruieren, das möglichst genau dem Original der Probe entspricht. Dazu wird eine Entfaltung (engl. Deconvolution, DCV) und anschließende Zusammensetzung der so entfalteten Rohbildsignale verwendet, wobei die Prozesse Entfaltung und Zusammensetzung prozesstechnisch ineinander übergehen können.
  • Der Ablauf zur Bilderzeugung ist in 4 schematisch dargestellt, die vier grundsätzliche Schritte S1-S4 darstellt. Im Schritt S1 wird ein Scanvorgang über die Probe gestartet, in welchem der Punkt 14 über die Probenoberfläche längs der x-Richtung verschoben wird. Nachdem eine Zeile in x-Richtung abgefahren wurde, folgt eine Verschiebung in y-Richtung als Zeilensprung. Wurde so mehrere Zeilen abgearbeitet, wird eine zweite Scanebene eingestellt, d.h. eine Verstellung erfolgt in z-Richtung. Dies ist in 3 der Einfachheit halber mit der Verstellung in y-Richtung zusammengefasst. Die Verschiebung in y-Richtung tritt in 3 auf, wenn man die Darstellung als Draufsicht auf die Probe P auffasst. Die Verschiebung in z-Richtung erscheint hingegen, wenn man die Darstellung der 3 als Schnittdarstellung senkrecht zur Probenoberfläche, d.h. längs der optischen Achse des Strahlungseinfalls auffasst.
  • Im Schritt S2 wird während der Verstellung, die im Schritt S1 eingeleitet wurde, fortwährend zu bestimmten, in einer Scanschnittweite gestaffelten Scanpositionen, z.B. gegeben durch eine kontinuierliche Scannerverschiebung und äquidistante Auslesezeitpunkte, das Signal des Detektors 17 für alle Detektorpixel 31 ausgelesen. Jeder Auslesezeitpunkt legt z. B. zusammen mit dem scannenden Verschiebevorgang eine der Scanpositionen 32 fest. Die Auslesezeitpunkte sind dann so gewählt, dass in x-Richtung z zusammen mit der Verschiebegeschwindigkeit die in 3 eingestellte Scanschrittweite d erreicht wird.
  • Die Scanpositionen 32 überlappen; jedoch ist der Überlapp geringer, als die halbe Abmessung des Scanflecks bzw. die Halbwertsbreite der Punktbildverwaschungsfunktion.
  • Im Schritt S3 werden die Pixelsignale der Detektorpixel 31 den Scanpositionen 32 zugeordnet und der Scanvorgang wird abgeschlossen.
  • Anschließend wird im Schritt S4 aus den Pixelsignalen mit den zugeordneten Scanpositionen unter Berücksichtigung der PSF mittels einer rechnerischen Rekonstruktion ein Bild der Probe P erzeugt.
  • Wie bereits erwähnt, erhält in einer Ausführungsform der Beleuchtungsstrahlengang und der Abbildungsstrahlengang kein Manipulationselement, um die Punktbildverwaschungsfunktion gezielt asymmetrisch zu machen; insbesondere sind keine astigmatischen Linsen oder Phasenmasken vorgesehen. Der Begriff der Manipulation stellt dabei auf eine gezielte Beeinflussung der Punktbildverwaschungsfunktion ab, mit der eine Asymmetrie erzeugt wird, welche insbesondere bei der 3D-Rekonstruktion eine Uneindeutigkeit zwischen Schichten, die unterhalb der Fokalebene liegen, und Schichten, die oberhalb der Fokalebene liegen, vermeidet. Eine gezielte Manipulation ist also gleichbedeutend damit, dass Schichten unterhalb der Fokalebene eine eindeutig andere Punktbildverwaschungsfunktion haben, als Schichten, die oberhalb der Fokalebene liegen. Eine solche Manipulation erfordert üblicherweise den Einsatz von Phasenmasken und/oder astigmatischen Elementen im Strahlengang.
  • Bei zusätzlich beugungsbegrenzter Beleuchtung wird die maximale Auflösung erreicht. Dieser Fall sei deshalb exemplarisch zur Erläuterung der Rekonstruktion geschildert. Zudem erfolgt exemplarisch die Auflösungssteigerung in z-Richtung.
  • Das insgesamt von allen Pixeln 31 detektierte Signal, D(r,p) kann als Produkt der Anregungs-PSF, E(r), und der Intensitätsverteilung O(r) des Probelichtes, gefaltet mit der Abbildungs-PSF, H(r) aufgefasst werden: D ( r , p ) = r O ( p r ' ) E ( r ' ) H ( r ' + r ) d r '
    Figure DE102019100184A1_0001
  • In Gleichung (1) bezeichnet p = (px, py, pz) den Ort der Anregung, d.h. auf der Probe und r = (x, y, z) den Ort des Detektorpixels 31. Aufgrund des Flächendetektors kann in D z = 0 gesetzt werden, da der Flächendetektor sich nur in x und y, nicht aber in z erstreckt.
  • Damit schreibt sich Gleichung (1): D ( x , y , p x , p y , p z ) = x y z O ( p x x ' , p y y ' , p z z ' ) E ( x ' , y ' , z ' ) H ( x + x ' , y + y ' , z ' ) d x ' d y ' d z '
    Figure DE102019100184A1_0002
  • Bei herkömmlicher Airy-Scan-Auswertung würde über die Koordinaten des Flächendetektors, also die einzelnen Pixel des Flächendetektors, in x und y aufsummiert. Dies erfolgt nun nicht. Stattdessen werden auf Basis der Pixelsignale Zwischenpositionen erzeugt. Da nach Gleichung (2) die Entfaltung im Fourierraum arbeitet, entsprechen diese Zwischenpositionen hier zusätzlichen, höheren Frequenzen. Sie werden hier dennoch als Zwischenposition aufgefasst, da sie örtlich gesehen Zwischenpositionen zu den Scanpositionen darstellen, auch wenn sie im Fourierraum als Frequenzen erscheinen. Das Erzeugen der Zwischenpositionen erfolgt beispielsweise mittels eines Dirac-Kamms δ (vgl. https://en.wikipedia.org/wiki/Dirac_comb) in x, y und z: D S ( x , y , p x , p y , p z ) = k = + D ( x , y , p x , p y , p z ) δ ( p z k Δ p z )
    Figure DE102019100184A1_0003
    Darin steht Δpz für den Abstand der zusätzlichen Zwischenposition in z. Eine Fouriertransformation der Gleichung (3) hinsichtlich px, py, pz liefert D S f ( x , y , ω p x , ω p y , ω p z ) = k = + D f ( x , y , ω p x , ω p y , ω p z k Δ p z )
    Figure DE102019100184A1_0004
  • Die Fouriertransformierte des Dirac-Kammes der Periode Δpz ist ein Dirac-Kamm mit Periode 1/Δpz. Setzt man die fouriertransformierte Gleichung (1) in Gleichung (4) ein, erhält man ein allgemeines Gleichungssystem der Entmischung: D S f ( x , y , ω p x , ω p y , ω p z ) = k = 0 f ( ω p x , ω p y , ω p z i Δ p z ) F T x ' , y ' , z ' { E ( x ' , y ' , z ' ) H ( x + x ' , y + y ' , z ' ) } ( ω p x , ω p y , ω p z k Δ p z )
    Figure DE102019100184A1_0005
    Substituiert man FT x ' , y ' , z , { E ( x ' , y ' , z ' ) H ( x + x ' , y + y ' , z ' ) }  durch EH ( x , y , ω p x , ω p y , ω p z )  erh a ¨ lt man :
    Figure DE102019100184A1_0006
    D S f ( x , y , ω p x , ω p y , ω p z ) = k = + 0 f ( ω p x , ω p y , ω p z i Δ p z ) E H ( x , y , ω p x , ω p y , ω p z i Δ p z )
    Figure DE102019100184A1_0007
  • Der Einfachheit halber sei x und y die Detektorpixelposition und i der Pixelindex: D S i f ( ω p x , ω p y , ω p z ) = k = + 0 f ( ω p x , ω p y , ω p z i Δ p z ) E H i ( ω p x , ω p y , ω p z i Δ p z )
    Figure DE102019100184A1_0008
  • Gleichung (7) steigert aufgrund der Berücksichtigung der x, y-Koordinaten der Detektorpixel in z-Richtung die Abtastung im Objektraum gegenüber der Abtastung durch die gemessenen Scanpositionen. Die Transformation ist durch die „konfokale“ Fouriertransformation der PSF, E H i ( ω p x , ω p y , ω p z k Δ p z )
    Figure DE102019100184A1_0009
    vollständig definiert. Die z-Dimension im Objektraum kann z.B. durch eine lineare Regressionsanalyse im Fourierraum gewonnen werden. In der Entfaltung werden aufgrund der Berücksichtigung der x, y-Koordinaten der Detektorpixel die genannten Zusatzpositionen erzeugt, so dass im Ergebnis das Bild der Probe mehr Pixel in der bestimmten Richtung (hier z-Richtung) enthält, als es Scanpositionen in dieser bestimmten Scanrichtung gab.
  • Dieses Vorgehen ist nicht auf die Verbesserung in z-Richtung beschränkt, sondern kann ganz generell auf alle drei Richtungen x, y und z angewendet werden. Hier kann dann ein dreidimensionaler Dirac-Kamm verwendet werden, der wie folgt lautet D s ( x , y , p x , p y , p z ) = k = j = i = D ( x , y , p x , p y , p z ) δ ( p x i Δ p x ) δ ( p y j Δ p y ) δ ( p z k Δ p z )
    Figure DE102019100184A1_0010
  • Die Fouriertransformation dieser Gleichung lautet dann analog zur Berechnung der Gleichung (3): D s f ( x , y , ω p x , ω p y , ω p z ) = k = j = i = D f ( x , y , ω p x i Δ p x , ω p y i Δ p y , ω p z i Δ p z )
    Figure DE102019100184A1_0011
  • Setzt man dann die Gleichung (9) in die Gleichung (8) ein, erhält man einen Gleichungssatz für die Entmischung, der sich wie folgt schreibt: D s f ( x , y , ω p x , ω p y , ω p z ) = k = j = i = O f ( ω p x i Δ p x , ω p y i Δ p y , ω p z i Δ p z ) × F T x ' , y ' , z ' { E ( x ' , y ' , z ' ) H ( x + x ' , y + y ' , z + z ' ) } ( ω p x i Δ p x , ω p y i Δ p y , ω p z i Δ p z )
    Figure DE102019100184A1_0012
  • Das allgemeine Gleichungssystem vereinfacht sich, wenn man nur eine Richtung betrachtet in die Gleichung (7) (dort für die z-Richtung). Selbstverständlich ist analog auch eine Reduktion auf zwei Richtungen möglich.
  • Allen Ausführungsformen ist es gemein, dass die individuellen Pixelsignale der Detektorpixel dazu verwendet werden, um in der Entfaltung Zwischenpositionen in mindestens einer bestimmten Richtung zu ermitteln und damit die Scanposition und letztlich die Scanning-Pixel um weitere Zwischenpositionen zu ergänzen. Dadurch erhält das Bild eine höhere Anzahl an Pixeln, als es Scanning-Pixel, also Scanpositionen, gab.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 3013467 A [0003]
    • EP 2317362 A1 [0005, 0026]
    • US 8705172 [0005]
    • DE 102010049627 A1 [0005]
    • US 2011/0267688 [0005]
  • Zitierte Nicht-Patentliteratur
    • C. Mueller et al., Phys. Rev. Lett., 104, 198101, 2010 [0005]
    • A. York et al., „Resolution doubling in live, multi-cellular organisms via multifocal Structured Illumination Microscopy“, Nature Methods, Vol. 9, 2012 [0005]
    • G. De Luca et al., „Re-scan confocal microscopy: scanning twice for better resolution“, Biomedical Optics Express, 4 (11), S. 2644-2656 [0005]
    • S. Roth, „Optical photon reassignment microscopy (OPRA)“, arXiv: 1306.6230, I. Gregor et al., Proc. SPIE 10071, „Single Molecule Spectroscopy and Superresolution Imaging X“, 10071 0C, 24. April 2017, doi: 10.1117/12.2255891 [0005]
    • A. Jesacher et al., „Three-dimensional information from two-dimensional scans: a scanning microscope with postacquisition refocusing capability“, Optica 2, S. 210-213, 2015 [0005]

Claims (13)

  1. Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe (P), wobei folgende Schritte ausgeführt werden: a) die Probe (P) wird an einem Punkt (14) in oder auf der Probe (P) mit Beleuchtungsstrahlung (B) beleuchtet, b) der Punkt (14) wird längs einer optischen Achse und gemäß einer Punktbildverwaschungsfunktion in ein Beugungsbild (18) auf einen ortsauflösenden und Detektorpixel (31) aufweisenden Flächendetektor (17) abgebildet, wobei eine Beugungsstruktur (18a) des Beugungsbildes (18) aufgelöst wird, c) der Punkt (14) wird relativ zur Probe (P) in mind. zwei Scanrichtungen verschoben und in verschiedenen Scanpositionen (32) werden von den Detektorpixeln Pixelsignale ausgelesen, wobei die Pixelsignale jeweils derjenigen Scanposition (32) zugeordnet werden, zu der sie ausgelesen wurden, und benachbarte Scanpositionen (32) sich überlappen und gemäß einer Scanschrittweite (d) angeordnet sind, d) aus den ausgelesenen Pixelsignalen und den zugeordneten Scanpositionen (32) wird ein Bild der Probe (P) erzeugt, das eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung gesteigert ist, dadurch gekennzeichnet, dass in Schritt d) auf Basis der ausgelesenen Pixelsignale und den zugordneten Scanpositionen (32) und auf Basis der Punktbildverwaschungsfunktion eine Entfaltung durchgeführt wird, wobei in der Entfaltung auf Basis der Pixelsignale für mind. eine der Scanrichtungen Zwischenpositionen erzeugt werden, und das Bild der Probe (P) erzeugt wird, das mehr Bildpunkte enthält als Scanpositionen (32).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in Schritt c) die Scanschrittweite (d) größer ist als die Halbwertsbreite der Punktbildverwaschungsfunktion.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei der Entfaltung für jede Scanposition (32) die Pixelsignale Fourier transformiert werden und die Zwischenpositionen im Fourierraum erzeugt werden.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine lineare Entfaltung durchgeführt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Scanrichtung eine längs der optischen Achse ausgerichtete z-Richtung umfasst und der Punkt (14) relativ zur Probe (P) in mind. zwei, in z-Richtung beabstandeten Scanebenen verschoben wird, und im Schritt d) ein z-Stapel aus Bildern der Probe erzeugt wird, wobei der z-Abstand im Stapel geringer ist, als die Scanschrittweite (d) in z-Richtung.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Punktbildverwaschungsfunktion nicht zum Erzeugen einer Asymmetrie manipuliert wird und mittels Bildinformation aus dem Überlappbereich in der dreidimensionalen Rekonstruktion eine Absolutlage zur Fokalebene ermittelt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der Punkt in mind. einer der Scanrichtungen kontinuierlich verschoben wird und die Auslesezeitpunkte Scanpositionen (32) in dieser Scanrichtung festlegen.
  8. Mikroskop zur hochauflösenden Scanning-Mikroskopie einer Probe (P), das aufweist: - einen Beleuchtungsstrahlengang zum Beleuchten eines Punktes (14) auf oder in der Probe (P), - einen Abbildungsstrahlengang zur beugungsbegrenzen Abbildung des Punkts (14) längs einer optischen Achse in ein Beugungsbild (18) auf einen ortsauflösenden und Detektorpixel (31) aufweisenden Flächendetektor (17), wobei der Abbildungsstrahlengang eine Punktbildverwaschungsfunktion aufweist und der Flächendetektor (17) die eine Beugungsstruktur (18a) des Beugungsbildes (18) auflöst, - eine Scaneinrichtung (10) zum Verschieben des Punkts (14) relativ zur Probe (P) in mind. zwei Scanrichtungen, - eine Auswerteeinrichtung (C), die mit dem Flächendetektor (17) und der Scaneinrichtung (10) steuernd verbunden ist und konfiguriert ist -- die Scaneinrichtung (10) zur Verschiebung des Punkts (14) relativ zur Probe (P) anzusteuern -- zu Scanposition von den Detektorpixeln (31) Pixelsignale auszulesen und die Pixelsignale jeweils derjenigen Scanposition (32) zuzuordnen, zu der sie ausgelesen wurden, wobei benachbarte Scanpositionen (32) überlappen und gemäß einer Scanschrittweite (d) angeordnet sind, -- aus den ausgelesenen Pixelsignalen und den zugeordneten Scanpositionen (32) ein Bild der Probe (P) zu erzeugen, das eine Auflösung aufweist, die über eine Auflösungsgrenze des Abbildungsstrahlengangs gesteigert ist, dadurch gekennzeichnet, dass die Auswerteeinrichtung (C) weiter konfiguriert ist, auf Basis der ausgelesenen Pixelsignale und den zum jeweiligen Auslesezeitpunkt gehörenden Scanpositionen (32) und auf Basis der Punktbildverwaschungsfunktion eine Entfaltung durchzuführen, wobei die Auswerteeinrichtung (C) konfiguriert ist, in der Entfaltung auf Basis der Pixelsignale für mind. eine der Scanrichtungen Zwischenpositionen zu erzeugen, und das Bild der Probe (P) zu erzeugen, das mehr Bildpunkte enthält als Scanpositionen (32).
  9. Mikroskop nach Anspruch 8, dadurch gekennzeichnet, dass die Scanschrittweite (d) größer ist als die Halbwertsbreite der Punktbildverwaschungsfunktion.
  10. Mikroskop nach Anspruch nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Auswerteeinrichtung (C) konfiguriert ist, bei der Entfaltung für jede Scanposition (32) die Pixelsignale Fourier zu transformieren und die Zwischenpositionen im Fourierraum zu erzeugen.
  11. Mikroskop nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Auswerteeinrichtung (C) konfiguriert ist, eine lineare Entfaltung durchzuführen.
  12. Mikroskop nach Anspruch nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass die bestimmte Richtung eine längs der optischen Achse (z) ausgerichtete z-Richtung umfasst und die Auswerteeinrichtung (C) konfiguriert ist, die Scaneinrichtung so anzusteuern, dass der Punkt relativ zur Probe (P) in mind. zwei, in z-Richtung beabstandeten Scanebenen verschoben wird, und weiter konfiguriert ist, einen z-Stapel aus Bildern der Probe zu erzeugen, wobei der z-Abstand im Stapel geringer ist, als die Scanschrittweite (d) in z-Richtung.
  13. Mikroskop nach Anspruch 12, dadurch gekennzeichnet, dass die Punktbildverwaschungsfunktion nicht zum Erzeugen einer Asymmetrie manipuliert ist und die Auswerteeinrichtung (C) konfiguriert ist, mittels Bildinformation aus dem Überlappbereich in der dreidimensionalen Rekonstruktion eine Absolutlage zur Fokalebene zu ermitteln.
DE102019100184.6A 2019-01-07 2019-01-07 Hochauflösende Scanning-Mikroskopie Pending DE102019100184A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019100184.6A DE102019100184A1 (de) 2019-01-07 2019-01-07 Hochauflösende Scanning-Mikroskopie
US16/732,585 US11209636B2 (en) 2019-01-07 2020-01-02 High-resolution scanning microscopy
CN202010009184.3A CN111413791B (zh) 2019-01-07 2020-01-06 高分辨率扫描显微术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019100184.6A DE102019100184A1 (de) 2019-01-07 2019-01-07 Hochauflösende Scanning-Mikroskopie

Publications (1)

Publication Number Publication Date
DE102019100184A1 true DE102019100184A1 (de) 2020-07-09

Family

ID=71104227

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019100184.6A Pending DE102019100184A1 (de) 2019-01-07 2019-01-07 Hochauflösende Scanning-Mikroskopie

Country Status (3)

Country Link
US (1) US11209636B2 (de)
CN (1) CN111413791B (de)
DE (1) DE102019100184A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6423841B2 (ja) * 2016-10-11 2018-11-14 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
DE102019107267A1 (de) * 2019-03-21 2020-09-24 Carl Zeiss Microscopy Gmbh Verfahren zur hochauflösenden Scanning-Mikroskopie

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3013467A (en) 1957-11-07 1961-12-19 Minsky Marvin Microscopy apparatus
US6166853A (en) * 1997-01-09 2000-12-26 The University Of Connecticut Method and apparatus for three-dimensional deconvolution of optical microscope images
EP2317362A1 (de) 2009-10-28 2011-05-04 Carl Zeiss MicroImaging GmbH Mikroskopisches Verfahren und Mikroskop mit gesteigerter Auflösung
DE102015107367A1 (de) * 2015-05-11 2016-11-17 Carl Zeiss Ag Auswertung von Signalen der Fluoreszenzrastermikroskopie unter Verwendung eines konfokalen Laserscanning-Mikroskops

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221190A (ja) * 2006-05-01 2006-08-24 National Institute Of Advanced Industrial & Technology 共焦点走査型顕微鏡システム
KR100983548B1 (ko) * 2010-04-12 2010-09-24 이화여자대학교 산학협력단 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법
DE102013019348A1 (de) * 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013019347A1 (de) * 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
EP2963672A1 (de) * 2014-06-30 2016-01-06 FEI Company Computergestützte Rastermikroskopie mit verbesserter Auflösung
DE102014111167A1 (de) * 2014-08-06 2016-02-11 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche
DE102015116435A1 (de) * 2015-09-29 2017-03-30 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Spektralbereiche
CN106770095A (zh) * 2016-11-30 2017-05-31 浙江大学 一种基于非线性光斑调制的超分辨显微成像方法和装置
CN108364342B (zh) * 2017-01-26 2021-06-18 中国科学院脑科学与智能技术卓越创新中心 光场显微系统及其三维信息重构方法和装置
JP7144438B2 (ja) * 2017-04-04 2022-09-29 ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション 顕微鏡における高精度波長抽出用の位相板
DE102017113683A1 (de) * 2017-06-21 2018-12-27 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche
DE102017119531A1 (de) 2017-08-25 2019-02-28 Carl Zeiss Microscopy Gmbh Hochauflösende 2D-Mikroskopie mit verbesserter Schnittdicke
DE102018104693A1 (de) * 2018-03-01 2019-09-05 Carl Zeiss Microscopy Gmbh Verfahren zur beschleunigten, hochauflösenden Scanning-Mikroskopie
CN108982452B (zh) * 2018-07-26 2021-02-02 深圳大学 基于双螺旋点扩散函数的多焦点扫描三维成像方法及系统
EP3614190A1 (de) * 2018-08-20 2020-02-26 Till GmbH Mikroskopvorrichtung mit virtuellem objektiv
DE102019107267A1 (de) * 2019-03-21 2020-09-24 Carl Zeiss Microscopy Gmbh Verfahren zur hochauflösenden Scanning-Mikroskopie

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3013467A (en) 1957-11-07 1961-12-19 Minsky Marvin Microscopy apparatus
US6166853A (en) * 1997-01-09 2000-12-26 The University Of Connecticut Method and apparatus for three-dimensional deconvolution of optical microscope images
EP2317362A1 (de) 2009-10-28 2011-05-04 Carl Zeiss MicroImaging GmbH Mikroskopisches Verfahren und Mikroskop mit gesteigerter Auflösung
DE102010049627A1 (de) 2009-10-28 2011-05-05 Carl Zeiss Microimaging Gmbh Mikroskopisches Verfahren und Mikroskop mit gesteigerter Auflösung
US20110267688A1 (en) 2009-10-28 2011-11-03 Ingo Kleppe Microscopy Method and Microscope With Enhanced Resolution
US8705172B2 (en) 2009-10-28 2014-04-22 Carl Zeiss Microscopy Gmbh Microscopy method and microscope with enhanced resolution
DE102015107367A1 (de) * 2015-05-11 2016-11-17 Carl Zeiss Ag Auswertung von Signalen der Fluoreszenzrastermikroskopie unter Verwendung eines konfokalen Laserscanning-Mikroskops

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A. Jesacher et al., „Three-dimensional information from two-dimensional scans: a scanning microscope with postacquisition refocusing capability", Optica 2, S. 210-213, 2015
A. York et al., „Resolution doubling in live, multi-cellular organisms via multifocal Structured Illumination Microscopy", Nature Methods, Vol. 9, 2012
C. Mueller et al., Phys. Rev. Lett., 104, 198101, 2010
G. De Luca et al., „Re-scan confocal microscopy: scanning twice for better resolution", Biomedical Optics Express, 4 (11), S. 2644-2656
P. SARDER, A. NEHORAI: "Deconvolution methods for 3-D fluorescence microscopy images, In: IEEE Signal Processing Magazine, vol. 23, no. 3, pp. 32-45, May 2006. doi: 10.1109/MSP.2006.1628876 *
S. Roth, „Optical photon reassignment microscopy (OPRA)", arXiv: 1306.6230, I. Gregor et al., Proc. SPIE 10071, „Single Molecule Spectroscopy and Superresolution Imaging X", 10071 0C, 24. April 2017, doi: 10.1117/12.2255891

Also Published As

Publication number Publication date
CN111413791A (zh) 2020-07-14
CN111413791B (zh) 2024-03-12
US20200218047A1 (en) 2020-07-09
US11209636B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
EP1248132B1 (de) Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
EP3295236B1 (de) Auswertung von signalen der fluoreszenzrastermikroskopie unter verwendung eines konfokalen laserscanning-mikroskops
EP3447559B1 (de) Hochauflösende 2d-mikroskopie mit verbesserter schnittdicke
EP1943625B1 (de) Verfahren und vorrichtung zur rekonstruktion von bildern
EP2317362A1 (de) Mikroskopisches Verfahren und Mikroskop mit gesteigerter Auflösung
WO2012168065A1 (de) Hochauflösende lumineszenzmikroskopie
DE102013015933A1 (de) Hochauflösende Scanning-Mikroskopie
EP3650905B1 (de) Beschleunigte verfahren und vorrichtungen für die dreidimensionale mikroskopie mit strukturierter beleuchtung
WO2017055405A1 (de) Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier spektralbereiche
DE102013021542A1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
EP1862839A1 (de) Mikroskop mit erhöhter Auflösung
DE10151216A1 (de) Verfahren zur optischen Erfassung von charakteristischen Größen einer beleuchteten Probe
EP3692409B1 (de) Konfokalmikroskop mit hoher auflösung
WO2013053859A1 (de) Hochauflösende lumineszenzmikroskopie
EP2277029A1 (de) Auflösungsgesteigerte lumineszenzmikroskopie
DE102020211380A1 (de) Verfahren zum superauflösenden Auswerten von strukturiert beleuchteten Mikroskopbildern und Mikroskop mit strukturierter Beleuchtung
DE10155002A1 (de) Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
EP3655810B1 (de) Lichtblattmikroskopisches verfahren zur erzeugung eines volumenbildes einer probe und lichtblattmikroskop
DE102019100184A1 (de) Hochauflösende Scanning-Mikroskopie
DE10118463A1 (de) Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
DE102015116598A1 (de) Verfahren und Mikroskop zur hochauflösenden Abbildung mittels SIM
WO2017013033A1 (de) Hochauflösende, spektral selektive scanning-mikroskopie einer probe
DE102009015945A1 (de) Vorrichtung und Verfahren zur Abbildung der Oberfläche einer Probe
DE102017105719A1 (de) Multi-Pinhole-Lichtrastermikroskop und -mikroskopieverfahren
DE102020201806A1 (de) Referenzprobe für ein Mikroskop und Verwendungen

Legal Events

Date Code Title Description
R163 Identified publications notified