EP4229397A1 - Verfahren und fluoreszenzmikroskop zur ortsbestimmung einzelner fluoreszierender farbstoffmoleküle durch adaptive abtastung - Google Patents

Verfahren und fluoreszenzmikroskop zur ortsbestimmung einzelner fluoreszierender farbstoffmoleküle durch adaptive abtastung

Info

Publication number
EP4229397A1
EP4229397A1 EP21794800.9A EP21794800A EP4229397A1 EP 4229397 A1 EP4229397 A1 EP 4229397A1 EP 21794800 A EP21794800 A EP 21794800A EP 4229397 A1 EP4229397 A1 EP 4229397A1
Authority
EP
European Patent Office
Prior art keywords
scanning
light
fluorescence
image
dye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21794800.9A
Other languages
English (en)
French (fr)
Inventor
Benjamin HARKE
Christian Wurm
Lars Kastrup
Roman Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Abberior Instruments GmbH
Original Assignee
Abberior Instruments GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Abberior Instruments GmbH filed Critical Abberior Instruments GmbH
Publication of EP4229397A1 publication Critical patent/EP4229397A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the invention relates to high-resolution localization microscopy based on the MINFLUX principle.
  • it relates to a method for customizing the scanning parameters when scanning individual dye molecules of a fluorescent dye at multiple scanning positions for the purpose of determining the location of the dye molecules.
  • the invention further relates to a fluorescence microscope carrying out the method.
  • the publication WO 2015/097000 A1 describes a method for locating spatially isolated, fluorescent dye molecules, which is now known under the acronym MINFLUX, in which each of the individual dye molecules is scanned at different positions with an intensity distribution of excitation light having an intensity minimum.
  • the fluorescence emission excited by the excitation light is registered for each of the scanning positions, and the position of the respective molecule is deduced from the profile of the intensity of the fluorescence light along the positions of the intensity minimum.
  • this location determination is subject to errors, but the error in the location determination can be reduced by using the method iteratively.
  • the scanning positions are adjusted before each iteration step, ie arranged closer to the respectively assumed location of the molecule.
  • the intensity of the excitation light is increased, so that the intensity gradient increases near the intensity minimum.
  • the measurement time can be increased, which corresponds to an increase in the intensity of the excitation light with respect to the amount of effective light.
  • a (high-resolution) image of the distribution of the molecules in the sample can be obtained from the location data of the individual molecules (“MINFLUX imaging”).
  • This method corresponds to the well-known procedure from STORM and PALM microscopy for generating high-resolution images from a large number of localizations of individual fluorescent molecules, but in the case of MINFLUX microscopy it results in a further increased spatial resolution of the images of 5 nm.
  • DE 10 2017 104 736 B3 describes a variant of the MINFLUX method in which the isolated fluorescent dye molecules present are not scanned by illuminating them with an intensity distribution of excitation light having a local intensity minimum, but with two essentially complementary intensity distributions of an excitation light and a fluorescence prevention light .
  • the intensity distribution of the excitation light has a local intensity maximum
  • the intensity distribution of the fluorescence-preventing light has a local intensity minimum at the same point.
  • the fluorescence prevention light can specifically be STED light, which prevents fluorescence dye molecules excited in the edge regions of the intensity distribution of the excitation light from emitting fluorescence photons by triggering stimulated emission.
  • the excitation light and the fluorescence prevention light are superimposed with such intensity distributions as is also the case in RESOLFT and STED microscopy.
  • This variant of the MINFLUX method makes use of the fact that the intensity of the fluorescent light that is registered for the respective fluorescent dye molecule depends on its distance from the local intensity minimum of the fluorescence prevention light, and that its position can be determined with high accuracy from the multiple positions of the intensity minimum of the Fluorescence prevention light registered intensities of the fluorescent light can be determined.
  • the local intensity minimum can be positioned at a few positions in the sample and the intensities of the registered fluorescent light can be evaluated according to the same principles as in MINFLUX microscopy.
  • the intensity of the fluorescent light from the fluorescent marker increases with increasing distance from its position to the Position of the local intensity minimum increases, while it decreases with increasing distance in the embodiment of the method in which the further light is fluorescence prevention light.
  • bursts ie bursts of fluorescence photons that are limited in time and are interrupted by short pauses.
  • the average fluorescence emission rate during a burst, the duration of a burst, the total number of fluorescence photons emitted in a burst, and the frequency and duration of the interruptions vary from dye to dye, but also depending on the binding state of a dye molecule or the composition of the medium (e.g. the buffer) that surrounds the dye molecule.
  • the intensity of the excitation light also has a significant influence on the characteristics of the bursts.
  • fluorescent dyes that are structurally related and have similar spectral absorption and fluorescence properties (e.g. the commercially available cyanine dyes CF® 647 and AlexaFluor® 647) can differ significantly from each other in the characteristics of their bursts, whereby there is also a strong dependence on the composition of the medium.
  • the accuracy of localizing individual dye molecules using the MINFLUX principle is highly dependent on the total number of fluorescence photons a dye molecule emits before it bleaches or reverts to the non-fluorescent state. Ultimately, this number sets a limit for the achievable localization accuracy.
  • the total number of fluorescence photons is decisive for the accuracy of the location determination, but also the distribution of the fluorescence photons over the different scanning positions. From the consideration of the limiting case that all fluorescence photons are emitted and detected at only one scanning location, it becomes immediately apparent that a location determination requires a (uniform) distribution of the fluorescence photons to the scanning positions.
  • the object of the invention is to specify a method that enables photon-efficient and speed-optimized data acquisition according to the MINFLUX principle.
  • the aim of the method is, on the one hand, to adapt the scanning of individual dye molecules individually in such a way that the location is determined as precisely as possible with as few fluorescence photons as possible.
  • the method shortens the data acquisition in that the scanning is carried out with scanning parameters tailored to the respective dye and that unnecessary scanning steps are avoided.
  • the method can be used to reduce the illumination of the sample and thus the fading of the fluorescent dye at the scanning location, but also in neighboring areas of the sample. Finally, reducing the light dose also reduces the risk of damage occurring in the sample due to phototoxic effects.
  • dependent claims 2 to 25 relate to preferred embodiments of the method, while dependent claims 27 to 30 relate to preferred embodiments of the fluorescence microscope.
  • the invention is based on the finding that for photon-efficient and speed-optimized data acquisition according to the MINFLUX principle, the scanning of the dye molecules must be individually adapted to the type of dye and, if necessary, to the environmental conditions.
  • the invention includes a method for spatially highly precise location determination of individual dye molecules of one or more fluorescent dyes in a sample, the fluorescent dyes usually being coupled to a structure to be examined in the sample and serving to visualize this structure.
  • each of the fluorescent dyes has a first, fluorescent state which, when excited with light of a suitable wavelength, emits fluorescence in a fluorescence wavelength range, and a second state which, when the first state is excited, has no or only negligible fluorescence emission in the fluorescence wavelength range of the first state shows.
  • the second state is often a non-fluorescent dark state, which can absorb the excitation light if necessary, but does not show any fluorescence, but thermally emits the excitation energy again; to this extent the second state (also in the following description) is also referred to as the non-fluorescent state.
  • non-fluorescence of the second state only refers to the fluorescence wavelength range of the first state of the same dye and to a given excitation wavelength. It is therefore explicitly not excluded that the second state of a dye is also fluorescent, but only when excited with a wavelength that differs from the wavelength for exciting the first state, and / or with a fluorescence emission in a range other than the fluorescence wavelength of the first state.
  • the wavelength for exciting the second state of a dye can also be the wavelength with which the first, fluorescent state of another dye is excited.
  • the method includes creating a distribution of individual dye molecules in the first, fluorescent state.
  • the distribution can also comprise only a single dye molecule in the fluorescent state; In any case, however, it must be ensured that the distance between neighboring dye molecules of the distribution is above the optical diffraction limit, so that neighboring fluorescent dye molecules can be resolved in an optical image, ie can be recognized as separate objects. This distance requirement applies also for dye molecules of different dyes, provided that the dye molecules can be excited to fluoresce in the same fluorescence wavelength range with excitation light of the same wavelength.
  • Spatially separated fluorescent dye molecules can be generated, for example, by thinning out an ensemble of initially fluorescent dye molecules, i. H. by converting the majority of the molecules from the first, fluorescent to the second (non-fluorescent) state.
  • distributions of spatially separated, fluorescent dye molecules can also be produced by converting a small number of dye molecules into the fluorescent state if the dye is initially in the second (non-fluorescent) state. In this case, it is not necessary for all the dye molecules to be scanned to be produced at once; it is also possible to photoactivate individual, spatially isolated dye molecules also gradually or even one after the other.
  • a dye molecule can then be selected by scanning the sample with photoactivation light until the fluorescence of a (single) dye molecule is detected.
  • reaction rates can be adjusted, for example, by adjusting the composition of a buffer in which the sample is embedded.
  • individual dye molecules in the fluorescent state are selected and scanned with a scanning light at a number of scanning positions in accordance with a scanning specification.
  • the intensity distribution of the scanning light in the sample has a local minimum. If a scanning position is mentioned below, this means the position of this local minimum.
  • the scanning positions are chosen such that the minimum of the intensity distribution is located at various positions around the (assumed) location of the dye molecule, the distance from the respective dye molecule typically not exceeding 250 nm.
  • an approximate knowledge of the location of the respective dye molecule to be scanned is required in advance. This initial location estimation can be done, for example, by scanning the sample with the excitation light or from a previously recorded fluorescence image take place; specific methods for this can be found in the prior art for MINFLUX microscopy.
  • the scanning light can be excitation light, which excites those dye molecules that are in the fluorescent state to fluoresce.
  • the scanning light can also be a fluorescence prevention light, by which is meant any type of light that prevents, reduces or completely suppresses the fluorescence emission of the dye.
  • the fluorescence-preventing light can be stimulating light, which induces a stimulated emission of electronically excited dye molecules, as a result of which the dye molecules are converted (back) into the electronic ground state and are thus prevented from spontaneous fluorescence emission.
  • the scanning light modulates the fluorescence emission of the dye molecules as a function of its intensity, with either an increase in emission (if the scanning light is excitation light) or a weakening of emission (if the scanning light is fluorescence prevention light/stimulation light) being possible. If the scanning light is not itself the excitation light, the dye molecule to be scanned is additionally illuminated with an excitation light.
  • the fluorescence of the dye molecule is detected at each scanning position.
  • the fluorescence can be detected with a light detector in the photon counting mode, in particular with an avalanche photodiode operated in the Geiger mode, which can have a particularly high sensitivity.
  • the method can also be implemented with a light detector that generates an output signal proportional to the fluorescence intensity, for example with a photomultiplier.
  • the method includes a location determination of the scanned dye molecule from the numbers of photons or the intensities of the fluorescent light and the scanning positions.
  • This location determination is considerably more accurate than the initial location estimate, on the basis of which the (first) sampling positions were determined. It is particularly advantageous to continue the scanning with further scanning positions, the further scanning positions being determined on the basis of the improved estimate of the location of the dye molecule as a result of the location determination.
  • the number of photons or intensities of the fluorescence light detected at the further scanning positions now allow a renewed determination of the location with again improved precision. These steps can be repeated until the position of the dye molecule is determined with an acceptable uncertainty or the position determination has converged, ie the uncertainty of the position determination is no longer reduced.
  • the invention is based on the idea that high accuracy and rapid convergence of the position determination can be achieved in a short time and with as few fluorescence photons as possible if the scanning process is individually adapted to the dye molecule to be scanned.
  • the method according to the invention therefore differs from the MINFLUX methods known from the prior art in that the scanning does not take place uniformly for all dye molecules, but that the scanning is individually adapted to the type of dye molecule concerned and possibly its environment in the sample .
  • a scanning rule is individually determined for each dye molecule before the start of the scanning, according to which the scanning for this dye molecule is carried out.
  • the number and location of the scanning positions, scanning durations assigned to the scanning positions, minimum photon numbers or minimum intensities of the fluorescent light assigned to the scanning positions, waiting times inserted between the scanning positions and intensities and/or wavelengths of the scanning light applied to the scanning positions can be specified by the scanning specification.
  • a simple scanning specification for dye molecules of the fluorescent dye AlexaFluor® 647, derived from the prior art, could therefore be, for example:
  • a raster image of the sample or of a section of the sample containing the dye molecule to be scanned is recorded before the dye molecule is scanned.
  • the raster image is recorded using a scanning laser microscopy method, ie by scanning the sample with focused laser light.
  • the scanning rule to be used for a molecule to be scanned is now determined from the signal of a pixel of the raster image at the location of the dye molecule or from the signals of several pixels of the raster image in the vicinity of the dye molecule.
  • the type of dye can be deduced (if the sample contains different dyes), or it can be distinguished whether a dye molecule is bound to a structure in the sample or as a single dye molecule.
  • the scanning specification can also be used to tailor the scanning of a dye molecule to its context in the sample. For example it may be necessary to minimize the exposure of the sample to excitation light if another fluorescent dye is present in the immediate vicinity of a dye molecule that would be bleached out by excitation light that is too intense.
  • the scanning with the scanning light can also be carried out in areas of the sample in which fast dynamic processes are taking place, with a scanning rule optimized for the speed of scanning and localization, while in less dynamic areas of the sample a scanning rule is applied that accepts a lower Scanning speed allows a more accurate localization.
  • a single dye molecule that is part of the (targeted) staining of a structure of interest in the sample cannot easily be distinguished by its fluorescence emission from a like dye molecule that happens to be in a background region of the sample.
  • the raster image of the sample also provides information about the context of the dye molecule to be scanned and thus allows the dye molecule to be classified as belonging to a structure or the background, for example.
  • the present invention also differs from that of J. Pape et al. in proc. national Acad. May be. USA 117 (34), 20607 (2020) in which regions of the sample of interest for MINFLUX imaging were determined from a wide-field epifluorescence image.
  • the positioning of the scanning light must be precisely coordinated with the (camera) image of the wide-field image. With regard to aberrations, in particular over large image areas, this can only be achieved with sufficient accuracy by means of complex calibration measurements.
  • a (confocal) laser scanning image has improved resolution compared to a wide-field image and, in particular, depth discrimination, which is necessary in order to be able to reliably classify dye molecules even if the dye molecules are part of the coloring of a dense, especially three-dimensional extended structure and are parts of the Intersect structure in different planes of the sample. Due to a lack of resolution and, in particular, a lack of depth discrimination, these cannot be distinguished, or only insufficiently so, in a wide-field image.
  • a set of sampling rules is already defined in advance, i. H. before the scanning of individual dye molecules is started, from which the most suitable scanning rule is selected for each dye molecule to be scanned.
  • the selection of the sampling specification from the set is usually automated, with rule-based selection algorithms being able to be used.
  • a neural network trained for this classification task which processes the raster image or an input vector calculated from the raster image as input, is increasingly available for the selection of a sampling rule.
  • the scanning instructions for the amount can be tailored, for example, to dye molecules of different fluorescent dyes or to different dye molecules of the same dye that are present in the sample in different binding states or in different contexts of the sample.
  • the set of scanning rules can also include a scanning rule according to which a dye molecule is not scanned at all but is skipped if analysis of the raster image at the location of the dye molecule shows that the dye molecule is not part of a structure of interest.
  • Such a scanning specification makes sense with regard to speed and light-efficient scanning, in particular when a large number of dye molecules are to be scanned.
  • sampling specifications can consist of fixed sets of sampling parameters; however, it is also possible for individual or all of the scanning parameters of a set to be calculated using a function or an algorithm, in which case it is then not necessarily necessary to calculate the scanning parameters for all scanning positions in advance and at once; Rather, scanning parameters can also be calculated successively with the algorithm or the calculation specification, optionally also including the photons detected at the previous scanning positions or the intensities of the fluorescent light, in the course of the scanning.
  • a closed set of scanning specifications is not defined in advance, but rather the scanning specification is determined individually for each dye molecule to be scanned. This can be done, for example, by calculating a function or by executing an algorithm, the intensities of one or more pixels of the raster image at the location or in the vicinity of the respective dye molecule being passed to the function or the algorithm as an argument. Even if the scanning instructions are defined initially, ie before the beginning of the scanning of a dye molecule, this does not mean that the scanning must be continued according to the same scanning instructions until a final position determination is available. Rather, it can be useful to check the scanning specification in the course of scanning a dye molecule or between the scanning of successive dye molecules and to adapt it if necessary.
  • the selection of a scanning rule from a set of scanning rules or the calculation of a scanning rule according to a function or by an algorithm can be carried out again after a number of scanning positions, with the raster image also being recorded again and optionally also those detected at the scanning positions already scanned Numbers of photons or the intensities of fluorescence light can be taken into account.
  • the scanned raster image of the sample required to define the scanning specifications can be recorded in a particularly advantageous manner if a beam deflection unit provided for scanning the dye molecules and/or the scanning light is also used for the laser scanning or if a common beam path or partial beam path is used, whereby the Costs for a microscope implementing the method can be reduced. Above all, however, there is a fixed relationship between the pixels of the raster image and the scanning positions, so that there is no need to compensate for imaging errors in a separate optical imaging.
  • the raster image recorded by means of laser scanning is a fluorescence image of the sample.
  • the fluorescence image can also have a fluorescence parameter other than image contrast, for example a fluorescence lifetime.
  • the fluorescence image can optionally be recorded using two- or multi-photon excitation, with depth discrimination also being provided in this case if the fluorescence signal is detected non-confocally, ie in particular without using a confocal pinhole in front of the detector.
  • the fluorescent dye for the recording of the raster image is present to a significant extent in the fluorescent state and that only after the recording of the raster image is a distribution of spatially separated dye molecules possible by converting a large part of the dye molecules into the non-fluorescent state is generated.
  • This can be done, for example, by targeted photo-deactivation with the excitation light or a dedicated photo-deactivation light (possibly with a different wavelength).
  • the photo deactivation can also already take place during the scanning image recording of the raster image by the excitation light.
  • the raster image can also be the fluorescence image of another dye in the sample, in which case the fluorescence image can then be recorded with a different excitation wavelength and/or with a spectrally different detection range and thus independently of the dye molecules intended for scanning.
  • Another dye can be used, for example, to counterstain and identify an area in the sample of interest for subsequent scanning, e.g. to label a cell or an organelle within a cell.
  • Selectively binding fluorescent dyes are available for this purpose, for example DAPI for marking cell nuclei, so-called MitoT rackerTM for marking mitochondria or lipophilic carbocyanines (Dil, DiO, DiR) for marking cell membranes.
  • Such a counterstain allows, for example, a decision as to whether a dye molecule is in a region of interest in the sample. If appropriate, a dye molecule can also be assigned to a specific part of the sample (eg a cell organelle) and a suitable or optimized scanning specification can be defined on the basis of this assignment.
  • a dye molecule can also be assigned to a specific part of the sample (eg a cell organelle) and a suitable or optimized scanning specification can be defined on the basis of this assignment.
  • a particularly advantageous variant of the method can be implemented if the second state of the dye is also fluorescent, but can be excited (selectively) with a different wavelength or fluoresces in a different wavelength range.
  • Such properties are exhibited, for example, by photoconvertible proteins known from the prior art, such as EosFP, mMaple or Dendra, which, with activation light in the blue-green spectral range (typically 400 nm - 490 nm), change from a green fluorescent state in the range around 510 nm emits can be converted to a red fluorescent state emitting around 580 nm.
  • the red state can be understood as the first, fluorescent state, while the green state represents the second, non-fluorescent state with respect to the “red” detection area.
  • a raster image in the green state can first be recorded from a structure in the sample marked with such a fluorescent protein. Since the fluorescent protein is initially exclusively or predominantly in this state, a high-signal, high-contrast raster image of the marked structure can be obtained. Individual protein molecules of the fluorescent protein can then be converted to the red state, which is the fluorescent state for the purposes of the present invention, by illumination with photoactivation light. These converted protein molecules can now be scanned according to the method according to the invention and their locations can be determined, with the scanning rule used in each case being based on the previously recorded raster image.
  • the fluorescence image can also have a number of channels which differ from one another in terms of the excitation wavelength, the spectral fluorescence detection range and/or the direction of polarization of the excitation light or the fluorescence light.
  • it can also make sense to detect the fluorescence of just one dye separately in two or more spectral wavelength ranges.
  • Such a detection scheme is particularly suitable for the fluorescence detection of ratiometric indicator dyes with which parameters such as ion concentrations (e.g. Ca 2+ , Mg 2+ , Zn 2+ , Na + ), pH values or membrane potentials from the ratio of the fluorescence intensities in the separately detected Wavelength ranges can be determined.
  • These parameters provide spatially resolved functional information about the sample that goes beyond the structural information, for example about the activity of synapses between neurons or about the opening state of ion channels in a cell membrane.
  • the parameters can be determined individually for each pixel or also for groups of pixels and, like the fluorescence intensity, can be used to define individual scanning specifications for the dye molecules to be scanned.
  • dye molecules may be excluded from scanning if analysis of the parameters at or around a dye molecule's location reveals that that dye molecule cannot be assigned to a region or context of interest in the sample. In this sense, a functional selection can also be carried out in such a way that only dye molecules are scanned in the vicinity of which the parameters indicate an interesting state, for example of a cell or a cell organelle.
  • the fluorescence image can also show the fluorescence emission as a function of time, for example in order to depict the kinetics of the fading of the dye. From these kinetics, the photostability of the dye and - if the local dye concentration is known - the average number of emitted fluorescence photons per Dye molecule are closed, which is an important variable for determining the number and arrangement of the scanning positions and the scanning time per scanning position.
  • the method according to the invention can also be carried out with raster images that have a different image contrast.
  • second harmonic generation contrast SHG contrast
  • third harmonic generation contrast TMG contrast
  • scattered light contrast reflected light contrast
  • DIC contrast differential interference contrast
  • polarization contrast polarization contrast
  • Various image operations can be applied to the raster image in order to determine a scanning rule from the raster image.
  • the analysis can be done locally, i. H. only taking into account the pixel in which the dye molecule is located for which a scanning rule is to be derived.
  • a local analysis is usually associated with very little computational effort; In the simplest case, only a threshold value is generated for each pixel of the raster image in order to determine whether or not a dye is present at the location of the respective image pixel. A decision can then be made, for example, whether a dye molecule present at this location is to be scanned or to continue with another dye molecule.
  • a threshold value can also be formed from intensity ratios or correlation amplitudes, which are formed from a plurality of channels of the raster image or from corresponding pixels or image areas of the raster image and another raster image.
  • An intensity ratio formed from two color channels provides information about the identity of one of several spectrally different fluorescent dyes, and a suitable scanning rule can be selected from a set of alternative scanning rules by thresholding the intensity ratio.
  • the raster image is analyzed taking into account the surroundings of the dye molecule for which a scanning specification is to be determined. Morphological operations, ie proximity operators, are then also used to analyze the raster image, of which only the basic operations erosion, dilatation, opening, closing are mentioned here as examples.
  • Morphological operations ie proximity operators
  • the person skilled in the art can fall back on extensive prior art in the field of image processing. Even if the raster image has to be analyzed once before the scanning of a dye molecule begins, in order to define a scanning specification with which the scanning is started, the analysis can be repeated in the course of the scanning and the scanning specification can be updated.
  • the core of the method according to the invention is a method for determining the locations of individual dye molecules in a sample
  • the method can be further developed such that a spatially high-resolution image is reconstructed from the location determinations of many dye molecules.
  • the locations of many dye molecules obtained from the location determinations can be visualized in a two-dimensional representation, for example in the form of a two-dimensional histogram.
  • the generation of such high-resolution representations is known to the person skilled in the art from the state of the art for localization microscopy or PALM/STROM microscopy and is particularly useful if the dye molecules form a fluorescent coloration of a structure in the sample.
  • the high-resolution image is inserted into the raster image, so that the raster image forms a suitable context for the structures represented in high resolution.
  • the location of an individual dye molecule can be determined repeatedly over longer periods of time in order to generate a time-related representation of the location of the dye molecule in the form of a (movement) trajectory.
  • the trajectory can advantageously be displayed in the context of the raster image.
  • the types of visualization mentioned can also be combined, for example trajectories can be displayed as overlays in a high-resolution image of the sample in order to identify possible interactions of structures in the sample that are reflected in a change in the mobility of the traced dye molecules.
  • Another aspect of the invention is that the recording of the raster image of a region of the sample and the generation of a high-resolution image from the localization of the individual dye molecules provides information on different resolution scales and over different large areas of the sample and that the inventive method is inherently a multi-scale Allows imaging of the sample.
  • the halftone image is selected by selecting an area in a preview image that represents a larger area of the sample than the halftone image.
  • This preview image can be scanned, for example, by fast laser scanning of the sample, in particular with a large increment and/or a short integration time per pixel.
  • the preview image can also be recorded using a different image recording method, in particular by direct imaging onto a camera.
  • the image field of the preview image can in turn be selected by selection in an overview image that represents an (even) larger section of the sample or the entire sample.
  • Such an overview image can also be recorded by quickly scanning the sample or by camera-based imaging, with the overview image optionally also being able to be combined from a number of partially overlapping individual images (stitching).
  • the raster image in the context of the preview image and the high-resolution image in the context of the preview image By displaying the preview image in the context of the overview image, the raster image in the context of the preview image and the high-resolution image in the context of the preview image, a multi-scale representation of even larger objects, e.g. of cell clusters or entire organisms, can be generated, with the resolution of the image recording being locally adjusted the structures in the sample can be adjusted.
  • the use of different color scales is particularly useful for this type of display in order to identify the high-resolution information in the context of the overview, preview and/or raster image.
  • the image components recorded by determining the location of individual dye molecules can be displayed in a false color display in a gray scale display of the overview image.
  • the invention further relates to a fluorescence microscope that is set up to carry out the method according to the invention.
  • the fluorescence microscope comprises at least one light source for excitation light, with which the fluorescent dye in the sample can be excited to emit fluorescence, and a detector for detecting the fluorescence of the fluorescent dye.
  • An avalanche photodiode operated in the photon counting mode which can have a particularly high sensitivity, is particularly suitable as a detector.
  • an analogue photomultiplier can also be used as a detector as long as it has sufficient sensitivity.
  • the fluorescence microscope also has beam shaping means for forming an intensity distribution of a scanning light in the sample that has a local intensity minimum, wherein this scanning light can be either the excitation light or a fluorescence prevention light from another light source.
  • Fluorescence prevention light is to be understood here as meaning any type of light that is suitable for preventing, reducing or completely suppressing the fluorescence emission of the fluorescent dye.
  • the fluorescence preventing light may be stimulating light that induces stimulated emission of electronically excited dye molecules. If the scanning light is not itself the excitation light, the fluorescence microscope according to the invention thus has light sources for the excitation light and for the scanning or fluorescence prevention light.
  • Phase filters or programmable phase modulators can be used, inter alia, as are familiar from STED microscopy, for example.
  • the fluorescence microscope also includes a scanning image recording unit, with which a raster image of the sample can be recorded by scanning the sample with focused excitation light along a (regular) raster.
  • a scanning image recording unit with which a raster image of the sample can be recorded by scanning the sample with focused excitation light along a (regular) raster.
  • it is therefore a conventional laser scanning microscope, which is preferably designed as a confocal or STED microscope with a fluorescence contrast.
  • the fluorescence microscope also has a scanning device with which the scanning light can be positioned in the sample and individual dye molecules can be scanned at a sequence of scanning positions.
  • the scanning of the dye molecules requires the scanning light to be positioned in the sample with an accuracy of 1 nm or less.
  • positioning times in the microsecond range are preferred in order to be able to complete the scanning of a dye molecule at a sufficient number of scanning positions within the duration of a burst of fluorescence photons.
  • Beam deflection units that do not require moving parts, for example electro-optical or electro-acoustic deflectors, are therefore suitable for the scanning device.
  • the desired positioning times can be easily achieved with these, but the maximum deflection angles are very limited.
  • a preferred embodiment of the fluorescence microscope according to the invention In the beam path, there is both a galvo scanner, with which the beam can be positioned over larger image fields, and an electro-optical deflector, with which the (rapid) scanning of the individual dye molecules is carried out.
  • the fluorescence microscope also has means for merging a plurality of spatially partially overlapping raster images of the scanning image recording unit.
  • These means include at least one image processing unit which can align and cross-fade the individual raster images into the combined raster image.
  • the means can also include an adjustable sample table, with which the sample can be shifted between the recording of individual raster images, so that the combined raster image can also have an image field that exceeds the scanning area of the scanning image recording unit.
  • FIG. 1 shows a flow chart of the method according to the invention.
  • FIG. 3 shows a fluorescence microscope according to the invention.
  • a raster image 1 of the sample is recorded by means of scanning image recording, on the basis of which later scanning instructions for scanning individual dye molecules are determined.
  • the dye molecules are separated in the second step, i. H. a thinning out of the dye in the fluorescent state, for example by illumination with photodeactivation light, until only isolated fluorescent dye molecules are present, the distance between which is above the optical diffraction limit.
  • the raster image 1 is a fluorescence image of another dye or if it uses a different image contrast (e.g. an SHG contrast)
  • the acquisition of the raster image 1 and the separation of the dye molecules do not necessarily have to be carried out in the order given, but can also be done be done in reverse.
  • a dye molecule in the fluorescent state is selected and a suitable scanning specification is determined for this dye molecule, with the raster image 1 being analyzed at the location or in the vicinity of the respective dye molecule to determine this.
  • the number and the arrangement of the scanning positions and the scanning duration at the scanning positions are defined by the scanning specification.
  • the dye molecules are then scanned according to the previously determined scanning specification, ie they are scanned with an intensity distribution of excitation light having a local minimum or with excitation light and an intensity distribution of fluorescence prevention light (e.g. stimulation light) is illuminated at each scanning position, in each case a number of fluorescence photons or alternatively a fluorescence intensity being detected.
  • fluorescence prevention light e.g. stimulation light
  • the number of detected fluorescence photons and the respective scanning position are stored as pairs of values 2 in a data memory 3 .
  • the scanning rule can be updated or re-determined after a dye molecule has been scanned at some of the scanning positions and the data recorded in the process indicate that the scanning rule used is not optimal.
  • the location of the dye molecule is determined using a method related to triangulation, with the value pairs 2 of scanning positions and detected photon numbers from the data memory s being accessed for location determination. The process can optionally be repeated with additional dye molecules in the fluorescent state.
  • the step of determining the position can also be carried out downstream after the scanning of all dye molecules has been completed, in particular if the algorithm used for determining the position is computationally intensive and cannot be executed sufficiently quickly between the scanning of successive dye molecules.
  • filaments 8 (these may be, for example, actin, vimentin or another filamentous protein) are stained with a fluorescent dye 9, while a structure of the cell nucleus 10 (e.g. the nuclear pore complex) is labeled with another fluorescent dye 11.
  • the fluorescent dyes 9 and 11 are different here, but have similar spectral properties, so that they can be excited with excitation light of the same wavelength and detected in the same detection range.
  • the use of spectrally similar dyes has the advantage that a common scanning light beam and a common detector can be used for the scanning. In addition to the economic advantage, both color channels are intrinsically aligned with one another due to the joint use of the scanning means and do not have to be adjusted relative to one another.
  • Both dyes are initially in a fluorescent state 12 but can be converted to a non-fluorescent state.
  • a raster image 1 is recorded from the cell 7 or here only a part of the cell 7, the raster image 1 preferably being a fluorescence image 13 detected confocally.
  • Fluorescence image 13 shows filaments 8 in area 14 and cell nucleus 10 in another area 15. Areas 14 and 15, which represent binary masks here, are determined by image processing (not shown) from the raw data of the raster image.
  • the image processing typically includes i) Dilation steps that ensure complete coverage of the respective structures, ii) C/os/ng steps, with which the areas are closed so that they are gap-free, and iii) thresholding, by which binary masks are generated from the gray levels.
  • the dye molecules of the fluorescent dyes 9, 11 are separated.
  • the initially dense distribution of the dyes must be thinned out to such an extent that only individual, spatially separated and optically resolvable dye molecules 4, 5, 6 remain in the fluorescent state 12.
  • This individualization can take place, for example, by illuminating with deactivation light, as a result of which the majority of the dye molecules are converted to the non-fluorescent state.
  • the dye molecules 4 , 5 , 6 can be scanned with scanning light to determine their location, a number of photons or an intensity of fluorescent light being detected at each scanning position 16 .
  • the intensity distribution of the scanning light which is excitation light in the illustrated embodiment of the method, has a local minimum in the sample.
  • the scanning is shown schematically in the figure for the three dye molecules 4, 5, 6.
  • the dye molecule 4 is in the area 14 and can therefore be assigned to the filaments 8 that are marked with the fluorescent dye 9 .
  • a scanning specification 17 is selected for the fluorescent dye 9, which provides six scanning positions 16 of the intensity minimum on an equilateral hexagon 18.
  • a location is determined from the number of fluorescence photons detected at these six scanning positions 16, as a result of which the location of the dye molecule 4 is determined with improved accuracy.
  • the dye molecule 4 is now scanned again at six scanning positions 16 on a hexagon 19 that is now smaller and arranged more closely around the dye molecule 4, and a new location determination is carried out. This process can continue until the location has been determined with the desired accuracy or until the location estimate has converged.
  • the dye molecule 5 cannot be assigned to any of the areas 14, 15 and is therefore to be regarded as part of an undesired, non-specific staining of the sample. A scan of dye molecule 5 is therefore not undertaken and the scan continues with dye molecule 6.
  • the dye molecule 6 is in the region 15 and can therefore be assigned to the cell nucleus 10, which is marked with the fluorescent dye 11.
  • a scanning specification 20 is selected which provides three scanning positions 21 of the intensity minimum on an equilateral triangle 22. The scanning is carried out according to the same principle as for the dye molecule 4, but only successively at three scanning positions smaller triangles.
  • the scanning time per scanning position for the dye molecule 6 can deviate from that of the dye molecule 4 .
  • a light source 24 provides excitation light 25, which is also the scanning light 26 in the embodiment shown.
  • a spatial light modulator (SLM) 29 is arranged in the beam path 28 of the excitation light 25, with which the wavefront of the excitation light 25 is modified in such a way that during focusing of the excitation light 25 through the microscope lens 30 results in the intensity distribution having an intensity minimum.
  • EOD electro-optical deflector
  • the excitation light 25 reflected by the spatial light modulator (SLM) 29 is coupled into a main beam path 33 of the fluorescence microscope 23 using a beam splitter 32 .
  • the beam splitter 32 is advantageously designed as a narrow-band reflecting dielectric notch filter whose reflection range overlaps as little as possible with the emission spectrum of the fluorescent dye, so that only small portions of the fluorescent light 34 propagating in the main beam path 33 in the opposite direction to the excitation light 25 are reflected out of the main beam path 33.
  • the excitation light 25 is directed into the rear aperture of the microscope objective 30 with a scanning lens 35, a scanner 36 shown here by way of example in a quad configuration for only one scanning direction, and a tube lens 37.
  • the fluorescent light 34 received from the sample 27 by the microscope objective 30 propagates along the main beam path 33 in the opposite direction to the excitation light 25 , being transmitted by the beam splitter 32 .
  • the fluorescent light 34 is separated by a filter 38 from reflected excitation light 25 and from scattered light and is focused with a lens 39 through a confocal pinhole 40 onto a detector 41 .
  • the scanner 43 is configured to scan individual dye molecules jointly by the electro-optic deflector (EOD) 31 and the scanner 36 .
  • the scanner 36 is used for a comparatively slow pre-positioning of the focused excitation light 25, which is possible over a large image field, on a dye molecule in the sample 27 that is in the fluorescent state, while the EOD 31 is used for positioning the intensity minimum at the scanning positions arranged closely around a dye molecule.
  • the EOD 31 allows positioning at high speed, but with a positioning range that is limited to a few microns.
  • the Scanner 36 is also part of the scanning image acquisition unit which, together with the detector 41, enables confocal image acquisition of the sample 27 in order to acquire raster images, on the basis of which the scanning rules for scanning individual dye molecules in the sample 27 can be defined.
  • the fluorescence microscope 23 shown has a control and image processing unit 42, which on the one hand controls the activation of the scanner 36 and the reading out of the detector 41 for a confocal image recording and on the other hand a scanning of individual molecules at a sequence of scanning positions by a corresponding coordinated control of the EOD 31 and the scanner 36 allowed.
  • the control and image processing unit 42 also includes a computing unit for image analysis of the raster image and for calculating scanning rules from the raster image.
  • the control and image processing unit is usually designed as a programmable computer, as a programmable integrated circuit or as a microcontroller with appropriate input and output interfaces.
  • FIG. 4 shows a preferred representation of locations of dye molecules determined using the method according to the invention in the form of reconstructed, high-resolution images 50 and trajectories 51 in the context of a larger area of the sample.
  • the method according to the invention is embedded here in a workflow of several image recording steps, starting with the recording of an overview image 44 of the sample, the overview image 44 being composed of several overlapping individual images 45, for example several transmitted light images 46 recorded with low magnification.
  • the overview image 44 shows a large area of the sample with many cells 7, 47, and thus represents a context on a large scale, but with low spatial resolution closer examination is selected, from which a preview image 48, for example a confocal fluorescence image 49, is recorded in the next step.
  • the fluorescence staining of the selected cells 47 can be checked.
  • the locations of individual dye molecules are now determined in the selected cells 47 in order to determine high-resolution images 50 of structures and trajectories 51 of individual dye molecules in the selected cells 47 .
  • the locations of individual dye molecules are determined according to the invention by recording raster images 1 of sections of the sample, each of which contains a cell 47 or parts of a cell 47, and by scanning individual dye molecules according to scanning specifications that are determined from the raster images 1.
  • the high-resolution images 50 or trajectories 51 generated from the location determinations of many dye molecules or from the repeated location determinations of a single dye molecule are displayed in the context of the raster image 1, the preview image 48 and the overview image 44.
  • SLM Spatial Light Modulator

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Es wird ein Verfahren zur räumlich hochgenauen Ortsbestimmung einzelner Farbstoffmoleküle (4, 5, 6) eines Fluoreszenzfarbstoffs (9, 11) durch Abtasten mit einer ein lokales Minimum aufweisenden Intensitätsverteilung eines Abtastlichts (26) beschrieben, das sich dadurch auszeichnet, dass die Abtastung nicht für alle Farbstoffmoleküle (4, 5, 6) einheitlich erfolgt, sondern individuell an das jeweils abzutastende Farbstoffmolekül (4, 5, 6) und ggf. seine Umgebung in der Probe (27) angepasst wird, um eine möglichst genaue Ortsbestimmung mit einer möglichst geringen Zahl von Fluoreszenzphotonen zu erreichen. Dabei wird vor dem Abtasten des Farbstoffmoleküls (4, 5, 6) ein Rasterbild (1) der Probe (27) oder eines das Farbstoffmolekül (4, 5, 6) umfassenden Ausschnitts der Probe (27) mittels scannender Lasermikroskopie aufgenommen und eine Abtastvorschrift für das Abtasten des Farbstoffmoleküls (4, 5, 6) aus einem Signal eines Bildpunkts des Rasterbilds (1) am Ort des Farbstoffmoleküls (4, 5, 6) oder aus den Signalen mehrerer Bildpunkte des Rasterbilds (1) in einer Umgebung des Farbstoffmoleküls (4, 5, 6) bestimmt.

Description

VERFAHREN UND FLUORESZENZMIKROSKOP ZUR ORTSBESTIMMUNG EINZELNER FLUORESZIERENDER FARBSTOFFMOLEKÜLE DURCH ADAPTIVE ABTASTUNG
Technisches Gebiet der Erfindung
Die Erfindung bezieht sich auf die hochauflösende Lokalisationsmikroskopie nach dem MINFLUX-Prinzip. Sie bezieht sich insbesondere auf ein Verfahren zur individuellen Anpassung der Abtastparameter bei der Abtastung einzelner Farbstoffmoleküle eines Fluoreszenzfarbstoffs an mehreren Abtastpositionen zum Zweck der Bestimmung des Orts der Farbstoffmoleküle. Die Erfindung bezieht sich weiter auf ein das Verfahren ausführendes Fluoreszenzmikroskop.
Stand der Technik
Die Druckschrift WO 2015/097000 A1 beschreibt ein inzwischen unter dem Akronym MINFLUX bekanntes Verfahren zur Lokalisierung räumlich isolierter, fluoreszenter Farbstoffmoleküle, bei dem jedes der einzelnen Farbstoffmoleküle mit einer ein Intensitätsminimum aufweisenden Intensitätsverteilung von Anregungslicht an verschiedenen Positionen abgetastet wird. Für jede der Abtastpositionen wird die durch das Anregungslicht angeregte Fluoreszenzemission registriert, und es wird aus dem Verlauf der Intensität des Fluoreszenzlichts entlang der Positionen des Intensitätsminimums auf den Ort des jeweiligen Moleküls geschlossen. Naturgemäß ist diese Ortsbestimmung fehlerbehaftet, wobei der Fehler der Ortsbestimmung jedoch dadurch verringert werden kann, dass das Verfahren iterativ angewendet wird. Hierzu werden vor jedem Iterationsschritt die Abtastpositionen angepasst, d. h. näher um den jeweils angenommenen Ort des Moleküls angeordnet. Gleichzeitig wird die Stärke des Anregungslichts erhöht, so dass der Intensitätsgradient in der Nähe des Intensitätsminimums zunimmt. Alternativ kann die Messdauer erhöht werden, was bezüglich der Menge des wirksamen Lichts einer Erhöhung der Stärke des Anregungslichts entspricht. Mit den angepassten Parametern wird das Molekül nacheinander an jeder der angepassten Abtastpositionen beleuchtet und die Intensität der Fluoreszenzemission registriert. Aus der Abhängigkeit des Fluoreszenzsignals von den Positionen des Intensitätsminimums kann nun der Ort des Moleküls mit geringerem Fehler als zuvor bestimmt werden. Diese Verfahrensschritte können bis zur Konvergenz der Ortsbestimmung oder bis zum Erreichen eines anderen Abbruchkriteriums, beispielsweise eines vorher festgelegten maximal akzeptablen Fehlers, wiederholt werden. Mit einer erreichbaren Lokalisierungsgenauigkeit von ca. 1 nm stellt das MINFLUX-Verfahren nach dem aktuellen Stand der Technik die präziseste kommerziell erhältliche Lokalisierungsmethode für fluoreszierende Moleküle dar.
Die Druckschrift WO 2015/097000 A1 offenbart weiter, dass aus den Ortsdaten der einzelnen Moleküle ein (hochaufgelöstes) Abbild der Verteilung der Moleküle in der Probe gewonnen werden kann („MINFLUX Imaging“). Dieses Verfahren entspricht den aus der STORM- und PALM-Mikroskopie allgemein bekannten Vorgehen zur Erzeugung hochaufgelöster Bilder aus einer Vielzahl von Ortsbestimmungen einzelner fluoreszenter Moleküle, resultiert im Falle der MINFLUX-Mikroskopie allerdings in einer nochmals gesteigerten räumlichen Auflösung der Bilder von 5 nm.
In der DE 10 2017 104 736 B3 ist eine Variante des MINFLUX-Verfahrens beschrieben, bei der das Abtasten der vereinzelt vorliegenden Fluoreszenzfarbstoffmoleküle nicht durch Beleuchten mit einer ein lokales Intensitätsminimum aufweisenden Intensitätsverteilung von Anregungslicht, sondern mit zwei im Wesentlichen komplementären Intensitätsverteilungen eines Anregungsund eines Fluoreszenzverhinderungslichts erfolgt. Dabei weist die Intensitätsverteilung des Anregungslichts ein lokales Intensitätsmaximum auf, während die Intensitätsverteilung des Fluoreszenzverhinderungslichts an derselben Stelle ein lokales Intensitätsminimum aufweist. Bei dem Fluoreszenzverhinderungslicht kann es sich konkret um STED-Licht handeln, das in den Randbereichen der Intensitätsverteilung des Anregungslichts angeregte Fluoreszenzfarbstoffmoleküle durch Auslösen stimulierter Emission an der Aussendung von Fluoreszenzphotonen hindert. Bei dieser Ausführungsform des Verfahrens werden also das Anregungslicht und das Fluoreszenzverhinderungslicht mit solchen Intensitätsverteilungen überlagert, wie dies auch bei der RESOLFT- und der STED-Mikroskopie geschieht. Bei dieser Variante des MINFLUX- Verfahrens wird ausgenutzt, dass die Intensität des Fluoreszenzlichts, die für das jeweilige Fluoreszenzfarbstoffmolekül registriert wird, von dessen Abstand zu dem lokalen Intensitätsminimum des Fluoreszenzverhinderungslichts abhängt, und dass dessen Position mit hoher Genauigkeit aus den für mehrere Positionen des Intensitätsminimums des Fluoreszenzverhinderungslichts registrierten Intensitäten des Fluoreszenzlichts bestimmt werden kann. Auch bei dieser Variante des MINFLUX-Verfahrens kann das lokale Intensitätsminimum an wenigen Positionen in der Probe positioniert werden und die Auswertung der Intensitäten des registrierten Fluoreszenzlichts nach denselben Prinzipien erfolgen wie bei der MINFLUX-Mikroskopie. Als Unterschied verbleibt jedoch, dass bei der MINFLUX-Mikroskopie die Intensität des Fluoreszenzlichts von dem Fluoreszenzmarker mit zunehmendem Abstand seiner Position zu der Position des lokalen Intensitätsminimums zunimmt, während sie bei der Ausführungsform des Verfahrens, bei dem das weitere Licht Fluoreszenzverhinderungslicht ist, mit zunehmendem Abstand abnimmt.
Um ein hochaufgelöstes Bild nach einem der beschriebenen MINFLUX-Verfahren aufzunehmen, ist es erforderlich, eine Vielzahl von Farbstoffmolekülen abzutasten und ihre Orte zu bestimmen. Im Vergleich zu anderen Verfahren der Lokalisationsmikroskopie, beispielsweise der STORM- oder der PALM-Mikroskopie, bei denen viele Farbstoffmoleküle gleichzeitig auf eine Kamera abgebildet und ihre Orte bestimmt werden und die damit inhärent parallelisiert sind, ist die Bildaufnahme nach dem MINFLUX-Verfahren vergleichsweise langsam, da - zumindest in den gegenwärtig bekannten Ausführungsformen - nacheinander für jedes leuchtende Farbstoffmolekül eine Ortsbestimmung nach der oben beschriebenen Prozedur durchgeführt werden muss. Dadurch wird die Probe über relativ lange Zeiträume mit Licht bestrahlt, was ein Ausbleichen des Fluoreszenzfarbstoffs oder, in lebenden Proben, auch Schäden an der Probe durch fototoxische Effekte nach sich ziehen kann.
Um diese Schwächen des MINFLUX-Verfahrens zu minimieren ist es erstrebenswert, die Farbstoffmoleküle nach einem optimierten Schema abzutasten, damit die Ortsbestimmungen in möglichst kurzer Zeit und möglichst photoneneffizient erfolgen können. Insbesondere ist es zu vermeiden, dass unnötige Abtastungen durchgeführt werden. Ein diesbezüglicher Ansatz wurde von J. Pape et al. in „Multicolor 3D MINFLUX nanoscopy of mitochondrial MICOS proteins“, Proc. Natl. Acad. Sei. USA 117 (34), 20607 (2020) genutzt, indem das Abtasten von Farbstoffmolekülen auf Bereiche beschränkt wurde, die in einem mit einer Kamera aufgenommenen Fluoreszenzbild der Probe identifiziert wurden. Mit diesem Vorgehen wird vermieden, dass Farbstoffmoleküle abgetastet werden, die einer unspezifischen und ungewünschten Hintergrundfärbung in der Probe zuzurechnen sind.
Es ist bekannt, dass die Fluoreszenzemission einzelner Farbstoffmoleküle in sogenannten Bursts erfolgt, d. h. zeitlich begrenzten, von kurzen Pausen unterbrochenen Salven von Fluoreszenzphotonen. Die durchschnittliche Fluoreszenzemissionsrate während eines Bursts, die Dauer eines Bursts, die Gesamtzahl der in einem Burst emittierten Fluoreszenzphotonen sowie die Frequenz und die Dauer der Unterbrechungen variieren dabei von Farbstoff zu Farbstoff, aber auch in Abhängigkeit vom Bindungszustand eines Farbstoffmoleküls oder von der Zusammensetzung des Mediums (z. B. des Puffers), von dem das Farbstoff molekül umgeben ist. Auch die Intensität des Anregungslichts beeinflusst die Merkmale der Bursts maßgeblich. Selbst Fluoreszenzfarbstoffe, die strukturell verwandt sind und ähnliche spektrale Absorptions- und Fluoreszenzeigenschaften aufweisen (z. B. die kommerziell erhältlichen Cyanin-Farbstoffe CF® 647 und AlexaFluor® 647), können sich dabei in der Ausprägung ihrer Bursts erheblich voneinander unterscheiden, wobei zusätzlich eine starke Abhängigkeit von der Zusammensetzung des Mediums besteht.
Die Genauigkeit der Ortsbestimmung einzelner Farbstoffmoleküle nach dem MINFLUX-Prinzip hängt stark von der Gesamtzahl der Fluoreszenzphotonen ab, die ein Farbstoffmolekül emittiert, bevor es bleicht oder in den nicht-fluoreszenten Zustand zurückkehrt. Letztlich setzt diese Zahl eine Grenze für die erreichbare Lokalisierungsgenauigkeit. Allerdings ist nicht allein die Gesamtzahl der Fluoreszenzphotonen ausschlaggebend für die Genauigkeit der Ortsbestimmung, sondern auch die Verteilung der Fluoreszenzphotonen auf die verschiedenen Abtastpositionen. Aus der Betrachtung des Grenzfalls, dass alle Fluoreszenzphotonen an nur einem einzigen Abtastort emittiert und detektiert werden, wird unmittelbar ersichtlich, dass eine Ortsbestimmung eine (gleichmäßige) Verteilung der Fluoreszenzphotonen auf die Abtastpositionen erfordert. Daraus folgt, dass das Abtasten der Fluoreszenzmoleküle, insbesondere die Anzahl der Abtastpositionen und die Verweildauer an jeder Abtastposition an die (mittlere) Gesamtzahl von Fluoreszenzphotonen ebenso angepasst werden muss wie an die durchschnittlich Dauer eines Bursts. Eine Abtastung aller Farbstoffmoleküle nach einem einheitlichen Schema ungeachtet ihrer Art und ihrer Umgebungsbedingungen ist in jedem Fall unvorteilhaft.
Aufgabe der Erfindung
Die Aufgabe der Erfindung besteht darin, ein Verfahren anzugeben, das eine photoneneffiziente und geschwindigkeitsoptimierte Datenaufnahme nach dem MINFLUX-Prinzip ermöglicht. Ziel des Verfahrens ist es einerseits, das Abtasten einzelner Farbstoffmoleküle individuell so anzupassen, dass eine möglichst genaue Ortsbestimmung mit möglichst wenigen Fluoreszenzphotonen erfolgt. Andererseits verkürzt das Verfahren die Datenaufnahme, indem das Abtasten mit auf den jeweiligen Farbstoff abgestimmten Abtastparametern durchgeführt wird und dass unnötige Abtastschritte vermieden werden. Gleichzeitig kann mit dem Verfahren die Beleuchtung der Probe und damit ein Ausbleichen des Fluoreszenzfarbstoffs am Abtastort, aber auch in benachbarten Bereichen der Probe reduziert werden. Eine Reduzierung der Lichtdosis verringert schließlich auch die Gefahr, dass in der Probe Schäden durch fototoxische Effekte auftreten.
Lösung
Die Aufgaben der Erfindung werden durch ein Verfahren nach dem unabhängigen Anspruch 1 , und durch ein Fluoreszenzmikroskop nach dem unabhängigen Anspruch 26 gelöst. Die abhängigen Ansprüche 2 bis 25 betreffen bevorzugte Ausführungsformen des Verfahrens, während sich die abhängigen Ansprüche 27 bis 30 auf bevorzugte Ausführungsformen des Fluoreszenzmikroskops beziehen.
Beschreibung der Erfindung
Der Erfindung liegt die Erkenntnis zu Grunde, dass für eine photoneneffiziente und geschwindigkeitsoptimierte Datenaufnahme nach dem MINFLUX-Prinzip die Abtastung der Farbstoffmoleküle individuell auf die Art des Farbstoffs und ggf. auf die Umgebungsbedingungen angepasst werden muss.
Hierzu umfasst die Erfindung ein Verfahren zur räumlich hochgenauen Ortsbestimmung einzelner Farbstoffmoleküle eines oder mehrerer Fluoreszenzfarbstoffe in einer Probe, wobei die Fluoreszenzfarbstoffe meist an eine zu untersuchende Struktur in der Probe gekoppelt sind und der Sichtbarmachung dieser Struktur dienen. Erfindungsgemäß verfügt jeder der Fluoreszenzfarbstoffe über einen ersten, fluoreszenten Zustand, der bei Anregung mit Licht geeigneter Wellenlänge eine Fluoreszenz in einem Fluoreszenzwellenlängenbereich abgibt, und über einen zweiten Zustand, der bei einer Anregung des ersten Zustands keine oder nur eine vernachlässigbare Fluoreszenzemission in dem Fluoreszenzwellenlängenbereich des ersten Zustands zeigt. Der zweite Zustand ist oft ein nicht-fluoreszenter Dunkelzustand, der das Anregungslicht zwar gegebenenfalls absorbieren kann, aber keine Fluoreszenz zeigt, sondern die Anregungsenergie thermisch wieder abgibt; insofern wird der zweite Zustand (auch in der nachfolgenden Beschreibung) auch als nicht-fluoreszenter Zustand bezeichnet. Streng bezieht sich Nichtfluoreszenz des zweiten Zustands allerdings nur auf den Fluoreszenzwellenlängenbereich des ersten Zustands des gleichen Farbstoffs und auf eine gegebene Anregungswellenlänge. Es ist daher explizit nicht ausgeschlossen, dass auch der zweite Zustand eines Farbstoffs fluoreszent ist, allerdings nur bei Anregung mit einer Wellenlänge, die sich von der Wellenlänge zur Anregung des ersten Zustands unterscheidet, und / oder mit einer Fluoreszenzemission in einem anderen als dem Fluoreszenzwellenlängenbereich des ersten Zustands. Dabei kann die Wellenlänge zur Anregung des zweiten Zustands eines Farbstoffs durchaus auch die Wellenlänge sein, mit der der erste, fluoreszente Zustand eines anderen Farbstoffs angeregt wird.
Das Verfahren umfasst das Erzeugen einer Verteilung von einzelnen Farbstoffmolekülen in dem ersten, fluoreszenten Zustand. Die Verteilung kann im Extremfall auch nur ein einzelnes Farbstoffmolekül im fluoreszenten Zustand umfassen; auf jeden Fall ist aber sicherzustellen, dass der Abstand benachbarter Farbstoffmoleküle der Verteilung oberhalb der optischen Beugungsgrenze liegt, so dass benachbarte fluoreszente Farbstoffmoleküle in einer optischen Abbildung aufgelöst, d. h. als getrennte Objekte erkannt werden können. Dieses Abstandserfordernis gilt darüber hinaus auch für Farbstoffmoleküle verschiedener Farbstoffe, sofern die Farbstoffmoleküle mit Anregungslicht dergleichen Wellenlänge zur Fluoreszenz in einem gleichen Fluoreszenzwellenlängenbereich angeregt werden können.
Das Erzeugen vereinzelter, fluoreszenter Farbstoffmoleküle in einer Probe ist aus dem Stand der Technik zur Lokalisationsmikroskopie (PALM, STORM etc.) bekannt. Räumlich getrennte, fluoreszente Farbstoffmoleküle können beispielsweise durch Ausdünnen eines Ensembles anfänglich fluoreszenter Farbstoffmoleküle erzeugt werden, d. h. durch Überführen des Großteils der Moleküle aus dem ersten, fluoreszenten in den zweiten (nicht-fluoreszenten) Zustand. Umgekehrt sind Verteilungen räumlich getrennter, fluoreszenter Farbstoffmoleküle auch durch Überführen einer geringen Zahl von Farbstoffmolekülen in den fluoreszenten Zustand herstellbar, wenn der Farbstoff initial in dem zweiten (nicht-fluoreszenten) Zustand vorliegt. Dabei müssen nicht notwendigerweise alle abzutastenden Farbstoffmoleküle auf einmal hergestellt werden; es ist ebenso möglich, einzelne, räumlich isolierte Farbstoffmoleküle auch nach und nach oder sogar eins nach dem anderen zu fotoaktivieren. Das Auswählen eines Farbstoffmoleküls kann dann dadurch erfolgen, dass die Probe mit Fotoaktivierungslicht abgescannt wird, bis die Fluoreszenz eines (einzelnen) Farbstoffmoleküls detektiert wird.
Alternativ ist es auch möglich, eine Verteilung einzelner, räumlich isolierter fluoreszenter Farbstoffmoleküle zu erzeugen, indem die Raten spontaner Übergänge zwischen dem ersten, fluoreszenten und zweiten (nicht-fluoreszenten) Zustand so eingestellt wird, dass sich im Gleichgewicht der Reaktionen immer nur eine sehr kleine Anzahl der Farbstoffmoleküle im ersten, fluoreszenten Zustand befindet. Die Reaktionsraten können zum Beispiel durch Einstellen der Zusammensetzung eines Puffers eingestellt werden, in den die Probe eingebettet ist.
Zur Durchführung des Verfahrens werden einzelne Farbstoffmoleküle im fluoreszenten Zustand ausgewählt und mit einem Abtastlicht an mehreren Abtastpositionen gemäß einer Abtastvorschrift abgetastet. Dabei weist die Intensitätsverteilung des Abtastlichts in der Probe ein lokales Minimum auf. Wenn im Folgenden von einer Abtastposition die Rede ist, ist damit die Position dieses lokalen Minimums gemeint. Die Abtastpositionen werden so gewählt, dass das Minimum der Intensitätsverteilung an verschiedenen Positionen um den (angenommenen) Ort des Farbstoffmoleküls herum angeordnet ist, wobei der Abstand von dem jeweiligen Farbstoffmolekül 250 nm normalerweise nicht überschreitet. Zumindest um die ersten zwei oder drei Abtastpositionen festlegen zu können ist daher eine ungefähre Kenntnis des Orts des jeweils abzutastenden Farbstoffmoleküls bereits vorab erforderlich. Diese initiale Ortsschätzung kann beispielsweise durch Abrastern der Probe mit dem Anregungslicht oder aus einem zuvor aufgenommenen Fluoreszenzbild erfolgen; konkrete Verfahren hierzu finden sich im Stand der Technik zur MINFLUX-Mikroskopie.
Das Abtastlicht kann einerseits Anregungslicht sein, das diejenigen Farbstoffmoleküle, die sich im fluoreszenten Zustand befinden, zur Fluoreszenz anregt. Das Abtastlicht kann andererseits aber auch ein Fluoreszenzverhinderungslicht sein, worunter jede Art von Licht zu verstehen ist, das die Fluoreszenzemission des Farbstoffs verhindert, reduziert oder gänzlich unterdrückt. Insbesondere kann das Fluoreszenzverhinderungslicht Stimulationslicht sein, das eine stimulierte Emission elektronisch angeregter Farbstoffmoleküle induziert, wodurch die Farbstoffmoleküle (zurück) in den elektronischen Grundzustand überführt und so an einer spontanen Fluoreszenzemission gehindert werden. Wichtig ist, dass das Abtastlicht die Fluoreszenzemission der Farbstoffmoleküle in Abhängigkeit von seiner Intensität moduliert, wobei sowohl eine Verstärkung der Emission (wenn das Abtastlicht Anregungslicht ist) oder eine Abschwächung der Emission (wenn das Abtastlicht Fluoreszenzverhinderungslicht / Stimulationslicht ist) möglich ist. Sofern das Abtastlicht nicht selbst das Anregungslicht ist, wird das abzutastende Farbstoffmolekül zusätzlich mit einem Anregungslicht beleuchtet.
Während des Abtastens eines Farbstoffmoleküls wird die Fluoreszenz des Farbstoffmoleküls an jeder Abtastposition detektiert. Dabei kann die Fluoreszenz mit einem Lichtdetektor im Photonenzählmodus, insbesondere mit einer im Geiger-Modus betrieben Avalanche-Fotodiode detektiert werden, die eine besonders hohe Sensitivität aufweisen kann. Das Verfahren ist aber ebenso mit einem Lichtdetektor implementierbar, der ein der Fluoreszenzintensität proportionales Ausgangssignal erzeugt, beispielsweise mit einem Fotomultiplier.
Das Verfahren umfasst schließlich eine Ortsbestimmung des abgetasteten Farbstoffmoleküls aus den Anzahlen von Photonen oder den Intensitäten des Fluoreszenzlichts und den Abtastpositionen. Diese Ortsbestimmung ist erheblich genauer als die initiale Ortsschätzung, auf Basis derer die (ersten) Abtastpositionen festgelegt wurden. Besonders vorteilhaft ist es, die Abtastung mit weiteren Abtastpositionen fortzusetzen, wobei die weiteren Abtastpositionen auf Basis der durch die Ortsbestimmung verbesserten Schätzung des Orts des Farbstoffmoleküls festgelegt werden. Die an den weiteren Abtastpositionen detektierten Anzahlen von Photonen oder Intensitäten des Fluoreszenzlichts erlauben nun eine erneute Ortsbestimmung mit abermals verbesserter Präzision. Diese Schritte können wiederholt werden, bis der Ort des Farbstoffmoleküls mit einer akzeptablen Unsicherheit bestimmt oder die Ortsbestimmung konvergiert ist, d. h. die Unsicherheit der Ortsbestimmung sich nicht mehr reduziert. Der Erfindung liegt nun die Idee zugrunde, dass eine hohe Genauigkeit und eine schnelle Konvergenz der Ortsbestimmung in kurzer Zeit und mit möglichst wenigen Fluoreszenzphotonen erreicht werden kann, wenn der Abtastvorgang an das abzutastende Farbstoffmolekül individuell angepasst wird. Das erfindungsgemäße Verfahren unterscheidet sich daher von den aus dem Stand der Technik bekannten MINFLUX-Verfahren darin, dass die Abtastung nicht für alle Farbstoffmoleküle einheitlich erfolgt, sondern dass die Abtastung individuell an die Art des jeweiligen Farbstoffmoleküls und ggf. seine Umgebung in der Probe angepasst wird. Hierzu wird für jedes Farbstoffmolekül vor dem Beginn des Abtastens individuell eine Abtastvorschrift bestimmt, nach der die Abtastung für dieses Farbstoffmolekül vorgenommen wird. Durch die Abtastvorschrift können insbesondere die Anzahl und die Lage der Abtastpositionen, den Abtastpositionen zugeordnete Abtastdauern, den Abtastpositionen zugeordnete Mindest- photonenzahlen oder Mindestintensitäten des Fluoreszenzlichts, zwischen den Abtastpositionen eingefügte Wartezeiten und an den Abtastpositionen applizierte Intensitäten und / oder Wellenlängen des Abtastlichts festgelegt werden. Eine einfache, aus dem Stand der Technik abgeleitete Abtastvorschrift für Farbstoffmoleküle des Fluoreszenzfarbstoffs AlexaFluor® 647 könnte dementsprechend zum Beispiel lauten:
1 . Lege den Durchmesser L eines Abtastkreises auf 70 nm fest, zentriere den Abtastkreis an dem angenommenen Ort des Farbstoffmoleküls.
2. Positioniere das Abtastlicht (Anregungslicht, 640 nm) nacheinander an vier gleichmäßig auf dem Abtastkreis verteilten Abtastpositionen.
3. Warte an jeder Abtastposition 14 ps, beleuchte die Probe dann mit einer optischen Leistung von 400 pW des Abtastlichts für die Dauer von 14 ps. Detektiere an jeder Abtastposition eine Anzahl von Fluoreszenzphotonen.
Zur Bestimmung der Abtastvorschrift wird vor dem Abtasten des Farbstoffmoleküls ein Rasterbild der Probe oder eines Ausschnitts der Probe aufgenommen, der das abzutastende Farbstoffmolekül enthält. Erfindungsgemäß wird das Rasterbild mit einem Verfahren der scannenden Lasermikroskopie aufgenommen, also durch Abrastern der Probe mit fokussiertem Laserlicht. Die für ein abzutastendes Molekül anzuwendende Abtastvorschrift wird nun aus dem Signal eines Bildpunkts des Rasterbilds am Ort des Farbstoffmoleküls oder aus den Signalen mehrerer Bildpunkte des Rasterbilds in einer Umgebung des Farbstoffmoleküls bestimmt.
Aus dem Signal des Rasterbilds am Ort des Farbstoffmoleküls kann beispielsweise auf die Art des Farbstoffs geschlossen werden (sofern die Probe verschiedene Farbstoffe enthält), oder es kann unterschieden werden, ob ein Farbstoffmolekül gebunden an eine Struktur in der Probe vorliegt oder als einzelnes Farbstoffmolekül. Die Abtastvorschrift kann auch dazu dienen, das Abtasten eines Farbstoffmoleküls auf seinen Kontext in der Probe abzustimmen. Beispielsweise kann es erforderlich sich, die Belastung der Probe mit Anregungslicht zu minimieren, wenn in der unmittelbaren Umgebung eines Farbstoffmoleküls ein anderer Fluoreszenzfarbstoff vorliegt, der durch zu intensives Anregungslicht ausgebleicht würde. Auch kann das Abtasten mit dem Abtastlicht in Bereichen der Probe, in denen schnelle dynamische Prozesse ablaufen, mit einer auf die Geschwindigkeit des Abtastens und der Ortsbestimmung optimierten Abtastvorschrift erfolgen, während in weniger dynamischen Bereichen der Probe eine Abtastvorschrift angewandt wird, die unter Inkaufnahme einer geringeren Abtastgeschwindigkeit eine genauere Ortsbestimmung erlaubt.
Zwar ist es auch denkbar, eine Abtastvorschrift auf Basis der während des Abtastens detektierten Fluoreszenzphotonen zu bestimmen; ohne Rückgriff auf das Rasterbild kann eine verlässliche Anpassung des Abtastvorgangs aber erst erfolgen, nachdem eine signifikante Zahl von Photonen detektiert wurde. Sofern bis zu diesem Zeitpunkt mit ungünstig gewählten Abtastparametern abgetastet wurde, tragen diese Photonen nur unwesentlich zu einer Verbesserung der Ortsbestimmung bei und sind für die Messung verloren. Zudem liefern die von einem einzelnen Farbstoffmolekül emittierten Photonen keine Information darüber, in welchem Kontext der Probe sich das Farbstoffmolekül befindet. Beispielsweise kann ein einzelnes Farbstoffmolekül, das Teil der (gezielten) Färbung einer interessierenden Struktur in der Probe ist, anhand seiner Fluoreszenzemission nicht einfach von einem gleichartigen Farbstoffmolekül unterschieden werden, das sich zufällig in einem Hintergrundbereich der Probe befindet. Dagegen liefert das Rasterbild der Probe Informationen auch über den Kontext des abzutastenden Farbstoffmoleküls und erlaubt so beispielsweise die Klassifizierung des Farbstoffmoleküls als einer Struktur oder dem Hintergrund zugehörig.
In der Verwendung eines Laserscanning-Rasterbilds hebt sich die vorliegende Erfindung auch von der von J. Pape et al. in Proc. Natl. Acad. Sei. USA 117 (34), 20607 (2020) veröffentlichten Arbeit ab, in der für die MINFLUX-Bildaufnahme interessierende Bereiche der Probe aus einem Weitfeld-Epifluoreszenzbild bestimmt wurden. Um ein Weitfeldbild zur Auswahl eines interessierenden Probenbereichs oder zur Festlegung eines Abtastschemas für ein gegebenes Farbstoffmolekül nutzen zu können, muss die Positionierung des Abtastlichts genau mit dem (Kamera-)Bild der Weitfeldabbildung abgestimmt werden. Dies ist im Hinblick auf Abbildungsfehler, insbesondere über große Bildbereiche, nur durch aufwändige Kalibrationsmessungen mit ausreichender Genauigkeit zu erreichen. Vor allem aber weist ein (konfokales) Laserscanningbild gegenüber einem Weitfeldbild eine verbesserte Auflösung und insbesondere eine Tiefendiskriminierung auf, die erforderlich ist, um eine Klassifizierung von Farbstoffmolekülen auch dann zuverlässig vornehmen zu können, wenn die Farbstoffmoleküle Teil der Färbung einer dichten, insbesondere auch einer dreidimensional ausgedehnten Struktur sind und sich Teile der Struktur in verschiedenen Ebenen der Probe überschneiden. Diese können in einem Weitfeldbild aufgrund mangelnder Auflösung und insbesondere fehlender Tiefendiskriminierung nicht oder nur unzureichend auseinandergehalten werden.
In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird eine Menge von Abtastvorschriften bereits vorab, d. h. bevor mit dem Abtasten einzelner Farbstoffmoleküle begonnen wird, festgelegt, aus denen für jedes abzutastende Farbstoffmolekül die jeweils am besten geeignete Abtastvorschrift ausgewählt wird. Das Auswählen der Abtastvorschrift aus der Menge erfolgt in der Regel automatisiert, wobei regelbasierte Auswahlalgorithmen eingesetzt werden können. In Anbetracht der erheblichen Fortschritte im Bereich der künstlichen Intelligenz und des Deep Learning bietet sich für die Auswahl einer Abtastvorschrift allerdings zunehmend ein auf diese Klassifizierungsaufgabe trainiertes neuronales Netz an, das das Rasterbild oder einen aus dem Rasterbild berechneten Eingabevektor als Eingabe verarbeitet.
Die Abtastvorschriften der Menge können beispielsweise auf Farbstoffmoleküle unterschiedlicher Fluoreszenzfarbstoffe abgestimmt sein oder auf verschiedene Farbstoffmoleküle eines gleichen Farbstoffs, die in der Probe in unterschiedlichem Bindungszustand oder in unterschiedlichen Kontexten der Probe vorliegen. Die Menge der Abtastvorschriften kann dabei auch eine Abtastvorschrift enthalten, der zufolge ein Farbstoffmolekül gar nicht abgetastet, sondern übersprungen wird, wenn sich aus der Analyse des Rasterbilds am Ort des Farbstoffmoleküls ergibt, dass das Farbstoffmolekül nicht Teil einer interessierenden Struktur ist. Eine derartige Abtastvorschrift ist im Hinblick auf eine geschwindigkeits- und lichteffiziente Abtastung sinnvoll, insbesondere, wenn eine große Anzahl von Farbstoffmolekülen abgetastet werden soll.
Die Abtastvorschriften können dabei aus festen Sätzen von Abtastparametern bestehen; es ist aber auch möglich, dass einzelne oder alle der Abtastparameter eines Satzes mit einer Funktion oder einem Algorithmus berechnet werden, wobei es dann nicht notwendigerweise erforderlich ist, die Abtastparameter für alle Abtastpositionen vorab und auf einmal zu berechnen; vielmehr können mit dem Algorithmus bzw. der Rechenvorschrift Abtastparameter auch sukzessive, optional auch unter Einbeziehung der an den vorhergehenden Abtastpositionen detektierten Photonen oder den Intensitäten des Fluoreszenzlichts, im Laufe des Abtastens berechnet werden.
In einer alternativen Ausführungsform des erfindungsgemäßen Verfahrens wird nicht vorab eine abgeschlossene Menge von Abtastvorschriften festgelegt, sondern die Abtastvorschrift für jedes abzutastende Farbstoff molekül individuell ermittelt. Dies kann beispielsweise durch Berechnen einer Funktion oder durch Ausführen eines Algorithmus erfolgen, wobei der Funktion oder dem Algorithmus Intensitäten eines oder mehrerer Bildpunkte des Rasterbilds am Ort oder in der Umgebung des jeweiligen Farbstoffmoleküls als Argument übergeben werden. Auch wenn die Abtastvorschriften initial, d.h. vor Beginn des Abtastens eines Farbstoffmoleküls erstmals festgelegt werden, bedeutet dies nicht, dass das Abtasten gemäß der gleichen Abtastvorschrift fortgesetzt werden muss, bis eine finale Ortsbestimmung vorliegt. Vielmehr kann es sinnvoll sein, die Abtastvorschrift im Laufe des Abtastens eines Farbstoffmoleküls oder zwischen der Abtastung aufeinanderfolgender Farbstoffmoleküle zu überprüfen und gegebenenfalls anzupassen. Dazu kann die Auswahl einer Abtastvorschrift aus einer Menge von Abtastvorschriften oder die Berechnung einer Abtastvorschrift nach einer Funktion oder durch einen Algorithmus nach einer Anzahl von Abtastpositionen erneut durchgeführt werden, wobei auch die Aufnahme des Rasterbilds erneut erfolgen und optional auch die an den bereits abgetasteten Abtastpositionen detektierten Anzahlen von Photonen oder den Intensitäten von Fluoreszenzlicht berücksichtigt werden können.
Das zur Festlegung der Abtastvorschriften erforderliche gescannte Rasterbild der Probe lässt sich in besonders vorteilhafter weise aufnehmen, wenn eine für das Abtasten der Farbstoffmoleküle vorgesehene Strahlablenkeinheit und / oder das Abtastlicht auch für das Laserscanning verwendet wird oder wenn ein gemeinsamer Strahlengang oder Teilstrahlengang genutzt wird, wodurch die Kosten für ein das Verfahren implementierendes Mikroskop reduziert werden können. Vor allem aber besteht zwischen den Bildpunkten des Rasterbilds und den Abtastpositionen eine feste Beziehung, so dass eine Kompensation von Abbildungsfehlern einer separaten optischen Abbildung entfällt.
Im einfachsten Fall ist das mittels Laserscanning aufgenommene Rasterbild ein Fluoreszenzbild der Probe. Neben der Fluoreszenzintensität kann das Fluoreszenzbild dabei auch einen anderen Fluoreszenzparameter als Bildkontrast aufweisen, etwa eine Fluoreszenzlebensdauer. Das Fluoreszenzbild kann optional unter Nutzung einer Zwei- oder Mehrphotonenanregung aufgenommen werden, wobei eine Tiefendiskriminierung in diesem Fall auch dann gegeben ist, wenn die Detektion des Fluoreszenzsignals nicht-konfokal, d. h. insbesondere ohne Verwendung einer konfokalen Lochblende vor dem Detektor, erfolgt. Um ein kontrastreiches Fluoreszenzbild zu erhalten, ist es dabei bevorzugt, dass der Fluoreszenzfarbstoff für die Aufnahme des Rasterbilds zu einem erheblichen Anteil im fluoreszenten Zustand vorliegt und dass erst nach der Aufnahme des Rasterbilds eine Verteilung von räumlich voneinander getrennten Farbstoffmolekülen durch Überführen eines Großteils der Farbstoffmoleküle in den nichtfluoreszenten Zustand erzeugt wird. Dies kann beispielsweise durch gezieltes Fotodeaktivieren mit dem Anregungslicht oder einem dedizierten Fotodeaktivierungslicht (ggf. anderer Wellenlänge) erfolgen. Das Fotodeaktivieren kann dabei auch bereits während der scannenden Bildaufnahme des Rasterbilds durch das Anregungslicht erfolgen. Alternativ kann das Rasterbild auch das Fluoreszenzbild eines anderen Farbstoffs in der Probe sein, wobei das Fluoreszenzbild dann mit einer anderen Anregungswellenlänge und / oder mit einem spektral verschiedenen Detektionsbereich und somit unabhängig von den zur Abtastung vorgesehenen Farbstoffmolekülen aufgenommen werden kann. Ein anderer Farbstoff kann beispielsweise zur Gegenfärbung und Identifizierung eines für die nachfolgende Abtastung interessierenden Bereichs in der Probe dienen, beispielsweise zur Markierung einer Zelle oder einer Organelle innerhalb einer Zelle. Hierfür stehen selektiv bindende Fluoreszenzfarbstoffe zur Verfügung, beispielsweise DAPI zur Markierung von Zellkernen, sogenannte MitoT racker™ zur Markierung von Mitochondrien oder lipophile Carbocyanine (Dil, DiO, DiR) zur Markierung von Zellmembranen. Eine derartige Gegenfärbung erlaubt beispielsweise eine Entscheidung darüber, ob sich ein Farbstoffmolekül in einem interessierenden Bereich in der Probe befindet. Auch kann ein Farbstoffmolekül gegebenenfalls einem speziellen Teil der Probe (z.B. einer Zellorganelle) zugeordnet und auf Basis dieser Zuordnung eine geeignete bzw. optimierte Abtastvorschrift festgelegt werden.
Eine besonders vorteilhafte Variante des Verfahrens lässt sich realisieren, wenn auch der zweite Zustand des Farbstoffs fluoreszent ist, aber (selektiv) mit einer anderen Wellenlänge angeregt werden kann oder in einem anderen Wellenlängenbereich fluoresziert. Derartige Eigenschaften weisen beispielsweise aus dem Stand der Technik bekannte fotokonvertierbare Proteine wie EosFP, mMaple oder Dendra auf, die mit Aktivierungslicht im blaugrünen Spektral be re ich (typ. 400 nm - 490 nm) von einem grün fluoreszierenden Zustand, der im Bereich um 510 nm emittiert, in einen rot fluoreszierendem Zustand, der im Bereich um 580 nm emittiert, konvertiert werden können. Im Sinne der vorliegenden Erfindung kann der rote Zustand als der erste, fluoreszente Zustand aufgefasst werden, während der grüne Zustand den zweiten, bezüglichen des „roten“ Detektionsbereichs nicht-fluoreszenten Zustand darstellt. Von einer mit einem solchen fluoreszierenden Protein markierten Struktur in der Probe lässt sich zunächst ein Rasterbild im grünen Zustand aufnehmen. Da das fluoreszierende Protein anfangs ausschließlich oder vorwiegend in diesem Zustand vorliegt, kann so ein signal- und kontrastreiches Rasterbild der markierten Struktur erhalten werden. Durch Beleuchten mit Fotoaktivierungslicht können dann einzelne Proteinmoleküle des fluoreszierenden Proteins in den roten Zustand konvertiert werden, der bezüglich der vorliegenden Erfindung den fluoreszenten Zustand darstellt. Diese konvertierten Proteinmoleküle können nun nach dem erfindungsgemäßen Verfahren abgetastet und ihre Orte bestimmt werden, wobei die jeweils angewandte Abtastvorschrift auf Basis des zuvor aufgenommenen Rasterbilds erfolgt. Da es sich nur um einen Farbstoff in zwei Zuständen handelt, sind die Färbungen zur Aufnahme des Rasterbilds und zum Abtasten der Proteinmoleküle damit inhärent am gleichen Ort, was mit zwei separaten Färbungen nicht zu erreichen ist. Es ist außerdem weder nötig, einen Fluoreszenzfarbstoff zwischen einer dichten Verteilung des fluoreszenten Zustands (zur Aufnahme des Rasterbilds) und einer stark ausgedünnten Verteilung (zum Abtasten einzelner Farbstoffmoleküle) zu konvertieren, noch ist es nötig, eine zweite Färbung der Struktur mit einem anderen Fluoreszenzfarbstoff als Gegenfärbung zur Aufnahme des Rasterbilds vorzunehmen. Dadurch, dass der Großteil des fluoreszierenden Proteins auch während des Abtastens im grünen Zustand verbleibt, ist es zudem möglich, auch zwischendurch, d. h. zwischen dem Abtasten aufeinander folgender Proteinmoleküle, mittels Laserscanning erneut ein Rasterbild der Struktur aufzunehmen und so die Abtastvorschriften auch an dynamische Veränderungen in der Probe anzupassen.
Das Fluoreszenzbild kann auch mehrere Kanäle aufweisen, die sich in der Anregungswellenlänge, dem spektralen Fluoreszenzdetektionsbereich und / oder der Polarisationsrichtung des Anregungslichts oder des Fluoreszenzlichts voneinander unterscheiden. Neben der offensichtlichen Möglichkeit, mehrere spektral verschiedene Gegenfärbungen in der Probe zu detektieren, kann es sinnvoll sein, die Fluoreszenz auch nur eines Farbstoffs separat in zwei oder mehr spektralen Wellenlängenbereichen zu detektieren. Ein derartiges Detektionsschema eignet sich besonders zur Fluoreszenzdetektion von ratiometrischen Indikatorfarbstoffen, mit denen Parameter wie lonenkonzentrationen (zum Beispiel Ca2+, Mg2+, Zn2+, Na+), pH-Werte oder Membranpotenziale aus dem Verhältnis der Fluoreszenzintensitäten in den separat detektierten Wellenlängenbereichen bestimmt werden können. Diese Parameter liefern ortsaufgelöste, über die strukturelle Informationen hinausgehende funktionale Informationen über die Probe, beispielsweise über die Aktivität von Synapsen zwischen Neuronen oder über den Öffnungszustand von lonenkanälen in einer Zellmembran. Die Parameter können dabei für jeden Bildpunkt einzeln oder auch für Gruppen von Bildpunkten bestimmt werden und können ebenso wie die Fluoreszenzintensität herangezogen werden, um individuelle Abtastvorschriften für die abzutastenden Farbstoffmoleküle festzulegen. Ebenso können Farbstoffmoleküle vom Abtasten ausgeschlossen werden, wenn die Analyse der Parameter am Ort oder in der Umgebung eines Farbstoffmoleküls ergibt, dass dieses Farbstoffmolekül nicht einem interessierenden Bereich oder einem interessierenden Kontext der Probe zugeordnet werden kann. In diesem Sinne kann auch eine funktionale Selektion erfolgen dergestalt, dass nur Farbstoffstoffmoleküle abgetastet werden, in deren Umgebung die Parameter einen interessierenden Zustand beispielsweise einer Zelle oder eine Zellorganelle anzeigen.
Das Fluoreszenzbild kann auch eine zeitliche Abhängigkeit der Fluoreszenzemission wiedergeben, um beispielsweise die Kinetik des Ausbleichen des Farbstoffs abzubilden. Aus dieser Kinetik kann auf die Fotostabilität des Farbstoffs und - bei Kenntnis der lokalen Farbstoffkonzentration - auf die mittlere Anzahl von emittierten Fluoreszenzphotonen pro Farbstoffmolekül geschlossen werden, welche eine wichtige Größe zur Festlegung der Anzahl und Anordnung der Abtastpositionen sowie der Abtastdauer pro Abtastposition ist.
Wenngleich das Rasterbild in vielen Fällen ein Fluoreszenzbild ist, lässt sich das erfindungsgemäße Verfahren auch mit Rasterbildern ausführen, die einen anderen Bildkontrast aufweisen. Hierzu kommen insbesondere Second-Harmonic-Generation-Kontrast (SHG- Kontrast), Third-Harmonic-Generation-Kor\trast (THG-Kontrast), Streulichtkontrast, Reflexionslichtkontrast, Differentialinterferenzkontrast (DIC-Kontrast) und Polarisationskontrast in Betracht. Diese Kontrastmodi ermöglichen eine Zuordnung oder Bestimmung einer Abtastvorschrift auch auf Basis von Strukturen in der Probe, die keine Fluoreszenzfärbung aufweisen.
Zur Bestimmung einer Abtastvorschrift aus dem Rasterbild können auf dieses verschiedene Bildoperationen angewendet werden. Die Analyse kann lokal erfolgen, d. h. nur unter Berücksichtigung des Bildpunkts, in dem sich das Farbstoffmolekül befindet, für das eine Abtastvorschrift abgeleitet werden soll. Eine lokale Analyse ist in der Regel mit sehr geringem Rechenaufwand verbunden; im einfachsten Fall erfolgt für jeden Bildpunkt des Rasterbilds lediglich eine Schwellwertbildung, um festzustellen, ob ein Farbstoff am Ort des jeweiligen Bildpixels vorliegt oder nicht. Danach kann beispielsweise entschieden werden, ob ein an diesem Ort vorliegendes Farbstoffmolekül abgetastet wird oder mit einem anderen Farbstoffmolekül fortgefahren wird. Alternativ oder ergänzend kann eine Schwellwertbildung auch aus Intensitätsverhältnissen oder Korrelationsamplituden erfolgen, die aus mehreren Kanälen des Rasterbilds oder aus korrespondierenden Bildpunkten oder Bildbereichen des Rasterbilds und eines weiteren Rasterbilds gebildet werden. So liefert ein aus zwei Farbkanälen gebildetes Intensitätsverhältnis eine Informationen über die Identität eines von mehreren sich spektral unterscheidenden Fluoreszenzfarbstoffen, und durch Schwellwertbildung des Intensitätsverhältnisses kann eine geeignete Abtastvorschrift aus einer Menge von alternativen Abtastvorschriften ausgewählt werden.
In besonders vorteilhaften Ausführungsformen des Verfahrens erfolgt die Analyse des Rasterbilds jedoch unter Berücksichtigung der Umgebung des Farbstoffmoleküls, für das eine Abtastvorschrift bestimmt werden soll. Zur Analyse des Rasterbilds kommen dann auch morphologische Operationen, d. h. Nachbarschaftsoperatoren zur Anwendung, von denen hier nur die Grundoperationen Erosion, Dilatation, Opening, Closing beispielhaft genannt seien. Für fortgeschrittene Methoden der Bildsegmentierung und der Muster- bzw. Objekterkennung kann der Fachmann auf umfassenden Stand der Technik aus dem Bereich der Bildverarbeitung zurückgreifen. Auch wenn die Analyse des Rasterbilds einmal vor Beginn des Abtastens eines Farbstoffmoleküls erfolgen muss, um eine Abtastvorschrift festzulegen, mit der das Abtasten begonnen wird, so kann die Analyse im Laufe des Abtastens wiederholt und die Abtastvorschrift aktualisiert werden. Wenn beispielsweise eine eindeutige Auswahl einer Abtastvorschrift aus einer Menge von Abtastvorschriften aus dem anfangs aufgenommenen Rasterbild nicht erfolgen kann, bietet es sich an, für jede Abtastvorschrift der Menge zunächst Wahrscheinlichkeitswerte dafür zu berechnen, dass das Farbstoffmolekül mit der jeweiligen Abtastvorschrift optimal abgetastet wird. Die Abtastung kann dann mit der Abtastvorschrift begonnen werden, für die die höchste Wahrscheinlichkeit ermittelt wurde, während im Laufe des Abtastens und unter Berücksichtigung der dabei detektierten Fluoreszenz die Wahrscheinlichkeitswerte aktualisiert werden und die Abtastung ggf. mit einer anderen Abtastvorschrift fortgesetzt wird. Eine derartige Situation kann beispielsweise in einer mit zwei spektral ähnlichen Farbstoffen gefärbten Probe auftreten, so dass einzelne Moleküle eines Farbstoffs erst nach der Detektion einer ausreichenden Zahl von Fluoreszenzphotonen sicher identifiziert werden können.
Während es sich bei dem erfindungsgemäßen Verfahren im Kern um ein Verfahren handelt, um die Orte einzelner Farbstoffmoleküle in einer Probe zu bestimmen, kann das Verfahren dahingehend weitergebildet werden, dass aus den Ortsbestimmungen vieler Farbstoffmoleküle ein räumlich hochaufgelöstes Bild rekonstruiert wird. Dazu können die durch die Ortsbestimmungen erhaltenen Orte vieler Farbstoffmoleküle in einer zweidimensionalen Darstellung visualisiert werden, beispielsweise in Form eines zweidimensionalen Histogramms. Die Erzeugung derartiger hochauflösender Darstellungen ist dem Fachmann aus dem Stand der Technik zur Lokalisationsmikroskopie bzw. der PALM-/STROM-Mikroskopie bekannt und bietet sich insbesondere an, wenn die Farbstoffmoleküle eine Fluoreszenzfärbung einer Struktur in der Probe bilden. In einer bevorzugten Form der Darstellung wird das hochaufgelöste Bild in das Rasterbild eingefügt, so dass das Rasterbild einen passenden Kontext für die hochaufgelöst dargestellten Strukturen bildet.
In einer anderen Weiterbildung des erfindungsgemäßen Verfahrens kann der Ort eines einzelnen Farbstoffmoleküls über längere Zeiträume hinweg wiederholt bestimmt werden, um eine zeitliche Darstellung des Orts des Farbstoffmoleküls in Form einer (Bewegungs-)Trajektorie zu erzeugen. Auch hier kann die Darstellung der Trajektorie vorteilhaft im Kontext des Rasterbilds erfolgen. Die genannten Arten der Visualisierung können dabei auch kombiniert werden, beispielsweise können Trajektorien in einem hochaufgelösten Bild der Probe als Overlays dargestellt werden, um so mögliche Interaktionen von Strukturen in der Probe zu identifizieren, die sich in einer Änderung der Mobilität der verfolgten Farbstoffmoleküle widerspiegeln. Ein weiterer Aspekt der Erfindung besteht darin, dass die Aufnahme des Rasterbilds eines Bereichs der Probe und das Erzeugen eines hochaufgelösten Bilds aus den Ortsbestimmungen der einzelnen Farbstoffmoleküle Informationen auf unterschiedlichen Auflösungsskalen und über verschiedene große Bereiche der Probe liefert und dass das erfindungsgemäße Verfahren damit inhärent eine mehrskalige Abbildung der Probe ermöglicht.
Dieser Aspekt kann dahingehend weiterentwickelt werden, dass das Rasterbild durch Auswahl eines Bereichs in einem Vorschaubild ausgewählt wird, das einen größeren Bereich der Probe als das Rasterbild darstellt. Dieses Vorschaubild kann durch beispielsweise durch schnelles Laserscanning der Probe, insbesondere mit einer großen Schrittweite und / oder einer kurzen Integrationszeit pro Pixel abgescannt werden. Alternativ kann das Vorschaubild aber auch mit einem anderen Bildaufnahmeverfahren aufgenommen werden, insbesondere durch direkte Abbildung auf eine Kamera. Dabei kann das Bildfeld des Vorschaubilds seinerseits durch Auswahl in einem Übersichtsbild ausgewählt werden, das einen (noch) größeren Ausschnitt der Probe oder die gesamte Probe darstellt. Eine derartiges Übersichtsbild kann ebenfalls durch ein schnelles Abscannen der Probe oder durch eine kamerabasierte Abbildung aufgenommen werden, wobei das Übersichtsbild optional auch aus mehreren, teils überlappenden Einzelbildern zusammengefügt werden kann (Stitching). Durch die Darstellung des Vorschaubilds im Kontext des Übersichtsbilds, des Rasterbilds im Kontext des Vorschaubilds und des hochaufgelösten Bilds im Kontext des Vorschaubilds lässt sich eine Multiskalen-Darstellung auch größerer Objekte, z.B. von Zellverbänden oder ganzen Organismen, erzeugen, wobei die Auflösung der Bildaufnahme lokal an die Strukturen in der Probe angepasst werden können. Für diese Art der Darstellung bietet sich insbesondere die Nutzung verschiedener Farbskalen an, um die hochaufgelösten Informationen im Kontext des Übersichts-, Vorschau- und / oder Rasterbilds kenntlich zu machen. Beispielsweise können die durch Ortsbestimmung einzelner Farbstoffmoleküle aufgenommenen Bildbestandteile in einer Falschfarbendarstellung in einer Graustufendarstellung des Übersichtsbilds dargestellt werden.
Die Erfindung bezieht sich weiterhin auf ein Fluoreszenzmikroskop, das dazu eingerichtet ist, das erfindungsgemäße Verfahren auszuführen. Hierzu umfasst das Fluoreszenzmikroskop zumindest eine Lichtquelle für Anregungslicht, mit dem der Fluoreszenzfarbstoff in der Probe zur Fluoreszenzemission angeregt werden kann, und einen Detektor zur Erfassung der Fluoreszenz des Fluoreszenzfarbstoffs. Als Detektor eignet sich dabei insbesondere eine im Photonenzählmodus betriebene Avalanche-Fotodiode, die eine besonders hohe Sensitivität aufweisen kann. Als Detektor kann aber auch ein analoger Fotomultiplier eingesetzt werden, solange dieser über eine ausreichende Sensitivität verfügt. Weiter weist das Fluoreszenzmikroskop Strahlformungsmittel zur Ausbildung einer ein lokales Intensitätsminimum aufweisenden Intensitätsverteilung eines Abtastlichts in der Probe auf, wobei dieses Abtastlicht entweder das Anregungslicht oder ein Fluoreszenzverhinderungslicht aus einer weiteren Lichtquelle sein kann. Unter Fluoreszenzverhinderungslicht ist hier wiederum jede Art von Licht zu verstehen, das geeignet ist, die Fluoreszenzemission des Fluoreszenzfarbstoffs zu verhindern, zu reduzieren oder gänzlich zu unterdrücken. Insbesondere kann das Fluoreszenzverhinderungslicht Stimulationslicht sein, das eine stimulierte Emission elektronisch angeregter Farbstoffmoleküle induziert. Sofern das Abtastlicht nicht selbst das Anregungslicht ist, weist das erfindungsgemäße Fluoreszenzmikroskop somit Lichtquellen für das Anregungslicht und für das Abtast- bzw. Fluoreszenzverhinderungslicht auf.
Als Strahlformungsmittel zur Ausbildung der ein lokales Intensitätsminimum aufweisenden Intensitätsverteilung des Abtastlichts können unter anderem Phasenfilter oder programmierbare Phasenmodulatoren (engl. Spatial Light Modulator, SLM) eingesetzt werden, wie sie beispielsweise aus der STED-Mikroskopie geläufig sind.
Das Fluoreszenzmikroskop umfasst weiter eine scannende Bildaufnahmeeinheit, mit der durch Abrastern der Probe mit fokussiertem Anregungslicht entlang eines (regelmäßigen) Rasters ein Rasterbild der Probe aufgenommen werden kann. Diesbezüglich handelt es sich somit um ein übliches Laserscanningmikroskop, das bevorzugt als konfokales oder STED-Mikroskop mit einem Fluoreszenzkontrast ausgeführt ist.
Erfindungsgemäß weist das Fluoreszenzmikroskop auch eine Abtastvorrichtung auf, mit der das Abtastlicht in der Probe positioniert und einzelne Farbstoffmoleküle an einer Abfolge von Abtastpositionen abgetastet werden können. Für das Abtasten der Farbstoffmoleküle ist insbesondere eine Positionierung des Abtastlichts in der Probe mit einer Genauigkeit von 1 nm oder darunter erforderlich. Gleichzeitig sind Positionierzeiten im Mikrosekundenbereich bevorzugt, um das Abtasten eines Farbstoffmoleküls an einer ausreichenden Anzahl von Abtastpositionen innerhalb der Dauer eines Bursts von Fluoreszenzphotonen abschließen zu können.
Diese Anforderungen lassen sich mit mechanischen Strahlablenkeinheiten wie Galvospiegeln allein nicht oder nur unzureichend erfüllen. Für die Abtastvorrichtung eignen sich daher Strahlablenkeinheiten, die ohne bewegliche Teile auskommen, beispielsweise elektrooptische oder elektroakustische Deflektoren. Mit diesen sind die gewünschten Positionierzeiten problemlos erreichbar, allerdings sind die maximalen Ablenkwinkel sehr begrenzt. Aus diesem Grund weist eine bevorzugte Ausführungsform des erfindungsgemäßen Fluoreszenzmikroskops im Strahlengang sowohl einen Galvoscanner auf, mit dem der Strahl über größere Bildfelder positioniert werden kann, als auch einen elektrooptischen Deflektor, mit dem das (schnelle) Abtasten der einzelnen Farbstoffmoleküle vorgenommen wird. Dabei bietet es sich an, dass sich die Abtastvorrichtung und die scannende Bildaufnahmeeinheit den Galvanoscanner teilen, so dass eine weitere Strahlablenkvorrichtung eingespart werden kann. Dadurch besteht automatisch auch eine feste räumliche Beziehung zwischen den Bildpunkten des Rasterbilds und den Abtastpositionen, und ein Abgleich mehrerer Strahlablenkeinreichungen zueinander entfällt.
In einer Weiterbildung verfügt das Fluoreszenzmikroskop zusätzlich über Mittel zum Zusammenfügen mehrerer räumlich teilweise überlappender Rasterbilder der scannenden Bildaufnahmeeinheit. Diese Mittel umfassen zumindest eine Bildverarbeitungseinheit, die eine Ausrichtung und eine Überblendung der einzelnen Rasterbilder zu dem zusammengefügten Rasterbild ausführen kann. Die Mittel können auch einen verstellbaren Probentisch umfassen, mit dem die Probe zwischen der Aufnahme einzelner Rasterbilder verschoben werden kann, so dass das zusammengefügte Rasterbild auch ein Bildfeld aufweisen kann, das den Scanbereich der scannenden Bildaufnahmeeinheit übersteigt.
Weitere vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Patentansprüchen, der Beschreibung und den Zeichnungen. Die in der Beschreibung beschriebenen Vorteile von Merkmalen und von Kombinationen mehrerer Merkmale der Erfindung sind lediglich beispielhaft und können alternativ oder kumulativ zur Wirkung kommen, ohne dass die Vorteile zwingend von erfindungsgemäßen Ausführungsformen erzielt werden müssen. Ohne dass hierdurch der Gegenstand der beigefügten Patentansprüche verändert wird, gilt hinsichtlich des Offenbarungsgehalts der ursprünglichen Anmeldungsunterlagen und des Patents das Folgende: weitere Merkmale sind den Zeichnungen zu entnehmen. Die Kombination von Merkmalen unterschiedlicher Ausführungsformen der Erfindung oder von Merkmalen unterschiedlicher Patentansprüche ist ebenfalls abweichend von den gewählten Rückbeziehungen der Patentansprüche möglich und wird hiermit angeregt. Dies betrifft auch solche Merkmale, die in separaten Figuren dargestellt sind oder bei deren Beschreibung genannt werden. Diese Merkmale können auch mit Merkmalen unterschiedlicher Patentansprüche kombiniert werden. Ebenso können in den Patentansprüchen aufgeführte Merkmale für weitere Ausführungsformen der Erfindung entfallen.
Der in den Patentansprüchen und der Beschreibung genutzte unbestimmte Artikel „ein“ für ein Merkmal ist so zu verstehen, dass es sich hinsichtlich der Anzahl um genau eine oder auch um mehrere Ausführungen dieses Merkmals handeln kann, ohne dass es einer expliziten Verwendung des Adverbs "mindestens" bedarf. Die in den Patentansprüchen angeführten Merkmale können gegebenenfalls durch weitere Merkmale ergänzt
Kurzbeschreibung der Figuren
Fig. 1 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
Fig. 2 zeigt das erfindungsgemäße Verfahren schematisch.
Fig. 3 zeigt ein erfindungsgemäßes Fluoreszenzmikroskop.
Fig. 4 zeigt eine Darstellungsart der mit dem erfindungsgemäßen Verfahren erhobenen Daten.
Beschreibung der Figuren
In Fig. 1 ist das erfindungsgemäße Verfahren in Form eines Ablaufdiagramms dargestellt. Darin kennzeichnen durchgezogene Linien die Abfolge von Verfahrensschritten, gepunktete Linien eine alternative / optionale Abfolge von Verfahrensschritten und gestrichelte Linien den Fluss von Daten. Im ersten Schritt wird mittels scannender Bildaufnahme ein Rasterbild 1 der Probe aufgenommen, auf Basis dessen später Abtastvorschriften zum Abtasten einzelner Farbstoffmoleküle bestimmt werden. Als Voraussetzung für das nachfolgende Abtasten einzelner Farbstoffmoleküle erfolgt im zweiten Schritt eine Vereinzelung der Farbstoffmoleküle, d. h. ein Ausdünnen des Farbstoffs im fluoreszenten Zustand beispielsweise durch Beleuchten mit Fotodeaktivierungslicht, bis nur noch isolierte fluoreszente Farbstoffmoleküle vorliegen, deren Abstand oberhalb der optischen Beugungsgrenze liegt. Insbesondere, wenn das Rasterbild 1 ein Fluoreszenzbild eines anderen Farbstoffs ist oder wenn es einen anderen Bildkontrast (beispielsweise einen SHG-Kontrast) nutzt, müssen die Aufnahme des Rasterbilds 1 und die Vereinzelung der Farbstoffmoleküle nicht notwendigerweise in der angegebenen Reihenfolge vorgenommen werden, sondern können auch umgekehrt erfolgen.
Nachdem die Farbstoffmoleküle des Fluoreszenzfarbstoffs einzeln vorliegen, wird ein Farbstoffmolekül im fluoreszenten Zustand ausgewählt und für dieses Farbstoffmolekül eine geeignete Abtastvorschrift bestimmt, wobei zu deren Bestimmung das Rasterbild 1 am Ort bzw. in der Umgebung des jeweiligen Farbstoffmoleküls analysiert wird. Durch die Abtastvorschrift werden insbesondere die Anzahl und die Anordnung der Abtastpositionen und die Abtastdauer an den Abtastpositionen festgelegt. Die Farbstoffmoleküle werden dann gemäß der jeweils zuvor bestimmten Abtastvorschrift abgetastet, d. h. sie werden mit einer ein lokales Minimum aufweisenden Intensitätsverteilung von Anregungslicht oder mit Anregungslicht und einer ein lokales Minimum aufweisenden Intensitätsverteilung von Fluoreszenzverhinderungslicht (z. B. Stimulationslicht) an jeder Abtastposition beleuchtet, wobei jeweils eine Anzahl von Fluoreszenzphotonen oder alternativ eine Fluoreszenzintensität detektiert wird. Die Anzahl detektierter Fluoreszenzphotonen und die jeweilige Abtastposition werden als Wertepaare 2 in einem Datenspeicher 3 abgelegt. Optional kann die Abtastvorschrift aktualisiert oder neu bestimmt werden, nachdem ein Farbstoffmolekül an einem Teil der Abtastpositionen abgetastet wurde und die dabei aufgenommenen Daten erkennen lassen, dass die angewendete Abtastvorschrift nicht optimal ist. Schließlich wird der Ort des Farbstoffmoleküls nach einem der Triangulation verwandten Verfahren bestimmt, wobei zur Ortsbestimmung auf die Wertepaare 2 von Abtastpositionen und detektierten Photonenzahlen aus dem Datenspeicher s zugegriffen wird. Das Verfahren kann optional mit weiteren Farbstoffmolekülen im fluoreszenten Zustand wiederholt werden.
Der Schritt der Ortsbestimmung kann auch nach Abschluss des Abtastens aller Farbstoffmoleküle nachgelagert erfolgen, insbesondere, wenn der zur Ortsbestimmung eingesetzte Algorithmus rechenintensiv ist und nicht ausreichend schnell zwischen dem Abtasten aufeinander folgender Farbstoffmoleküle ausgeführt werden kann.
In Fig. 2 ist das erfindungsgemäße Verfahren schematisch für die Ortsbestimmung dreier Farbstoffmoleküle 4, 5, 6 innerhalb einer Zelle 7 gezeigt. Innerhalb der Zelle 7 sind Filamente 8 (diese können beispielsweise Aktin, Vimentin oder ein anderes filamentöses Protein sein) mit einem Fluoreszenzfarbstoff 9 gefärbt, während eine Struktur des Zellkerns 10 (beispielsweise der Kernporenkomplex) mit einem anderen Fluoreszenzfarbstoff 11 markiert ist. Die Fluoreszenzfarbstoffe 9 und 11 sind hier verschieden, aber in ihren spektralen Eigenschaften ähnlich, so dass sie mit Anregungslicht der gleichen Wellenlänge angeregt und im gleichen Detektionsbereich detektiert werden können. Die Verwendung spektral ähnlicher Farbstoffe hat den Vorteil, dass für das Abtasten ein gemeinsamer Abtastlichtstrahl und ein gemeinsamer Detektor verwendet werden können. Neben dem ökonomischen Vorteil sind durch die gemeinsame Nutzung der Abtastmittel beide Farbkanäle intrinsisch zueinander ausgerichtet und müssen nicht relativ zueinander justiert werden.
Beide Farbstoffe liegen anfänglich in einem fluoreszenten Zustand 12 vor, können jedoch in einen nicht-fluoreszenten Zustand überführt werden. Zunächst wird von der Zelle 7 bzw. hier nur einem Teil der Zelle 7 ein Rasterbild 1 aufgenommen, wobei das Rasterbild 1 bevorzugt ein konfokal detektiertes Fluoreszenzbild 13 ist. Das Fluoreszenzbild 13 zeigt in einem Bereich 14 die Filamente 8 und in einem anderen Bereich 15 den Zellkern 10. Dabei werden die Bereiche 14 und 15, die hier binäre Masken darstellen, durch (eine nicht gezeigte) Bildverarbeitung aus den Rohdaten des Rasterbilds bestimmt. Die Bildverarbeitung umfasst dabei typischerweise i) Dilationsschritte, die eine vollständige Abdeckung der jeweiligen Strukturen sicherstellen, ii) C/os/ng-Schritte, mit denen die Bereiche geschlossen werden, so dass sie lückenfrei sind, sowie iii) eine Schwellwertbildung, durch die aus den Graustufen binäre Masken generiert werden.
Nach der Aufnahme des Rasterbilds 1 wird eine Vereinzelung der Farbstoffmoleküle der Fluoreszenzfarbstoffe 9, 11 vorgenommen. Hierzu muss die anfänglich dichte Verteilung der Farbstoffe soweit ausgedünnt werden, dass nur noch einzelne, räumlich getrennte und optisch auflösbare Farbstoffmoleküle 4, 5, 6 im fluoreszenten Zustand 12 verbleiben. Diese Vereinzelung kann beispielsweise durch Beleuchten mit Deaktivierungslicht erfolgen, wodurch der Großteil der Farbstoffmoleküle in den nicht-fluoreszenten Zustand überführt wird.
Nach der Vereinzelung können die Farbstoffmoleküle 4, 5, 6 für die Ortsbestimmung mit Abtastlicht abgetastet werden, wobei an jeder Abtastposition 16 eine Anzahl von Photonen oder eine Intensität von Fluoreszenzlicht detektiert wird. Erfindungsgemäß weist die Intensitätsverteilung des Abtastlichts, bei dem es sich in der dargestellten Ausführungsform des Verfahrens um Anregungslicht handelt, in der Probe ein lokales Minimum auf. Das Abtasten ist in der Figur für die drei Farbstoffmoleküle 4, 5, 6 schematisch dargestellt. Das Farbstoffmolekül 4 befindet sich im Bereich 14 und kann daher den Filamenten 8 zugeordnet werden, die mit dem Fluoreszenzfarbstoff 9 markiert sind. Für den Fluoreszenzfarbstoff 9 wird eine Abtastvorschrift 17 gewählt, die sechs Abtastpositionen 16 des Intensitätsminimums auf einem gleichseitigen Sechseck 18 vorsieht. Aus den an diesen sechs Abtastpositionen 16 detektierten Anzahlen von Fluoreszenzphotonen erfolgt eine Ortsbestimmung, wodurch der Ort des Farbstoffmoleküls 4 mit verbesserter Genauigkeit bestimmt wird. Nun wird das Farbstoffmolekül 4 erneut an sechs Abtastpositionen 16 auf einem nun kleineren, dichter um das Farbstoffmolekül 4 angeordneten Sechseck 19 abgetastet und eine erneute Ortsbestimmung durchgeführt. Dieser Prozess kann fortgesetzt werden, bis der Ort mit der gewünschten Genauigkeit bestimmt wurde oder die Ortsbestimmung konvergiert ist.
Das Farbstoffmolekül 5 kann keinem der Bereiche 14, 15 zugeordnet werden und ist deshalb als Teil einer unerwünschten, unspezifischen Färbung der Probe anzusehen. Ein Abtasten des Farbstoffmoleküls 5 wird daher nicht vorgenommen, und das Abtasten wird mit Farbstoffmolekül 6 fortgesetzt. Das Farbstoffmolekül 6 befindet sich im Bereich 15 und kann daher dem Zellkern 10 zugeordnet werden, der mit dem Fluoreszenzfarbstoff 11 markiert sind. Für diesen Fluoreszenzfarbstoff 11 wird eine Abtastvorschrift 20 gewählt, die drei Abtastpositionen 21 des Intensitätsminimums auf einem gleichseitigen Dreieck 22 vorsieht. Das Abtasten erfolgt nach dem gleichen Prinzip wie für das Farbstoffmolekül 4, allerdings nur an je drei Abtastpositionen auf sukzessive kleineren Dreiecken. Außerdem kann die Abtastdauer pro Abtastposition für das Farbstoffmolekül 6 gegenüber dem Farbstoffmolekül 4 abweichen.
Fig. 3 zeigt schematisch den Aufbau eines erfindungsgemäßen Fluoreszenzmikroskops 23. Eine Lichtquelle 24 stellt Anregungslicht 25 zur Verfügung, das in der gezeigten Ausführungsform auch das Abtastlicht 26 ist. Zur Ausbildung der ein lokales Minimum aufweisenden Intensitätsverteilung des Anregungs- bzw. Abtastlichts in der Probe 27 ist im Strahlengang 28 des Anregungslichts 25 ein Spatial Light Modulator (SLM) 29 angeordnet, mit dem die Wellenfront des Anregungslichts 25 so modifiziert wird, dass bei der Fokussierung des Anregungslichts 25 durch das Mikroskopobjektiv 30 die Intensitätsverteilung mit einem Intensitätsminimum resultiert. Im Strahlengang 28 des Anregungslichts 25 befindet sich weiter ein elektrooptischer Deflektor (EOD) 31 zur schnellen Positionierung der Intensitätsverteilung des Anregungslichts in zwei Richtungen in der Probe 27.
Das von dem Spatial Light Modulator (SLM) 29 reflektierte Anregungslicht 25 wird mit einem Strahlteiler 32 in einen Hauptstrahlengang 33 des Fluoreszenzmikroskops 23 eingekoppelt. Der Strahlteiler 32 ist vorteilhaft als schmalbandig reflektierender dielektrischer Notchfilter ausgeführt, dessen Reflexionsbereich möglichst wenig mit dem Emissionsspektrum des Fluoreszenzfarbstoffs überlappt, so dass nur geringe Anteile des im Hauptstrahlengang 33 in Gegenrichtung zum Anregungslicht 25 propagierenden Fluoreszenzlichts 34 aus dem Hauptstrahlengang 33 ausgespiegelt werden. Das Anregungslicht 25 wird mit einer Scanlinse 35, einem hier beispielhaft in einer Quad-Konfiguration für nur eine Scanrichtung gezeigten Scanner 36 sowie einer Tubuslinse 37 in die rückwärtige Apertur des Mikroskopobjektivs 30 gelenkt. Das von dem Mikroskopobjektiv 30 aus der Probe 27 empfangene Fluoreszenzlicht 34 propagiert entlang des Hauptstrahlengangs 33 in dem Anregungslicht 25 entgegengesetzter Richtung, wobei es von dem Strahlteiler 32 transmittiert wird. Das Fluoreszenzlicht 34 wird durch einen Filter 38 von reflektiertem Anregungslicht 25 und von Streulicht getrennt und wird mit einer Linse 39 durch eine konfokale Lochblende 40 auf einen Detektor 41 fokussiert.
In der gezeigten Konfiguration ist die Abtastvorrichtung 43 zum Abtasten einzelner Farbstoffmoleküle gemeinsam durch den elektrooptischen Deflektor (EOD) 31 und den Scanner 36 ausgebildet. Dabei dient der Scanner 36 einer vergleichsweise langsamen, aber über ein großes Bildfeld möglichen Vorpositionierung des fokussierten Anregungslichts 25 auf ein im fluoreszenten Zustand befindliches Farbstoffmolekül in der Probe 27, während der EOD 31 der Positionierung des Intensitätsminimums an den dicht um ein Farbstoffmolekül angeordneten Abtastpositionen dient. Dabei erlaubt der EOD 31 eine Positionierung mit hoher Geschwindigkeit, allerdings mit einem auf wenige Mikrometer beschränkten Positionierbereich. Gleichzeitig ist der Scanner 36 auch Teil der scannenden Bildaufnahmeeinheit, der zusammen mit dem Detektor 41 eine konfokale Bildaufnahme der Probe 27 ermöglicht, um Rasterbilder aufzunehmen, anhand derer die Abtastvorschriften zur Abtastung einzelner Farbstoffmoleküle in der Probe 27 festgelegt werden können.
Das dargestellte Fluoreszenzmikroskop 23 weist schließlich eine Steuer- und Bildverarbeitungseinheit 42 auf, die einerseits die Ansteuerung des Scanners 36 und das Auslesen des Detektors 41 für eine konfokale Bildaufnahme steuert und andererseits eine Abtastung einzelner Moleküle an einer Abfolge von Abtastpositionen durch eine entsprechende koordinierte Ansteuerung des EODs 31 und des Scanners 36 erlaubt. Die Steuer- und Bildverarbeitungseinheit 42 beinhaltet weiterhin eine Recheneinheit zur Bildanalyse des Rasterbilds und zur Berechnung von Abtastvorschriften aus dem Rasterbild. Die Steuer- und Bildverarbeitungseinheit ist im Regelfall als programmierbarer Rechner, als programmierbarer integrierter Schaltkreis oder als Microcontroller mit entsprechenden Ein- und Ausgabeschnittstellen ausgeführt.
Fig. 4 zeigt eine bevorzugte Darstellung von mit dem erfindungsgemäßen Verfahren bestimmten Orten von Farbstoffmolekülen in Form rekonstruierter, hochaufgelöster Bilder 50 und Trajektorien 51 im Kontext eines größeren Bereichs der Probe. Das erfindungsgemäße Verfahren ist hier in einen Workflow von mehreren Bildaufnahmeschritten eingebettet, beginnend mit der Aufnahme eines Übersichtsbilds 44 der Probe, wobei das Übersichtsbild 44 aus mehreren überlappenden Einzelbildern 45, beispielsweise mehreren mit geringer Vergrößerung aufgenommenen Durchlichtbildern 46, zusammengefügt wurde. Das Übersichtsbild 44 zeigt einen großen Bereich der Probe mit vielen Zellen 7, 47, und stellt so einen Kontext auf einer großen Skala, aber mit geringer räumlicher Auflösung dar. Von den im Übersichtsbild 44 erkennbaren Zellen 7, 47 werden nun einige Zellen 47 für eine nähere Untersuchung ausgewählt, von denen im nächsten Schritt ein Vorschaubild 48, beispielsweise ein konfokales Fluoreszenzbild 49 aufgenommen wird. In diesem Vorschaubild 48 kann beispielsweise die Fluoreszenzfärbung der ausgewählten Zellen 47 überprüft werden. In den ausgewählten Zellen 47 werden nun Ortsbestimmungen einzelner Farbstoffmoleküle vorgenommen, um hochaufgelöste Bilder 50 von Strukturen und Trajektorien 51 einzelner Farbstoffmoleküle in den ausgewählten Zellen 47 zu bestimmen. Die Ortsbestimmungen einzelner Farbstoffmoleküle erfolgen erfindungsgemäß durch Aufnahme von Rasterbildern 1 von Ausschnitten der Probe, die hier jeweils eine Zelle 47 bzw. Teile einer Zelle 47 enthalten, und durch Abtasten einzelner Farbstoffmoleküle nach Abtastvorschriften, die aus den Rasterbildern 1 bestimmt werden. Die Darstellung der aus den Ortsbestimmungen vieler Farbstoffmoleküle bzw. aus den wiederholten Ortsbestimmungen eines einzelnen Farbstoffmoleküls erzeugten hochaufgelösten Bilder 50 bzw. Trajektorien 51 erfolgt im Kontext des Rasterbilds 1 , des Vorschaubilds 48 und des Übersichtsbilds 44. Bezugszeichenliste
1 Rasterbild
2 Wertepaare
3 Datenspeicher
4 Farbstoffmolekül
5 Farbstoffmolekül, nicht ausgewählt
6 Farbstoffmolekül
7 Zelle
8 Filamente
9 Fluoreszenzfarbstoff
10 Zellkern
11 Fluoreszenzfarbstoff
12 fluoreszenter Zustand
13 Fluoreszenzbild
14 Bereich
15 Bereich
16 Abtastposition
17 Abtastvorschrift
18 Sechseck
19 kleineres Sechseck
20 Abtastvorschrift
21 Abtastposition
22 Dreieck
23 Fluoreszenzmikroskop
24 Lichtquelle
25 Anregungslicht
26 Abtastlicht
27 Probe
28 Strahlengang
29 Spatial Light Modulator (SLM)
30 Mikroskopobjektiv
31 elektrooptischer Deflektor (EOD)
32 Strahlteiler
33 Hauptstrahlengang
34 Fluoreszenzlicht Scanlinse
Scanner
Tubuslinse
Filter
Linse
Lochblende
Detektor
Steuer- und Bildverarbeitungseinheit
Abtastvorrichtung
Übersichtsbild
Einzelbild
Durchlichtbild
Zelle
Vorschaubild
Fluoreszenzbild hochaufgelöstes Bild
T rajektorie

Claims

26
Patentansprüche
1. Verfahren zur räumlich hochgenauen Ortsbestimmung einzelner Farbstoffmoleküle (4, 5, 6) eines oder mehrerer Fluoreszenzfarbstoffe (9, 11) in einer Probe (27), wobei die Fluoreszenzfarbstoffe (9, 11) zwischen einem ersten, fluoreszenten Zustand (12), der zur Fluoreszenzemission in einem Fluoreszenzwellenlängenbereich angeregt werden kann, und einem zweiten Zustand, der bei einer Anregung des ersten Zustands keine Fluoreszenzemission in dem Fluoreszenzwellenlängenbereich des ersten Zustands zeigt, in mindestens einer Richtung überführbar sind, umfassend die Verfahrensschritte:
- Erzeugen einer Verteilung von einzelnen Farbstoffmolekülen (4, 5, 6) im ersten, fluoreszenten Zustand (12), wobei der Abstand benachbarter fluoreszenter Farbstoffmoleküle (4, 5, 6), die bei der Anregung mit einem Anregungslicht (25) eine Fluoreszenz im gleichen Fluoreszenzwellenlängenbereich emittieren, oberhalb der optischen Beugungsgrenze liegt;
- Auswählen eines fluoreszenten Farbstoffmoleküls (4, 5, 6) aus der Verteilung, wobei der Ort des ausgewählten Farbstoffmoleküls (4, 5, 6) näherungsweise, bevorzugt mit einer Ortsunsicherheit von weniger als 250 nm, bekannt ist;
- Anregen des ausgewählten Farbstoffmoleküls (4, 5, 6) mit dem Anregungslicht (25);
- Abtasten des Farbstoffmoleküls (4, 5, 6) mit einer ein lokales Minimum aufweisenden Intensitätsverteilung eines Abtastlichts (26) an mehreren, im Abstand von nicht mehr als 250 nm vom Ort des Farbstoffmoleküls (4, 5, 6) angeordneten Abtastpositionen (16, 21) gemäß einer Abtastvorschrift, wobei das Abtastlicht das Anregungslicht (25) oder ein Fluoreszenzverhinderungslicht sein kann;
- Detektieren einer Anzahl von Photonen oder einer Intensität von Fluoreszenzlicht (34) an jeder Abtastposition (21);
- Bestimmen des Orts des Farbstoffmoleküls (4, 5, 6) aus den Anzahlen von Photonen oder Intensitäten des Fluoreszenzlichts (34) und den Abtastpositionen (16, 21) mit einer um mindestens einen Faktor 10 reduzierten Ortsunsicherheit, dadurch gekennzeichnet, dass vor dem Abtasten des Farbstoffmoleküls (4, 5, 6) ein Rasterbild (1) der Probe (27) oder eines das Farbstoffmolekül (4, 5, 6) umfassenden Ausschnitts der Probe (27) mittels scannender Lasermikroskopie aufgenommen wird und dass die Abtastvorschrift für das Abtasten des Farbstoffmoleküls (4, 5, 6) aus einem Signal eines Bildpunkts des Rasterbilds (1) am Ort des Farbstoffmoleküls (4, 5, 6) oder aus den Signalen mehrerer Bildpunkte des Rasterbilds (1) in einer Umgebung des Farbstoffmoleküls (4, 5, 6) bestimmt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Abtastvorschrift (17, 20) einen oder mehrere der folgenden Parameter festlegt:
- Anzahl und Lage der Abtastpositionen (16, 21) in der Probe,
- den Abtastpositionen (16, 21) zugeordnete Abtastdauern,
- den Abtastpositionen (16, 21) zugeordnete Mindestphotonenzahlen oder Mindestintensitäten des Fluoreszenzlichts (34),
- zwischen den Abtastpositionen (16, 21) eingefügte Wartezeiten,
- den Abtastpositionen (16, 21) zugeordnete Intensitäten des Anregungs- und / oder des Abtastlichts,
- Wellenlängen des Anregungs- und / oder des Abtastlichts.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bestimmen der Abtastvorschrift (17, 20) ein Auswählen einer Abtastvorschrift (17, 20) aus einer Menge von vorab festgelegten Abtastvorschriften (17, 20) umfasst.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Abtastvorschriften (17, 20) der Menge an die Eigenschaften verschiedener Fluoreszenzfarbstoffe (9, 11) angepasst sind.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass das Auswählen der Abtastvorschrift (17, 20) durch ein auf diese Aufgabe trainiertes künstliches neuronales Netz mit dem Rasterbild (1) oder einem aus dem Rasterbild (1) berechneten Eingabevektor als Eingabe erfolgt.
6. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bestimmen der Abtastvorschrift (17, 20) ein Berechnen einer Funktion oder ein Ausführen eines Algorithmus umfasst, wobei der Funktion oder dem Algorithmus die Signale eines oder mehrerer Bildpunkte des Rasterbilds (1) als Argument übergeben werden.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Abtastvorschrift (17, 20) nach dem Abtasten des Farbstoffmoleküls (4, 5, 6) an einem Teil der Abtastpositionen (16, 21) aktualisiert oder neu bestimmt wird und dass die Abtastung gemäß der aktualisierten oder neu bestimmten Abtastvorschrift (17, 20) fortgesetzt wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Aktualisierung oder die Neubestimmung der Abtastvorschrift (17, 20) unter Einbeziehung der an den bereits abgetasteten Abtastpositionen (16, 21) detektierten Anzahlen von Photonen oder den Intensitäten des Fluoreszenzlichts (34) erfolgt.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass für das Abtasten der Farbstoffmoleküle (4, 5, 6) und für die scannende Aufnahme des Rasterbilds (1) gemeinsame Abtastmittel, das gleiche Anregungslicht (25), ein gemeinsamer Strahlengang und / oder ein gemeinsamer Teilstrahlengang genutzt werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das Rasterbild (1) ein konfokal detektiertes oder mit einer Mehrphotonenanregung, insbesondere einer Zweiphotonenanregung aufgenommenes Rasterbild (1) mit einem Fluoreszenzintensitätssignal oder einem Fluoreszenzlebensdauersignal ist.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass auch der zweite Zustand ein fluoreszenter Zustand ist, der mit einer von der Wellenlänge des Anregungslichts (25) verschiedenen Wellenlänge selektiv angeregt werden kann und / oder dessen Fluoreszenzemission in einem anderen als dem Fluoreszenzwellenlängenbereich erfolgt, und dass die Fluoreszenzemission des zweiten Zustands das Fluoreszenzintensitätssignal oder das Fluoreszenzlebensdauersignal des Rasterbilds (1) bildet.
12. Verfahren nach Anspruch 10 oder 11 , dadurch gekennzeichnet, dass das Rasterbild (1) mit dem Fluoreszenzintensitätssignal oder dem Fluoreszenzlebensdauersignal mehrere Kanäle aufweist, die sich in der Anregungswellenlänge, einem Detektionswellenlängenbereich und / oder einer Polarisationsrichtung des Anregungslichts (25) oder des detektierten Fluoreszenzlichts (34) unterscheiden.
13. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass das Bestimmen der Abtastvorschrift (17, 20) eine Berechnung eines aus dem Fluoreszenzintensitätssignal oder aus dem Fluoreszenzlebensdauersignal des Rasterbilds (1) abgeleiteten Parameters, insbesondere eines pH-Werts, einer lonenkonzentrationen oder einer Fluoreszenzanisotropie in einzelnen Bildpunkten oder in Gruppen von Bildpunkten des Rasterbilds (1) umfasst.
14. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das Rasterbild (1) einen Bildkontrast aus der folgenden Gruppe aufweist: Second-Harmonic-Generation- Kontrast (SHG- Kontrast), Third-Harmonic-Generation-Kor\trast (THG-Kontrast), Streulichtkontrast, Reflexionslichtkontrast, Differentialinterferenzkontrast (DIC-Kontrast), Polarisationskontrast.
15. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass das Bestimmen der Abtastvorschrift (17, 20) eine Berechnung von Signalverhältnissen oder von 29
Korrelationsamplituden zwischen korrespondierenden Bildpunkten oder Bereichen von Bildpunkten in dem und in einem weiteren Rasterbild (1) oder zwischen mehreren Kanälen des Rasterbilds (1) umfasst. Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass das Bestimmen der Abtastvorschrift (17, 20) eine Schwellwertbildung des Signals, eines aus dem Signal abgeleiteten Parameters, eines Signalverhältnisses oder einer Korrelationsamplitude umfasst. Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass das Bestimmen der Abtastvorschrift (17, 20) eine Segmentierung des Rasterbilds (1) auf Basis des Signals, eines aus dem Signal abgeleiteten Parameters, eines Intensitätsverhältnisses oder einer Korrelationsamplitude umfasst. Verfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass Farbstoffmoleküle (5) nicht ausgewählt werden, wenn das Signal des Rasterbilds (1) am Ort des jeweiligen Farbstoffmoleküls (5) oder in der Umgebung des jeweiligen Farbstoffmoleküls (5) einen Minimalwert unterschreitet oder einen Maximalwert überschreitet. Verfahren nach einem der Ansprüche 1 bis 18, dadurch gekennzeichnet, dass das Erzeugen der Verteilung einzelner Farbstoffmoleküle (4, 5, 6) des Fluoreszenzfarbstoffs (9, 11) in dem ersten, fluoreszenten Zustand (12) durch Beleuchten der Probe (27) mit Fotoaktivierungslicht oder mit Fotodeaktivierungslicht erfolgt und dass die Intensität des Fotoaktivierungslichts bzw. des Fotodeaktivierungslichts auf Basis des Rasterbilds (1) eingestellt wird. Verfahren nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass aus den Orten mehrerer Farbstoffmoleküle (4, 5, 6) ein hochaufgelöstes Bild der Probe (27) rekonstruiert wird. Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass das hochaufgelöste Bild in dem Rasterbild (1) dargestellt wird. Verfahren nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass ein Farbstoffmolekül (4, 5, 6) wiederholt abgetastet und sein Ort wiederholt bestimmt wird und dass aus den wiederholt bestimmten Orten eine Trajektorie des Farbstoffmoleküls (4, 5, 6) erzeugt wird. 30
23. Verfahren nach Anspruch 22, dadurch gekennzeichnet, dass die Trajektorie in dem Rasterbild (1) dargestellt wird.
24. Verfahren nach einem der Ansprüche 1 bis 23, dadurch gekennzeichnet, dass der Ausschnitt der Probe (27), in dem das Rasterbild (1) aufgenommen wird, durch Markieren eines Bereichs in einem größeren Vorschaubild ausgewählt wird.
25. Verfahren nach Anspruch 24, dadurch gekennzeichnet, dass der Bildbereich des Vorschaubilds durch Markieren eines Bereichs in einem Übersichtsbild ausgewählt wird, wobei das Übersichtsbild einen noch größeren Bildbereich als das Vorschaubild umfasst.
26. Fluoreszenzmikroskop (23) mit
- einer Lichtquelle (24) für Anregungslicht (25),
- Strahlformungsmitteln zur Ausbildung einer ein lokales Intensitätsminimum aufweisenden Intensitätsverteilung eines Abtastlichts (26) in einer Probe, wobei das Abtastlicht (26) das Anregungslicht (25) oder ein Fluoreszenzverhinderungslicht einer weiteren Lichtquelle sein kann,
- einer Abtastvorrichtung zur Positionierung des Abtastlichts (26) in einer Probe (27),
- einem Detektor (41) zur Erfassung von Fluoreszenzlicht (34) aus der Probe (27),
- eine scannende Bildaufnahmeeinheit, dadurch gekennzeichnet, dass das Fluoreszenzmikroskop (23) eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 25 auszuführen.
27. Fluoreszenzmikroskop nach Anspruch 26, dadurch gekennzeichnet, dass die Abtastvorrichtung und die scannende Bildaufnahmeeinheit eine Strahlablenkeinheit gemeinsam verwenden.
28. Fluoreszenzmikroskop nach Anspruch 26 oder 27, dadurch gekennzeichnet, dass die Abtastvorrichtung einen akustooptischen oder einen elektrooptischen Deflektor (31) umfasst.
29. Fluoreszenzmikroskop nach einem der Ansprüche 26 bis 28, dadurch gekennzeichnet, dass die scannende Bildaufnahmeeinheit eine konfokale Laserscanning- oder eine STED- Bildaufnahmeeinheit ist.
30. Fluoreszenzmikroskop nach einem der Ansprüche 26 bis 29, dadurch gekennzeichnet, dass das Fluoreszenzmikroskop Mittel zum Zusammenfügen mehrerer räumlich teilweise überlappender Rasterbilder der scannenden Bildaufnahmeeinheit aufweist.
EP21794800.9A 2020-10-16 2021-10-15 Verfahren und fluoreszenzmikroskop zur ortsbestimmung einzelner fluoreszierender farbstoffmoleküle durch adaptive abtastung Withdrawn EP4229397A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020127320.7A DE102020127320B3 (de) 2020-10-16 2020-10-16 Verfahren und Fluoreszenzmikroskop zur Ortsbestimmung einzelner fluoreszierender Farbstoffmoleküle durch adaptive Abtastung
PCT/EP2021/078646 WO2022079260A1 (de) 2020-10-16 2021-10-15 Verfahren und fluoreszenzmikroskop zur ortsbestimmung einzelner fluoreszierender farbstoffmoleküle durch adaptive abtastung

Publications (1)

Publication Number Publication Date
EP4229397A1 true EP4229397A1 (de) 2023-08-23

Family

ID=78302760

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21794800.9A Withdrawn EP4229397A1 (de) 2020-10-16 2021-10-15 Verfahren und fluoreszenzmikroskop zur ortsbestimmung einzelner fluoreszierender farbstoffmoleküle durch adaptive abtastung

Country Status (5)

Country Link
US (1) US12523607B2 (de)
EP (1) EP4229397A1 (de)
CN (1) CN116391143A (de)
DE (1) DE102020127320B3 (de)
WO (1) WO2022079260A1 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022109027B4 (de) 2022-04-13 2023-12-21 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum Kartieren der Oberfläche eines Makromoleküls
EP4312190A1 (de) * 2022-07-26 2024-01-31 Leica Microsystems CMS GmbH Fluoreszenzbildgebung und -visualisierung
DE102022119304B4 (de) * 2022-08-02 2025-03-20 Abberior Instruments Gmbh Verfahren, vorrichtung und computerprogramm zur lokalisierung vereinzelter emitter in einer probe
DE102022119332B3 (de) * 2022-08-02 2023-12-28 Abberior Instruments Gmbh Verfahren, lichtmikroskop und computerprogramm zum lokalisieren oder verfolgen von emittern in einer probe
DE102022119327B4 (de) * 2022-08-02 2024-03-14 Abberior Instruments Gmbh Verfahren, vorrichtung und computerprogramm zur lokalisierung vereinzelter emitter in einer probe
DE102023110122A1 (de) * 2023-04-20 2024-10-24 Abberior Instruments Gmbh Lichtmikroskopisches verfahren, recheneinheit, lichtmikroskop und computerprogrammprodukt
DE102023116562B3 (de) * 2023-06-23 2024-10-10 Abberior Instruments Gmbh Verfahren zur Lokalisierung und/oder zum Verfolgen von Emittern in einer Probe, Computerprogramm und Lichtmikroskop
DE102023119977A1 (de) * 2023-07-27 2025-01-30 Abberior Instruments Gmbh Verfahren, Computerprogramm und Vorrichtung zum Schätzen einer Lage eines Emitters in einer Probe
DE102023128709B3 (de) 2023-10-19 2025-03-20 Abberior Instruments Gmbh Verfahren, lichtmikroskop und computerprogramm zur lokalisierung oder zum verfolgen von emittern in einer probe
DE102024101270A1 (de) * 2024-01-17 2025-07-17 Abberior Instruments Gmbh Verfahren zur lokalisierung oder zum verfolgen von emittern in einer probe, verfahren zum trainieren eines datenverarbeitungsnetzes, datenverarbeitungsvorrichtung, lichtmikroskop und computerprogramm
LU508138B1 (en) * 2024-08-30 2026-03-02 Refined Laser Systems Gmbh Spectroscopic imaging method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007052551B4 (de) * 2007-10-30 2019-06-19 Carl Zeiss Microscopy Gmbh Verfahren zur Durchführung einer Rasterbildkorrelationsspektroskopiemessung sowie Steuereinheit, Laser-Scanning-Mikroskop und Computerprogramm
PL2265931T5 (pl) * 2008-03-19 2017-10-31 Univ Heidelberg Ruprecht Karls Sposób i urządzenie do lokalizacji pojedynczych cząsteczek barwnika w mikroskopii fluorescencyjnej
WO2010065538A1 (en) * 2008-12-02 2010-06-10 The Regents Of The University Of California Imaging arrangement and microscope
CN104661704B (zh) * 2012-07-18 2017-04-12 普林斯顿大学托管委员会 多量级光谱纳米显微镜
EP3957983B1 (de) * 2013-06-03 2023-12-13 LUMICKS DSM Holding B.V. Verfahren und system zur abbildung eines molekularstrangs
DE102013114860B3 (de) 2013-12-23 2015-05-28 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Vorrichtung zur Bestimmung der Orte einzelner Moleküle einer Substanz in einer Probe
WO2016136801A1 (ja) * 2015-02-24 2016-09-01 国立大学法人東京大学 動的高速高感度イメージング装置及びイメージング方法
CN109844503B (zh) * 2016-10-10 2022-01-14 马克斯-普朗克科学促进学会 用于高空间分辨率地确定样品中的分离的、以激励光可激励以发射发光的分子的位置的方法
DE102017104736B9 (de) 2017-03-07 2020-06-25 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Vorrichtung zum räumlichen Messen nanoskaliger Strukturen
US10402524B2 (en) * 2017-05-08 2019-09-03 Globalfoundries Inc. Prediction of process-sensitive geometries with machine learning
WO2019165306A1 (en) * 2018-02-23 2019-08-29 Regeneration Biomedical, Inc. Methods, apparatuses and systems for instilling stem cells and pharmaceuticals into the human ventricular system
DE102019108815A1 (de) 2019-04-04 2020-10-08 Abberior Instruments Gmbh Verarbeitung von Datensätzen eines konfokalen Laser-Scanning-Mikroskops
DE202019005360U1 (de) 2019-04-04 2020-05-05 Abberior Instruments Gmbh Vorrichtung zum Betreiben eines konfokalen Laser-Scanning-Mikroskops
DE102019108814A1 (de) 2019-04-04 2020-10-08 Abberior Instruments Gmbh Verfahren zum Betreiben eines konfokalen Laser-Scanning-Mikroskops
DE102019007066A1 (de) 2019-10-11 2021-04-15 Abberior Instruments Gmbh Verfahren und Vorrichtung zur Aberrationskorrektur in der Fluoreszenzmikroskopie
CN110954523B (zh) * 2019-12-18 2022-07-08 深圳大学 一种双光子扫描结构光显微成像方法及装置
DE102019008989B3 (de) 2019-12-21 2021-06-24 Abberior Instruments Gmbh Verfahren zur Störungskorrektur und Laserscanningmikroskop mit Störungskorrektur

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JÖRN HEINE ET AL: "Adaptive-illumination STED nanoscopy", PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES, vol. 114, no. 37, 28 August 2017 (2017-08-28), pages 9797 - 9802, XP055466784, ISSN: 0027-8424, DOI: 10.1073/pnas.1708304114 *

Also Published As

Publication number Publication date
DE102020127320B3 (de) 2022-01-27
WO2022079260A1 (de) 2022-04-21
US20230384223A1 (en) 2023-11-30
US12523607B2 (en) 2026-01-13
CN116391143A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
DE102020127320B3 (de) Verfahren und Fluoreszenzmikroskop zur Ortsbestimmung einzelner fluoreszierender Farbstoffmoleküle durch adaptive Abtastung
EP1504300B1 (de) Verfahren und anordnung zur untersuchung von proben
EP1907826B2 (de) Auflösungsgesteigerte lumineszenz-mikroskopie
EP2356505B1 (de) Auflösungsgesteigerte mikroskopie
EP2641078B1 (de) Tiefenauflösungsgesteigerte mikroskopie
EP2380008B1 (de) Verfahren und system zur charakterisierung einer probe mittels bildgebender fluoreszenzmikroskopie
EP4264353B1 (de) Verfahren und mikroskop zur aufnahme von trajektorien einzelner partikel in einer probe
EP3729162A1 (de) Verfahren zum abbilden einer probe unter verwendung eines fluoreszenzmikroskops mit stimulierter emissionsdepletion
EP1584918B1 (de) Verfahren und Vorrichtung zur Fluoreszenz-Lebensdauer-Imaging-Nanoskopie
DE102008054317A1 (de) Kombinationsmikroskopie
DE102013103971A1 (de) Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
EP4229398B1 (de) Verfahren und vorrichtung zur lichtmikroskopischen multiskalenaufnahme biologischer proben
EP1420281A2 (de) Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
WO2021259967A1 (de) Verfahren zur lokalisation einzelner moleküle eines farbstoffs in einer probe und zum erzeugen hochaufgelöster bilder einer struktur in einer probe
DE102015116598A1 (de) Verfahren und Mikroskop zur hochauflösenden Abbildung mittels SIM
EP4446911A1 (de) Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt
DE102023110122A1 (de) Lichtmikroskopisches verfahren, recheneinheit, lichtmikroskop und computerprogrammprodukt
EP3329256B1 (de) Verfahren zur erzeugung eines digitalen fluoreszenzbildes
EP1636624A1 (de) Verefahren zur fluoreszenzmikroskopie
DE102023109109A1 (de) Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt
EP4495893A1 (de) Verfahren zum trainieren eines datenverarbeitungsnetzes, verfahren zur erkennung von objekten in lichtmikroskopischen daten, recheneinheiten, lichtmikroskop und computerprogramme
WO2025153672A1 (de) Verfahren zur lokalisierung oder zum verfolgen von emittern in einer probe, verfahren zum trainieren eines datenverarbeitungsnetzes, datenverarbeitungsvorrichtung, lichtmikroskop und computerprogramm
DE102008038467A1 (de) Verfahren zur Bildauswertung und/oder Manipulation einer Probe

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230509

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ABBERIOR INSTRUMENTS GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20241106

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250507