EP3105629A1 - Multifokales fluoreszenzrastermikroskop - Google Patents

Multifokales fluoreszenzrastermikroskop

Info

Publication number
EP3105629A1
EP3105629A1 EP15703968.6A EP15703968A EP3105629A1 EP 3105629 A1 EP3105629 A1 EP 3105629A1 EP 15703968 A EP15703968 A EP 15703968A EP 3105629 A1 EP3105629 A1 EP 3105629A1
Authority
EP
European Patent Office
Prior art keywords
microscope
optics
image plane
diffraction orders
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP15703968.6A
Other languages
English (en)
French (fr)
Other versions
EP3105629B8 (de
EP3105629B1 (de
Inventor
Tiemo Anhut
Daniel Schwedt
Matthias Wald
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Carl Zeiss AG
Original Assignee
Carl Zeiss SMT GmbH
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss SMT GmbH, Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss SMT GmbH
Publication of EP3105629A1 publication Critical patent/EP3105629A1/de
Application granted granted Critical
Publication of EP3105629B1 publication Critical patent/EP3105629B1/de
Publication of EP3105629B8 publication Critical patent/EP3105629B8/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/004—Scanning details, e.g. scanning stages fixed arrays, e.g. switchable aperture arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/33—Immersion oils, or microscope systems or objectives for use with immersion fluids
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0927—Systems for changing the beam intensity distribution, e.g. Gaussian to top-hat
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0988—Diaphragms, spatial filters, masks for removing or filtering a part of the beam
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1086—Beam splitting or combining systems operating by diffraction only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G02B27/4211—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant correcting chromatic aberrations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G02B27/4227—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant in image scanning systems

Definitions

  • the invention relates to a fluorescence scanning microscope with an optical system which defines a microscopic observation beam path from a measurement field to an image plane and (in the direction of the measurement volume to the image plane) a microscope objective, a Strahlerlick with an input for coupling a lighting system and one in the image plane arranged aperture comprises.
  • the aperture is hereinafter referred to as a confocal aperture.
  • the microscope can also comprise an illumination system with a light source, preferably at least one laser.
  • Confocal fluorescence scanning microscopes for example according to DE 197 02 753 A1, have developed into an indispensable tool in the so-called life sciences.
  • Image composition is typically done by sequentially shaving the sample from a single diffraction-limited focus volume (the measurement volume) defined by a three-dimensional point spread function (PSF) .
  • PSF point spread function
  • Outofocal fluorescence light at the confocal aperture is subtracted from the focal fluorescence light , which results in imaging with the property of an optical section, leaving only
  • Fluorescence light from the focal plane contributes to the measurement signal.
  • a so-called blur-free image of visually thicker and slightly scattering samples is possible, the thickness of the optical section being dependent on the size of the confocal aperture and is limited only by the diffraction-related resolution.
  • the excited non-focal fluorescence emission is not used for confocal imaging, but selectively discriminated at the confocal detection aperture for the purpose of optical sectioning. Due to the extra-focal light input so only the sample loaded. This bleaches due to the non-linearity of the bleaching process, especially in the vicinity of the focal plane. In order to shorten the pixel dwell time and thus the image acquisition as a whole, it is customary to increase the excitation intensity. However, this leads to an increased sample load and as a result to severe bleaching and photo damage.
  • measuring points in the focal plane. This allows the sample to be measured at N points with less intensity per illumination beam at the same time.
  • the illumination intensity is reduced by a factor of 1 / N and the pixel dwell time is extended by a factor of N, so that the
  • Frame rate is identical and SNR is comparable to rasterized recording by a single measurement volume
  • the absorbed dose into the sample is the same, it is spatially distributed, so the risk of sample damaging saturation of fluorescence
  • a multiply parallel image acquisition with the same advantages is also possible by means of a rotating Nipkow disk or with a line-shaped scanning.
  • the necessary image recording time can be reduced by parallel imaging of several measuring points, so that the maximum possible image repetition frequency is higher, for example, with repeated recording.
  • this requires an increased excitation intensity as described above.
  • Focusing plane it is possible to parallel measuring points from the focal plane (hereinafter also referred to as the primary focal plane), different distances from
  • Microscope lens distant planes (hereinafter referred to as secondary focal planes called) simultaneously image and each quasi-confocal to detect.
  • Microscopy known.
  • a multifocal imaging system in the form of a optically decentered diffractive optical element (DOE), for example, a phase grating, with a collection optics for simultaneous imaging of multiple lying on the optical axis of the microscope objective separate measurement volumes used.
  • DOE optically decentered diffractive optical element
  • Wavefronts from sample planes different from the lens have different curvatures at the DOE. They are distributed by the DOE to different diffraction orders and advantageously focused in the same plane (in which the confocal aperture is arranged). In this case, other wavelengths than the illumination wavelength are discriminated at the diaphragm.
  • this microscope is only suitable for monochromatic imaging.
  • the invention has for its object to improve a fluorescence scanning microscope of the type mentioned so that simultaneously fluorescence
  • the optical system in the observation beam path between the beam combiner and the image plane comprises a first diffractive optics for splitting light beams into (refocused) beam bundles
  • Diffraction order a different phase of the other diffraction orders spherical phase, in particular a respective integer multiple of a (predetermined) spherical phase, imprinting a second diffractive optics for compensation (generated by the first diffractive optics) chromatic Aberrations of the split bundles of rays and a collecting optics for
  • the first diffractive optic refocuses wavefronts of light rays
  • the diffractive optics can be, for example, a DOE.
  • the first diffractive optic is a two-dimensional phase grating.
  • the second diffractive optic is
  • the second diffractive optics allow all wavelengths to pass through the aperture (s) of the confocal aperture.
  • one or more intermediate image planes can be generated by transmission optics before and / or behind the confocal diaphragm before the light is detected.
  • the distance-dependent, color-independent splitting of the light from the various (primary and secondary) focal planes also enables quasi-confocal imaging and simultaneous detection of extra-focal fluorescence. This reduces sample loading by making better use of the registered excitation light. In particular, only a single one is needed for several measuring points
  • optics for extending (lengthening) an (object-side) focus depth (focal extent) of the microscope objective along the optical axis thereof are preferably arranged outside the observation beam path in front of the beam unit input for coupling the illumination system. Due to the position outside (the optical system) of the observation beam path only the extension of the illumination volume, but not the extent of the
  • Phase gratings provided to simulate a larger number of axial measurement volumes simultaneously. This kind of two - dimensional splitting of the
  • the split radiation beams in the detector plane are arranged as a square (2m + 1) x (2m + 1) matrix and a large number of planes can be simultaneously recorded (optoelectronically converted) by means of a two-dimensional detector matrix.
  • the two-dimensional splitting by a single diffractive optics is bright and thus enables a multiple-axial-multifocal, sample-preserving recording of fluorescent light.
  • the (Confocal) aperture (exactly) has an opening and focuses the collection optics of each of the split beams of different diffraction orders on this (common) opening.
  • the detectors may, for example, be arranged at a distance behind the diaphragm such that the (optical axes of) the radiation beams have diverge at least by a distance corresponding to the distance between the detectors until they strike the detectors. Alternatively, they may be arranged in a further image plane.
  • the (Confocal) aperture for each of the split diffraction orders or at least for a subset of the split diffraction orders has a respective opening and focuses the collection optics of each of the split beams of different diffraction orders to the respective aperture.
  • the detectors may, for example, be arranged (directly) behind the openings of the confocal diaphragm or in a further image plane.
  • At least one detector is arranged behind the confocal diaphragm for each of the diffraction orders.
  • the detectors are preferably outputable with high repetition frequencies of at least 100 kHz and are preferably suitable for single-photon detection. For example, it may be at the
  • the total of all detectors is a matrix of single-photon avalanche diodes (SPADs) operating in, for example, Geiger mode, as described in Seitz's "Single-photon Imaging” in “Springer series in Optical sciences", Vol 160.
  • SBADs single-photon avalanche diodes
  • Each individual diode or a respective correspondingly assigned subgroup of individual diodes is then a detector (which can be read independently of the other ones) in the sense of
  • the number of detectors is then greater, for example, than the number of beams.
  • the detectors can use a
  • the optical system comprises at least one optical system for generating a further image plane. In this then the detectors can be arranged.
  • the invention has the particular advantage that each beam of at least non-zero diffraction orders, optionally zeroth
  • At least one spectrally dispersive element may advantageously be arranged in the optical system between the image plane and the further image plane in such a way that at least that of the split radiation beams differs from zero
  • the at least one dispersive element can be arranged in a collimated beam path section of the transmission optical system.
  • the measuring volume from which the relevant bundle originates can be detected in a spectrally resolved manner. This adds extra
  • Diffraction order in each case a group of a plurality of detectors is arranged.
  • the groups are expediently disjoint.
  • Each detector group is uniquely associated with a respective measurement volume.
  • Each detector of a detector group corresponds to a spectral channel of the relevant
  • Fluorescent dyes are simultaneously detected and identified, for example, by unmixing or principal component analysis (PCA). As a result, fluorescent markers of different types can be located simultaneously.
  • PCA principal component analysis
  • one or more prisms for example, one per splitted Strahlbündef / diffraction order, optionally also in the zeroth diffraction order
  • one or more diffraction gratings for example, one per split beam / diffraction order, optionally also in the zeroth diffraction order
  • the spectrally dispersive element is arranged in a plane conjugate to the pupil plane of the microscope objective. Since in the pupil plane an intersection of the focused split, chromatically corrected
  • Light beam is located, can be spatially-spectrally split with only a single dispersive element of small space all Lichtstrahlenbündei.
  • all spectrally dispersive elements for reversible removal from the observation beam path to be movably mounted, for example
  • Embodiments in which the optics for producing an extended focus depth are a phase plate, in particular a cubic one, are advantageous
  • Phase modulation mask or means for generating Bessel rays Phase modulation mask or means for generating Bessel rays
  • Microscope lens is formed, in particular by beam shaping, in particular for reducing a beam cross-section of collimated light.
  • Phase modulation masks for generating an extended depth of focus are described, for example, in “Extended depth of field through wave-front coding” (Dowski / Cathey in “Applied Optics”, Vol. 34, No. 11, p. 1859).
  • Underfilling the pupil may be, for example, a beam shaper reducing the beam cross section in the pupil.
  • the underfilling of the pupil leads to the reduction of the numerical aperture of the illumination, resulting in a deteriorated axial resolution ⁇ ⁇ .
  • any other known EDOF-like optics can also be used, for example by introducing phase or diaphragm masks into a pupil of the
  • Illumination beam path to produce Besseistrahlen as in "Experimental investigation of Bessel beam characteristics” (Y. Lin in “Applied Optics", Volume 31, p. 2708) or the illumination light to impose a cubic phase curve corresponding to "Extended depth of field through wave-front coding” ⁇ Dowski / Cathey in “Applied Optics", Vol. 34, No. 11, p. 1859).
  • a light source or a light downstream of the optical system may be advantageous, the one
  • the advantage lies in the better resolution in each axial focal plane, because here in each case a full
  • the optics generate to increase the depth of focus
  • Illuminating volume the axial extent of which is at least a factor of five, in particular at least ten times, more particularly at least at least
  • Microscope lens a predetermined confocal Biendenöfmungsssen and a predetermined refractive index of an immersion medium corresponds to at least two optical sectional thicknesses of the microscope.
  • the (first) diffractive optics can be designed to provide a sufficient axial distance in relation to the prior art for optical separation.
  • the (first) diffractive optical element is designed such that
  • Microscope lens a given confocal aperture size and a predetermined refractive index of an immersion medium more than two optical section thicknesses of the microscope are away from each other.
  • a desired axial separation of the measurement volumes can be achieved by adjusting the axial splitting by means of the grating parameters.
  • the optical system for widening the depth of focus is designed in such a way that all measurement volumes imaged in the image plane lie within the extended focal depth, that is to say when the illumination with extended depth of focus in the focal length is used Sample is adapted to the areas covered by the detection. In this way, the excitation light can be used efficiently, thereby saving the sample. For this purpose, either given grid in the
  • Detection of the illumination optics are adjusted so that the measurement volumes are fully illuminated, or adapted for a given light distribution in the sample of the detection beam path so that the illuminated areas are fully displayed (and detected).
  • the beam combiner can be a color splitter in order to split off scattered excitation light from the sample light. As a result, largely only fluorescent light reaches the detectors. If the spectral resolution is sufficiently high for spectral detection, a color splitter can be dispensed with. The spectral channels corresponding to the excitation wavelength then become
  • the first diffractive optic is arranged in or at least approximately in a plane conjugate to a pupil of the microscope objective.
  • the optical system may comprise one or more transmission optics, each providing an (additional) conjugate pupil plane.
  • the fluorescence scanning microscope can have a lighting system with a light source for the emission of excitation light.
  • the light source is then expediently for coupling the excitation light in the
  • Observation beam path over the entrance of the Strahlverierss (towards the microscope objective back) arranged, in particular with a Kollimationsoptik between the light source and the Strahleropter. It may be, for example, a laser.
  • the excitation light emitted by the light source can be subject to the advantageous object-side, axial focus extension.
  • Illumination beam path a line-shaped (with the measurement volumes overlapping) illumination focus, wherein a longitudinal direction of the line is parallel to the optical axis of the microscope objective. So the sample is spared. This succeeds, for example, with a quasi point-like light source such as a laser.
  • the illumination line may be constricted in places so that essentially only the measurement volumes in the primary and secondary detection focal planes are illuminated (but not spaces between the measurement volumes).
  • the optical system defining the microscopic observation beam path can optically interpose between the microscope objective and the beam combiner an adjustable beam scanning unit for the sequential scanning of different measurement volumes and a beam scanning unit
  • the deflection unit can be both quasistatic and resonant
  • Scanners as well as galvo scanners and MEMS scanners.
  • a scanner with a defined pivot point for example a MEMS-based scanner as described in US Pat. No. 7,295,726 B1.
  • the detectors are arranged as a two-dimensional matrix and the microscope comprises a control unit which is adapted to adjust the beam deflection unit, to record light by means of the detectors and to detect signal values output by the detectors, to repeat the aforesaid steps several times and to extract one from the acquired signal values Determine stacks of confocal images.
  • the invention may be advantageously combined with sample manipulation.
  • a reaction of the sample is excited by a wide-field illumination or by a focused focused illumination.
  • Applications include, for example, FRAP or the uncaging of substances, and the invention can also be combined with optogenetic methods.
  • the detectors may advantageously be arranged for oversampling the point biid function in at least one of the diffraction orders, preferably in any order of diffraction, for example as described in "Super-resolution in confocal imaging” by Sheppard in “Optik", Vol 80 (1988), p 53. In this way, the shape of the PSF and the Intensity distribution within the PSF. This can then be used to determine a higher-resolution image.
  • the oversampling is achieved, for example, by arranging a respective group of (disjoint) detectors in the observation beam path for each diffraction order. If the optical system is set up for spectrally resolved detection, several detectors of the respective group can each be arranged in the same wavelength range. Suitable detectors are here, for example, SPAD matrix sensors due to their
  • Sensitivity, readout speed and their pixelation Sensitivity, readout speed and their pixelation.
  • the imaging according to the invention can also be performed with other methods of increasing the optical resolution, e.g. STED or RESOLFT combined can be used.
  • two illumination beam paths are provided for this purpose and coupled by means of an additional beam combiner, so that light from both passes to the sample.
  • the first generates an extended object-side focus for fluorescence excitation (excitation beam), preferably by means of a Bessel beam.
  • the second illumination beam path for example, generates a self-reconstructing annular beam (Besseir beams of higher order with missing central maximum) by means of an annular diaphragm with an impressed spiral phase, which is then used to de-excite / suppress the
  • the wavelength of the depletion beam is preferably redshifted from that of the excitation beam.
  • the first illumination beam path can have a light source which emits a shorter wavelength than the light source of the second illumination beam path.
  • the optical system may include adaptive optics such that all illumination and / or detection PSF are corrected simultaneously.
  • a feedback mode for adaptive optimization of the signals in the N channels may include adaptive optics such that all illumination and / or detection PSF are corrected simultaneously.
  • the axial multifocal imaging can be combined with scanning in the z-direction (along the optical axis).
  • Fluorescence excitation may be linear (by one-photon excitation) as well as nonlinear (by means of ultiphoton excitation or frequency-multiplication "Second Harmony Generation” (SHG), CARS, etc.), but the detection is conveniently done “descanned”.
  • SHG Standard Harmony Generation
  • CARS CARS
  • Nonlinear excitation is that squaring the intensity makes it easier to generate an axially elongated PSF.
  • the method can also be combined with other methods of fluorescence imaging,
  • the invention can be used advantageously in particular for rapid particle tracking (English, “particle tracking”).
  • Fig. 2 sections of a first and a second embodiment of the optical system for defining an observation beam path
  • FIG. 3 sections of a third and a fourth embodiment of the optical system for defining an observation beam path.
  • Fig. 1 shows schematically a fluorescence scanning microscope 1 in the form of a laser scanning microscope (LSM).
  • LSM laser scanning microscope
  • a laser defines as the light source 11 as
  • Illumination beam path A which contains a phase mask 10 and by a beam splitter 6, for example a dichroic beam splitter cube, with the
  • Phase mask 10 is arranged outside the observation beam path B.
  • One Optical transmission system 5 images the plane of the phase mask 10 onto a bus unit 4, which can project the excitation light beam in the x and y directions.
  • Another optical transmission system 3 images the extension unit 4 into the pupil plane of the objective 2.
  • the objective 2 focuses the laser beam into the sample P, wherein the lateral position of the illumination volume depends on the deflection angles set on the deflection unit 4.
  • the axial length of the illumination volume for example, given by the full half width of the axial intensity profile of its PSF, is determined by the
  • Texture of the phase mask 10 is fixed and compared to the pure microscope objective 2 (without the phase mask 10) in the z-direction significantly extended, whereas the lateral size of the illumination PSF in the x and y direction
  • Phase mask 10 for example, a cubic phase modulation mask.
  • the expansion of the illumination volume in the z-direction is, for example, five times as large as in the x-direction or in the y-direction.
  • the fluorescent light generated along the extended focus profile in the sample P is substantially collimated by the objective 2 and traverses the above-described optics rearwardly to the beam splitter 6, which
  • the transmission optical system 5 transforms the intermediate image plane ZBE, which is distributed in soft information in the axial direction, into a first lattice plane GE1, which is the pupil plane of the transmission optical system 5.
  • Phase grating 7 a constant spherical phase term, which in
  • Removal of the fluorescence emission from the lens 2 is a refocusing of the intermediate image plane ZBE about the respective phase term, advantageously in equidistant steps.
  • Light beams are imaged by the lens 8 as collecting optics on the confocal aperture 15 in the image plane BE, behind which a detector array 9 is arranged.
  • a control unit 14 controls the deflection unit 4 and the light source 11 and the detectors 9, k. It is also set up to receive its measured values and, for example, to reprocess them by calculation.
  • FIG. 2A schematically shows a section of the observation beam path B in detail.
  • the lens designated L1 is part of the example
  • the refocused information is color-corrected by the second diffractive optics 13 to compensate for the spectral dispersion of the phase grating 7 in GE1, and by the Collecting optics 8 in the plane L2 imaged directly on the pixelized sensor 9.
  • Each order of diffraction thus forms a respective measurement volume from another plane of the sample P sharply on the detector matrix 9.
  • the resulting light distribution on the detector matrix 9 is in both Sectionfig. 2A, 2B indicated schematically next to the beam path.
  • Collection optics L2 will now all partial beams of each wavelength and each
  • Diffraction order observed measured volume (focal plane) stemming fluorescent light separated.
  • the lens in the plane L3 which forms, for example, with the lens in the plane L4 another transmission optics, collimates the light beams transmitted through the pinhole 15 in the PHE again and creates another pupil plane GE3, in which all diffraction orders are again separated from each other.
  • this level GE3 can optionally be a spectrally dispersive and
  • the element 12 is, for example, a segmented prism which spreads the diffraction orders relative to each other, the segment in the zeroth diffraction order being a plane-parallel plate.
  • the zeroth order on the detector matrix 9 is not spectrally resolved.
  • the eight other diffraction orders may be detected spectrally resolved, since each beam due to the spatio-spectral splitting over a respective group of detectors 9 ik Qestein subset of all detectors) is dispersed.
  • a spectrally dispersive element 12 for example a prism or a diffraction grating, is additionally arranged in the beam path of the zeroth order, so that all diffraction orders are spatially-spectrally split by a respective group of detectors 9 ik .
  • the spectral information can be determined.
  • the spectral dispersing element 12 is advantageously repositionable in the
  • Dispersion must be calculated by means of a calibration.
  • the calibration of the detection system is accomplished, for example, by passing a single bead of fluorescence axially through the illumination focus area of the
  • Microscope 1 is moved, wherein the element 12 is removed from the beam path of the zeroth order.
  • the detectors 9, k under the zero order measure the chromatically undisturbed PSF of the optical system. Based on this PSF, the spectral dispersion of any other diffraction order can be determined be, since in these the identical PSF must be corrected only by the respective (predetermined) phase term. Finally, with the now known PSF, the dispersion of the element 12 can also be calibrated.
  • FIG. 3A shows a section of a further optical system for defining an observation beam path B, in contrast to FIG. 2A, an alignment-separating element 16, for example segmented by different prisms, between the correction grating in GE2 and the collection optics L2 into the grating plane GE3 brought in.
  • the sum of the spectral dispersions of the elements in GE 2 and GE 3 are opposite to the spectral dispersion of the diffractive optic 7 in GEL. Due to the order-separating element 16, all the diffraction orders of the phase grating 7 are now determined by the
  • Sammel optics L2 after they are spectrally corrected by the second diffractive optics 13, mapped to separated lateral positions of the PHE.
  • a confocal aperture 15 with a matrix arrangement of (2m + 1) 2 openings is arranged in the confocal plane.
  • the lens L3 finally images the PHE onto the detector matrix 9, which is arranged in a further image plane wBE.
  • the image is taken without spectral dispersion on the
  • a spectrally dispersing element 12 is introduced in the pupil plane (PE) upstream of the sensor matrix 9, which of all
  • the element 12 is reversibly positionable, so that it is possible to switch between the arrangements in FIGS. 3A and 3B. This can in turn be used to calibrate the spectral resolution.
  • the confocal aperture does not have (2m + 1) 2

Abstract

1. Multifokales Fluoreszenzrastermikroskop 2.1. Fluoreszenzrastermikroskope (1 ) mit einem Beobachtungsstrahlengang (A) von einem Messvolumen bis zu einer Bildebene (BE), einem Strahlvereiniger (6) zur Ankopplung eines Beleuchtungssystems (11 ) und einer in der Bildebene (BE) angeordneten Blende (15) zeigen aufgrund der sequentiellen Abtastung einen langsamen Bildaufbau und belasten die Probe (P) durch ineffiziente Nutzung des Anregungslichts. Ein verbessertes Fluoreszenzrastermikroskop soll simultan Fluoreszenz aus unterschiedlichen Fokalebenen jeweils quasi-konfokal detektieren. 2.2. Das gelingt dadurch, dass der Beobachtungsstrahlengang (A) zwischen dem Strahlvereiniger (6) und der Bildebene (BE) eine erste diffraktive Optik (7) zur Aufspaltung von Lichtstrahlen in Strahlenbündel längs unterschiedlicher Beugungsordnungen, die den Lichtstrahlen eine von den anderen Beugungsordnungen verschiedene sphärische Phase aufprägt, eine zweite diffraktive Optik (13) zur Kompensation chromatischer Aberrationen der aufgespalteten Strahlenbündel und eine Sammeloptik (8) zur Fokussierung der aufgespalteten Strahlenbündel in die Bildebene (BE) umfasst. 2.3. Lebenswissenschaften

Description

Multifokales Fiuoreszenzrastermikroskop
Die Erfindung betrifft ein Fluoreszenzrastermikroskop mit einem optischen System, das einen mikroskopischen Beobachtungsstrahlengang von einem Messvoiumen bis zu einer Bildebene definiert und (in Richtung vom Messvolumen zur Bildebene hin aufgezählt) ein Mikroskopobjektiv, einen Strahlvereiniger mit einem Eingang zur Ankopplung eines Beleuchtungssystems und eine in der Bildebene angeordnete Blende umfasst. Die Blende wird nachfolgend als konfokale Blende bezeichnet. Zweckmäßigerweise kann das Mikroskop auch ein Beleuchtungssystem mit einer Lichtquelle, vorzugsweise mindestens einem Laser, umfassen.
Konfokale Fluoreszenzrastermikroskope, beispielsweise gemäß DE 197 02 753 A1 , haben sich in den sogenannten Lebenswissenschaften zu einem unverzichtbaren Werkzeug entwickelt. Der Bildaufbau erfolgt in der Regel so, dass ein einzelnes beugungsbegrenztes Fokusvolumen (das Messvolumen), definiert durch eine dreidimensionale Punktbildfunktion (engl,„point spread function"; PSF), die Probe sequentiell abrasiert. Außerfokales Fluoreszenzlicht wird an der konfokalen Blende vom fokalen Fluoreszenzlicht, dem Nutzsignal, abgetrennt. Dies führt zu einer Bildgebung mit der Eigenschaft eines optischen Schnittes, so dass nur
Fluoreszenziicht aus der Fokalebene zum Messsignal beiträgt. Dadurch ist eine sogenannte unschärfefreie (engl,„blur-free") Abbildung auch optisch dickerer und leicht streuender Proben möglich. Die Dicke des optischen Schnittes hängt dabei von der Größe der konfokaien Blendenöffnung ab und ist nach unten nur durch das beugungsbedingte Auflösungsvermögen begrenzt.
Der rasternde, sequentielle Bildaufbau hat jedoch auch Nachteile. So ist der
Bildaufbau relativ langsam, um durch Akkumulieren von genügend
Fluoreszenzphotonen pro Pixel ein ausreichendes Signal-Rausch-Verhältnis (engl, „signal-to-noise ratio"; SNR) erreichen zu können. Ein weiteres Problem ist das Ausbleichen der Probe. Anregungslicht wird stets auch in dem sich zum
Fokusvolumen hin verjüngenden Lichtkonus deponiert. Die damit angeregte außerfokale Fluoreszenzemission wird aber nicht zur konfokalen Abbildung genutzt, sondern an der konfokalen Detektionsblende zwecks optischen Schnittes gezielt diskriminiert. Durch den außerfokalen Lichteintrag wird also ausschließlich die Probe belastet. Dabei bleicht diese aufgrund der Nichtlinearität des Bleichvorgangs vor allem in der Nähe des Fokalebene aus. Um die Pixelverweilzeit und damit die Bildaufnahme insgesamt zu verkürzen, ist es üblich, die Anregungsintensität zu steigern. Das führt jedoch zu einer erhöhten Probenbelastung und infolgedessen zu starkem Bleichen und Photoschäden.
Eine Möglichkeit, die Probenbelastung zu verringern, besteht darin, die BNdaufnahme zu parallelisieren. Dies gelingt zum Beispiel wie in US 5,239,178 oder US 6,028,306 mit N separaten, gleichzeitig beleuchteten und gemessenen Messvolumina
(vereinfacht als Messpunkte bezeichnet) in der Fokalebene. Hiermit kann die Probe mit weniger Intensität pro Beleuchtungsstrahl zur gleichen Zeit an N Punkten vermessen werden. Die Beleuchtungsintensität wird dabei um den Faktor 1/N gesenkt und die Pixelverweilzeit um den Faktor N verlängert, so dass die
Bild wiederholrate (engl,„frame rate") identisch und das SNR vergleichbar mit der gerasterten Aufnahme mittels eines einzelnen Messvolumens sind. Zwar ist die in die Probe eingetragene Energiedosis dieselbe, sie ist jedoch räumlich verteilt, so dass das Risiko einer probenschädigenden Sättigung der Fluoreszenz verringert werden kann. Eine vielfach parallele Bildaufnahme mit denselben Vorteilen gelingt auch mittels einer rotierenden Nipkow-Scheibe oder mit linienförmiger Abtastung.
Andererseits kann durch parallele Abbildung mehrerer Messpunkte die notwendige Bildaufnahmedauer verringert werden, so dass beispielsweise bei wiederholter Aufnahme die maximal mögliche Bildwiederholfrequenz höher ist. Dies erfordert jedoch wie oben beschrieben eine erhöhte Anregungsintensität.
Alternativ zur simultanen Abbildung mehrerer Messpunkte aus derselben
Fokusebene ist es möglich, Messpunkte auch aus zur Fokalebene (nachfolgend auch als primäre Fokalebene bezeichnet) parallelen, unterschiedlich weit vom
Mikroskopobjektiv entfernten Ebenen (nachfolgend als sekundäre Fokalebenen bezeichnet) simultan abzubilden und jeweils quasi-konfokal zu detektieren.
Im Stand der Technik ist eine solche axial-multifokale Abbildung aus
DE 03 56 416 A1 für den Sonderfall der monochromatischen konfokalen
Mikroskopie bekannt. Dort wird ein multifokales Abbildungssystem in Form eines optisch dezentrierten diffraktiv-optischen Elementes (DOE), beispielsweise einem Phasengitter, mit einer Sammeloptik zur simultanen Abbildung mehrerer auf der optischen Achse des Mikroskopobjektivs liegender separater Messvolumina genutzt. Wellenfronten aus unterschiedlich vom Objektiv entfernten Probenebenen (primäre und sekundäre Fokalebenen) weisen am DOE unterschiedliche Krümmungen auf. Sie werden von dem DOE auf unterschiedliche Beugungsordnungen verteilt und vorteilhafterweise in dieselbe Ebene (in der die konfokale Blende angeordnet ist) fokussiert. Dabei werden andere Wellenlängen als die Beleuchtungswellenlänge an der Blende diskriminiert. Dadurch ist dieses Mikroskop nur zur monochromatischen Abbildung geeignet. In Fluoreszenzmessungen hingegen ist aufgrund der Stokes- Verschiebung und der spektralen Verteilung von Fluoreszenzemission eine große spektrale Bandbreite zu detektieren. Das Mikroskop gemäß DE 103 56 416 A1 kann daher nicht zur Fluoreszenzmessung und insbesondere nicht zur spektralen
Bildgebung eingesetzt werden, sondern nur für Reflexionsmessungen,
beispielsweise in der Materialmikroskopie.
Der Erfindung liegt die Aufgabe zugrunde, ein Fluoreszenzrastermikroskop der eingangs genannten Art so zu verbessern, dass simultan Fluoreszenz aus
unterschiedlichen Fokalebenen (der primären und sekundären) jeweils quasi- konfokal delektiert werden kann.
Die Aufgabe wird gelöst durch ein Fluoreszenzrastermikroskop, welches die in Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Erfindungsgemäß umfasst das optische System im Beobachtungsstrahlengang zwischen dem Strahlvereiniger und der Bildebene eine erste diffraktive Optik zur Aufspaltung von Lichtstrahlen in (refokussierte) Strahlenbündel längs
unterschiedlicher Beugungsordnungen, wobei sie den Lichtstrahlen jeder
Beugungsordnung eine von den anderen Beugungsordnungen verschiedene sphärische Phase, insbesondere ein jeweiliges ganzzahliges Vielfaches einer (vorgegebenen) sphärischen Phase, aufprägt, eine zweite diffraktive Optik zur Kompensation (durch die erste diffraktive Optik erzeugter) chromatischer Aberrationen der aufgespalteten Strahlenbündel und eine Sammeloptik zur
Fokussierung der aufgespalteten Strahlenbünde! in die Bildebene, so dass eine Reihe verschiedener (objektseitig) auf der optischen Achse des Mikroskopobjektivs oder auf einer zu dieser parallelen Achse angeordneter (disjunkter) Messvolumina simultan (entlang den unterschiedlichen Beugungsordnungen der diffraktiven Optik) in die Bildebene abbiidbar sind.„Objektseitig" ist dabei gleichbedeutend mit„auf einer von der Bildebene abgewandten Seite des Mikroskopobjektivs".
Die erste diffraktive Optik refokussiert Wellenfronten von Lichtstrahlen aus
unterschiedlichen Fokalebenen vorzugsweise derart, dass sie eine jeweilige ebene Wellenfront aufweisen, wobei die jeweilige Ausbreitungsrichtung (Wellenvektor) jeder refokussierten Wellenfront einer der Beugungsordnungen entspricht. Die diffraktive Optik kann beispielweise ein DOE sein. Vorzugsweise ist die erste diffraktive Optik ein zweidimensionales Phasengitter. Die zweite diffraktive Optik ist
zweckmäßigerweise zwischen der ersten diffraktiven Optik und der Sammeloptik angeordnet. Sie kann beispielsweise als Gitter ausgebildet sein. Durch die zweite diffraktive Optik können alle Wellenlängen durch die Öffnung(en) der konfokalen Blende geleitet werden. Selbstverständlich können dabei durch Übertragungsoptiken vor und/oder hinter der konfokalen Blende eine oder mehrere Zwischenbildebenen erzeugt werden, bevor das Licht detektiert wird. Eine zweite diffraktive Optik zur Korrektur chromatischer Aberrationen von refokussierten aufgespalteten
Strahlenbündeln ist beispielsweise in„Fast multicolor 3D imaging using aberration- corrected multifocus microscopy" (Abrahamsson et al. in„Nature Methods", Band 10, Nr. 1 , S. 60) unter der Bezeichnung„CCG" beschrieben.
Durch die entfernungsabhängige, farbunabhängige Aufspaltung des Lichts aus den verschiedenen (primäre und sekundären) Fokalebenen kann auch außerfokale Fluoreszenz quasi-konfokal abgebildet und simultan detektiert werden. Das verringert die Probenbelastung, indem das eingetragene Anregungslicht besser ausgenutzt wird. Insbesondere braucht auch für mehrere Messpunkte nur ein einzelnes
Beleuchtungsvolumen und damit auch nur ein einzelner vorgelagerter Konus angeregt zu werden. Vorzugsweise ist darüber hinaus außerhalb des Beobachtungsstrahlengangs vor dem Strahlvereinigereingang zur Ankopplung des Beleuchtungssystems eine Optik zum Erweitern (Verlängern) einer (objektseitigen) Fokustiefe (Fokusausdehnung) des Mikroskopobjektivs längs dessen optischer Achse angeordnet. Durch die Position außerhalb (des optischen Systems) des Beobachtungsstrahlengangs wird nur die Ausdehnung des Beleuchtungsvolumens, nicht aber die Ausdehnung der
essvolumina, die an verschiedenen Stellen des Beleuchtungsvolumens liegen, beeinflusst. Durch die Optik zum Erweitern der Fokustiefe wird das axiale
Auflösungsvermögen verringert, die maximale Auflösung in Beleuchtungsrichtung also künstlich verschlechtert. Aufgrund der auf diese Weise erweiterten Fokustiefe (engi.„extended depth of field"; EDOF) des Beleuchtungsvolumens können mehr Messvolumina simultan mit identischer Lichtleistung angeregt werden. Zudem können die Fokalebenen und damit die Messvolumina axial weiter voneinander beabstandet sein, so dass sie optisch besser voneinander getrennt werden können.
In DE 103 56 416 A1 ist eine Hintereinanderschaltung von zwei gekreuzten
Phasengittern vorgesehen, um eine größere Anzahl axialer Messvolumina simultan abbilden zu können. Diese Art der zweidimensionalen Aufspaltung der
Beugungsordnungen und damit auch der Abbildungen der Messvolumina hat jedoch den Nachteil, lichtschwach zu sein. Damit ist sie für die Fluoreszenzmikroskopie ungeeignet.
Besonders vorteilhaft sind daher Ausführungsformen, in denen das
(zweidimensionale) Phasengitter vom Mikroskopobjektiv kommende Wellenfronten in (2m+1)2 Beugungsordnungen mit m=1 ,2,3,... über zwei verschiedene
Raumrichtungen aufspaltet. Auf diese Weise sind die aufgespalteten Strahlenbündel in der Detektorebene als quadratische (2m+1 )x(2m+1 )-Matrix angeordnet und eine große Anzahl von Ebenen kann mittels einer zweidimensionalen Detektormatrix mit geringem Aufwand simultan aufgenommen (optoelektronisch gewandelt) werden. Die zweidimensionale Aufspaltung durch eine einzelne diffraktive Optik ist lichtstark und ermöglicht so eine vielfach-axial-multifokale, probenschonende Aufnahme von Fluoreszenzlicht. Für eine erste vorteilhafte Ausgestaitungsvariante ist vorgesehen, dass die
(konfokale) Blende (genau) eine Öffnung aufweist und die Sammeloptik jedes der aufgespalteten Strahlenbündel der verschiedenen Beugungsordnungen auf diese (gemeinsame) Öffnung fokussiert. Die Detektoren können beispielsweise derart beabstandet hinter der Blende angeordnet sein, dass die (optischen Achsen der) Strahlenbündel mindestens um eine der Entfernung zwischen den Detektoren entsprechende Distanz auseinandergelaufen sind bis sie auf die Detektoren treffen. Alternativ können sie in einer weiteren Bildebene angeordnet sein.
Für eine zweite vorteilhafte Ausgestaltungsvariante ist vorgesehen, dass die
(konfokale) Blende für jede der aufgespalteten Beugungsordnungen oder zumindest für eine Untermenge der aufgespalteten Beugungsordnungen eine jeweilige Öffnung aufweist und die Sammeloptik jedes der aufgespalteten Strahlenbündel der verschiedenen Beugungsordnungen auf die betreffende Öffnung fokussiert. Die Detektoren können beispielsweise (unmittelbar) hinter den Öffnungen der konfokalen Blende oder in einer weiteren Bildebene angeordnet sein.
Vorzugsweise ist hinter der konfokalen Blende jeweils mindestens ein Detektor für jede der Beugungsordnungen angeordnet. Die Detektoren sind vorzugsweise mit hohen Wiederholfrequenzen von mindestens 100 kHz ausiesbar und vorzugsweise zur Einzelphotonendetektion geeignet. Beispielsweise kann es sich bei der
Gesamtmenge aller Detektoren um eine Matrix von Einzelphotonenlawinendioden (engl,„single-photon avalanche diode"; SPAD) handeln, die beispielsweise im Geigermodus betrieben werden, wie in„Single-photon Imaging" von Seitz in „Springer series in Optical sciences", Band 160, beschrieben. Jede einzelne Diode oder eine jeweilige, entsprechend zugeordnete Untergruppe von Einzeldioden ist dann ein (unabhängig von den anderen auslesbarer) Detektor im Sinne der
Erfindung. Die Anzahl der Detektoren ist dann beispielsweise größer als die Anzahl von Strahlenbündeln. Anstelle von SPAD können die Detektoren eine
zweidimensionale Matrix in Form eines Multianoden-Photovervielfachers ausgeführt sein, wobei die Anzahl der Detektoren der Anzahl (2m+1 )2 der Strahlenbündel entspricht. Alternativ kann hinter jeder Öffnung der konfokalen Blende eine separate Matrix von Detektoren angeordnet sein, beispielsweise jeweils eine SPAD-Matrix. Es kann vorteilhaft sein, wenn das optische System mindestens eine Optik zum Erzeugen einer weiteren Bildebene umfasst. In dieser können dann die Detektoren angeordnet sein.
Die Erfindung hat den besonderen Vorteil, dass jedes Strahlenbündel zumindest der von Null verschiedenen Beugungsordnungen, optional auch der nullten
Beugungsordnung, durch das optische System zusätzlich in sich räumlich-spektral aufgespaltet werden kann, bevor es auf die Detektoren trifft. Zu diesem Zweck kann vorteilhafterweise in dem optischen System zwischen der Bildebene und der weiteren Bildebene mindestens ein spektral dispersives Element derart angeordnet sein, dass für die aufgespalteten Strahlenbündel zumindest der von Null verschiedenen
Beugungsordnungen verschiedene Wellenlängen auf unterschiedliche Orte der weiteren Bildebene fokussiert werden. Dabei kann das mindestens eine dispersive Element in einem kollimierten Strahlengangabschnitt der Übertragungsoptik angeordnet sein.
Durch eine derartige räumlich-spektrale Aufspaltung eines Strahienbündels über mehrere Detektoren kann das essvolumen, aus dem das betreffende Bündel stammt, spektral aufgelöst detektiert werden. Dadurch stehen zusätzliche
Informationen über das Messvolumen zur Verfügung. Vorzugsweise ist im
Beobachtungsstrahlengang nach dem dispersiven Element für jede
Beugungsordnung jeweils eine Gruppe aus mehreren Detektoren angeordnet ist. Die Gruppen sind zweckmäßigerweise disjunkt. Jede Detektorgruppe ist dabei eineindeutig einem jeweiligen Messvolumen zugeordnet. Jeder Detektor einer Detektorgruppe entspricht dabei einem spektralen Kanal des betreffenden
Messvolumens. Insbesondere können so mehrere unterschiedliche
Fluoreszenzfarbstoffe simultan detektiert und identifiziert werden, beispielsweise mittels Entmischung (engl,„unmixing") oder Hauptkomponentenanalyse (engl, „principal component analysis"; PCA). Dadurch können Fluoreszenzmarker unterschiedlicher Art simultan lokalisiert werden.
Als spektral dispersives Element können beispielsweise ein oder mehrere Prismen (beispielsweise eines pro aufgespaltetem Strahlbündef/Beugungsordnung, optional auch in der nullten Beugungsordnung) oder ein oder mehrere Beugungsgitter (beispielsweise eines pro aufgespaltetem Strahlbündel/Beugungsordnung, optional auch in der nullten Beugungsordnung) eingesetzt werden.
Vorzugsweise ist das spektral dispersive Element in einer zur Pupillenebene des Mikroskopobjektivs konjugierten Ebene angeordnet. Da in der Pupillenebene ein Schnittpunkt der fokussierten aufgespalteten, chromatisch korrigierten
Lichtstrahlenbündel liegt, können mit nur einem einzelnen dispersiven Element geringen Bauraums alle Lichtstrahlenbündei räumlich-spektral aufgespaltet werden.
Zweckmäßigerweise können in allen Ausführungsformen mindestens ein,
vorzugsweise aber alle spektral dispersiven Elemente zum reversiblen Entfernen aus dem Beobachtungsstrahlengang beweglich gelagert sein, beispielsweise zu
Kalibrierzwecken.
Vorteilhaft sind Ausführungsformen, in denen die Optik zum Erzeugen einer erweiterten Fokustiefe eine Phasenplatte, insbesondere eine kubische
Phasenmodulationsmaske oder Mittel zum Erzeugen von Besselstrahlen,
insbesondere jeweils angeordnet in einer zur Pupillenebene des Mikroskopobjektivs konjugierten Ebene, umfasst und/oder zum Unterfüllen der Pupille des
Mikroskopobjektivs ausgebildet ist, insbesondere durch Strahlformen, insbesondere zum Verringern eines Strahlquerschnitts von kollimiertem Licht. Kubische
Phasenmodulationsmasken zum Erzeugen einer erweiterten Fokustiefe sind beispielsweise in„Extended depth of field through wave-front coding" (Dowski/Cathey in„Applied Optics", Band 34, Nr. 1 1 , S. 1859) beschrieben. Eine Optik zum
Unterfüllen der Pupille kann beispielsweise ein den Strahlquerschnitt in der Pupille verringernder Strahlformer sein. Die Unterfüllung der Pupille führt zur Verringerung der numerischen Apertur der Beleuchtung, woraus sich ein verschlechtertes axiales Auflösungsvermögen ωζ ergibt.
Zum Erzeugen eines axial verlängerten Beleuchtungsvolumens kann auch jede andere bekannte EDOF-artige Optik verwendet werden, beispielsweise durch Einbringen von Phasen- oder Blendenmasken in einer Pupille des
Beleuchtungsstrahlenganges, um Besseistrahlen zu erzeugen wie in„Experimental investigation of Bessel beam characteristics" (Y. Lin in„Applied Optics", Band 31 , S. 2708) oder dem Beleuchtungslicht einen kubischen Phasenverlauf aufzuprägen entsprechend„Extended depth of field through wave-front coding" {Dowski/Cathey in „Applied Optics", Band 34, Nr, 11 , S. 1859). Weiterhin kann eine Lichtquelle oder eine der Lichtquelle nachgeschaltete Optik vorteilhaft sein, die eine den
Messvolumina entsprechende Punktreihe axial aufspannt, beispielsweise wie in DE 103 56 416 A1 mit Bezugszeichen 11 beschrieben. Der Vorteil liegt in der besseren Auflösung in jeder axialen Fokusebene, weil hier jeweils eine volle
Konfokalität erzielt werden kann. Der Nachteil ist eine ausgedehntere Beleuchtung der Probe mit entsprechend höherer Belastung.
Vorzugsweise erzeugt die Optik zum Erweitern der Fokustiefe ein
Beleuchtungsvolumen, dessen axiale Ausdehnung mindestens ein Fünffaches, insbesondere mindestens Zehnfaches, weiter insbesondere mindestens
Zwanzigfaches, seiner lateralen Ausdehnung beträgt und/oder für eine vorgegebene Anregungswellenlänge, eine vorgegebene numerische Apertur des
Mikroskopobjektivs, eine vorgegebene konfokale Biendenöfmungsgröße und einen vorgegebenen Brechungsindex eines Immersionsmediums mindestens zwei optischen Schnittdicken des Mikroskops entspricht. Dadurch kann die (erste) diffraktive Optik zur Bereitstellung eines gegenüber dem Stand der Technik zur optischen Trennung ausreichenden axialen Abstands ausgebildet sein.
Vorteilhaft ist das (erste) diffraktive optische Element so ausgebildet, dass
Mittelpunkte benachbarter axialer Messvolumina für eine vorgegebene
Anregungswellenlänge, eine vorgegebene numerische Apertur des
Mikroskopobjektivs, eine vorgegebene konfokale Blendenöffnungsgröße und einen vorgegebenen Brechungsindex eines Immersionsmediums mehr als zwei optische Schnittdicken des Mikroskops voneinander entfernt sind. Allerdings kann durch entsprechende Ausgestaltung des (ersten) diffraktiven Elements bei gegebenem Objektiv eine gewünschte axiale Trennung der Messvolumina durch Einstellung der axialen Aufspaltung mittels der Gitterparameter erzielt werden.
Es ist vorteilhaft, wenn die Optik zum Erweitern der Fokustiefe so ausgebildet ist, dass alle in die Bildebene abgebildeten Messvolumina innerhalb der erweiterten Fokustiefe liegen, wenn also die Beleuchtung mit verlängerter Fokustiefe in der Probe an die durch die Detektion abgedeckten Bereiche angepasst ist. Auf diese Weise kann das Anregungslicht effizient genutzt werden, wodurch die Probe geschont wird. Zu diesem Zweck kann entweder bei gegebenem Gitter in der
Detektion die Beleuchtungsoptik so angepasst werden, dass die Messvolumina vollständig ausgeleuchtet sind, oder bei gegebener Lichtverteilung in der Probe der Detektionsstrahlengang so angepasst werden, dass die beleuchteten Bereiche vollständig abgebildet (und detektiert) werden.
Zweckmäßigerweise kann der Strahlvereiniger ein Farbteiler sein, um gestreutes Anregungslicht aus dem Probenlicht abzuspalten. Dadurch gelangt weitgehend nur Fluoreszenzlicht zu den Detektoren. Wenn bei spektraler Detektion die spektrale Auflösung ausreichend hoch ist, kann auf einen Farbteiler verzichtet werden. Die der Anregungswellenlänge entsprechenden spektralen Kanäle werden dann
diskriminiert.
Vorzugsweise ist die erste diffraktive Optik in oder zumindest näherungsweise in einer zu einer Pupille des Mikroskopobjektivs konjugierten Ebene angeordnet. Zu diesem Zweck kann das optische System eine oder mehrere Übertragungsoptiken umfassen, die jeweils eine (zusätzliche) konjugierte Pupillenebene bereitstellen.
Zweckmäßigerweise kann das Fluoreszenzrastermikroskop ein Beleuchtungssystem mit einer Lichtquelle zur Emission von Anregungslicht aufweisen. Die Lichtquelle ist dann zweckmäßigerweise zur Einkopplung des Anregungslichts in den
Beobachtungsstrahlengang über den Eingang des Strahlvereinigers (in Richtung auf das Mikroskopobjektiv hin) angeordnet, insbesondere mit einer Kollimationsoptik zwischen der Lichtquelle und dem Strahlvereiniger. Es kann sich beispielsweise um einen Laser handeln. Dabei kann das von der Lichtquelle emittierte Anregungslicht der vorteilhaften objektseitigen, axialen Fokusverlängerung unterliegen.
Vorzugsweise ergibt sich (durch die Abbildung der Optik zum Erweitern des Fokus und des Objektivs, insbesondere auch weiterer strahlformender Optiken im
Beleuchtungsstrahlengang) ein linienförmiger (mit den Messvolumina überlappender) Beleuchtungsfokus, wobei eine Längsrichtung der Linie parallel zur optischen Achse des Mikroskopobjektivs ist. So wird die Probe geschont. Das gelingt beispielsweise mit einer quasi punktförmigen Lichtquelle wie beispielsweise einem Laser. Zur effektiveren Nutzung des Anregungslichts und damit zur Probenschonung kann die Beleuchtungslinie stellenweise eingeschnürt sein, so dass im wesentlichen nur die Messvolumina in der primären und den sekundären Detektionsfokusebenen beleuchtet werden (nicht aber Zwischenräume zwischen den Messvolumina).
Vorteilhafterweise kann das den mikroskopischen Beobachtungsstrahlengang definierende optische System optisch zwischen dem Mikroskopobjektiv und dem Strahlvereiniger eine versteilbare Strahlablenkeinheit (engl,„beam scanning unit") zum sequentiellen Abtasten unterschiedlicher Messvolumina und eine
Übertragungsoptik zum Abbilden der Ablenkeinheit in die Pupille des
Mikroskopobjektivs aufweisen. Das Abtasten wird so mit geringem Aufwand ermöglicht. Die Ablenkeinheit kann sowohl quasistatische als auch resonante
Scanner als auch Galvo-Scanner als auch MEMS-Scanner umfassen. Optisch vorteilhaft ist ein Scanner mit definiertem Drehpunkt, beispielsweise ein MEMS- basierter Scanner wie in US 7,295,726 B1 beschrieben.
Vorzugsweise sind die Detektoren als zweidimensionale Matrix angeordnet und das Mikroskop umfasst eine Steuereinheit, die eingerichtet ist, die Strahlablenkeinheit zu verstellen, mittels der Detektoren Licht aufzunehmen und von den Detektoren ausgegebene Signalwerte zu erfassen, die vorgenannten Schritte mehrfach zu wiederholen und aus den erfassten Signaiwerten einen Stapel konfokaler Bilder zu ermitteln.
Die Erfindung kann vorteilhafterweise mit einer Probenmanipulation kombiniert werden. Beispielsweise wird durch eine Weitfeld beleuchtung oder durch eine gezielte fokussierte Beleuchtung eine Reaktion der Probe angeregt. Anwendungen sind hier beispielsweise FRAP oder das Freisetzen (engl,„uncageing") von Stoffen. Auch mit optogenetischen Verfahren kann die Erfindung kombiniert werden.
Die Detektoren können vorteilhafterweise zur räumlichen Überabtastung (engl,„over- sampling") der Punktbiidfunktion in mindestens einer der Beugungsordnungen, vorzugsweise in jeder Beugungsordnung angeordnet sein, beispielsweise wie in „Super-resolution in confocal imaging" von Sheppard in„Optik", Band 80 (1988), S. 53, beschrieben. Auf diese Weise kann die Form der PSF und die Intensitätsverteilung innerhalb der PSF ermittelt werden. Damit kann dann ein höheraufgelöstes Bild ermittelt werden. Die Überabtastung gelingt beispielsweise, indem für jede Beugungsordnung eine jeweilige Gruppe von (disjunkten) Detektoren im Beobachtungsstrahlengang angeordnet ist. Ist das optische System zur spektral aufgelösten Detektion eingerichtet, können jeweils mehrere Detektoren der betreffenden Gruppe in demselben Wellenlängenbereich angeordnet sein. Geeignete Detektoren sind hier beispielsweise SPAD-Matrix-Sensoren aufgrund ihrer
Empfindlichkeit, Auslesegeschwindigkeit und ihrer Pixelierung.
Die erfindungsgemäße Bildgebung kann auch mit anderen Methoden zur Erhöhung der optischen Auflösung wie z.B. STED oder RESOLFT kombiniert eingesetzt werden. Idealerweise werden zu diesem Zweck zwei Beleuchtungsstrahlengänge bereitgestellt und mittels eines zusätzlichen Strahlvereinigers gekoppelt, so dass Licht aus beiden zur Probe gelangt. Der erste erzeugt wie oben beschrieben einen verlängerten objektseitigen Fokus zur Fluoreszenzanregung (Anregungsstrahl), vorzugsweise mittels eines Besselstrahls. Der zweite Beleuchtungsstrahlengang erzeugt beispielsweise mittels einer Ringblende mit aufgeprägter Spiralphase einen selbstrekonstruierenden annularen Strahl (Besseistrahlen höherer Ordnung mit fehlendem zentralen Maximum), der dann zur Abregung/Unterdrückung der
Fluoreszenz außerhalb des Zentrums dient (Abregungsstrahl). Die Wellenlänge des Abregungsstrahls ist vorzugsweise gegen die des Anregungsstrahls rotverschoben. Zu diesem Zweck kann der erste Beleuchtungsstrahlengang eine Lichtquelle aufweisen, die eine kürzere Wellenlänge emittiert als die Lichtquelle des zweiten Beleuchtungsstrahlengangs.
Das optische System kann adaptive Optiken derart umfassen, dass gleichzeitig alle Beleuchtungs- und/oder Detektions-PSF korrigiert werden. Ein rückgekoppelter Modus zur adaptiven Optimierung der Signale in den N Kanälen
(Beugungsordnungen) ist hierbei möglich.
Die axial-multifokale Abbildung kann mit einer Abtastung in z-Richtung (längs der optischen Achse erfolgen) kombiniert werden. Die Fluoreszenzanregung kann sowohl linear (mittels Einphotonenanregung) wie auch nichtlinear (mittels ultiphotonenanregung oder Frequenzvervielfachung— „Second Harmonie generation" (SHG), CARS etc.) erfolgen. Die Detektion erfolgt dabei aber zweckmäßigerweise„descanned". Der besondere Vorteil einer
nichtlinearen Anregung besteht darin, dass es durch die Quadrierung der Intensität einfacher ist, eine axial verlängerte PSF zu generieren. Weiterhin ist das Verfahren auch mit anderen Methoden der Fluoreszenzbildgebung kombinierbar,
beispielsweise mit der„Focal Modulation Microscopy" genannt (Chen et. al in„Optics Express", Band 16, Ausgabe 23, S. 18764).
Die Erfindung kann insbesondere zur schnellen Partikelverfolgung (engl,„particle tracking") vorteilhaft genutzt werden.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen näher erläutert. In den Zeichnungen zeigen:
Fig. 1 ein Mikroskop zur axial-multifokalen Detektion,
Fig. 2 Ausschnitte aus einer ersten und einer zweiten Ausführungsform des optischen Systems zur Definition eines Beobachtungsstrahlengangs und
Fig. 3 Ausschnitte aus einer dritten und einer vierten Ausführungsform des optischen Systems zur Definition eines Beobachtungsstrahlengangs.
In allen Zeichnungen tragen übereinstimmende Teile gleiche Bezugszeichen.
Fig. 1 zeigt schematisch ein Fluoreszenzrastermikroskop 1 in Form eines Laser- Scanning-Mikroskops (LSM). Hier definiert ein Laser ais Lichtquelle 11 als
Beleuchtungssystem zusammen mit einem Mikroskopobjektiv 2 einen
Beleuchtungsstrahlengang A, welcher eine Phasenmaske 10 enthält und durch einen Strahlteiler 6, beispielsweise einem dichroitischen Strahlteilerwürfel, mit dem
Beobachtungsstrahlengang B vereinigt (optisch gekoppelt) wird. Die
Phasenmaske 10 ist außerhalb des Beobachtungsstrahlengangs B angeordnet. Ein optisches Übertragungssystem 5 bildet die Ebene der Phasenmaske 10 auf eine Abienkeinheit 4 ab, welche den Anregungslichtstrahl in x- und y-Richtung ausienken kann. Ein weiteres optisches Übertragungssystem 3 bildet die Abienkeinheit 4 in die Pupillenebene des Objektivs 2 ab. Das Objektiv 2 fokussiert den Laserstrahl in die Probe P, wobei die laterale Position des Beleuchtungsvolumens von den an der Ablenkeinheit 4 eingestellten Ablenkwinkeln abhängt.
Die axiale Länge des Beleuchtungsvolumens, beispielsweise angebbar durch die volle Halbwertsbreite des axialen Intensitätsprofil seiner PSF, wird durch die
Beschaffenheit der Phasenmaske 10 festgelegt und ist gegenüber der des reinen ikroskopobjektivs 2 (ohne die Phasenmaske 10) in z-Richtung deutlich verlängert, wohingegen die laterale Größe der Beleuchtungs-PSF in x- und y-Richtung
näherungsweise identisch ist. Zu diesem Zweck handelt es sich der bei
Phasenmaske 10 beispielsweise um eine kubische Phasenmodulationsmaske. Die Ausdehnung des Beleuchtungsvolumens in z-Richtung ist beispielsweise fünffach so groß wie in x-Richtung oder in y-Richtung.
Das entlang des verlängerten Fokusprofils in der Probe P erzeugte Fluoreszenzlicht wird durch das Objektiv 2 im wesentlichen kollimiert und durchläuft die oben beschriebenen Optiken rückwärtig bis zum Strahlteiler 6, der den
Beobachtungsstrahlengang B spektral vom Beleuchtungsstrahlengang A trennt. Die Übertragungsoptik 5 transformiert dabei die Zwischenbildebene ZBE, in weicher Informationen in axialer Richtung verteilt vorliegen, in eine erste Gitterebene GE1 , welche die Pupillenebene der Übertragungsoptik 5 ist. In der ersten Gitterebene GE1 ist eine erste diffraktive Optik 7 in Form eines zweidimensionalen DOE-Phasengitters angeordnet, weiches (2m+1 )2 Beugungsordnungen (hier beispielsweise m=1 ) erzeugt und so das einfallende Licht in eine entsprechende Anzahl von Strahlenbündeln aufspaltet. Jeder Beugungsordnung (jedem der Strahlenbündel) prägt das
Phasengitter 7 einen konstanten sphärischen Phasenterm auf, wodurch in
Abhängigkeit der Welienfrontkrümmung und damit in Abhängigkeit von der
Entfernung der Fluoreszenzemission vom Objektiv 2 eine Refokussierung der Zwischenbildebene ZBE um den jeweiligen Phasenterm, vorteilhafterweise in äquidistanten Schritten, erfolgt. Der ersten diffraktiven Optik 7 ist eine zweite diffraktive Optik 13, beispielsweise ein Gitter oder ein DOE, nachgeschaltet, um die spektrale Dispersion des Phasengitters 7 in GE1 aufzuheben. Die in die Beugungsordnungen aufgespalteten, refokussierten und farbkorrigierten
Lichtstrahlenbündel werden durch die Linse 8 als Sammeloptik auf die konfokale Blende 15 in der Bildebene BE abgebildet, hinter der eine Detektormatrix 9 angeordnet ist. Die Detektoren 9ik (beispielsweise i=1...128; k=1...128) der Matrix 9 sind beispielsweise SPAD, können aber auch CCD- oder CMOS-Sensoren sein.
Eine Steuereinheit 14 steuert die Ablenkeinheit 4 und die Lichtquelle 11 sowie die Detektoren 9,k. Sie ist auch dazu eingerichtet, deren Messwerte entgegenzunehmen und beispielsweise rechnerisch nachzubearbeiten.
In Fig. 2A ist schematisch ein Ausschnitt des Beobachtungsstrahlengangs B im Detail gezeigt. Die mit L1 bezeichnete Linse ist dabei beispielsweise Teil der
Übertragungsoptik 5. Nach der refokussierten Aufspaltung an der diffraktiven Optik 7 in der zur Pupillenebene des Objektivs 2 konjugierten ersten Gitterebene GE1 wird die refokussierte Information durch die zweite diffraktive Optik 13 farbkorrigiert, um die spektrale Dispersion des Phasengitters 7 in GE1 zu kompensieren, und durch die Sammeloptik 8 in der Ebene L2 direkt auf den pixelierten Sensor 9 abgebildet. Jede Beugungsordnung bildet somit ein jeweiliges Messvolumen aus einer anderen Ebene der Probe P scharf auf die Detektormatrix 9 ab. Des weiteren wird das
Fluoreszenzlicht abgesehen von der nullten Ordnung von jeder Beugungsordnung spektral dispergiert. Die resultierende Lichtverteilung auf der Detektormatrix 9 ist in beiden Teilfig. 2A, 2B schematisch neben dem Strahlengang angegeben.
Idealerweise sind alle nicht relevanten Beugungsordnungen der zweiten diffraktiven Optik 13 in GE2 weitestgehend unterdrückt. Durch die Abbildung durch die
Sammeloptik L2 werden nun alle Teilstrahlen jeder Wellenlänge und jeder
Ursprungsebene auf einen Punkt fokussiert. In dieser Bildebene BE (zugleich Pinholeebene PHE) wird das Probenlicht nun mittels einer Lochblende 15 quasi- konfokal gefiltert und außerfokales Licht von dem der in der jeweiligen
Beugungsordnung betrachteten Messvolumen (Fokusebene) entstammenden Fluoreszenzlicht separiert. Die Linse in der Ebene L3, die beispielsweise mit der Linse in der Ebene L4 eine weitere Übertragungsoptik bildet, kollimiert die durch die Lochblende 15 in der PHE transmittierten Lichtstrahlen wieder und erzeugt eine weitere Pupillenebene GE3, in der alle Beugungsordnungen wieder voneinander separiert vorliegen. In dieser Ebene GE3 kann wahlweise ein spektral dispergierendes und
ordnungsseparierendes Element 12 eingefügt werden, um einerseits die
unterschiedlichen Ebenen der ZBE mittels der Linse L4 auf unterschiedliche
Positionen der Detektormatrix 9 abzubilden und andererseits die Spektralinformation über die Detektoren 9jk zu dispergieren. Das Element 12 ist beispielsweise ein segmentiertes Prisma, das die Beugungsordnungen relativ zueinander spreizt, wobei das Segment in der nullten Beugungsordnung eine planparalleie Platte ist. Dadurch ist die nullte Ordnung auf der Detektormatrix 9 nicht spektral aufgelöst. Die acht anderen Beugungsordnungen können spektral aufgelöst detektiert werden, weil jedes Strahlenbündel aufgrund der räumlich-spektralen Aufspaltung über eine betreffende Gruppe von Detektoren 9ik Qeweilige Untermenge aller Detektoren) dispergiert ist.
In Fig. 2B ist zusätzlich ein spektral dispergierendes Element 12, beispielsweise ein Prisma oder ein Beugungsgitter, im Strahlweg der nullten Ordnung angeordnet, so dass alle Beugungsordnungen räumlich-spektral über eine jeweilige Gruppe von Detektoren 9ik aufgespaltet werden. So kann auch für die Probenebene, die durch die nullte Ordnung repräsentiert wird, die Spektralinformation ermittelt werden. Das spektral dispergierende Element 12 ist vorteilhafterweise repositionierbar im
Beobachtungsstrahlengang B angeordnet und reversibel wieder zu entfernen.
Die mittels der Detektoren 9if< gemessenen Daten sind bereits quasi-konfokal zur primären und den sekundären Fokalebenen. Lediglich die Orientierung der
Dispersion muss mittels einer Kalibration eingerechnet werden. Die Kalibrierung des Detektionssystems erfolgt beispielsweise, indem ein einzelnes fluoreszierendes Kügelchen (engl,„bead") axial durch den Beleuchtungs-Fokusbereich des
Mikroskops 1 bewegt wird, wobei das Element 12 aus dem Strahlengang der nullten Ordnung entfernt ist. In diesem Fall messen die Detektoren 9,k unter der nullten Ordnung die chromatisch ungestörte PSF des optischen Systems. Anhand dieser PSF kann die spektrale Dispersion jeder anderen Beugungsordnung ermittelt werden, da in diesen die identische PSF nur um den jeweiligen (vorgegebenen) Phasenterm korrigiert vorliegen muß. Mit der nun bekannten PSF kann schließlich auch die Dispersion des Elements 12 kalibriert werden.
In Fig. 3A ist ein Ausschnitt aus einem weiteren optischen System zur Definition eines Beobachtungsstrahlengangs B dargestellt, im Unterschied zu Abb. 2A ist ein ordnungsseparierendes Element 16, beispielsweise durch unterschiedliche Prismen segmentiert, zwischen dem Korrekturgitter in GE2 und der Sammeloptik L2 in die Gitterebene GE3 eingebracht. Die Summe der spektralen Dispersionen der Elemente in GE 2 und GE 3 sind entgegengesetzt gleich zur spektralen Dispersion der diffraktiven Optik 7 in GEL Aufgrund des ordnungsseparierenden Elementes 16 werden nun alle Beugungsordnungen des Phasengitters 7 durch die
Sammeloptik L2, nachdem sie durch die zweite diffraktive Optik 13 spektral auskorrigiert sind, an separierte Lateralpositionen der PHE abgebildet. Entsprechend ist in der konfokalen Ebene eine konfokale Blende 15 mit einer Matrixanordnung von (2m+1 )2 Öffnungen angeordnet. Die Linse L3 bildet die PHE schließlich auf die Detektormatrix 9 ab, die in einer weiteren Bildebene wBE angeordnet ist. In der Variante der Fig. 3A erfolgt die Abbildung ohne spektrale Dispersion auf den
Detektoren 9.
In Fig. 3B ist in der der Sensormatrix 9 vorgelagerten Pupillenebene (PE) ein spektral dispergierendes Element 12 eingebracht, welches von allen
Beugungsordnungen durchlaufen wird. Demzufolge ist die Orientierung der spektralen Lichtverteilung auf der Sensormatrix für alle Beugungsordnungen des Phasengitters gleich. Jedoch kann die Spektralauflösung aufgrund der
unterschiedlichen Einfallswinkel variieren. Idealerweise ist das Element 12 reversibel positionierbar, so dass zwischen den Anordnungen in Fig. 3A und 3B umgeschaltet werden kann. Dies kann wiederum zur Kalibrierung der spektralen Auflösung genutzt werden.
In alternativen Ausführungsformen weist die konfokale Blende nicht (2m+1 )2
Öffnungen, sondern beispielsweise nur (2m+1 ) Öffnungen auf. Bezuqszeichenliste
Mikroskop
2 Objektiv
3 Übertragung
4 Ablenkeinheit
5 Übertragungsoptik
6 Strahlteiler
7 Diffraktive Optik
8 Sammeioptik
9 Detektormatrix
10 Phasenmoduiationsmaske 1 Lichtquelle (Beleuchtungssystem)
12 Spektral dispergierendes Element
13 Diffraktive Optik
14 Steuereinheit
15 Konfokale Blende
16 Ordnungsseparierendes Element
A Beleuchtungsstrahlengang
B Beobachtungsstrahlengang
P Probe
PHE Pinholebene
ZBE Zwischenbildebene
L1/2/3 Ebenen
GE1/2/3 Ebenen
BE Bildebene
PE Pupillenebene
wBE weitere Bildebene

Claims

Patentansprüche
1. Konfokales Fluoreszenzrastermikroskop (1 ) mit einem optischen System, das einen mikroskopischen Beobachtungsstrahlengang (A) von einem Messvolumen bis zu einer Bildebene (BE) definiert und ein Mikroskopobjektiv (2), einen
Strahlvereiniger (6) mit einem Eingang zur Ankopplung eines
Beleuchtungssystems (1 1 ) und eine in der Bildebene (BE) angeordnete
Blende ( 5) umfasst, dadurch gekennzeichnet, dass das optische System im Beobachtungsstrahlengang (A) zwischen dem Strahlvereiniger (6) und der Bildebene (BE) eine erste diffraktive Optik (7) zur Aufspaltung von Lichtstrahlen in Strahlenbündel längs unterschiedlicher Beugungsordnungen, wobei sie den Lichtstrahlen jeder Beugungsordnung eine von den anderen Beugungsordnungen verschiedene sphärische Phase, insbesondere ein jeweiliges ganzzahliges Vielfaches einer sphärischen Phase, aufprägt, eine zweite diffraktive Optik (13) zur Kompensation chromatischer Aberrationen der aufgespalteten Strahlenbündel und eine Sammeloptik (8) zur Fokussierung der aufgespalteten Strahlenbündel in die Bildebene (BE) umfasst.
2. Mikroskop ( ) nach Anspruch 1 , wobei außerhalb des
Beobachtungsstrahlengangs (A) vor dem Strahlvereinigereingang zur Ankopplung des Beleuchtungssystems eine Optik (10) zum Erweitern einer Fokustiefe des Mikroskopobjektivs (2) längs dessen optischer Achse angeordnet ist.
3. Mikroskop (1 ) nach Anspruch 1 oder 2, wobei die diffraktive Optik (7) ein
zweidimensionales Phasengitter ist, das vom Mikroskopobjektiv (2) kommende Wellenfronten in (2m+1 )2 Beugungsordnungen mit m=1 ,2,3!... über zwei verschiedene Raumrichtungen aufspaltet.
4. Mikroskop (1 ) nach dem Anspruch 1 , 2 oder 3, wobei die Blende (15) eine
Öffnung aufweist und die Sammeloptik (8) jedes der aufgespalteten
Strahlenbündel der verschiedenen Beugungsordnungen auf diese Öffnung fokussiert.
5. Mikroskop (1 ) nach Anspruch 1 , 2 oder 3, wobei die Blende (15) für jede der aufgespalteten Beugungsordnungen oder zumindest für eine Untermenge der aufgespalteten Beugungsordnungen eine jeweilige Öffnung aufweist und die Sammeloptik (8) jedes der aufgespalteten Strahlenbündel der verschiedenen Beugungsordnungen auf die betreffende Öffnung fokussiert.
6. Mikroskop (1 ) nach einem der vorhergehenden Ansprüche, wobei das optische System mindestens eine Optik zum Erzeugen einer weiteren Bildebene (wBE) umfasst, insbesondere mit Anordnung von Detektoren (9) in der weiteren
Bildebene (wBE).
7. Mikroskop (1 ) nach dem vorhergehenden Anspruch, wobei zwischen der
Bildebene (BE) und der weiteren Bildebene (wBE) mindestens ein spektral dispersives Element (12) derart angeordnet ist, dass für jedes der aufgespalteten Strahlenbündel zumindest der von Null verschiedenen Beugungsordnungen verschiedene Wellenlängen auf unterschiedliche Orte der weiteren
Bildebene (wBE) fokussiert werden, insbesondere mit Anordnung des mindestens einen dispersiven Elements (12) in einem kollimierten Strahlengangabschnitt der Optik zum Erzeugen der weiteren Bildebene (wBE).
8. Mikroskop (1) nach Anspruch 7, wobei das spektral dispersive Element ( 2) in oder zumindest näherungsweise in einer zur Pupillenebene des
Mikroskopobjektivs (2) konjugierten Ebene (PE) angeordnet ist.
9. Mikroskop (1 ) nach Anspruch 7 oder 8, wobei das spektral dispersive
Element (12) zum reversiblen Entfernen aus dem Beobachtungsstrahlengang (A) beweglich gelagert ist.
10. Mikroskop (1 ) nach einem der Ansprüche 2 bis 9, wobei die Optik (10) zum
Erzeugen einer erweiterten Fokustiefe eine kubische Phasenmodulationsmaske oder Mittel zum Erzeugen von Besseistrahlen, insbesondere in einer zur
Pupillenebene des Mikroskopobjektivs konjugierten Ebene, umfasst und/oder zum Unterfüllen der Pupille des Mikroskopobjektivs (2) ausgebildet ist, insbesondere durch Strahlformen, insbesondere zum Verringern eines Strahlquerschnitts von kollimiertem Licht.
11. Mikroskop (1 ) nach einem der Ansprüche 2 bis 10, wobei die Optik (10) zum
Erzeugen einer erweiterten Fokustiefe ein Beleuchtungsvolumen erzeugt, dessen axiale Ausdehnung mindestens ein Fünffaches, insbesondere mindestens
Zehnfaches, weiter insbesondere mindestens Zwanzigfaches, seiner lateralen Ausdehnung beträgt und/oder für eine vorgegebene Anregungswellenlänge, eine vorgegebene numerische Apertur des Mikroskopobjektivs (2), eine vorgegebene konfokale Blendenöffnungsgröße und einen vorgegebenen Brechungsindex eines Immersionsmediums mindestens zwei optischen Schnittdicken des
Mikroskops (1 ) entspricht.
12. Mikroskop (1 ) nach dem vorhergehenden Anspruch, wobei die diffraktive Optik (7) so ausgebildet ist, dass Mittelpunkte benachbarter axialer Messvolumina für eine vorgegebene Anregungswellenlänge, eine vorgegebene numerische Apertur des Mikroskopobjektivs (2), eine vorgegebene konfokale Blendenöffnungsgröße und einen vorgegebenen Brechungsindex eines Immersionsmediums mehr als zwei optische Schnittdicken des Mikroskops (1 ) voneinander entfernt sind.
13. Mikroskop (1 ) nach einem der vorhergehenden Ansprüche, wobei die erste
diffraktive Optik (7) in oder zumindest näherungsweise in einer zu einer Pupille des Mikroskopobjektivs (2) konjugierten Ebene angeordnet (Gel ) ist.
14. Mikroskop (1 ) nach einem der vorhergehenden Ansprüche, wobei das optische System zwischen dem Mikroskopobjektiv (2) und dem Strahlvereiniger (6) eine verstellbare Strahlablenkeinheit (4) zum sequentiellen Abtasten unterschiedlicher Messvolumina und eine Übertragungsoptik (3) zum Abbilden der Ablenkeinheit (4) in eine Pupille des Mikroskopobjektivs (2) aufweist.
15. Mikroskop (1 ) nach einem der vorhergehenden Ansprüche, wobei die
Detektoren (9) zur räumlichen Überabtastung der Punktbildfunktion in mindestens einer der Beugungsordnungen, insbesondere in jeder Beugungsordnung angeordnet sind.
16. Mikroskop (1 ) nach einem der Ansprüche 2 bis 15, wobei die Optik (10) zum Erweitern der Fokustiefe so ausgebildet ist, dass alle in die Bildebene (BE) abgebildeten Messvolumina innerhalb der erweiterten Fokustiefe liegen.
17. Mikroskop (1 ) nach einem der Ansprüche 2 bis 15, wobei ein Beleuchtungsfokus linienförmig ist, wobei eine Längsrichtung der Linie parallel zur optischen Achse des Mikroskopobjektivs (2) ist.
EP15703968.6A 2014-02-12 2015-02-09 Multifokales fluoreszenzrastermikroskop Active EP3105629B8 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014002328.1A DE102014002328B4 (de) 2014-02-12 2014-02-12 Multifokales Fluoreszenzrastermikroskop
PCT/EP2015/052605 WO2015121188A1 (de) 2014-02-12 2015-02-09 Multifokales fluoreszenzrastermikroskop

Publications (3)

Publication Number Publication Date
EP3105629A1 true EP3105629A1 (de) 2016-12-21
EP3105629B1 EP3105629B1 (de) 2020-10-28
EP3105629B8 EP3105629B8 (de) 2020-12-16

Family

ID=52469031

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15703968.6A Active EP3105629B8 (de) 2014-02-12 2015-02-09 Multifokales fluoreszenzrastermikroskop

Country Status (5)

Country Link
US (1) US10802256B2 (de)
EP (1) EP3105629B8 (de)
JP (1) JP6701095B2 (de)
DE (1) DE102014002328B4 (de)
WO (1) WO2015121188A1 (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015107367A1 (de) 2015-05-11 2016-11-17 Carl Zeiss Ag Auswertung von Signalen der Fluoreszenzrastermikroskopie unter Verwendung eines konfokalen Laserscanning-Mikroskops
DE102015219330A1 (de) * 2015-10-07 2017-04-13 Carl Zeiss Smt Gmbh Verfahren und Vorrichtung zur Strahlanalyse
DE102016108384B3 (de) * 2016-05-04 2017-11-09 Leica Microsystems Cms Gmbh Vorrichtung und Verfahren zur lichtblattartigen Beleuchtung einer Probe
DE102016119727A1 (de) * 2016-10-17 2018-04-19 Carl Zeiss Microscopy Gmbh Vorrichtung zur Strahlmanipulation für ein Scanning-Mikroskop und Mikroskop
CN107678151B (zh) * 2017-04-21 2020-04-10 中国科学院苏州生物医学工程技术研究所 基于干涉阵列光场的共聚焦并行显微成像仪
CN107219618B (zh) * 2017-05-11 2023-08-29 南开大学 激光阵列扫描成像系统
US11042016B2 (en) 2017-12-12 2021-06-22 Trustees Of Boston University Multi-Z confocal imaging system
EP3627205A1 (de) * 2018-09-20 2020-03-25 Koninklijke Philips N.V. Konfokales laser-abtastmikroskop, konfiguriert zum erzeugen von linienfoki
DE102018132875A1 (de) 2018-12-19 2020-06-25 Abberior Instruments Gmbh Fluoreszenzlichtmikroskopie mit erhöhter axialer Auflösung
CN111344620B (zh) * 2019-01-25 2024-02-13 敏捷焦点设计有限责任公司 用于宽场、共焦和多光子显微镜的动态聚焦和变焦系统
CN113557463A (zh) 2019-03-08 2021-10-26 Pcms控股公司 用于基于具有扩展焦深的光束的显示器的光学方法和系统
DE102019118446A1 (de) * 2019-07-08 2021-01-14 Laser-Laboratorium Göttingen e.V. Verfahren und Mikroskop mit einer Korrekturvorrichtung zur Korrektur von aberrationsinduzierten Abbildungsfehlern
CN110441311B (zh) * 2019-07-22 2021-10-08 中国科学院上海光学精密机械研究所 用于多物面成像的多轴多焦镜头
EP4189456A1 (de) 2020-07-28 2023-06-07 Carl Zeiss Microscopy GmbH Verfahren und lichtmikroskop mit einer vielzahl von arrays von photonenzählenden detektorelementen
CN112857568A (zh) * 2021-03-17 2021-05-28 中国科学技术大学 一种基于拓展景深的快速光谱采集系统
DE102021134427A1 (de) 2021-12-22 2023-06-22 Carl Zeiss Microscopy Gmbh Mikroskop und verfahren zur mikroskopie

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04171415A (ja) * 1990-11-02 1992-06-18 Nikon Corp 長焦点深度高分解能照射光学系
US5239178A (en) 1990-11-10 1993-08-24 Carl Zeiss Optical device with an illuminating grid and detector grid arranged confocally to an object
KR19980702008A (ko) * 1995-02-03 1998-07-15 마이클 지. 가브리지 광학 시스템의 필드 심도를 증가시키기 위한 방법 및 장치
JPH09146007A (ja) * 1995-11-17 1997-06-06 Olympus Optical Co Ltd 光学系
DE19702753C2 (de) 1997-01-27 2003-04-10 Zeiss Carl Jena Gmbh Laser-Scanning-Mikroskop
JP3816632B2 (ja) 1997-05-14 2006-08-30 オリンパス株式会社 走査型顕微鏡
JP3718397B2 (ja) * 2000-01-07 2005-11-24 ペンタックス株式会社 マルチビーム光学系
DE10356416A1 (de) 2003-11-24 2005-06-23 Universität Stuttgart Verfahren und Anordnung zur simultanen, multifokalen, optischen Abbildung
US7295726B1 (en) 2003-12-02 2007-11-13 Adriatic Research Institute Gimbal-less micro-electro-mechanical-system tip-tilt and tip-tilt-piston actuators and a method for forming the same
JP2011501165A (ja) * 2007-10-29 2011-01-06 ナショナル リサーチ カウンシル オブ カナダ 粒子トラップにより閉じ込められた粒子付着蛍光体によって放射される蛍光を検出する方法および装置
DE102009060793A1 (de) 2009-12-22 2011-07-28 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
JP5913964B2 (ja) 2011-12-22 2016-05-11 オリンパス株式会社 分光検出装置、及び、それを備えた共焦点顕微鏡
EP2802861A4 (de) 2012-01-11 2015-08-19 Hughes Howard Med Inst Mehrdimensionale bildgebung mit multifokaler mikroskopie

Also Published As

Publication number Publication date
JP6701095B2 (ja) 2020-05-27
US20160377850A1 (en) 2016-12-29
DE102014002328A1 (de) 2015-08-13
EP3105629B8 (de) 2020-12-16
JP2017506370A (ja) 2017-03-02
EP3105629B1 (de) 2020-10-28
WO2015121188A1 (de) 2015-08-20
DE102014002328B4 (de) 2021-08-05
US10802256B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
EP3105629B1 (de) Multifokales fluoreszenzrastermikroskop
EP2860566B1 (de) Hochauflösende Scanning-Mikroskopie
EP2350618B1 (de) Fluoreszenzmikroskop mit phasenmaske
EP3295236B1 (de) Auswertung von signalen der fluoreszenzrastermikroskopie unter verwendung eines konfokalen laserscanning-mikroskops
DE102012204128B4 (de) Hochauflösende Scanning-Mikroskopie
EP3047325B1 (de) Laserscanningmikroskop und verfahren zur korrektur von abbildungsfehlern bei einer laser-scanning-mikroskopie
DE102013015931A1 (de) Hochauflösende Scanning-Mikroskopie
EP1248132B1 (de) Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
EP3891465B1 (de) Optische messeinrichtung
EP2860567B1 (de) Hochauflösende Scanning-Mikroskopie
DE102013019348A1 (de) Hochauflösende Scanning-Mikroskopie
WO2011085766A1 (de) Hochauflösendes mikroskop und verfahren zur zwei- oder dreidimensionalen positionsbestimmung von objekten
EP3526634A1 (de) Optikgruppe für detektionslicht für ein mikroskop, verfahren zur mikroskopie und mikroskop
DE102013019347A1 (de) Hochauflösende Scanning-Mikroskopie
DE10227120A1 (de) Mikroskop, insbesondere Laserscanningmikroskop mit adaptiver optischer Einrichtung
DE102010044013A1 (de) Tiefenauflösungsgesteigerte Mikroskopie
EP1882969A1 (de) Laser-Scanning-Mikroskop
EP3179288A1 (de) Lichtfeld-bildgebung mit scanoptik
EP1882970A1 (de) Laser-Scanning-Mikroskop zur Fluoreszenzuntersuchung
EP3084502B1 (de) Mehrfarben-scanning-mikroskop
DE10321885A1 (de) Anordnung und Verfahren zur hochdynamischen, konfokalen Technik
DE102020120190A1 (de) Verfahren zum detektieren von emissionslicht, detektionsvorrichtung und laser-scanning-mikroskop

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20160906

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200319

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200512

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

GRAT Correction requested after decision to grant or after decision to maintain patent in amended form

Free format text: ORIGINAL CODE: EPIDOSNCDEC

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502015013704

Country of ref document: DE

Owner name: CARL ZEISS AG, DE

Free format text: FORMER OWNERS: CARL ZEISS MICROSCOPY GMBH, 07745 JENA, DE; CARL ZEISS SMT AG, 73447 OBERKOCHEN, DE

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

RIN1 Information on inventor provided before grant (corrected)

Inventor name: ANHUT, TIEMO

Inventor name: SCHWEDT, DANIEL

Inventor name: WALD, MATTHIAS

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502015013704

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1328789

Country of ref document: AT

Kind code of ref document: T

Effective date: 20201115

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: CARL ZEISS MICROSCOPY GMBH

Owner name: CARL ZEISS AG

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: CH

Ref legal event code: PK

Free format text: BERICHTIGUNG B8

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20201028

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210301

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210128

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210129

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210128

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210228

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502015013704

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

26N No opposition filed

Effective date: 20210729

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20210209

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20210228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210228

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210209

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210228

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210209

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210228

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210209

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1328789

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20150209

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20230216

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201028