DE19908883A1 - Process for increasing the resolution of optical imaging - Google Patents

Process for increasing the resolution of optical imaging

Info

Publication number
DE19908883A1
DE19908883A1 DE19908883A DE19908883A DE19908883A1 DE 19908883 A1 DE19908883 A1 DE 19908883A1 DE 19908883 A DE19908883 A DE 19908883A DE 19908883 A DE19908883 A DE 19908883A DE 19908883 A1 DE19908883 A1 DE 19908883A1
Authority
DE
Germany
Prior art keywords
light
intensity
detected
conditions
microscopy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE19908883A
Other languages
German (de)
Inventor
Rainer Heintzmann
Christoph Cremer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEINTZMANN, RAINER, DR., 37077 GOETTINGEN, DE
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE19908883A priority Critical patent/DE19908883A1/en
Priority to PCT/EP2000/001806 priority patent/WO2000052512A1/en
Priority to DE50000729T priority patent/DE50000729D1/en
Priority to EP00912537A priority patent/EP1157297B1/en
Priority to US09/914,515 priority patent/US6909105B1/en
Priority to AT00912537T priority patent/ATE227434T1/en
Publication of DE19908883A1 publication Critical patent/DE19908883A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46—Systems using spatial filters

Abstract

The invention relates to a method for obtaining an object image of at least one object (40), whereby at least two partial images of the object (40) are recorded under different conditions for each image. Said conditions take the form of spatial patterns on the object, whereby for each point on the object there is a non-linear dependency of the light which is detected from the direction of said object point on the object conditions which exist at said point on the object and whereby the partial images contain varying amounts of different space frequency components of the object structure. The desired object image is determined from the partial images by reconstructing the share of space frequency components. The invention also describes optical systems (100) for implementing such a method.

Description

1. Grundlagen1. Basics

Die Erfindung betrifft ein Verfahren zur Lichtmikroskopie entsprechend dem Oberbegriff des Anspruchs I.The invention relates to a method for light microscopy according to the preamble of claim I.

Die Auflösung von optischen Systemen, wird oft wesentlich durch die objektseitige Aper­ tur der Objektivlinse/n bestimmt. Licht, welches vom Objekt abgestrahlt wird, wird nur detektiert, wenn es innerhalb des Akzeptanzwinkels des Objektivs auf dieses trifft. Die Auflösung eines Lichtmikroskops hängt bekannterweise von dem Bereich ab, in dem die lichtoptische Transferfunktion (OTF) des Systems nicht verschwindet. Die OTF gibt an, welche Raumfrequenzen, aus denen sich das Objekt (über Fouriertransformation) zusam­ mengesetzt denken läßt, während der optischen Abbildung erhalten bleiben, und wie sie dabei geschwächt werden. Verschwindet die OFT an Stellen im reziproken Raum vollstän­ dig, so ist es unmöglich, ohne Annahmen über die Struktur des Objektes zu machen, diese Raumfrequenzen in einem Bild zu rekonstruieren. Eine Ausdehnung der OTF auf einen möglichst großen Bereich ist also anzustreben, um die Auflösung des optischen Systems zu erhöhen.The resolution of optical systems is often essential due to the object-side aperture Objective lens / s determined. Light that is emitted by the object is only detects when it hits the lens within the acceptance angle. The The resolution of a light microscope is known to depend on the area in which the system's optical transfer function (OTF) does not disappear. The OTF states what spatial frequencies that make up the object (via Fourier transformation) lets think, while the optical image is preserved, and how it  be weakened in the process. The OFT completely disappears in places in the reciprocal space dig, so it is impossible to make these without assumptions about the structure of the object To reconstruct spatial frequencies in an image. An extension of the OTF to one The largest possible area should therefore be aimed at in order to resolve the optical system increase.

In der Fluoreszenzmikroskopie emittieren Fluoreszenzfarbstoffe mit einer Intensität, die in erster Näherung proportional zur Intensität des am Ort des Farbstoffes eingestrahlten Lichts ist. Sie tun das im Gegensatz zur Absorptionsmikroskopie, Reflexionsmikroskopie oder auch Phasenkontrastmikroskopie inkohärent zueinander. Wenn man annimmt, daß an einem Punkt im Objekt die ausgestrahlte Fluoreszenzintensität proportional ist zu der dort eingestrahlten Lichtintensität, so läßt sich ein gemessenes Bild Im() (rückübersetzt in Objektraumkoordinaten ) beschreiben, indem man die ortsabhängige Beleuchtungsin­ tensität (Bel()) mit der dort vorhandenen Farbstoffkonzentration Obj() multipliziert und das Ergebnis mit der Punktbildfunktion ("point spread function" PSF) des abbildenden Systems faltet.
In fluorescence microscopy, fluorescent dyes emit with an intensity that is, in a first approximation, proportional to the intensity of the light irradiated at the location of the dye. In contrast to absorption microscopy, reflection microscopy or even phase contrast microscopy, they do this incoherently to one another. If one assumes that the emitted fluorescence intensity at a point in the object is proportional to the light intensity irradiated there, then a measured image I m () (translated back into object space coordinates) can be described by including the location-dependent illumination intensity (Bel ()) multiplies the dye concentration Obj () present there and folds the result with the point spread function (PSF) of the imaging system.

Im reziproken Raum übersetzt sich dies in die Faltung der fouriertransformierten Beleuch­ tungsfunktion F(Bel()) mit der fouriertransformierten Objektfunktion F(Obj() und anschließende Multiplikation mit der lichtoptischen Transferfunktion OTF(). F bezeich­ net hier und im folgenden die Fouriertransformation. Die Koordinaten im reziproken Raum werden mit bezeichnet.
In reciprocal space, this translates into the convolution of the Fourier-transformed lighting function F (Bel ()) with the Fourier-transformed object function F (Obj () and subsequent multiplication with the light-optical transfer function OTF (). F denotes the Fourier transformation here and below Coordinates in the reciprocal space are designated with.

Allgemeiner lassen sich viele Mikroskopieverfahren mit der Formel 1 beschreiben, wenn man unter Obj() die jeweilige Dichte der Eigenschaft des Objekts versteht, dies es zu untersuchen gilt und unter PSF() die effektive Punktbildfunktion des gesamten Systems (Bildaufnahme und -rekonstruktion). Bei iterativen oder nichtlinearen Rekonstruktions­ verfahren gilt dies oft noch näherungsweise.More generally, many microscopy methods can be described with Formula 1, if one understands Obj () the respective density of the property of the object, this it too investigate and under PSF () the effective point spread function of the entire system (Image acquisition and reconstruction). For iterative or non-linear reconstruction This still applies approximately to the procedure.

In üblichen abbildenden Systemen ist der im Wert von Null verschiedene Bereich (der Träger) der OTF durch die numerische Apertur und die Wellenlänge des abzubildenden Lichts auf einen gewissen Bereich eingeschränkt (für genauere Herleitungen und Erläute­ rungen siehe US-Patent US 5671085). Gleichermaßen ist auch die Fouriertransformierte der Beleuchtungsfunktion F(Bel() in der Ausdehnung ihres Trägers durch die Licht­ wellenlänge und, gegebenenfalls, Aperturen des Beleuchtungssystems eingeschränkt. In common imaging systems, the non-zero range (the Carrier) of the OTF due to the numerical aperture and the wavelength of the image to be imaged Light restricted to a certain area (for more detailed derivations and explanations see US patent US 5671085). The Fourier transform is the same the lighting function F (Bel () in the extent of its wearer by the light wavelength and, if necessary, apertures of the lighting system.  

2. Stand der Technik2. State of the art 2.1 Existente Verfahren2.1 Existing procedures

In den letzten Jahren wurden verschiedentlich Systeme ersonnen, um die Auflösung zu verbessern. Dabei spielt die geeignete Wahl der Beleuchtung des Objekts eine große Rolle. So wird beim konfokalen Mikroskop mit einem fokussiertem Lichtstrahl das Objekt von einer Seite möglichst punktweise beleuchtet (Patent US 4631581) und geeignet abgetastet (gescannt), wobei oft die Detektion mittels einer Blende auf einen kleinen Bereich des Objekts begrenzt wird.Various systems have been devised in recent years to resolve it improve. The appropriate choice of lighting for the object plays a major role. In the confocal microscope with a focused light beam, the object from one side illuminated as possible point by point (patent US 4631581) and suitably scanned (scanned), the detection often using a diaphragm on a small area of the Object is limited.

Beim 4Pi-Mikroskop (Patent EP 0491289 A1) wird von beiden Seiten des Objektes kohä­ rent beleuchtet und je nach Ausführung auch detektiert. Beim Wellenfeldmikroskop wird üblicherweise mit kohärenten ebenen Lichtwellen von gegenüber liegenden Seiten beleuchtet (Patent US 4621911, [8][9]). Beim I5M-Mikroskop wird sowohl kohärent von zwei Seiten beleuchtet als an auch kohärent detektiert (Patent US [1], [2]) indem die beiden Bilder des Objekts auf einem ortsauflösenden Detektor zur Interferenz gebracht werden.The 4Pi microscope (patent EP 0491289 A1) illuminates coherently from both sides of the object and, depending on the version, also detects it. The wave field microscope is usually illuminated with coherent plane light waves from opposite sides (patent US 4621911, [8] [9]). The I 5 M microscope illuminates both coherently from two sides and also coherently detects it (patent US [1], [2]) by bringing the two images of the object to interference on a spatially resolving detector.

Das Theta-Mikroskop ([12], [10]) detektiert Licht von 3 Seiten und kann mit konfokaler oder 4Pi-ähnlicher Beleuchtung arbeiten. Da bei der Detektion "von der Seite" die Auflösung entlang der optischen Achse der Beleuchtung besonders groß ist erhält man insgesamt ein kleineres Fokusvolumen.The theta microscope ([12], [10]) detects light from 3 sides and can be confocal or 4Pi-like lighting work. Since the detection "from the side" the resolution along the optical axis of the lighting is particularly large, one gets a total smaller focus volume.

Des weiteren wurden in der stereomikroskopischen Oberflächentopographie Verfahren un­ ter Benutzung von räumlich variierender Beleuchtung (z. B. sinusförmig) eingesetzt. Durch Verrechnung der beiden gemessenen Bilder kann dann sehr genau auf die Oberflächenstruk­ tur geschlossen werden (Patent US 4525858, [16]).In addition, procedures were carried out in stereomicroscopic surface topography using spatially varying lighting (e.g. sinusoidal). By The two measured images can then be calculated very precisely to the surface structure be closed (patent US 4525858, [16]).

Ein Verfahren, daß "optisches Schneiden" und somit hochauflösende dreidimensionale Bild­ gebung ähnlich des konfokalen Mikroskops ermöglicht ist durch Patent WO 97/31282 be­ kannt geworden. Es basiert auf der Aufnahme mehrerer Bilder mit jeweils unterschiedli­ chem Muster aus Beleuchtungslochblenden und zugehörigen Detektionslochblenden. Durch geeignete Rekonstruktionsverfahren läßt sich aus den aufgenommenen Daten ein Bild be­ rechnen, das dem eines konfokalen Mikroskops äquivalent ist (aperture correlation micros­ copy, siehe auch [7], [15]). In Patent WO 98/45745 ist ein Verfahren beschrieben, welches auf Beleuchtung unter Abbildung eines Beugungsgitters oder auf zwei interferierenden La­ serstrahlen beruht (siehe auch [14]). Zur lateralen Auflösungserhöhung wurde ein ähnliches Verfahren eingesetzt in [4].A process that "optical cutting" and thus high-resolution three-dimensional image similar to the confocal microscope is made possible by patent WO 97/31282 became known. It is based on taking several pictures, each with different chem pattern from lighting pinhole and associated detection pinhole. By suitable reconstruction methods can be an image from the recorded data compute that is equivalent to that of a confocal microscope (aperture correlation micros copy, see also [7], [15]). In patent WO 98/45745 a method is described which on illumination depicting a diffraction grating or on two interfering layers is based (see also [14]). A similar one was used to increase the lateral resolution Process used in [4].

Es gibt Verfahren, die sich auf nichtlineare Effekte in der Mikroskopie beziehen. Zu nennen ist hier die Mehrphotonen Mikroskopie (Patent US 5034613, Patent US 5777732, [6], [3], Patent US 5828459). Hier wird ein konfokaler Effekt erreicht durch die gleichzeitige Ab­ sorption mehrere Photonen mit entsprechend reduzierten Energien. Andere Techniken be­ nutzen die stimulierte Emission (Patent US 5731588, DE 44 16 558 A1) oder das Entfölkern des Grundzustandes der Fluoreszenzmoleküle, indem diese bewußt in den längerlebigen Tripplettzustand gepumpt werden [5]. There are methods that relate to nonlinear effects in microscopy. To call here is multiphoton microscopy (patent US 5034613, patent US 5777732, [6], [3], Patent US 5828459). Here a confocal effect is achieved by the simultaneous Ab sorption of several photons with correspondingly reduced energies. Other techniques be use the stimulated emission (patent US 5731588, DE 44 16 558 A1) or defrosting the ground state of the fluorescent molecules by deliberately placing them in the longer-lived Triplet state can be pumped [5].  

2.2 Nachteile existenter Verfahren2.2 Disadvantages of existing procedures

Die beschriebenen Verfahren bringen alle recht großen technischen Aufwand mit sich. So gestaltet sich die Justierung von 4Pi, I5M und Thetamikroskop sehr schwierig. Die Verfah­ ren sind zudem auch aufwendig in der Herstellung, da sie sich nur unter oft großem Aufwand in vorhandene Mikroskopsysteme integrieren lassen. Beim Wellenfeldmikroskop ist es ein großes Problem, daß die OTF in axialer Richtung Bereiche aufweist, an denen sie verschwin­ det. Desweiteren bringt das Wellenfeldmikroskop, wie auch 4Pi-Mikroskopie in lateraler Richtung keinen Auflösungsgewinn gegenüber herkömmlicher Epi-Fluoreszenzmikroskopie bzw. konfokaler Fluoreszenzmikroskie.The methods described all involve a great deal of technical effort. The adjustment of 4Pi, I 5 M and thetamic microscope is very difficult. The procedures are also complex to manufacture because they can only be integrated into existing microscope systems with great effort. In the wave field microscope, it is a major problem that the OTF has areas in the axial direction where it disappears. Furthermore, the wave field microscope, like 4Pi microscopy in the lateral direction, does not result in a resolution gain compared to conventional epi-fluorescence microscopy or confocal fluorescence microscopy.

Viele Verfahren (konfokale Laserscanning-, 4Pi-, Thetamikroskopie) sind damit verbunden, daß das Objekt punktweise abgerastert wird. Dies nimmt Zeit in Anspruch und bereitet insbesondere bei der Bildgebung zeitabhängiger Vorgänge Probleme. Außerdem benötigen abtastende Verfahren sehr schnelle Detektoren (z. B. Photomultiplier), die aber gegenüber langsameren Detektoren mit Ortsauflösung (z. B. CCDs) oft eine deutlich niedrigere De­ tektionseffizienz haben. Bei der Fluoreszenzmikroskopie kommt noch erschwerend hinzu, daß die sinnvolle Beleuchtungsstärke durch die maximale Anregungsrate der Farbstoffe im Fokus begrenzt ist, was der maximalen Abtastgeschwindigkeit weitere Grenzen setzt.Many methods (confocal laser scanning, 4Pi, thetamic microscopy) are associated with this that the object is scanned point by point. This takes time and prepares problems in particular in the imaging of time-dependent processes. Also need scanning method very fast detectors (e.g. photomultiplier), but opposite slower detectors with spatial resolution (e.g. CCDs) often have a significantly lower De tection efficiency. Another problem with fluorescence microscopy is that the useful illuminance by the maximum excitation rate of the dyes in Focus is limited, which places further limits on the maximum scanning speed.

Bei den topographischen Verfahren wurde bisher nicht erkannt, daß eine ähnliche Ver­ suchsanordnung in der hochauflösenden Mikroskopie dazu imstande wäre, lateral und axial den Bereich der gemessenen Raumfrequenzen beträchtlich zu erweitern, insbesondere wenn nichtlineare Effekte ausgenutzt werden.In the topographical methods it has not yet been recognized that a similar ver search arrangement in high-resolution microscopy would be able to do this laterally and axially to expand the range of measured spatial frequencies considerably, especially if nonlinear effects can be exploited.

Verfahren, die nichtlineare optische Effekte ausnutzen, konnten bisher keine große Auflö­ sungserhöhung demonstrieren. Dies hängt auch damit zusammen, daß man mit entspre­ chend längeren Wellenlängen arbeiten muß, um Mehrphotonen Übergänge zu erreichen. Außerdem ist der Übertragungseffizienz bei hohen Raumfrequenzen im allgemeinen sehr schlecht, weil üblicherweise nur ein sehr kleiner Teil der Beleuchtungsintensität hohe Raum­ frequenzen enthält.Processes that take advantage of nonlinear optical effects have so far not been able to achieve a large resolution demonstrate increase in solution. This is also due to the fact that you correspond with longer wavelengths must work in order to achieve multiphoton transitions. In addition, the transmission efficiency is generally very high at high spatial frequencies bad, because usually only a very small part of the lighting intensity high space contains frequencies.

3. Ziel3. Goal

Aufgabe der Erfindung ist es, ein Verfahren zu schaffen, das es ermöglicht, eine hohe Auflösung in optisch Abbildenden Systemen zu erzielen. Ein weiteres Ziel ist es bekannte mikroskopische Verfahren unter Beibehaltung ihrer jeweiligen Vorteile so zu erweitern, daß deren Auflösung zusätzlich gesteigert wird.The object of the invention is to provide a method which enables a high To achieve resolution in optical imaging systems. Another goal is well known expand microscopic processes while maintaining their respective advantages so that whose resolution is further increased.

Diese Aufgabe wird durch Verfahren mit den Merkmalen des Anspruchs 1 gelöst. This object is achieved by methods with the features of claim 1.  

3.1 Genauere Erläuterung des Verfahrens3.1 More detailed explanation of the procedure

In Anspruch 1 wird ein allgemeines Verfahren beschrieben, daß es ermöglicht den ef­ fektiven Bereich von detektierbaren Raumfrequenzen des Objekts F (Obj()) (Objekt- Raumfrequenzen) beträchtlich zu erweitern. Dabei wird ausgenutzt, daß unter gewissen Bedingungen die Formel 1 verallgemeinert werden muß zu
In claim 1, a general method is described that enables the effective range of detectable spatial frequencies of the object F (Obj ()) (object spatial frequencies) to be expanded considerably. This takes advantage of the fact that, under certain conditions, Formula 1 must be generalized to

Es wird also kein linearer Zusammenhang mehr vorausgesetzt zwischen der von einem Ob­ jektpunkt ausgehenden Lichtintensität Iem() und der dort eingestrahlten Lichtintensität (enthalten in ()). Vielmehr ist nun Iem() eine allgemeine Funktion von der Dichte der zu untersuchenden Objekteigenschaft und anderen Faktoren (), die im Folgenden als nichtlineare Bedingungen bezeichnet werden. Der Vektorpfeil über soll andeuten, daß es sich um mehrere Bedingungen bi handeln kann. Ein wichtiger dieser Faktoren ist nach wie vor die eingestrahlte Lichtintensität an diesem Ort Bel (). Man kann nun Iem() als Taylorreihe mit konstanten Koeffizienten ci nähern:
There is therefore no longer a linear relationship between the light intensity I em () emanating from an object point and the light intensity radiated there (contained in ()). Rather, I em () is now a general function of the density of the object property to be examined and other factors (), which are referred to below as nonlinear conditions. The vector arrow above is intended to indicate that there can be several conditions b i . An important one of these factors is still the incident light intensity at this location Bel (). One can now approximate I em () as a Taylor series with constant coefficients c i :

der Einfachheit halber wurde hier nur eine nichtlineare Bedingung b1() berücksichtigt. Sind noch andere solche Bedingungen in den Prozeß der Aussendung von Licht von diesem Punkt involviert, so treten natürlich die entsprechenden Terme auch in dieser Entwick­ lung auf (insbesondere auch Mischterme wie c5b.Obj().b1().b2()). Der Term hinter c3 ist gerade der in Formel 1 genannte, wenn man als nichtlineare Bedingung b1() = Bel() annimmt. Die Fouriertransformierte der ausgesandten Lichtintensität F(Iem(Obj(), ()) enthält demnach analog zu Formel 1 den Term c3.F(Bel())⊗ F(Obj().for the sake of simplicity, only a nonlinear condition b 1 () has been taken into account here. If other such conditions are involved in the process of emitting light from this point, the corresponding terms will of course also occur in this development (especially mixed terms such as c 5b .Obj (). B 1 () .b 2 () ). The term after c 3 is exactly that given in formula 1 if we assume b 1 () = Bel () as the non-linear condition. The Fourier transform of the emitted light intensity F (I em (Obj (), ()) therefore contains the term c 3 .F (Bel ()) ⊗ F (Obj () analogously to Formula 1.

Man kann sich nun F(Bel()) in eine Summe einzelner δ-Funktionen zerlegt denken. Je nach Beleuchtungsmuster werden also Teile der Fouriertransformierten Objektfunkti­ on durch die Faltung mit der fouriertransformierten Beleuchtungsfunktion verschoben und mit entsprechendem Gewicht aufaddiert (siehe Abb. 1). Aus dieser Summe wird durch die optische Abbildung (die folgende Multiplikation mit der raumfrequenzbegrenz­ ten OTF()) gewissermaßen der detektierbare Bereich "ausgestanzt". Der Bereich detek­ tierbarer Objekt-Raumfrequenzen ist bei Beleuchtung mit einem Muster dadurch schon deutlich gegenüber dem Fall einer gleichmäßigen Beleuchtung erweitert. Mit entsprechen­ den Rekonstruktionsverfahren lassen sich die verschobenen Objekt-Raumfrequenzen wieder zu einem konsistenten Bild zusammensetzen (siehe [4]). One can now imagine F (Bel ()) broken down into a sum of individual δ functions. Depending on the lighting pattern, parts of the Fourier-transformed object function are shifted by folding with the Fourier-transformed lighting function and added up with the appropriate weight (see Fig. 1). From this sum, the detectable area is "punched out" to a certain extent by the optical mapping (the following multiplication by the spatial frequency limited OTF ()). The range of detectable object spatial frequencies is significantly expanded when illuminated with a pattern compared to the case of uniform illumination. With corresponding reconstruction methods, the shifted object spatial frequencies can be put together again to form a consistent image (see [4]).

Außerdem treten jetzt aber auch Terme höherer Ordnung in b1() auf, wie hinter c5 und c6 in Formel 4. Deren Fouriertransformierte sind dann auch in F(Iem(Obj(), ())) enthalten. Wenn also b1() = Bel() erhält man in Formel 2 auch den Term: c5. [F(Bel()) ⊗ F(Bel())] ⊗ F(Obj()). Mit einem gewissen Anteil im Bild ist es jetzt möglich Raumfrequenzen des Objekts zu messen, die vorher nicht zugänglich waren, da sie durch die Faltung mit der raumfrequenzbegrenzten Funktion F(Bel()) noch nicht in den mittels OTF() detektierbaren Bereich geschoben werden konnten. Die Ausdehnung des Trägers von F(Bel()) ⊗ F(Bel() kann nun aber entsprechend größer sein, wodurch sich entsprechend höhere Raumfrequenzen in den durch OTF() detektierbaren Bereich schieben und so im Bild meßbar sind. Noch höhere Ordnungen wirken sich entsprechend in weiteren Faltungen mit den Fouriertransformierten der bi() aus, so daß entsprechend noch höhere Objekt-Raumfrequenzen detektierbar sind. Im Prinzip ist es damit möglich beliebig hohe Raumfrequenzen des Objekts zu detektieren und somit die Auflösung belie­ big zu erhöhen, wenn entsprechende Koeffizienten in der Reihenentwicklung 4 vorhanden sind. In den meisten Fällen wird die bei Rekonstruktion erzielbare praktische Auflösung aber oft durch das bei diesen hohen Objekt-Raumfrequenzen erreichbare Signal zu Rausch Verhältnis begrenzt.In addition, higher-order terms now also occur in b 1 (), as behind c 5 and c 6 in formula 4. Their Fourier transforms are then also contained in F (I em (Obj (), ())). So if b 1 () = Bel () one also gets the term: c 5 in formula 2. [F (Bel ()) ⊗ F (Bel ())] ⊗ F (Obj ()). With a certain proportion in the image, it is now possible to measure spatial frequencies of the object that were not previously accessible, since they could not yet be moved into the area detectable by OTF () due to the folding with the spatial frequency limited function F (Bel ()) . The extent of the carrier of F (Bel ()) ⊗ F (Bel () can now be correspondingly larger, as a result of which correspondingly higher spatial frequencies shift into the area detectable by OTF () and can thus be measured in the image accordingly in further convolution with the Fourier transforms of the b i () so that correspondingly higher object spatial frequencies can be detected In principle it is possible in this way to detect arbitrarily high spatial frequencies of the object and thus to increase the resolution at will if appropriate coefficients are present in the series development 4. In most cases, the practical resolution that can be achieved with reconstruction is often limited by the signal to noise ratio that can be achieved at these high object spatial frequencies.

3.2 Rekonstruktion aus Meßdaten3.2 Reconstruction from measurement data

Hat man Daten gemessen, welche die gewünschten Objekt-Raumfrequenzen enthalten ist es sinnvoll diese zu einem konsistenten Bild zusammenzusetzen. Dazu muß es allerdings möglich sein die Funktionen bi() vom der das Objekt beschreibenden Funktion Obj() zu unterscheiden. Das bedeutet, daß man diese am Punkte variieren muß. Dies kann auf unterschiedliche Arten geschehen. Eine Möglichkeit ist es bi() als ein räumliches Muster auszubilden, daß dann gegenüber dem Objekt zwischen unterschiedlichen Einzelbildern verschoben wird. Des weiteren kann man aber z. B. auch die Stärke dieses Musters oder dessen Form zwischen der Aufnahme von Einzelbildern verändern, wodurch die in der Taylorentwicklung 4 gezeigten Komponenten auch unterscheidbar werden.If you have measured data that contain the desired object spatial frequencies, it makes sense to combine them into a consistent image. To do this, however, it must be possible to distinguish the functions b i () from the function Obj () describing the object. This means that you have to vary these at the point. This can be done in different ways. One possibility is to form b i () as a spatial pattern, which is then shifted between different individual images with respect to the object. Furthermore, you can z. B. also change the strength of this pattern or its shape between the recording of individual images, as a result of which the components shown in the Taylor development 4 can also be distinguished.

Eine Rekonstruktion eines hochauflösenden Bildes kann nun auf verschiedene Arten ge­ schehen. In einer direkten Variante werden die in der oben gezeigten Taylorentwicklung enthaltenen Terme, so weit sie meßbaren Einfluß haben, durch das Lösen eines Gleichungs­ systems ermittelt und so voneinander getrennt. Die Multiplikation mit der OTF verhindert nicht, daß es möglich ist an jedem Punkt im Bereich des Trägers der OTF im reziproken Raum dieses Gleichungssystem zu bestimmen und im Prinzip zu lösen. Durch Verschiebung im Fourierraum (oder Multiplikation mit exp(i) im Ortsraum mit Frequenzraum- Verschiebevektor ) können die individuellen Komponenten dann so zusammengesetzt werden, daß sich ein hochauflösendes Bild ergibt. Dieses kann dann mit weiteren Dekon­ volutionstechniken verarbeitet werden um die Qualität des Bildes weiter zu steigern.A reconstruction of a high-resolution image can now be done in different ways happen. In a direct variant, those in the Taylor development shown above terms contained, as far as they have measurable influence, by solving an equation systems determined and thus separated from each other. The multiplication with the OTF prevents not that it is possible at any point in the area of the carrier of the OTF in the reciprocal Space to determine and solve this system of equations in principle. By shift in the Fourier space (or multiplication by exp (i) in the spatial space with frequency space The individual components can then be put together in this way that a high-resolution image results. This can then be done with further decon volution techniques are processed to further increase the quality of the image.

Beleuchtung mit einem Muster aus möglichst hohen Raumfrequenzen ermöglicht eine große Auflösungserhöhung gegenüber der herkömmlichen Lichtmikroskopie (siehe auch Patent US 5671085). Durch Ausnutzung eines nichtlinearen Zusammenhangs zwischen der Stär­ ke eines Musters an einem Objektpunkt und der von diesem Objektpunkt ausgehenden (emmitierten bzw. gestreuten) Lichtintensität, ist es möglich ein Bild mit noch höherer Ortsauflösung zu berechnen. Als Beispiel läßt sich dieses Muster durch Anregung von Fluo­ reszenz mit einer ortsabhängigen Verteilung intensivem Lichts erzeugen. Die nichtlineare Abhängigkeit kann dann z. B. durch die Sättigung der Anregung von im Objekt vorhande­ nen Fluoreszenzfarbstoffen entsteht. Ist dabei das eingestrahlte Licht intensiv genug, erhält man einen nichtlinearen Zusammenhang der an einem Punkt emmitierten Lichtintensität von der an diesem Punkt eingestrahlten Lichtintensität (siehe [11] und [13]). Das detek­ tierte Licht enthält nun auch Information über Raumfrequenzen des Objekts, die sonst nicht zugänglich wären. Allerdings enthält jedes so aufgenommene Bild eine Mischung von Anteilen hoher Raumfrequenzen, die aber dann durch Aufnahme unter unterschiedlichen Bedingungen und Verrechnung mehrerer solcher Bilder getrennt und zu einem konsistenten hochauflösenden Bild zusammengesetzt werden können.Lighting with a pattern from the highest possible spatial frequencies enables a large one Increased resolution compared to conventional light microscopy (see also patent  US 5671085). By using a non-linear relationship between the strength ke of a pattern at an object point and the one starting from this object point (emitted or scattered) light intensity, it is possible an image with even higher Calculate spatial resolution. This pattern can be exemplified by excitation of Fluo Generate resence with a location-dependent distribution of intense light. The non-linear Dependency can then e.g. B. by saturating the excitation of existing in the object fluorescent dyes. If the incident light is intense enough, it is preserved a non-linear relationship of the light intensity emitted at a point on the light intensity radiated at this point (see [11] and [13]). That detec The light now also contains information about the spatial frequencies of the object, which otherwise would not be accessible. However, every image captured in this way contains a mixture of Shares of high spatial frequencies, but then by recording under different Conditions and billing of several such images separately and to a consistent one high-resolution image can be composed.

Um z. B. im Fall der Fluoreszenzmikroskopie bei Beleuchtung mit einer einem Liniengitter ähnlichen Struktur ein Bild zu rekonstruieren, kommt man wie folgt zu einem Gleichungs­ system:
Die Intensitätsverteilung des anregenden Lichts lasse sich in diesem Beispiel durch eine in den positiven Bereich verschobene Sinusfunktion beschreiben. Als Fouriertransformier­ te ergeben sich dann drei im Idealfall punktförmige Maxima bei = 0, = + und = - (Abb. 1). Diese Maxima haben je nach Modulationsgrad eine Intensität und einen jeweiligen Phasenwinkel in der komplexen Ebene, der von der Verschiebung diese Musters abhängt. Durch den Einfluß der nichtlinearen Abhängigkeit der Emissionsintensi­ tät von der Beleuchtungsintensität (Sättigung der Fluoreszenz) ergibt sich ein Muster der Anregbarkeit von Fluoreszenz eines bestimmten Farbstoffes, welches aus im Prinzip unend­ lich vielen Maxima im reziproken Raum besteht, deren absolute Höhe aber mit steigendem schnell abnimmt (siehe Abb. 2). Näherungsweise kann man Rekonstruktionen bei einem endlichen Raumfrequenzwert max = ± m b abbrechen und in der Rechnung nur Maxima mit kleineren Raumfrequenzen berücksichtigen. Verschiebt man dieses Anregbar­ keitsmuster gegenüber dem Objekt, so ändern sich die jeweiligen komplexen Phasenlagen der einzelnen punktförmigen Anregungs-Maxima im Fourierraum. Berücksichtigt man Anregungs-Maxima (und das bei = 0) benötigt man also 2m + 1 unter verschiedenen Bedingungen aufgenommene Bilder um die einzelnen abgebildeten Komponenten, welche mit dem jeweiligen Maximum gefaltet (also verschoben) sind separieren zu können. Als Beispiel sei hier m = 2. Der Phasenwinkel der Maxima im Frequenzraum des Anreg­ barkeitsmusters bewegt sich bei Verschieb des Anregbarkeitsmusters proportional zu n b, da eine Verschiebung im Raum um einer Multiplikation im Frequenzraum mit exp(i ) entspricht. Nimmt man also verschiedene Bilder In() = F(In()) des Ob­ jekts mit jeweils um ein fünftel des Grundmusters gegeneinander verschobener Phaselage des Beleuchtungsmusters (also auch des Anregbarkeitsmusters) auf, so ergibt sich folgendes Gleichungssystem:
To z. B. In the case of fluorescence microscopy when illuminating an image with a structure similar to a line grating, an equation system is obtained as follows:
In this example, the intensity distribution of the stimulating light can be described by a sine function shifted into the positive range. Fourier transforms result in three ideally point-like maxima at = 0, = + and = - ( Fig. 1). Depending on the degree of modulation, these maxima have an intensity and a respective phase angle in the complex plane, which depends on the displacement of this pattern. Due to the influence of the non-linear dependence of the emission intensity on the illumination intensity (saturation of the fluorescence), there is a pattern of the excitability of fluorescence of a particular dye, which in principle consists of an infinite number of maxima in the reciprocal space, the absolute amount of which, however, rapidly decreases with increasing (see Fig. 2). Reconstructions can be approximately terminated with a finite spatial frequency value max = ± m b and only maxima with smaller spatial frequencies are taken into account in the calculation. If this excitability pattern is shifted relative to the object, the respective complex phase positions of the individual point-shaped excitation maxima in the Fourier space change. If one takes into account excitation maxima (and that at = 0), one needs 2m + 1 images taken under different conditions in order to be able to separate the individual components that are folded (i.e. shifted) with the respective maximum. As an example, let m = 2. The phase angle of the maxima in the frequency range of the excitability pattern moves in proportion to n b when the excitability pattern is shifted, since a shift in space corresponds to a multiplication in the frequency range by exp (i). If you take different images I n () = F (I n ()) of the object, each with a phase position of the lighting pattern that is shifted by a fifth of the basic pattern (including the excitability pattern), the following system of equations results:

Objn() bezeichnen hier die zum n. Maximum des Anregungsmusters gehörenden, ver­ schobenen komplexwertigen Komponenten des fouriertransformierten Objekts (Objekt- Raumfrequenzen), welche dann durch die OTF des abbildenden Systems transmittiert wurden. Durch Lösung dieses Gleichungssystems können die individuellen Objektkompo­ nenten, die zu jedem Maximum des Anregbarkeitsmusters gehören ermittelt werden. Dies kann z. B. durch Invertieren der Matrix M geschehen. Diese Inverse (M-1) kann dann mit dem rechts stehenden Vektor der gemessenen Intensität In() multipliziert werden, um die individuellen transmittierten Objektkomponenten zu ermitteln. Die Rechnung kann aufgrund der Linearität der Fouriertransformation auch pixelweise im Realraum ausge­ führt werden. Die komplexwertigen Komponenten Objn() können nun (z. B. durch Mul­ tiplikation im Realraum mit exp(i) um den Vektor im Fourierraum verschoben werden, so daß die jeweilige Raumfrequenz dort zu liegen kommt, wo sie bei flacher, gleichmäßiger Beleuchtung gemessen würde. ist also hier n b. Die Komponenten Objn() müssen noch in ihrer komplexen Phasenlage je nach gegenseitiger Phasenlage ϕn der Frequenzraum-Anregungsmaxima im Bild Io korrigiert werden (Multiplikation mit exp(-iϕn)) und können dann z. B. durch gewichtete Addition mit den anderen Objn() zu einem konsistenten Bild vereinigt werden. Man erhält auf diese Weise eine Ausdehnung des Trägers (des von Null verschiedenen Bereichs) der gesamt-OTF auf einen deutlich größeren Bereich als es bei linearer Abbildung möglich wäre und somit eine entsprechende Auflö­ sungserhöhung. Gleiches kann in verschiedenen Richtungen durchgeführt werden, was es so ermöglicht eine Auflösungserhöhung in ein, zwei oder drei Dimensionen zu erhalten. Die Gesamttransferfunktion kann im Anschluß daran oder bei Zwischenschritten noch durch entsprechendes Filtern und/oder Anwenden von Entfaltungstechniken verändert werden.Obj n () here designate the shifted complex-valued components of the Fourier-transformed object (object spatial frequencies) belonging to the nth maximum of the excitation pattern, which were then transmitted by the OTF of the imaging system. By solving this system of equations, the individual object components that belong to each maximum of the excitability pattern can be determined. This can e.g. B. happen by inverting the matrix M. This inverse (M -1 ) can then be multiplied by the vector on the right of the measured intensity I n () in order to determine the individual transmitted object components. Due to the linearity of the Fourier transformation, the calculation can also be carried out pixel by pixel in real space. The complex-valued components Obj n () can now be shifted (e.g. by multiplication in real space with exp (i) by the vector in the Fourier space, so that the respective spatial frequency comes to lie where it is measured with flat, uniform lighting would. thus, here n b. the components Obj n () must still in their complex phase position depending on the mutual phase position φ of the frequency domain excitation maxima in the image I o n corrected (multiplication with exp (-iφ n)) and can then e.g. . B. are combined by weighted addition with the other Obj n () to a consistent image. one expansion is thus obtained the support (of the non-zero range) of the total-OTF in a much larger range than with linear mapping would be possible and thus a corresponding increase in resolution. The same can be carried out in different directions, which makes it possible to increase the resolution in one, two or three dimensions to receive ensions. The overall transfer function can be changed subsequently or in the case of intermediate steps by appropriate filtering and / or using deconvolution techniques.

Auch ist es möglich ohne die beschriebe Matrix-Methode auszukommen, indem man z. B. Quadratur-Techniken anwendet (analog zu Patent WO 98/45745) oder algebraische/iterative Rekonstruktionsverfahren verwendet (maximum likelihood/expectation maximization, ma­ ximum entropie, algebraic reconstruction, . . .).It is also possible to get by without the described matrix method by e.g. B. Uses quadrature techniques (analogous to patent WO 98/45745) or algebraic / iterative Reconstruction methods used (maximum likelihood / expectation maximization, ma ximum entropy, algebraic reconstruction,. . .).

Analog zu obigem Verfahren lassen sich die Methoden anwenden auf beliebige Faktoren, die imstande sind, für sich oder im Zusammenwirken untereinander (insbesondere zusam­ men mit der Beleuchtungsintensität) die Intensität des von Objekt ausgehenden Lichts zu beeinflussen.Analogous to the above procedure, the methods can be applied to any factors,  who are able to work for themselves or in cooperation with each other (especially together the intensity of the light emanating from the object influence.

4. Vorteile des neuen Verfahrens gegenüber anderen Verfahren4. Advantages of the new process over other processes

Das Verfahren läßt sich vergleichsweise einfach praktisch realisieren. Die Justierung einer solchen Apparatur beschränkt sich auf ein minimales Maß.The method can be implemented in practice in a comparatively simple manner. Adjusting one such equipment is limited to a minimum.

Vorteilhaft ist auch, daß hohe Raumfrequenzen, die in Objektiven stark unterdrückt wer­ den, nun durch die Verschiebung im Frequenzraum effizienter detektiert werden können.It is also advantageous that high spatial frequencies, which are strongly suppressed in lenses which can now be detected more efficiently by the shift in the frequency domain.

Außer einem lateralen Auflösungsgewinn erhält man zusätzlich auch einen axialen Auf­ lösungsgewinn und die Möglichkeit, zur optischen Achse senkrecht stehende Ebenen in axialer Richtung zu diskriminieren (ähnlich wie beim konfokalen Mikroskop). Auch hier ergibt sich bei Ausnutzung der nichtlinearen Abhängigkeit die Möglichkeit zu einem be­ trächtlichen Auflösungsgewinn.In addition to a lateral resolution gain, an axial opening is also obtained solution gain and the possibility to planes perpendicular to the optical axis in discriminate in the axial direction (similar to the confocal microscope). Here too If the nonlinear dependency is used, there is the possibility of a pregnant dissolution gain.

Das Verfahren ist in Kombination mit vielen anderen Mikroskopieverfahren oder Verfah­ ren zur optischen Abbildung anwendbar (den oben genannten, Absorptionsmikroskopie, Reflexionsmikroskopie, Fluorescence Lifetime Imaging, Mehrphotonenmikroskopie, Inter­ ferenzmikroskopie, konfokale Mikroskopie, . . .).The method is in combination with many other microscopy methods or procedures applicable to optical imaging (the above-mentioned absorption microscopy, Reflection microscopy, fluorescence lifetime imaging, multiphoton microscopy, inter reference microscopy, confocal microscopy,. . .).

Die Bildgebung kann z. B. mit einer CCD-Kamera an allen Punkten in der Bildebene gleich­ zeitig geschehen und ist daher deutlich schneller möglich als bei abtastenden Verfahren.The imaging can e.g. B. with a CCD camera the same at all points in the image plane happen early and is therefore possible much faster than with scanning methods.

Die eingesetzten nichtlinearen Effekte (also z. B. Farbstoffsättigung) können auch dazu verwendet werden verschiedene Farbstoffe oder Farbstoffe in verschiedener Umgebung, die sonst schlecht von einander zu unterscheiden wären, auf Grund von unterscheidbaren nicht- linearen Eigenschaften zu trennen.The nonlinear effects used (e.g. dye saturation) can also do this different dyes or dyes are used in different surroundings would otherwise be difficult to distinguish from one another due to distinguishable non- separate linear properties.

5. Ausführungsbeispiele5. Embodiments

Ausführungsbeispiele des Verfahrens sind in den Zeichnungen dargestellt und werden im folgenden näher beschrieben.Embodiments of the method are shown in the drawings and are shown in following described in more detail.

Es zeigenShow it

Abb. 3 eine beispielhafte Anwendung des Verfahrens auf die Epifluoreszenz­ mikroskopie. Fig. 3 shows an exemplary application of the method to epifluorescence microscopy.

Abb. 4 eine beispielhafte Anwendung des Verfahrens auf die Epifluoreszenz­ mikroskopie bei seitlicher Beleuchtung. Fig. 4 shows an exemplary application of the method to epifluorescence microscopy with side lighting.

Abb. 5 Simulationen von Mikroskopiebildern, als wenn sie mit dieser Technik aufgenommen wurden. Die Bilder wurden entsprechend einer in jedem Pixel pois­ sonverteilten Photonenstatistik verrauscht. Die maximale Intensität betrug hierbei ca. 560 Photonen im Pixel in den jeweiligen Einzelbildern. Fig. 5 Simulations of microscopic images as if they were taken with this technique. The images were noisy according to a photon statistic distributed in each pixel. The maximum intensity was approx. 560 photons in the pixel in the respective individual images.

Abb. 6 Simulationen von aus diesen Bildern rekonstruierten hochauflösenden Bildern und der Vergleich mit simulierten normalen Epifluoreszenzbildern Fig. 6 Simulations of high-resolution images reconstructed from these images and comparison with simulated normal epifluorescence images

Abb. 7 Vergleich der Intensitätskurven entlang einer Linie in 6d) und e). Fig. 7 Comparison of the intensity curves along a line in 6d) and e).

Abb. 9 Vergleich zweier simulierter Rekonstruktionen mit einem elektronen­ mikroskopischen Bild des Zellkerns als angenommene "wahre" Fluoreszenzdichte des Objekts. Fig. 9 Comparison of two simulated reconstructions with an electron microscopic image of the cell nucleus as the assumed "true" fluorescence density of the object.

In Abb. 3 ist ein Beispiel der Anwendung des Verfahrens auf die Epifluoreszenzmikroskopie zu sehen. Die ortsabhängig stark fluktuierende Beleuchtung wird erreicht durch Abbildung eines Beugungsgitters (1) (hier ein Transmissionsgitter, Gitterabstand z. B. 30 µm) durch das Objektiv (2) auf das Objekt (3). Für die Aufnahme der unterschiedlichen Phasenlagen wird z. B. das Gitter in kleinen Schritten gegenüber dem Objekt unter dem Mikroskop ver­ schoben. Die minimale Anzahl der nötigen Aufnahmen für das Rekonstruieren eines Bildes ergibt sich durch die Anzahl der Unbekannten des assoziierten Gleichungssystems (s. o.). Die Änderung der Phasenlage läßt sich z. B. auch erreichen, indem man das Objekt unter dem Mikroskop gegenüber der abgebildeten Beugungsstruktur verschiebt oder direkt die Phase der verschiedenen Beugungsmaxima durch geeignete optische Elemente beeinflußt wird. Fig. 3 shows an example of the application of the method to epifluorescence microscopy. The location-dependent, strongly fluctuating illumination is achieved by imaging a diffraction grating ( 1 ) (here a transmission grating, grating spacing, for example, 30 µm) through the objective ( 2 ) onto the object ( 3 ). For the inclusion of the different phases, z. B. the grid in small steps relative to the object under the microscope ver. The minimum number of recordings required for the reconstruction of an image results from the number of unknowns in the associated system of equations (see above). The change in the phase position can, for. B. can also be achieved by moving the object under the microscope with respect to the diffraction structure shown or by directly influencing the phase of the different diffraction maxima by suitable optical elements.

Um die Auflösung in allen Raum-Richtungen zu erhöhen, ist es nötig, mit Mustern unter verschiedenen Winkeln nacheinander oder mit einem 2-dimensionalen Muster, welches Beu­ gungsmaxima in mehreren Richtungen der Ebene hervorruft, in verschiedenen Phasenlagen in jeder Dimension zu beleuchten.To increase the resolution in all spatial directions, it is necessary to use patterns below different angles in succession or with a 2-dimensional pattern, which Beu generating maxima in several directions of the plane, in different phases to illuminate in every dimension.

Durch Erstellen von Fokusserien kann man noch zusätzliche Information über die axiale Struktur und so dreidimensionale Bilder des Objekts gewinnen. Dies wird zum einen durch die inkohärente Lichtquelle zum anderen durch das Vorhandensein der 0. Beugungsordnung des Gitters noch zusätzlich erleichtert. Auch kann ein zusätzlicher Auflösungsgewinn durch Drehen des Objekts um eine auf der optischen Achse senkrecht stehende Achse unter dem abbildenden System erreicht werden.By creating focus series you can get additional information about the axial Structure and so three-dimensional images of the object. On the one hand, this is through the incoherent light source on the other hand due to the presence of the 0th diffraction order of the grid is even easier. An additional resolution gain can also be achieved by Rotate the object around an axis perpendicular to the optical axis below the imaging system can be achieved.

Beleuchtet man mit entsprechend starken momentanen Intensitäten, so macht sich die Sättigung der Farbstoffe bemerkbar und führt zu den gewünschten nichtlinearen Ef­ fekten, die wesentlich zur Auflösungserhöhung beitragen. Als Lichtquellen bieten sich hier auch insbesondere intensive Blitzlicht-Lampen (aber auch Laser) an. Die gesuchten Anteile der sich überlagernden individuellen Ordnungen können aus den Bildern bei verschiedenen Phasenlagen der Anregungsstruktur errechnet werden. Es ist auch möglich, aus Aufnah­ men mit verschiedener Beleuchtungsintensität hochauflösende Bilder zu rekonstruieren. If one illuminates with correspondingly strong instantaneous intensities, so does the saturation of the dyes noticeable and leads to the desired nonlinear Ef effects that contribute significantly to the increase in resolution. The light sources are here also particularly intense flash lamps (but also lasers). The wanted parts of the overlapping individual orders can be seen from the pictures at different Phase positions of the excitation structure can be calculated. It is also possible to shoot to reconstruct high-resolution images with different lighting intensities.  

Unterdrückt man (z. B. durch Ausblenden) die 0. Beugungsordnung des Gitters (1), so erhöht man damit in vorteilhafter Weise den Modulationsgrad der Beleuchtungsfunktion und damit die relative Intensität in höheren Anregungsordnungen.If the 0th diffraction order of the grating ( 1 ) is suppressed (for example by masking out), the degree of modulation of the illumination function and thus the relative intensity in higher excitation orders are advantageously increased.

In einer anderen Anordnung wird die Probe mit Laserlicht beleuchtet. Man kann auf das Beugungsgitter verzichten und den aufgeweiteten Laserstrahl direkt über einen halb­ durchlässigen Spiegel von zwei Seiten auf das Objektiv fallen lassen (nicht gezeigt). Es ist aber auch möglich, wie in Abb. 4 gezeigt, den Laserstrahl seitlich am Objektiv vorbei zu führen, wodurch noch höhere Beleuchtungsraumfrequenzen erzielt werden können. Die Anordnung gleicht in gewisser Weise einem Wellenfeldmikroskop, bei dem man nicht mit gegeneinander gerichtetem Licht beleuchtet und außerdem von der Seite detektiert. Um zusätzlich auch eine gute axiale Diskriminierung zu erhalten kann man den Strahl zugleich noch aus einer oder mehreren Richtungen durch das Objektiv (nicht gezeigt) und/oder von der dem Objektiv abgewandten Seite auf das Objekt fallen lassen (Abb. 4), wel­ ches sich in dem Interferenzbereich der Laserstrahlen (kreuzschraffierte Region) befindet. Die durch Nichtlinearitäten erzielbare zusätzliche Auflösungserhöhung kann man wiederum durch Benutzung entsprechend starker Laser bzw. gepulster Laser mit hohen momenta­ nen Intensitäten erreichen. Auch die Verwendung anderer intensiver Lichtquellen (z. B. Blitzlichtlampen) ist denkbar und ggf. vorteilhaft.In another arrangement, the sample is illuminated with laser light. One can do without the diffraction grating and let the expanded laser beam fall directly onto the lens from two sides via a semi-transparent mirror (not shown). However, it is also possible, as shown in Fig. 4, to guide the laser beam past the lens, which means that even higher lighting room frequencies can be achieved. The arrangement is somewhat similar to a wave field microscope, in which one does not illuminate with light directed towards one another and also detects from the side. In order to additionally obtain good axial discrimination, the beam can also be dropped from one or more directions through the lens (not shown) and / or from the side facing away from the lens ( Fig. 4), which can be done located in the interference area of the laser beams (cross-hatched region). The additional increase in resolution that can be achieved by nonlinearities can in turn be achieved by using appropriately strong lasers or pulsed lasers with high instantaneous intensities. The use of other intensive light sources (e.g. flash lamps) is also conceivable and possibly advantageous.

Die Abb. 5 zeigen eine Serie von simulierten Einzelbildern bei einem zugrunde­ liegenden Fluoreszenzmikroskopieverfahren wie in Abb. 3 gezeigt. Intensität ist hier als Schwärzung dargestellt. Zur besserem Sichtbarmachung der Beleuchtung wurde im Ob­ jekt (Abb. 5(a)) eine konstante Hintergrundfluoreszenz angenommen. In Abb. 6 werden daraus rekonstruierte Bilder mit konventionell simulierten optischen Abbildungen verglichen. Es ist erkennbar, daß die Bildqualität des nichtlinearen Verfahrens selbst kon­ ventionellen Rekonstruktionen mit Hochfrequenzverstärkung deutlich überlegen ist. Fig. 5 show a series of simulated individual images in an underlying fluorescence microscopy method as shown in Fig. 3. Intensity is shown here as blackening. To make the lighting more visible, a constant background fluorescence was assumed in the object ( Fig. 5 (a)). In Fig. 6 reconstructed images are compared with conventionally simulated optical images. It can be seen that the image quality of the non-linear method itself is significantly superior to conventional reconstructions with high-frequency amplification.

Abb. 8 zeigt einen lateralen Schnitt durch die simulierte optische Transferfunktion des Ge­ samtsystems aus Abb. 3. Der Gitterabstand des Beugungsgitters wurde hier so gewählt, daß nur die Beugungsordnungen 0, +1 und -1 des Beugungsgitters durch das Objektiv übertragen werden können. Durch die teilweise Sättigung der beteiligten Farbstoffe ergibt sich eine nichtlineare Beziehung zwischen der Beleuchtungsintensität und der Wahr­ scheinlichkeit der Anregung eines Farbstoffmoleküls an einem Punkt im Objektraum. Die­ se räumlich variierende Anregungswahrscheinlichkeit wird hier Anregungsmuster genannt. Wenn man annimmt, das die Anregungswahrscheinlichkeit für ein bestimmtes Farbstoff­ molekül eine Funktion der Beleuchtungsintensität ist, so führt eine Nichtlinearität dieser Funktion dazu, daß im Emissionsmuster auch räumlich höhere Harmonische des Anregungs­ musters auftreten. Maxima im reziproken Raum, die jenseits der durch die Abbe-Grenze gegebenen Raumfrequenzbegrenzung liegen, können dann im Anregungsmuster auftreten. Die raumfrequenzbegrenzte Abbildung der Multiplikation der Farbstoffverteilung mit dem Anregungsmuster enthält nun Komponenten analog zu einer linearen Anregung mit einem Muster, welches höhere Raumfrequenzen enthält. Fig. 8 shows a lateral section through the simulated optical transfer function of the entire system from Fig. 3. The grating spacing of the diffraction grating was chosen here so that only the diffraction orders 0, +1 and -1 of the diffraction grating can be transmitted through the lens. The partial saturation of the dyes involved results in a nonlinear relationship between the illumination intensity and the probability of excitation of a dye molecule at a point in the object space. The spatially varying excitation probability is called the excitation pattern here. If one assumes that the excitation probability for a specific dye molecule is a function of the illumination intensity, then a non-linearity of this function leads to spatially higher harmonics of the excitation pattern also occurring in the emission pattern. Maxima in the reciprocal space, which lie beyond the spatial frequency limit given by the Abbe limit, can then occur in the excitation pattern. The spatial frequency limited mapping of the multiplication of the dye distribution with the excitation pattern now contains components analogous to a linear excitation with a pattern which contains higher spatial frequencies.

6. Begriffsdefinitionen und Erläuterungen6. Definition of terms and explanations

Im Folgenden sind für die Patentansprüche wichtige Begriffe näher ausgeführt und definiert:
Objektbedingungen: Darunter sind alle Parameter und Bedingungen am Ort des Objek­ tes zu verstehen, die imstande sind, eine oder mehrere Eigenschaften (wie Intensität, Polarisationszustand, Phase, Farbe, Pulsform/-länge, Kohärenzgrad, Photonenkor­ relation, . . .) des Lichts, daß von Objekt ausgeht zu beeinflussen.
nichtlineare Abhängigkeit: Damit ist gemeint, daß die im Detektor detektierte Lichtin­ tensität in ihrer Abhängigkeit von dem Wert einer Objektbedingung am Ort der Lichtaussendung (auch Streuung usw.) meßbar keinem einfachen linearen Modell folgt, also daß Terme höherer Ordnung in der obigen Taylorentwicklung (Formel 4) auftreten. Es genügt aber auch, daß z. B. eine lineare Abhängigkeit der Lichtin­ tensität von mehreren Objektbedingungen zugleich vorliegt, da dann entsprechende "Mischterme" in der Taylorentwicklung auftreten, welche auch zu einer Erweiterung der detektierbaren Objekt-Raumfrequenzen führen.
detektierte Lichtintensität: Die Lichtintensität, die mit dem Detektorsystem gemes­ sen wird. Sie kann entsprechend der Funktionalität des Detektors von der am Ort des Detektors herrschenden mittleren Lichtintensität durchaus abweichen, wenn z. B. zeitlich moduliert detektiert wird oder ein rohes Detektorsignal mit anderen Signalen korreliert wird (z. B. durch Lock-In-Technik).
Einzelbild: Darunter sind allgemein mit einem im weitesten Sinne abbildenden lichtop­ tischen Verfahren aufgenommene Bilddaten zu verstehen. Es kann sich dabei um einen einzelnen Datenpunkt, mehrere an ein oder verschiedenen Objektpunkten auf­ genommene Datenpunkte oder -bereiche in ein-, zwei -, drei- oder mehr Dimensionen handeln. Insbesondere ist es für untenstehende Patentansprüche völlig unerheblich, ob die Objektbedingungen bei jedem Datenpunkt geändert oder moduliert werde, oder ob dies erst nach Abschnitten oder ganzen zwei- oder dreidimensionalen Bildern oder sogar Zeitserien geschieht.
räumliches Muster: Darunter ist zu verstehen, daß der Wert der Objektbedingung eine räumliche Struktur besitzt also abhängig vom Ort im Objektraum ist.
detektierbare Raumfrequenzanteile: Darunter sind die Anteile des Frequenzraums der Fouriertransformierten des Objekts zu verstehen, die mit dem zugrundeliegenden abbildenden Verfahren prinzipiell detektiert werden können.
Informationen über das Objekt: Hierunter soll insbesondere die räumliche Verteilung einer oder mehrere Eigenschaften des Objekts zu verstehen sein, aber auch andere Parameter, wie z. B. die Position eines von seiner Struktur her bekannten Teilobjekts im Raum oder die Zusammensetzung des Objekts. In the following, important terms for the patent claims are elaborated and defined:
Object conditions: This includes all parameters and conditions at the location of the object that are capable of one or more properties (such as intensity, state of polarization, phase, color, pulse shape / length, coherence degree, photon correlation, ...) of light to influence that starts from object.
nonlinear dependency: This means that the light intensity detected in the detector, depending on the value of an object condition at the location of the light emission (also scattering, etc.), measurably does not follow a simple linear model, i.e. that higher-order terms in the above Taylor development (formula 4) occur. But it is also sufficient that z. B. there is a linear dependence of the light intensity on several object conditions at the same time, since then corresponding "mixed terms" occur in the Taylor development, which also lead to an expansion of the detectable object spatial frequencies.
Detected light intensity: The light intensity that is measured with the detector system. You can vary according to the functionality of the detector from the prevailing at the location of the detector average light intensity when z. B. is detected modulated in time or a raw detector signal is correlated with other signals (z. B. by lock-in technology).
Single image: This is generally understood to mean image data recorded using a light-optical method that represents the broadest sense. It can be a single data point, several data points or areas recorded on one or different object points in one, two, three or more dimensions. In particular, it is completely irrelevant for the claims below whether the object conditions are changed or modulated for each data point, or whether this only occurs after sections or entire two- or three-dimensional images or even time series.
spatial pattern: This means that the value of the object condition has a spatial structure, so it depends on the location in the object space.
detectable spatial frequency components: this means the components of the frequency space of the Fourier transform of the object, which can in principle be detected with the underlying imaging method.
Information about the object: This should in particular be understood to mean the spatial distribution of one or more properties of the object, but also other parameters such as B. the position of a sub-object known from its structure in space or the composition of the object.

Literaturliterature

[1] M. Gustafsson, J. Sedat, and D. Agard. Method and apparatus for three dimensional microscopy with enhanced depth resolution. US-Patent Number 5,671,085, Septem­ ber 23. 1997. I5M Microscope.
[2] M. G. L. Gustafsson, D. A. Agard, and J. W. Sedat. 3d widefield microscopy with two objective lenses: Experimental verification of improved axial resolution. Proceedings of the SPIE, 2655: 62, 1996.
[3] P. Hänninen and S. Hell. Luminescence-scanning microscopy process and a lumine­ scence scanning microscope utilizing picosecond or greater pulse lasers. US-Patent Number 5,777,732, July 7. 1998. foreign priority Apr. 28, 1994 [DE] 44 14 940.9.
[4] R. Heintzmann and C. Cremer. Lateral modulated excitation microscopy: Improve­ ment of resolution by using a diffraction grating. Proceedings of the SPIE, 3568 : 185-­ 196, 1999.
[5] S.W. Hell and M. Kroug. Ground-state depletion fluorescence microscopy, a concept for breaking the diffraction resolution limit. Applied Physics B, 60: 495-497, 1995.
[6] K. Ichie. Laser scanning optical system and laser scanning optical apparatus. US- Patent Number 5,796,112, August 18. 1998. foreign priority Jun 3. 1993 Japan 5-13365, Assignee: Hammamatsu Photonics K.K.
[7] R. Juskaitis, T. Wilson, M.A.A. Neil, and M. Kozubek. Efficient real-time confocal microscopy with white licht sources. Nature, 383: 804-806, 1996.
[8] F. Lanni, B. Bailey, D.L. Farkas, and D. L. Taylor. Excitation field synthesis as a means for obtaining enhanced axial resolution in fluorescence microscopes. Bioima­ ging, 1: 187-196, 1993.
[9] F. Lanni, D.L. Taylor, and B. Bailey. Field synthesis and optical subsectioning for standing wave microscopy. US-Patent Number 5,801,881, September 1. 1998. Scanning Wavefield Microscope.
[10] S. Lindek, E.H.K. Stelzer, and S. Hell. Two new high-resolution confocal fluorescence microscopies (4pi, theta) with one- and two-photon exitation. In James B. Pawley, edi­ tor, Handbook of Biological Confocal Microscopy, chapter 26, pages 417-429. Plenum Press, New York, second edition, 1995.
[11] David R. Sandison, Rebecca M. Williams, K. Sam Wells, James Strickler, and Watt W. Webb. Quantitative Fluorescence Confocal Laser Scanning Microscopy (CLSM), chap­ ter 3, pages 47-50. Handbook of Biological Confocal Microscopy. Plenum Press, New York and London, second edition, 1995. Saturation of Fluorescence.
[12] E.H.K. Stelzer and S. Lindek. Fundamental reduction of the observation volume in far-fleld light microscopy by detection orthogonal to the illumination axis: confocal theta microscopy. Opt. Commun., 111: 536-547, 1994.
[13] Roger Y. Tsien and Alan Waggoner. Fluorophores for Confocal Microscopy, chapter 16, pages 267-268. Handbook of Biological Confocal Microscopy. Plenum Press, New York and London, second edition, 1995. Saturation of Fluorescence.
[14] T. Wilson, R. Juskaitis, and M.A.A. Neil. A new approach to three dimensional imaging in microscopy. Cell Vision, 4(2): 231, March 1997.
[15] T. Wilson, R. Juskaitis, M.A.A. Neil, and M. Kozubeck. An aperture correlation approach to confocal microscopy. Proceedings of the SPIE, 2984: 21-23, 1997.
[16] R. Windecker, M. Fleischer, and H. Tiziani. Three-dimensional topometry with stereo microscopes. Optical Engeneering, 36(12): 3372-3377, December 1997.[1] M. Gustafsson, J. Sedat, and D. Agard. Method and apparatus for three dimensional microscopy with enhanced depth resolution. U.S. Patent Number 5,671,085, September 23, 1997. I5M Microscope.
[2] MGL Gustafsson, DA Agard, and JW Sedat. 3d widefield microscopy with two objective lenses: Experimental verification of improved axial resolution. Proceedings of the SPIE, 2655: 62, 1996.
[3] P. Hänninen and S. Hell. Luminescence-scanning microscopy process and a lumine scence scanning microscope utilizing picosecond or greater pulse lasers. U.S. Patent Number 5,777,732, July 7, 1998. foreign priority Apr. 28, 1994 [DE] 44 14 940.9.
[4] R. Heintzmann and C. Cremer. Lateral modulated excitation microscopy: Improve ment of resolution by using a diffraction grating. Proceedings of the SPIE, 3568: 185-196, 1999.
[5] SW Hell and M. Kroug. Ground-state depletion fluorescence microscopy, a concept for breaking the diffraction resolution limit. Applied Physics B, 60: 495-497, 1995.
[6] K. Ichie. Laser scanning optical system and laser scanning optical apparatus. U.S. Patent Number 5,796,112, August 18, 1998. foreign priority Jun 3, 1993 Japan 5-13365, Assignee: Hammamatsu Photonics KK
[7] R. Juskaitis, T. Wilson, MAA Neil, and M. Kozubek. Efficient real-time confocal microscopy with white light sources. Nature, 383: 804-806, 1996.
[8] F. Lanni, B. Bailey, DL Farkas, and DL Taylor. Excitation field synthesis as a means for obtaining enhanced axial resolution in fluorescence microscopes. Bioima went, 1: 187-196, 1993.
[9] F. Lanni, DL Taylor, and B. Bailey. Field synthesis and optical subsectioning for standing wave microscopy. U.S. Patent Number 5,801,881, September 1, 1998. Scanning Wavefield Microscope.
[10] S. Lindek, EHK Stelzer, and S. Hell. Two new high-resolution confocal fluorescence microscopies (4pi, theta) with one- and two-photon exitation. In James B. Pawley, editor, Handbook of Biological Confocal Microscopy, chapter 26, pages 417-429. Plenum Press, New York, second edition, 1995.
[11] David R. Sandison, Rebecca M. Williams, K. Sam Wells, James Strickler, and Watt W. Webb. Quantitative Fluorescence Confocal Laser Scanning Microscopy (CLSM), chap ter 3, pages 47-50. Handbook of Biological Confocal Microscopy. Plenum Press, New York and London, second edition, 1995. Saturation of Fluorescence.
[12] EHK Stelzer and S. Lindek. Fundamental reduction of the observation volume in far-fleld light microscopy by detection orthogonal to the illumination axis: confocal theta microscopy. Opt. Commun., 111: 536-547, 1994.
[13] Roger Y. Tsien and Alan Waggoner. Fluorophores for Confocal Microscopy, chapter 16, pages 267-268. Handbook of Biological Confocal Microscopy. Plenum Press, New York and London, second edition, 1995. Saturation of Fluorescence.
[14] T. Wilson, R. Juskaitis, and MAA Neil. A new approach to three dimensional imaging in microscopy. Cell Vision, 4 (2): 231, March 1997.
[15] T. Wilson, R. Juskaitis, MAA Neil, and M. Kozubeck. An aperture correlation approach to confocal microscopy. Proceedings of the SPIE, 2984: 21-23, 1997.
[16] R. Windecker, M. Fleischer, and H. Tiziani. Three-dimensional topometry with stereo microscopes. Optical Engineering, 36 (12): 3372-3377, December 1997.

Claims (41)

1. Verfahren zur Erhöhung der Auflösung optischer Abbildung eines oder mehrerer Ob­ jekte (im Folgenden mit Objekt bezeichnet) mit folgenden Schritten:
  • a) Anpassung der im Objekt herrschenden Bedingungen, die das von einem Ob­ jektpunkt ausgehende Licht zu beeinflussen imstande sind, (Objektbedingungen bi() = Beleuchtungsintensität und/oder zusätzliche Effekte) derart, daß eine nichtlineare Abhängigkeit der von einem Objektpunkt detektierten Lichtinten­ sität von dem Wert eines in mindestens einer Objektbedingung enthaltenen räumlichen Musters in mindestens einem detektierten Wert hervorgerufen wird oder eine jeweils zu einem Wert lineare Abhängigkeit der von diesem Objekt­ punkt detektierten Lichtintensität von der Werten mindestens zweier räumlicher Muster bi() hervorgerufen wird.
  • b) Aufzeichnung wenigstens eines Einzelbildes unter diesen Objektbedingungen.
  • c) Ändern der Objektbedingungen derart, daß unterschiedliche durch das Aufnah­ meverfahren abgebildete Raumfrequenzanteile des Objekts (detektierbare Raum­ frequenzanteile) sich in ihrer Amplituden und/oder Phasenbeziehung zueinander verändern.
  • d) Aufzeichnung wenigstens eines weiteren Einzelbildes unter jeweils gemäß (c) veränderten Objektbedingungen.
  • e) Auswertung der gemessenen Bilder, indem die sich in den Einzelbildern unter­ schiedlich ausprägenden Objektbedingungen genutzt werden um Informationen über das Objekt zurückzugewinnen, die zu Raumfrequenzen des Objekts gehö­ ren, welche durch eine einfache Abbildung mit dem Aufnahmeverfahren nicht zugänglich wären.
1. A method for increasing the resolution of optical imaging of one or more objects (hereinafter referred to as an object) with the following steps:
  • a) Adaptation of the conditions prevailing in the object, which are able to influence the light emanating from an object point (object conditions b i () = illumination intensity and / or additional effects) such that a non-linear dependency of the light intensity detected by an object point on the value of a spatial pattern contained in at least one object condition is produced in at least one detected value or a linear dependence of the light intensity detected by this object on the values of at least two spatial patterns b i () is produced.
  • b) recording at least one frame under these object conditions.
  • c) Changing the object conditions such that different spatial frequency components of the object imaged by the recording method (detectable spatial frequency components) change in their amplitudes and / or phase relationship to one another.
  • d) recording of at least one further individual image under object conditions changed in each case according to (c).
  • e) Evaluation of the measured images by using the object conditions under different conditions in the individual images to recover information about the object that belongs to spatial frequencies of the object, which would not be accessible by a simple image using the recording method.
2. Verfahren in dem das räumliche Muster durch ein Muster der Beleuchtungsintensität gegeben wird.2. Method in which the spatial pattern is created by a pattern of lighting intensity is given. 3. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß die Ab­ bildung mittels einem bekanntem optischen Mikroskopieverfahren geschieht; insbe­ sondere mittels Standard Fernfeld Mikroskopie, Epi-Fluoreszenz-Mikroskopie, konfo­ kaler Mikroskopie, 4PI-Mikroskopie, I2M-, I3M-, I5M-Verfahren, Theta-Mikroskopie, Nahfeld-Mikroskopie.3. The method according to any one of the preceding claims, characterized in that the formation takes place by means of a known optical microscopy method; in particular using standard far-field microscopy, epi-fluorescence microscopy, confocal microscopy, 4PI microscopy, I 2 M, I 3 M, I 5 M methods, theta microscopy, near-field microscopy. 4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit der im Detektor (oder den Detektoren) von einem Objektpunkt detektierten Lichtintensität zu der an diesem Punkt herrschenden Be­ leuchtungsintensität (nicht notwendigerweise bei der selben Frequenz des Lichts) ausgenutzt wird. 4. The method according to any one of the preceding claims, characterized in that a non-linear dependence of the one in the detector (or detectors) Object point detected light intensity to the Be prevailing at this point light intensity (not necessarily at the same frequency of light) is exploited.   5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß zur Erzeugung nichtlinearer Effekte nötige momentane Lichtintensitäten dadurch er­ zeugt werden, daß eine gepulste Beleuchtungsquelle, insbesondere ein Pulslaser oder eine Blitzlampe, verwendet wird.5. The method according to claim 4, characterized in that for the generation of nonlinear effects, the instantaneous light intensities required be witnessed that a pulsed illumination source, in particular a pulse laser or a flash lamp is used. 6. Verfahren nach einem der Ansprüche 4 bis 5, dadurch gekennzeichnet, daß die Sättigung des Fluoreszenzlichts von Fluorophoren unter intensiver Beleuchtung ausgenutzt wird.6. The method according to any one of claims 4 to 5, characterized in that the saturation of fluorescent light from fluorophores under intense lighting is exploited. 7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, daß die Sättigung der Absorption von Beleuchtungslicht unter intensiver Beleuchtung ausgenutzt wird.7. The method according to any one of claims 4 to 6, characterized in that the saturation of the absorption of illuminating light under intense lighting is exploited. 8. Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, daß eine Abhängigkeit der Phase des emittierten oder gestreuten Lichts von der im Ob­ jekt vorhandenen Beleuchtungsintensität ausgenutzt wird, welche sich im Detektor (zum Beispiel über Interferenz) oder davor in eine nichtlineare Intensitätsabhängig­ keit umsetzt.8. The method according to any one of claims 4 to 7, characterized in that a dependence of the phase of the emitted or scattered light on that in Ob existing lighting intensity is used, which is in the detector (for example via interference) or before that in a non-linear intensity-dependent implemented. 9. Verfahren nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, daß die Abhängigkeit der Intensität der Ramanstreuung von dem Wert einer oder meh­ rerer Objektbedingungen ausgenutzt wird.9. The method according to any one of claims 4 to 8, characterized in that the dependence of the intensity of the Raman scattering on the value of one or more more object conditions is exploited. 10. Verfahren nach einem der Ansprüche 4 bis 9, dadurch gekennzeichnet, daß zeitlich kohärente Effekte (zum Beispiel Rabi-Oszillationen) an Atomen oder Mole­ külen (auch Fluorophore) im Objekt (in Lösung, Festkörpern, Gasen oder auch im Vakuum) gezielt ausgenutzt werden, um die benötigte nichtlineare Abhängigkeit zu erzeugen. Die Induktion solcher Effekte kann dabei insbesondere durch Beleuchtung mit sehr kurzen Pulsen geschehen.10. The method according to any one of claims 4 to 9, characterized in that temporally coherent effects (for example Rabi oscillations) on atoms or moles cool (also fluorophores) in the object (in solution, solids, gases or also in Vacuum) can be used specifically to achieve the required non-linear dependency produce. The induction of such effects can in particular by lighting happen with very short pulses. 11. Verfahren nach einem der Ansprüche 4 bis 10, dadurch gekennzeichnet, daß die nichtlineare Abhängigkeit des emittierten Lichts von der im Objekt vorhandenen Lichtintensität bei Mehrphotonen-Absorption ausgenutzt wird.11. The method according to any one of claims 4 to 10, characterized in that the non-linear dependence of the emitted light on the one present in the object Light intensity is used in multiphoton absorption. 12. Verfahren nach einem der Ansprüche 4 bis 11, dadurch gekennzeichnet, daß Anregung und darauf folgende stimulierte Emission eine nichtlineare Abhängigkeit von detektiertem Licht und am Objektpunkt vorhandener Lichtintensität entsteht. Die stimulierte Emission kann gleichzeitig oder in zeitlicher Abfolge induziert werden. Sie kann bei der selben Wellenlänge (z. B. auch durch das Anregungslicht) oder bei einer anderen Wellenlänge (z. B. der Fluoreszenzwellenlänge) induziert werden.12. The method according to any one of claims 4 to 11, characterized in that Excitation and subsequent stimulated emission a non-linear dependence of detected light and light intensity present at the object point. The stimulated emission can be induced simultaneously or in chronological order. It can be at the same wavelength (e.g. also by the excitation light) or at another wavelength (e.g. the fluorescence wavelength) can be induced. 13. Verfahren nach einem der Ansprüche 4 bis 12, dadurch gekennzeichnet, daß Fluorophore durch Licht gleichzeitig oder vor der Beleuchtung in andere Zustände (z. B. Tripplet-Zustand oder auch chemisch veränderte Zustände) versetzt werden und sich daraus eine nichtlineare Abhängigkeit des emittierten Lichts von der am Objekt­ punkt vorhandenen Intensität ergibt. Dies kann automatisch mit der Beleuchtung geschehen oder auch durch Beleuchtung mit anderen Wellenlängen.13. The method according to any one of claims 4 to 12, characterized in that Fluorophores by light at the same time or before lighting in other states (e.g. tripplet state or also chemically changed states) and  this results in a nonlinear dependence of the emitted light on that on the object point existing intensity results. This can be done automatically with the lighting happen or by lighting with other wavelengths. 14. Verfahren nach einem der Ansprüche 4 bis 13, dadurch gekennzeichnet, daß Energie durch Strahlung oder strahlungslose Prozesse von Fluorophoren auf benach­ barte andere Fluorophor-Moleküle übertragen wird und dadurch eine nichtlineare Abhängigkeit der emittierten Lichtintensität von der am Nachbarort eingestrahlten Intensität entsteht.14. The method according to any one of claims 4 to 13, characterized in that Energy from radiation or radiationless processes from fluorophores to neighboring barte other fluorophore molecules is transferred and thereby a nonlinear Dependency of the emitted light intensity on the irradiated at the neighboring location Intensity arises. 15. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von einem räumlich inhomogenen elektrischen Feld ausgenutzt wird.15. The method according to any one of the preceding claims, characterized in that a nonlinear dependence of the light detected by an object point on a spatially inhomogeneous electric field is used. 16. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von einem räumlich inhomogenen angelegten magnetischen Feld ausgenutzt wird.16. The method according to any one of the preceding claims, characterized in that a nonlinear dependence of the light detected by an object point on a spatially inhomogeneous applied magnetic field is used. 17. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von dem im Objektpunkt herrschenden Druck ausgenutzt wird.17. The method according to any one of the preceding claims, characterized in that a nonlinear dependence of the light detected by an object point on the pressure prevailing in the object point is exploited. 18. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von den im Objektpunkt herrschenden Scherkräften oder mechanischen Spannungsver­ hältnissen ausgenutzt wird.18. The method according to any one of the preceding claims, characterized in that a nonlinear dependence of the light detected by an object point on the shear forces or mechanical stress prevailing in the object point is exploited. 19. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von der im Objektpunkt herrschenden Temperatur ausgenutzt wird.19. The method according to any one of the preceding claims, characterized in that a nonlinear dependence of the light detected by an object point on the temperature prevailing in the object point is used. 20. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des vom Objektpunkt detektierten Lichts von dort herrschenden chemischen Bedingungen (z. B. Ph-Wert) ausgenutzt wird.20. The method according to any one of the preceding claims, characterized in that a non-linear dependence of the light detected by the object point from there prevailing chemical conditions (e.g. pH value) is used. 21. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von der Intensität eingestrahlter Radiowellen oder Mikrowellen oder Infrarotlicht oder Röntgenstrahlung oder Schallwellen oder Ultraschallwellen ausgenutzt wird.21. The method according to any one of the preceding claims, characterized in that a nonlinear dependence of the light detected by an object point on the intensity of radiated radio waves or microwaves or infrared light or X-rays or sound waves or ultrasonic waves are used. 22. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster einer Objektbedingung beschrieben oder annähernd beschrie­ ben werden kann durch eine Anzahl von Punkten im reziproken Raum verteilt in 1, 2 oder 3 Dimensionen. 22. The method according to any one of the preceding claims, characterized in that described or approximately described the spatial pattern of an object condition can be divided by a number of points in the reciprocal space in 1, 2 or 3 dimensions.   23. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster räumlich periodisch (oder näherungsweise periodisch) in einer oder mehreren Dimensionen ist.23. The method according to any one of the preceding claims, characterized in that the spatial pattern spatially periodically (or approximately periodically) in one or multiple dimensions. 24. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß ein ausgedehntes räumliches Muster erzeugt wird und Licht gleichzeitig (z. B. mit einer CCD-Kamera) von vielen Objektpunkten detektiert wird.24. The method according to any one of the preceding claims, characterized in that an extensive spatial pattern is generated and light at the same time (e.g. with a CCD camera) is detected from many object points. 25. Verfahren nach einem der Ansprüche 1 bis 21, dadurch gekennzeichnet, daß das räumliche Muster an ein oder mehreren Stellen möglichst fokussiert ist (Wie z. B. im konfokalen Mikroskop oder im 4Pi-Mikroskop) und Objekt und Muster für verschiedene Einzelbilder zueinander verschoben werden.25. The method according to any one of claims 1 to 21, characterized in that the spatial pattern is focused as possible at one or more points (how e.g. B. in the confocal microscope or in the 4Pi microscope) and object and pattern for different single images are shifted to each other. 26. Verfahren nach Anspruch 25, dadurch gekennzeichnet, daß versucht wird den Emissionsort des detektierten Lichts auf einem dem räumlichen Muster nach Anspruch 25 ähnlichen Verteilung einzugrenzen (z. B. durch Einfügen einer oder mehrerer Lochblenden vor dem Detektor).26. The method according to claim 25, characterized in that the emission location of the detected light is tried on the spatial Narrow a pattern according to claim 25 similar distribution (e.g. by inserting one or more pinholes in front of the detector). 27. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster erzeugt wird durch Abbildung einer geeigneten Vorlage, die zwischen den Einzeldaten ausgetauscht oder gezielt verändert wird (zum Beispiel analog zur "Aperture Correllation Microscopy").27. The method according to any one of the preceding claims, characterized in that the spatial pattern is created by mapping a suitable template that exchanged or specifically changed between the individual data (for example analogous to "Aperture Correllation Microscopy"). 28. Verfahren nach Anspruch 27, dadurch gekennzeichnet, daß die Abbildung dieselben Elemente, die zur Detektion erforderlich sind ganz oder teilweise mit nutzt (z. B. Abbildung eines Intensitätsmusters durch das Objektiv, daß zur Detektion auch verwendet wird).28. The method according to claim 27, characterized in that the image the same elements that are required for the detection entirely or partly uses (e.g. imaging of an intensity pattern through the lens that is also used for detection). 29. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster erzeugt wird indem bewußt ganz oder zum Teil ein anderer Weg zur Erzeugung des Musters als die Benutzung der vorhandenen Detektionsmit­ tel um eine zusätzliche Steigerung der Auflösung zu erreichen (z. B. Erzeugung eines Wellenfelds durch seitliche Beleuchtung am Objektiv vorbei oder analog zur Thet­ amikroskopie mit anderen Objektiven).29. The method according to any one of the preceding claims, characterized in that the spatial pattern is created by deliberately wholly or in part another Way to create the pattern using the existing detection means tel to achieve an additional increase in resolution (e.g. generation of a Wave field by side lighting past the lens or analogous to the Thet amicroscopy with other lenses). 30. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß Objekt und das räumliche Muster in ein oder in mehrere Richtungen oder Dimensio­ nen relativ zu einander verschoben werden.30. The method according to any one of the preceding claims, characterized in that Object and the spatial pattern in one or more directions or dimensions NEN shifted relative to each other. 31. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster zumindest auch dadurch verändert wird, daß Komponenten aus denen es sich (z. B. durch Interferenz) zusammensetzt in der Phase gegeneinander verschoben werden (zum Beispiel die Phase verschiedener Beugungsmaxima).31. The method according to any one of the preceding claims, characterized in that the spatial pattern is at least also changed by components from which it is composed (e.g. by interference) in the phase against each other be shifted (for example the phase of different diffraction maxima). 32. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine zeitliche Struktur der oder den nichtlinearen Bedingungen aufgeprägt wird und Daten zu unterschiedlichen Zeiten aquiriert werden (zum Beispiel bei dann ver­ änderter Einstrahlungs-Lichtintensität).32. The method according to any one of the preceding claims, characterized in that a temporal structure of the non-linear conditions is impressed  and data are acquired at different times (for example at then ver changed irradiation light intensity). 33. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das Zusammensetzen der Einzeldaten direkt dadurch geschieht, daß die individu­ ellen Komponenten über das Lösen eines Gleichungssystems unter Berücksichtigung der verschiedenen nichtlinearen Bedingungen extrahiert werden und an den richtigen Stellen des Fourierraums plaziert (zum Beispiel gewichtet aufaddiert) werden. Die dazu notwendige Rechnung muß sich dazu nicht notwendigerweise auf den Fourier­ raum stützen. Eine Fouriertransformation ist dabei nicht unbedingt von Nöten.33. The method according to any one of the preceding claims, characterized in that the composition of the individual data happens directly because the individu components by solving a system of equations taking into account of the various nonlinear conditions and extracted to the correct ones Places of the Fourier space are placed (for example weighted added). The the necessary calculation does not necessarily have to refer to the Fourier support space. A Fourier transformation is not absolutely necessary. 34. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das Zusammensetzen der Einzeldaten ganz oder teilweise implizit dadurch geschieht, daß von der Nichtlinearität abhängenden unterschiedlichen Daten in einem iterati­ ven Prozeß berücksichtigt werden.34. The method according to any one of the preceding claims, characterized in that the composition of the individual data takes place wholly or partly implicitly, that different data depending on the non-linearity in an iterati ven process are taken into account. 35. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das Verfahren durch Näherungen vereinfacht wird, das Gleichungssystem nur nähe­ rungsweise gelöst wird oder die Iterationen bereits nach wenigen Iterationen abge­ brochen werden.35. The method according to any one of the preceding claims, characterized in that the procedure is simplified by approximations, the system of equations only approximate is solved approximately or the iterations are resolved after just a few iterations be broken. 36. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß der iterative Prozeß auf Maximum-Likelihood Rekonstruktion oder anderen algebrai­ schen Verfahren beruht.36. The method according to any one of the preceding claims, characterized in that the iterative process on maximum likelihood reconstruction or other algebrai procedure. 37. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß nach dem Zusammensetzen der Daten ein weiteres rechnerisches Verfahren angewandt wird um die Auflösung zu erhöhen oder im Fourierraum entstehende Unstetigkeiten zu glätten oder die durch den Algorithmus entstehende effektive optische Transfer­ funktion beziehungsweise die effektive Punktbildfunktion geeignet zu formen (z. B. durch Unterdrückung oder Verstärkung gewisser Raumfrequenzen).37. The method according to any one of the preceding claims, characterized in that after compiling the data, another arithmetic procedure was used is to increase the resolution or discontinuities arising in the Fourier space to smooth or the effective optical transfer resulting from the algorithm to form the function or the effective point spread function appropriately (e.g. by suppressing or amplifying certain spatial frequencies). 38. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die vorhandene Information über die nichtlineare Abhängigkeit der von einem Ob­ jektpunkt detektierten Intensität von den nichtlinearen Bedingungen ausgenutzt wird um die Position ein oder mehrerer Teilobjekte möglichst genau zu bestimmen.38. The method according to claim 1, characterized in that the available information about the nonlinear dependency of an Ob Detected intensity is exploited by the non-linear conditions to determine the position of one or more sub-objects as precisely as possible. 39. Verfahren nach Anspruch 38, dadurch gekennzeichnet, daß zusätzlich die Struktur des Teilobjekts oder die Struktur seines Bildes genau oder näherungsweise bekannt ist und diese in dem Verfahren als bekannte Struktur (a priori oder als gemessene Struktur) berücksichtigt wird.39. The method according to claim 38, characterized in that additionally the structure of the sub-object or the structure of its image exactly or is approximately known and this is known in the process as a known structure (a priori or as a measured structure) is taken into account. 40. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Unterschiede in der nichtlinearen Abhängigkeit der von einem Objektpunkt de­ tektierten Intensität von den nichtlinearen Bedingungen ausgenutzt werden um Auf­ schlüsse über die örtliche Zusammensetzung des Objekts an verschiedenen Positionen aus verschiedenen Materialien zu gewinnen.40. The method according to claim 1, characterized in that the differences in the non-linear dependency of an object point de detected intensity from the nonlinear conditions can be exploited to  conclusions about the local composition of the object in different positions to win from different materials. 41. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Unterschiede in der nichtlinearen Abhängigkeit der von einem Objektpunkt de­ tektierten Intensität von den nichtlinearen Bedingungen gezielt ausgenutzt werden um Teilobjekte und deren Position bestimmen zu können, auch wenn sich deren Bil­ der zu einem großen Teil überlagern.41. The method according to claim 1, characterized in that the differences in the non-linear dependency of an object point de detected intensity from the non-linear conditions can be used specifically to be able to determine sub-objects and their position, even if their image which overlay to a large extent.
DE19908883A 1999-03-02 1999-03-02 Process for increasing the resolution of optical imaging Withdrawn DE19908883A1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE19908883A DE19908883A1 (en) 1999-03-02 1999-03-02 Process for increasing the resolution of optical imaging
PCT/EP2000/001806 WO2000052512A1 (en) 1999-03-02 2000-03-02 Method and device for representing an object
DE50000729T DE50000729D1 (en) 1999-03-02 2000-03-02 PROCESS AND DEVICE FOR OBJECT IMAGE
EP00912537A EP1157297B1 (en) 1999-03-02 2000-03-02 Method and device for representing an object
US09/914,515 US6909105B1 (en) 1999-03-02 2000-03-02 Method and device for representing an object
AT00912537T ATE227434T1 (en) 1999-03-02 2000-03-02 METHOD AND DEVICE FOR OBJECT IMAGING

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19908883A DE19908883A1 (en) 1999-03-02 1999-03-02 Process for increasing the resolution of optical imaging

Publications (1)

Publication Number Publication Date
DE19908883A1 true DE19908883A1 (en) 2000-09-07

Family

ID=7899303

Family Applications (2)

Application Number Title Priority Date Filing Date
DE19908883A Withdrawn DE19908883A1 (en) 1999-03-02 1999-03-02 Process for increasing the resolution of optical imaging
DE50000729T Expired - Lifetime DE50000729D1 (en) 1999-03-02 2000-03-02 PROCESS AND DEVICE FOR OBJECT IMAGE

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE50000729T Expired - Lifetime DE50000729D1 (en) 1999-03-02 2000-03-02 PROCESS AND DEVICE FOR OBJECT IMAGE

Country Status (5)

Country Link
US (1) US6909105B1 (en)
EP (1) EP1157297B1 (en)
AT (1) ATE227434T1 (en)
DE (2) DE19908883A1 (en)
WO (1) WO2000052512A1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003060610A1 (en) * 2002-01-16 2003-07-24 Carl Zeiss Jena Gmbh Methods and systems for microscopic imaging
DE102008021641A1 (en) * 2008-04-30 2009-11-05 Carl Zeiss Microlmaging Gmbh Resolution Enhanced Luminescence Microscopy
DE102008049878A1 (en) 2008-09-30 2010-04-01 Carl Zeiss Microlmaging Gmbh Improved methods and devices for microscopy with structured illumination
WO2011131401A1 (en) 2010-04-23 2011-10-27 Leica Microsystems Cms Gmbh Method for examining a sample containing fluorescent dyes with the aid of a microscope
WO2012168065A1 (en) 2011-06-09 2012-12-13 Carl Zeiss Microscopy Gmbh High-resolution luminescence microscopy
WO2013053859A1 (en) 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh High-resolution luminescence microscopy
WO2020074278A1 (en) 2018-10-10 2020-04-16 Friedrich-Schiller-Universitaet Method and device for high-resolution fluorescence microscopy
EP3650905A1 (en) 2018-11-12 2020-05-13 Carl Zeiss Microscopy GmbH Improved method and devices for microscopy with structured illumination
DE102020211380A1 (en) 2020-09-10 2022-03-10 Carl Zeiss Microscopy Gmbh Process for super-resolution evaluation of structured illuminated microscope images and microscope with structured illumination

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002036015A1 (en) 2000-10-30 2002-05-10 The General Hospital Corporation Optical methods and systems for tissue analysis
DE10297689B4 (en) 2001-05-01 2007-10-18 The General Hospital Corp., Boston Method and device for the determination of atherosclerotic coating by measurement of optical tissue properties
TW530336B (en) * 2001-08-21 2003-05-01 Asml Masktools Bv Lithographic method and lithographic apparatus
US7355716B2 (en) 2002-01-24 2008-04-08 The General Hospital Corporation Apparatus and method for ranging and noise reduction of low coherence interferometry LCI and optical coherence tomography OCT signals by parallel detection of spectral bands
US8054468B2 (en) 2003-01-24 2011-11-08 The General Hospital Corporation Apparatus and method for ranging and noise reduction of low coherence interferometry LCI and optical coherence tomography OCT signals by parallel detection of spectral bands
CA2519937C (en) 2003-03-31 2012-11-20 Guillermo J. Tearney Speckle reduction in optical coherence tomography by path length encoded angular compounding
EP2008579B1 (en) * 2003-06-06 2016-11-09 The General Hospital Corporation Process and apparatus for a wavelength tuned light source
EP3009815B1 (en) 2003-10-27 2022-09-07 The General Hospital Corporation Method and apparatus for performing optical imaging using frequency-domain interferometry
WO2005117534A2 (en) 2004-05-29 2005-12-15 The General Hospital Corporation Process, system and software arrangement for a chromatic dispersion compensation using reflective layers in optical coherence tomography (oct) imaging
WO2006014392A1 (en) 2004-07-02 2006-02-09 The General Hospital Corporation Endoscopic imaging probe comprising dual clad fibre
JP5053845B2 (en) 2004-08-06 2012-10-24 ザ ジェネラル ホスピタル コーポレイション Method, system and software apparatus for determining at least one position in a sample using optical coherence tomography
WO2006024015A1 (en) 2004-08-24 2006-03-02 The General Hospital Corporation Method and apparatus for imaging of vessel segments
ATE538714T1 (en) 2004-08-24 2012-01-15 Gen Hospital Corp METHOD, SYSTEM AND SOFTWARE ARRANGEMENT FOR DETERMINING THE ELASTIC MODULE
EP1787105A2 (en) 2004-09-10 2007-05-23 The General Hospital Corporation System and method for optical coherence imaging
WO2006037132A1 (en) 2004-09-29 2006-04-06 The General Hospital Corporation System and method for optical coherence imaging
EP1825214A1 (en) 2004-11-24 2007-08-29 The General Hospital Corporation Common-path interferometer for endoscopic oct
EP1816949A1 (en) 2004-11-29 2007-08-15 The General Hospital Corporation Arrangements, devices, endoscopes, catheters and methods for performing optical imaging by simultaneously illuminating and detecting multiple points on a sample
US8346346B1 (en) 2005-01-24 2013-01-01 The Board Of Trustees Of The Leland Stanford Junior University Optical analysis system and approach therefor
EP2085929A1 (en) 2005-04-28 2009-08-05 The General Hospital Corporation Evaluating optical coherence tomography information for an anatomical structure
JP5702049B2 (en) 2005-06-01 2015-04-15 ザ ジェネラル ホスピタル コーポレイション Apparatus, method and system for performing phase resolved optical frequency domain imaging
DE502006004676D1 (en) * 2005-07-22 2009-10-08 Zeiss Carl Microimaging Gmbh RESOLUTION-INCREASED LUMINESCENCE MICROSCOPY
US7485875B2 (en) * 2005-07-22 2009-02-03 Carl Zeiss Microimaging Gmbh Resolution-enhanced luminescence microscopy
EP2207008A1 (en) 2005-08-09 2010-07-14 The General Hospital Corporation Apparatus and method for performing polarization-based quadrature demodulation in optical coherence tomography
EP1928306B1 (en) 2005-09-29 2021-01-13 General Hospital Corporation Optical coherence tomography systems and methods including fluorescence microscopic imaging of one or more biological structures
WO2007047690A1 (en) 2005-10-14 2007-04-26 The General Hospital Corporation Spectral- and frequency- encoded fluorescence imaging
US7492450B2 (en) * 2005-10-24 2009-02-17 General Electric Company Methods and apparatus for inspecting an object
JP5680826B2 (en) 2006-01-10 2015-03-04 ザ ジェネラル ホスピタル コーポレイション Data generation system using endoscopic technology for encoding one or more spectra
EP2289398A3 (en) 2006-01-19 2011-04-06 The General Hospital Corporation Methods and systems for optical imaging of epithelial luminal organs by beam scanning thereof
US20070223006A1 (en) * 2006-01-19 2007-09-27 The General Hospital Corporation Systems and methods for performing rapid fluorescence lifetime, excitation and emission spectral measurements
US8145018B2 (en) 2006-01-19 2012-03-27 The General Hospital Corporation Apparatus for obtaining information for a structure using spectrally-encoded endoscopy techniques and methods for producing one or more optical arrangements
EP2659851A3 (en) 2006-02-01 2014-01-15 The General Hospital Corporation Apparatus for applying a plurality of electro-magnetic radiations to a sample
JP5524487B2 (en) 2006-02-01 2014-06-18 ザ ジェネラル ホスピタル コーポレイション A method and system for emitting electromagnetic radiation to at least a portion of a sample using a conformal laser treatment procedure.
EP1988825B1 (en) 2006-02-08 2016-12-21 The General Hospital Corporation Arrangements and systems for obtaining information associated with an anatomical sample using optical microscopy
EP1987318B1 (en) 2006-02-24 2015-08-12 The General Hospital Corporation Methods and systems for performing angle-resolved fourier-domain optical coherence tomography
EP3150110B1 (en) 2006-05-10 2020-09-02 The General Hospital Corporation Processes, arrangements and systems for providing frequency domain imaging of a sample
CN101589301B (en) 2006-08-25 2012-11-07 通用医疗公司 Apparatus and methods for enhancing optical coherence tomography imaging using volumetric filtering techniques
DE102006044229B4 (en) 2006-09-20 2023-09-28 Carl Zeiss Microscopy Gmbh Method and device for image processing with higher harmonics of a lighting grid
WO2008049118A2 (en) 2006-10-19 2008-04-24 The General Hospital Corporation Apparatus and method for obtaining and providing imaging information associated with at least one portion of a sample and effecting such portion(s)
DE102006060180B9 (en) * 2006-12-18 2013-08-08 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for spatially high-resolution imaging of a structure marked with a substance
US8217992B2 (en) 2007-01-11 2012-07-10 The Jackson Laboratory Microscopic imaging techniques
US7949019B2 (en) 2007-01-19 2011-05-24 The General Hospital Wavelength tuning source based on a rotatable reflector
WO2008118781A2 (en) 2007-03-23 2008-10-02 The General Hospital Corporation Methods, arrangements and apparatus for utilizing a wavelength-swept laser using angular scanning and dispersion procedures
US10534129B2 (en) 2007-03-30 2020-01-14 The General Hospital Corporation System and method providing intracoronary laser speckle imaging for the detection of vulnerable plaque
US8045177B2 (en) 2007-04-17 2011-10-25 The General Hospital Corporation Apparatus and methods for measuring vibrations using spectrally-encoded endoscopy
US9375158B2 (en) 2007-07-31 2016-06-28 The General Hospital Corporation Systems and methods for providing beam scan patterns for high speed doppler optical frequency domain imaging
JP5536650B2 (en) * 2007-08-31 2014-07-02 ザ ジェネラル ホスピタル コーポレイション System and method for self-interfering fluorescence microscopy and associated computer-accessible media
US20090131801A1 (en) * 2007-10-12 2009-05-21 The General Hospital Corporation Systems and processes for optical imaging of luminal anatomic structures
WO2009059034A1 (en) 2007-10-30 2009-05-07 The General Hospital Corporation System and method for cladding mode detection
US7772569B2 (en) 2008-04-01 2010-08-10 The Jackson Laboratory 3D biplane microscopy
US7898656B2 (en) * 2008-04-30 2011-03-01 The General Hospital Corporation Apparatus and method for cross axis parallel spectroscopy
KR100936645B1 (en) 2008-05-01 2010-01-14 김영범 Raman microscope
WO2009137701A2 (en) 2008-05-07 2009-11-12 The General Hospital Corporation System, method and computer-accessible medium for tracking vessel motion during three-dimensional coronary artery microscopy
WO2009155536A2 (en) 2008-06-20 2009-12-23 The General Hospital Corporation Fused fiber optic coupler arrangement and method for use thereof
EP2309923B1 (en) 2008-07-14 2020-11-25 The General Hospital Corporation Apparatus and methods for color endoscopy
DE102008054317A1 (en) 2008-11-03 2010-05-06 Carl Zeiss Microlmaging Gmbh combining microscopy
DE102008059328A1 (en) 2008-11-27 2010-06-02 Carl Zeiss Microimaging Gmbh Resolution-enhanced microscopy
US8937724B2 (en) 2008-12-10 2015-01-20 The General Hospital Corporation Systems and methods for extending imaging depth range of optical coherence tomography through optical sub-sampling
US9615748B2 (en) 2009-01-20 2017-04-11 The General Hospital Corporation Endoscopic biopsy apparatus, system and method
JP2012515930A (en) 2009-01-26 2012-07-12 ザ ジェネラル ホスピタル コーポレーション System, method and computer-accessible medium for providing a wide-field super-resolution microscope
WO2010105197A2 (en) 2009-03-12 2010-09-16 The General Hospital Corporation Non-contact optical system, computer-accessible medium and method for measuring at least one mechanical property of tissue using coherent speckle techniques(s)
DE102009031231A1 (en) 2009-06-26 2010-12-30 Carl Zeiss Microlmaging Gmbh Methods and arrangements for fluorescence microscopy
CN102469943A (en) 2009-07-14 2012-05-23 通用医疗公司 Apparatus, systems and methods for measuring flow and pressure within a vessel
DE102009043744A1 (en) 2009-09-30 2011-03-31 Carl Zeiss Microlmaging Gmbh Method and microscope for three-dimensional resolution-enhanced microscopy
DE102009043747A1 (en) 2009-09-30 2011-03-31 Carl Zeiss Microlmaging Gmbh Method for generating a microscope image and microscope
JP5852305B2 (en) 2009-10-28 2016-02-03 カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ Microscopy and microscope with improved resolution
DE102009055216A1 (en) 2009-12-22 2011-06-30 Carl Zeiss Microlmaging GmbH, 07745 luminescence
DE102009060793A1 (en) 2009-12-22 2011-07-28 Carl Zeiss Microlmaging GmbH, 07745 High-resolution microscope and method for two- or three-dimensional position determination of objects
PT2542154T (en) 2010-03-05 2020-11-25 Massachusetts Gen Hospital Systems, methods and computer-accessible medium which provide microscopic images of at least one anatomical structure at a particular resolution
GB201007055D0 (en) * 2010-04-28 2010-06-09 Vib Vzw Method and apparatus for the imaging of a labelled sample
US9069130B2 (en) 2010-05-03 2015-06-30 The General Hospital Corporation Apparatus, method and system for generating optical radiation from biological gain media
WO2011149972A2 (en) 2010-05-25 2011-12-01 The General Hospital Corporation Systems, devices, methods, apparatus and computer-accessible media for providing optical imaging of structures and compositions
WO2011150069A2 (en) 2010-05-25 2011-12-01 The General Hospital Corporation Apparatus, systems, methods and computer-accessible medium for spectral analysis of optical coherence tomography images
US10285568B2 (en) 2010-06-03 2019-05-14 The General Hospital Corporation Apparatus and method for devices for imaging structures in or at one or more luminal organs
US8711211B2 (en) * 2010-06-14 2014-04-29 Howard Hughes Medical Institute Bessel beam plane illumination microscope
US10051240B2 (en) 2010-06-14 2018-08-14 Howard Hughes Medical Institute Structured plane illumination microscopy
DE102010041794A1 (en) 2010-09-30 2012-04-05 Carl Zeiss Microlmaging Gmbh Microscope system, microscopy method and computer program product
EP2632324A4 (en) 2010-10-27 2015-04-22 Gen Hospital Corp Apparatus, systems and methods for measuring blood pressure within at least one vessel
CN103649677A (en) * 2011-07-13 2014-03-19 法罗技术股份有限公司 Device and method using a spatial light modulator to find 3D coordinates of an object
CN103649678A (en) 2011-07-14 2014-03-19 法罗技术股份有限公司 Grating-based scanner with phase and pitch adjustment
WO2013013049A1 (en) 2011-07-19 2013-01-24 The General Hospital Corporation Systems, methods, apparatus and computer-accessible-medium for providing polarization-mode dispersion compensation in optical coherence tomography
DE102011108181B4 (en) * 2011-07-22 2015-02-26 Bundesrepublik Deutschland, vertreten durch das Bundesministerium für Wirtschaft und Technologie, dieses vertreten durch den Präsidenten der Physikalisch-Technischen Bundesanstalt Method for the spatially resolved measurement of a magnetization of a magnetic structure and magneto-optical data storage
US10241028B2 (en) 2011-08-25 2019-03-26 The General Hospital Corporation Methods, systems, arrangements and computer-accessible medium for providing micro-optical coherence tomography procedures
WO2013066631A1 (en) 2011-10-18 2013-05-10 The General Hospital Corporation Apparatus and methods for producing and/or providing recirculating optical delay(s)
DE102012204128B4 (en) 2012-03-15 2023-11-16 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy
EP2833776A4 (en) 2012-03-30 2015-12-09 Gen Hospital Corp Imaging system, method and distal attachment for multidirectional field of view endoscopy
WO2013177154A1 (en) 2012-05-21 2013-11-28 The General Hospital Corporation Apparatus, device and method for capsule microscopy
EP2948758B1 (en) 2013-01-28 2024-03-13 The General Hospital Corporation Apparatus for providing diffuse spectroscopy co-registered with optical frequency domain imaging
WO2014120791A1 (en) 2013-01-29 2014-08-07 The General Hospital Corporation Apparatus, systems and methods for providing information regarding the aortic valve
WO2014121082A1 (en) 2013-02-01 2014-08-07 The General Hospital Corporation Objective lens arrangement for confocal endomicroscopy
US20140235948A1 (en) * 2013-02-19 2014-08-21 The Board Of Trustees Of The Leland Stanford Junior University Method for single-fiber microscopy using intensity-pattern sampling and optimization-based reconstruction
US10478072B2 (en) 2013-03-15 2019-11-19 The General Hospital Corporation Methods and system for characterizing an object
WO2014186353A1 (en) 2013-05-13 2014-11-20 The General Hospital Corporation Detecting self-interefering fluorescence phase and amplitude
US10117576B2 (en) 2013-07-19 2018-11-06 The General Hospital Corporation System, method and computer accessible medium for determining eye motion by imaging retina and providing feedback for acquisition of signals from the retina
EP4349242A2 (en) 2013-07-19 2024-04-10 The General Hospital Corporation Imaging apparatus and method which utilizes multidirectional field of view endoscopy
WO2015013651A2 (en) 2013-07-26 2015-01-29 The General Hospital Corporation System, apparatus and method utilizing optical dispersion for fourier-domain optical coherence tomography
DE102013019348A1 (en) 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy
DE102013019347A1 (en) 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy
DE102013015931A1 (en) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy
DE102013015932A1 (en) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy
DE102013015933A1 (en) 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy
ES2694589T3 (en) * 2013-12-19 2018-12-21 Universität Wien Obtaining quantum images with undetected photons
WO2015105870A1 (en) 2014-01-08 2015-07-16 The General Hospital Corporation Method and apparatus for microscopic imaging
WO2015116986A2 (en) 2014-01-31 2015-08-06 The General Hospital Corporation System and method for facilitating manual and/or automatic volumetric imaging with real-time tension or force feedback using a tethered imaging device
WO2015153982A1 (en) 2014-04-04 2015-10-08 The General Hospital Corporation Apparatus and method for controlling propagation and/or transmission of electromagnetic radiation in flexible waveguide(s)
US20150377777A1 (en) * 2014-06-29 2015-12-31 OPTICS 3D Ltd. Dual structured illumination modulated in phase and intensity
ES2907287T3 (en) 2014-07-25 2022-04-22 Massachusetts Gen Hospital Apparatus for imaging and in vivo diagnosis
DE102014111167A1 (en) 2014-08-06 2016-02-11 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy with the distinction of at least two wavelength ranges
DE102015111702A1 (en) 2015-07-20 2017-01-26 Carl Zeiss Microscopy Gmbh High-resolution, spectrally selective scanning microscopy of a sample
DE102015116435A1 (en) 2015-09-29 2017-03-30 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy with the distinction of at least two spectral ranges
DE102015116598A1 (en) 2015-09-30 2017-03-30 Carl Zeiss Microscopy Gmbh Method and microscope for high-resolution imaging by means of SIM
DE102015015497A1 (en) 2015-11-30 2017-06-14 Horst Wochnowski Various applications of high-resolution fluorescence-based microscopy methods (RESOLFT / STED et al.) Based methods, such as fluorescence-based nanostructuring
DE102016007839A1 (en) 2016-06-28 2017-12-28 Horst Wochnowski High-resolution method for microscopy and nanostructuring of substrate surfaces based on the SIM method (Structured Illumination Microscopy)
US10996354B2 (en) * 2016-09-29 2021-05-04 United States Of America As Represented By The Secretary Of The Army Electronically collimated gamma radiation detector
DE102017113683A1 (en) 2017-06-21 2018-12-27 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy with the distinction of at least two wavelength ranges
WO2019006433A1 (en) 2017-06-30 2019-01-03 Preza Chrysanthe Multi-focal light-sheet structured illumination fluorescence microscopy system
DE102019129932B4 (en) * 2019-11-06 2023-12-21 Technische Universität Braunschweig Optical detection device and method for operating an optical detection device
WO2023060091A1 (en) * 2021-10-04 2023-04-13 Ultima Genomics, Inc. Enhanced resolution imaging

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0352975A2 (en) * 1988-07-26 1990-01-31 AT&T Corp. Resolution doubling lithography technique
EP0562488A1 (en) * 1992-03-19 1993-09-29 Matsushita Electric Industrial Co., Ltd. Superresolution scanning optical device
DE69022243T2 (en) * 1989-11-22 1996-07-25 Secr Defence Brit OPTICAL PHASE MEASURING MICROSCOPE.

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4525858A (en) 1983-01-03 1985-06-25 General Electric Company Method and apparatus for reconstruction of three-dimensional surfaces from interference fringes
SE455736B (en) 1984-03-15 1988-08-01 Sarastro Ab PROCEDURE KIT AND MICROPHOTOMETRATION AND ADDITIONAL IMAGE COMPOSITION
US4621911A (en) 1985-03-12 1986-11-11 Carnegie-Mellon University Standing wave luminescence microscopy
US4929951A (en) 1988-12-23 1990-05-29 Hughes Aircraft Company Apparatus and method for transform space scanning imaging
US5034613A (en) 1989-11-14 1991-07-23 Cornell Research Foundation, Inc. Two-photon laser microscopy
DE4040441A1 (en) 1990-12-18 1992-07-02 Hell Stefan DOUBLE CONFOCAL GRID MICROSCOPE
US5394268A (en) 1993-02-05 1995-02-28 Carnegie Mellon University Field synthesis and optical subsectioning for standing wave microscopy
EP0627643B1 (en) 1993-06-03 1999-05-06 Hamamatsu Photonics K.K. Laser scanning optical system using axicon
DE4326473C2 (en) * 1993-08-06 1997-05-15 European Molecular Biology Lab Embl Confocal microscope
WO1995021393A2 (en) 1994-02-01 1995-08-10 Stefan Hell Process and device for optically measuring a point on a sample with high local resolution
JPH09512922A (en) * 1994-04-11 1997-12-22 ライカ アーゲー Method and apparatus for locating a target detail with respect to a surgical microscope
DE4414940C2 (en) 1994-04-28 1998-07-02 Pekka Haenninen Luminescence scanning microscope with two photons excitation
US5671085A (en) 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
US5867604A (en) 1995-08-03 1999-02-02 Ben-Levy; Meir Imaging measurement system
CA2231222C (en) 1995-09-19 2001-12-11 Cornell Research Foundation, Inc. Multi-photon laser microscopy
GB9603788D0 (en) 1996-02-22 1996-04-24 Isis Innovation Confocal microscope
US5640270A (en) * 1996-03-11 1997-06-17 Wyko Corporation Orthogonal-scanning microscope objective for vertical-scanning and phase-shifting interferometry
IL118130A (en) 1996-05-03 1998-10-30 Yeda Res & Dev Apparatus and method for scanning laser microscopy
DE69802514T2 (en) 1997-04-04 2002-06-27 Isis Innovation IMAGING SYSTEM AND METHOD FOR MICROSCOPY

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0352975A2 (en) * 1988-07-26 1990-01-31 AT&T Corp. Resolution doubling lithography technique
DE69022243T2 (en) * 1989-11-22 1996-07-25 Secr Defence Brit OPTICAL PHASE MEASURING MICROSCOPE.
EP0562488A1 (en) * 1992-03-19 1993-09-29 Matsushita Electric Industrial Co., Ltd. Superresolution scanning optical device

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003060610A1 (en) * 2002-01-16 2003-07-24 Carl Zeiss Jena Gmbh Methods and systems for microscopic imaging
DE102008021641A1 (en) * 2008-04-30 2009-11-05 Carl Zeiss Microlmaging Gmbh Resolution Enhanced Luminescence Microscopy
US9348127B2 (en) 2008-09-30 2016-05-24 Carl Zeiss Microscopy Gmbh Methods and apparatuses for structured illumination microscopy
DE102008049878A1 (en) 2008-09-30 2010-04-01 Carl Zeiss Microlmaging Gmbh Improved methods and devices for microscopy with structured illumination
WO2010037487A1 (en) * 2008-09-30 2010-04-08 Carl Zeiss Microimaging Gmbh Improved methods and apparatuses for structured illumination microscopy
WO2011131401A1 (en) 2010-04-23 2011-10-27 Leica Microsystems Cms Gmbh Method for examining a sample containing fluorescent dyes with the aid of a microscope
DE102010016598A1 (en) * 2010-04-23 2011-10-27 Leica Microsystems Cms Gmbh A method of inspecting a sample containing fluorescent dyes by means of a microscope
WO2012168065A1 (en) 2011-06-09 2012-12-13 Carl Zeiss Microscopy Gmbh High-resolution luminescence microscopy
DE102011077269A1 (en) 2011-06-09 2012-12-13 Carl Zeiss Microimaging Gmbh High-resolution luminescence microscopy
WO2013053859A1 (en) 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh High-resolution luminescence microscopy
DE102011084315A1 (en) 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh High-resolution luminescence microscopy
US9726877B2 (en) 2011-10-12 2017-08-08 Carl Zeiss Microscopy Gmbh High-resolution luminescence microscopy
WO2020074278A1 (en) 2018-10-10 2020-04-16 Friedrich-Schiller-Universitaet Method and device for high-resolution fluorescence microscopy
EP3650905A1 (en) 2018-11-12 2020-05-13 Carl Zeiss Microscopy GmbH Improved method and devices for microscopy with structured illumination
DE102018009056A1 (en) 2018-11-12 2020-05-14 Carl Zeiss Microscopy Gmbh Accelerated methods and devices for three-dimensional microscopy with structured illumination
US11221297B2 (en) 2018-11-12 2022-01-11 Carl Zeiss Microscopy Gmbh Accelerated methods and apparatuses for three-dimensional microscopy with structured illumination
DE102020211380A1 (en) 2020-09-10 2022-03-10 Carl Zeiss Microscopy Gmbh Process for super-resolution evaluation of structured illuminated microscope images and microscope with structured illumination

Also Published As

Publication number Publication date
ATE227434T1 (en) 2002-11-15
WO2000052512A1 (en) 2000-09-08
US6909105B1 (en) 2005-06-21
EP1157297A1 (en) 2001-11-28
DE50000729D1 (en) 2002-12-12
EP1157297B1 (en) 2002-11-06

Similar Documents

Publication Publication Date Title
DE19908883A1 (en) Process for increasing the resolution of optical imaging
EP1907826B2 (en) Luminescence microscopy with enhanced resolution
EP2867715B1 (en) Microscope and method for spim microscopy
EP1862839B1 (en) Microscope with improved resolution
DE112019004851T5 (en) APPARATUS AND METHOD FOR RAPID VOLUMETRIC FLUORESCENT MICROSCOPY USING TIME MULTIPLEXED LIGHT SHEETS
EP1556728B1 (en) Method for improving depth discrimination in optical reproduction systems
DE60320369T2 (en) ILLUMINATION DEVICE FOR MICROSCOPY AND PICTURE PRODUCTION METHOD
DE102020127320B3 (en) Method and fluorescence microscope for localizing individual fluorescent dye molecules by adaptive scanning
DE10240859A1 (en) Differential contrast transmission electron microscope and method for processing electron microscopic image data
DE102020122605A1 (en) Method, image processing unit and laser scanning microscope for background-reduced imaging of a structure in a sample
DE10155002A1 (en) Depth-resolved optical imaging method for use in biological scanning microscopy, uses phase or frequency modulation of the imaging light
DE102020134495B4 (en) Method and microscope for recording trajectories of individual particles in a sample
DE102017119531A1 (en) High-resolution 2D microscopy with improved slice thickness
DE102020211380A1 (en) Process for super-resolution evaluation of structured illuminated microscope images and microscope with structured illumination
WO2022079265A1 (en) Methods and apparatus for light-microscopic multiscale recording of biological specimens
EP1875293B1 (en) High-resolution optical microscopy featuring fluorescence transient measurement
Shi et al. Evaluating structured-illumination patterns in optimizing optical-sectioning of HiLo microscopy
EP3548836B1 (en) Determining the arrangement of a sample object by means of angle-selective illumination
WO2016071033A1 (en) Method for generating an image of a sample
EP0244640B1 (en) Light-modulating microscope using deconvolution
DE102009015945A1 (en) Apparatus and method for imaging the surface of a sample
WO2018209370A1 (en) Thermography method
DE102018122816A1 (en) Method and device for determining a property of an object
DE112018005412T5 (en) Label-free microscopy
EP3899502A1 (en) Fluorescent light microscopy with increased axial resolution

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8127 New person/name/address of the applicant

Owner name: HEINTZMANN, RAINER, DR., 37077 GOETTINGEN, DE

8139 Disposal/non-payment of the annual fee