DE102006044229B4 - Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters - Google Patents

Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters Download PDF

Info

Publication number
DE102006044229B4
DE102006044229B4 DE102006044229.6A DE102006044229A DE102006044229B4 DE 102006044229 B4 DE102006044229 B4 DE 102006044229B4 DE 102006044229 A DE102006044229 A DE 102006044229A DE 102006044229 B4 DE102006044229 B4 DE 102006044229B4
Authority
DE
Germany
Prior art keywords
grid
images
function
image
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102006044229.6A
Other languages
English (en)
Other versions
DE102006044229A1 (de
Inventor
Lutz Schäfer
Prof. Dr. Schuster Dietwald
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to DE102006044229.6A priority Critical patent/DE102006044229B4/de
Priority to US11/900,532 priority patent/US8160379B2/en
Publication of DE102006044229A1 publication Critical patent/DE102006044229A1/de
Application granted granted Critical
Publication of DE102006044229B4 publication Critical patent/DE102006044229B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Verfahren zur Rekonstruktion einer Bildfunktion (r), die eine Objektfunktion (f) eines durch periodisch strukturierte Beleuchtung mit einem Beleuchtungsgitter (12) eines Mikroskops abgebildeten Objektes (1) repräsentiert, wobei das Beleuchtungsgitter (12) eine Ortsfrequenz ω aufweist, umfassend:- Bereitstellung von Zwischenbildern (gi) des Objektes (1), die mit verschiedenen Phasen (φ i) des Beleuchtungsgitters (12) des Mikroskops aufgenommen wurden,- Bereitstellung (S1) einer Gruppe von optischen Schnittbildern, die nach Faltungsoperationen der Objektfunktion (f) mit einer Beleuchtungs-Punkttransferfunktion (hl) gebildet sind, aus den aufgenommenen Zwischenbildern (gi) des Objektes (1), wobei die Beleuchtungs-Punkttransferfunktion (hl) eine Punkttransferfunktion ist, welche die Übertragung der Lichtmodulation der Gitterstruktur des Beleuchtungsgitters (12) bis zum Objekt (1) beschreibt, und- Demodulation (S2) der Gruppe von optischen Schnittbildern zur Erzeugung der Bildfunktion (r), dadurch gekennzeichnet, dass- die Gruppe der optischen Schnittbilder Teilbilder (gck, gsk) enthält, deren Beiträge in der Bildfunktion (r) durch k-te höhere Fourierkomponenten (k > 1) des Beleuchtungsgitters (12) gebildet sind, wobei- bei der Demodulation (S2) der Gruppe von optischen Schnittbildern die k-ten höheren Fourierkomponenten des Beleuchtungsgitters (12) (k > 1) berücksichtigt werden.

Description

  • Die Erfindung betrifft Verfahren zur Bildverarbeitung, insbesondere ein Verfahren zur Rekonstruktion von Bildern, die mit einem Mikroskop mit strukturierter Beleuchtung aufgenommen wurden, und ein Abbildungsverfahren zur mikroskopischen Abbildung eines Objekts. Die Erfindung betrifft auch Vorrichtungen zur Umsetzung der genannten Verfahren, insbesondere eine Abbildungsvorrichtung, wie z. B. ein Mikroskop, und eine Rekonstruktionseinrichtung zur Bildrekonstruktion, und Anwendungen der Verfahren.
  • In der optischen Mikroskopie wurden verschiedene Verfahren zur tiefenaufgelösten Abbildung von Objekten entwickelt, z. B. um ein oder mehrere Schnittbilder durch eine Probe zu erhalten. Beispielsweise wird bei der Konfokalmikroskopie mit einer konfokalen, punktweisen Beleuchtung und Abbildung Bildinformation ausschließlich in der interessierenden Schnittebene gesammelt. Nachteile der Konfokalmikroskopie bestehen insbesondere wegen des komplexen Mikroskopaufbaus und der aufwändigen Sammlung der Bildinformation.
  • Ein weiteres Verfahren ist die Mikroskopie mit strukturierter Beleuchtung (SIM-Technik). Bei diesem Verfahren der Weitfeldmikroskopie wird eine periodische Gitterstruktur in die interessierende Schnittebene der Probe fokussiert. Durch die Abbildung der Gitterstruktur eines Beleuchtungsgitters in die Schnittebene wird eine Modulation der Beleuchtung im Ortsraum eingeführt, wodurch das sog. „missing cone“-Problem der Weitfeldmikroskopie überwunden wird. Aus mehreren Zwischenbildern, die jeweils mit einer anderen Phasenlage der Gitterstruktur aufgenommen werden, kann eine Bildfunktion berechnet werden, die ein Bild der Schnittebene im realen Objekt darstellt (siehe z. B. WO 2004/038483 A1 ). Die herkömmliche Mikroskopie mit strukturierter Beleuchtung hat jedoch den generellen Nachteil, dass das aus den Zwischenbildern rekonstruierte Bild eine Näherung darstellt, deren Qualität insbesondere durch Artefakte und Instabilitäten eingeschränkt sein kann.
  • Zum effizienten Einsatz von Beleuchtungsgittern für strukturierte Beleuchtung werden meist Transmissionsgitter verwendet, die durch scharf abgegrenzte Streifen gebildet werden (sog. „Ronchy Ruling“). Die herkömmliche Mikroskopie mit strukturierter Beleuchtung hat den generellen Nachteil, dass oft aus Gründen der Lichtausbeute ein Transmissionsgitter mit einer relativ großen Periode gewählt wird. Im Ergebnis kann die axiale Auflösung nur beschränkt verbessert werden, wobei jedoch das Potential von auftretenden Artefakten je nach Beobachtungs-Punkttransferfunktion relativ hoch ist. Nachteilig ist des Weiteren, dass in den herkömmlich berechneten optischen Schnitten Fourierkomponenten, die außerhalb der Grundschwingung des Transmissionsgitters liegen, nachteilige Artefakte erzeugen (siehe L. H. Schaefer et al. in „Journal of Microscopy", Bd. 216, 2004, S. 165-174). In der Praxis hat sich daher gezeigt, dass die Qualität der Bildrekonstruktion, insbesondere bei der Untersuchung biologischer Proben, unerwünschte Beschränkungen zeigen kann. Diese können sich z. B. darin äußern, dass Details der realen Probe nur mit ungenügender Auflösung abgebildet werden.
  • Weitere Verfahren zur Bildrekonstruktion für die Mikroskopie mit strukturierter Beleuchtung werden in DE 10 2005 052 061 A1 (nachveröffentlichte Patentanmeldung), US 5 867 604 A , von M.G.L. Gustafsson et al. in „PNAS", Band 102, 2005, S. 13081-13086 und von R. Heintzmann et al. in „Applied Optics", Band 45, 2006, S. 5037-5045 beschrieben.
  • Die Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Bildrekonstruktion aus Zwischenbildern eines mit strukturierter Beleuchtung abgebildeten Objektes bereitzustellen, mit dem die Nachteile der herkömmlichen Techniken überwunden werden. Die Aufgabe der Erfindung ist es ferner, ein verbessertes Abbildungsverfahren zur Gewinnung von Bildern von strukturiert beleuchteten Objekten bereitzustellen. Die Aufgabe der Erfindung ist es auch, eine entsprechend verbesserte Abbildungsvorrichtung bereitzustellen.
  • Diese Aufgaben werden durch Verfahren bzw. Vorrichtungen mit den Merkmalen der nebengeordneten Ansprüche gelöst. Vorteilhafte Ausführungsformen und Anwendungen der Erfindung ergeben sich aus den abhängigen Patentansprüchen.
  • Verfahrensbezogen basiert die Erfindung gemäß einem ersten Aspekt insbesondere auf der technischen Lehre, eine Bildfunktion aus optischen Schnittbildern zu rekonstruieren, die aus einer Abbildung mit strukturierter Beleuchtung ermittelt wurden und deren Beiträge in der Bildfunktion durch k-te Fourierkomponenten (k > 1) des Beleuchtungsgitters gebildet sind. Vorteilhafterweise enthält die Menge der optischen Schnittbilder durch die höheren Fourierkomponenten des Beleuchtungsgitters Teilbilder mit Informationen der Probe, die sonst nur durch die Beleuchtung mit einem Gitter dieser kleineren Periode verfügbar wären, das sonst alleine funktionsbedingt (Lichtausbeute, durch Beleuchtungs-Punkttransferfunktion erreichbare Modulationstiefe) ggf. nicht einsetzbar wäre.
  • Die Erfinder haben festgestellt, dass, weil die höheren Fourierkomponenten, die bei der herkömmlichen Berechnung eines optischen Schnittes lediglich als oszillatorische Störungen auftraten und verworfen wurden (siehe o. g. Publikation von L. H. Schaefer et al.), erfindungsgemäß bei der Rekonstruktion (Demodulation der Schnittbilder) berücksichtigt werden, sich als wesentliche Vorteile eine verbesserte Artefaktunterdrückung und eine Auflösungsverbesserung durch einen vergrößerten Informationsgewinn ergeben. Die erfindungsgemäß berechnete Bildfunktion repräsentiert eine erheblich verbesserte Näherung der realen Objektfunktion. Ein weiterer wichtiger Vorteil besteht darin, dass anwendungsabhängig ohne Beeinträchtigung der Qualität der Bildrekonstruktion zur strukturierten Beleuchtung bei Bedarf eine gröbere Gitterstruktur verwendet werden kann, die mehr Licht durchlässt und ggf. ein verbessertes Signal-Rausch-Verhältnis ergibt.
  • In der vorliegenden Beschreibung wird mit der „Objektfunktion“ (f) eine von Ortskoordinaten x und y abhängige reale Amplitude des in der interessierenden Schnittebene des untersuchten Objekts (Probe) vorhandenen Lichtes (z. B. Transmission, Reflektion oder Fluoreszenz) bezeichnet. Die „Bildfunktion“ (r) ist die durch die erfindungsgemäße Rekonstruktion ermittelte Approximation (Bild) der Objektfunktion und somit die Approximation des durch periodisch strukturierte Beleuchtung mit einem Beleuchtungsgitter abgebildeten Objektes. Die optischen Schnittbilder werden aus „Zwischenbildern“ (g;) berechnet, die mit der an sich bekannten periodisch strukturierten Beleuchtung des Objekts mit verschiedenen Phasenlagen der Gitterstruktur detektiert werden. Mehrere Zwischenbilder, die mit verschiedenen Phasen des Beleuchtungsgitters aufgenommen werden, liefern eine Vielzahl von optischen Schnittbildern. Innerhalb dieser Gruppe von optischen Schnittbildern werden die Schnittbilder, die durch die höheren Fourierkomponenten des Beleuchtungsgitters gebildet sind, als „Teilbilder“ (gck, gsk) bezeichnet. Mit der „Punkttransferfunktion“ (englisch: Point Spread Function, PSF; Fourier-Transformierte der PSF: Optical Transfer Function, OTF) wird die Übertragung des Lichtes und ggf. der Bildinformation im optischen System beschrieben, das zur Abbildung verwendet wird. Die „Beleuchtungs-Punkttransferfunktion“ beschreibt die Übertragung des Lichtes von der Lichtquelle über die Gitterstruktur bis zur Probe. Die „Detektions-Punkttransferfunktion“ beschreibt die Übertragung des Lichtes von der Probe bis zur Kamera.
  • Wenn gemäß einer bevorzugten Ausführungsform der Erfindung die Gitterperiode und Phasenlage des Beleuchtungsgitters aus weiteren Teilbildern (gck, gsk) ermittelt werden, die in der Bildfunktion (r) durch Basis-Fourierkomponenten (k = 1) des Beleuchtungsgitters gebildet sind, ergeben sich Vorteile für einen relativ geringen Rechenaufwand bei der Rekonstruktion. Vorteilhafterweise können zur Berechnung der Bildfunktion (r) aus allen berücksichtigten Teilbildern entsprechend Vielfache der Gitterperiode und Phasenlage des Beleuchtungsgitters verwendet werden.
  • Gemäß einer bevorzugten Ausführungsform der Erfindung kann das erfindungsgemäße Rekonstruktionsverfahren auf optische Schnittbilder unmittelbar nach deren Berechnung bei einer mikroskopischen Abbildung mit strukturierter Beleuchtung angewendet werden. Vorteilhafterweise wird in diesem Fall die gesuchte Bildfunktion direkt aus den optischen Schnittbildern gebildet. Gemäß einer alternativen Ausführungsform der Erfindung kann das erfindungsgemäße Rekonstruktionsverfahren auf optische Schnittbilder angewendet werden, die aus gespeichert vorliegenden Zwischenbildern (Rohdaten) von herkömmlichen mikroskopischen Abbildungen berechnet werden.
  • Weitere bevorzugte Ausführungsformen der Erfindung sind unten in Zusammenhang mit einer mathematischen Beschreibung der Bildrekonstruktion genannt.
  • Verfahrensbezogen wird die oben genannte Aufgabe gemäß einem zweiten Aspekt der Erfindung durch ein Abbildungsverfahren zur Gewinnung einer Bildfunktion eines Objekts gelöst, bei dem mit einer periodisch strukturierten Beleuchtung des Objekts jeweils mit verschiedenen Phasen der zur Beleuchtung verwendeten Gitterstruktur mehrere Zwischenbilder aufgenommen und aus diesen optische Schnittbilder berechnet werden, wobei die optischen Schnittbilder dem Verfahren zur Rekonstruktion der Bildfunktion gemäß dem oben genannten ersten Aspekt der Erfindung unterzogen werden. Mit dem Abbildungsverfahren können vorteilhafterweise tiefenaufgelöste Bilder mit verbesserter Bildqualität bereitgestellt werden.
  • Vorrichtungsbezogen wird die oben genannte Aufgabe gemäß einem weiteren Aspekt der Erfindung durch eine Abbildungsvorrichtung gelöst, die eine Bildaufnahmeeinrichtung, die zur periodisch strukturierten Beleuchtung des Objekts und zur Detektion einer Vielzahl von Zwischenbildern eingerichtet ist, und eine Rekonstruktionseinrichtung aufweist, die zur Rekonstruktion einer Bildfunktion eingerichtet ist, die eine Objektfunktion des Objekts repräsentiert. Die Rekonstruktionseinrichtung (Rekonstruktionsschaltkreis) enthält eine Demodulationsschaltung, die insbesondere zur Rekonstruktion der Bildfunktion, welche die Objektfunktion des Objekts repräsentiert, aus der Gruppe von optischen Schnittbildern eingerichtet ist, die Teilbilder (gck, gsk) enthält, deren Beiträge in der Bildfunktion durch k-te Fourierkomponenten (k > 1) des Beleuchtungsgitters gebildet sind. Vorzugsweise ist die Rekonstruktionseinrichtung zur Ausführung des erfindungsgemäßen Bildrekonstruktionsverfahrens eingerichtet.
  • Gemäß einer bevorzugten Ausführungsform der Erfindung ist die Abbildungsvorrichtung ein optisches Mikroskop mit strukturierter Beleuchtung, das mit der Rekonstruktionseinrichtung ausgestattet ist.
  • Weitere unabhängige Gegenstände der Erfindung sind ein Computer-Programmprodukt auf einem elektronischen, magnetischen oder optischen Speichermedium mit einem Programmcode zur Ausführung des erfindungsgemäßen Rekonstruktionsverfahrens, und das Speichermedium, das Programmanweisungen zur Ausführung des erfindungsgemäßen Rekonstruktionsverfahrens enthält.
  • Weitere Einzelheiten und Vorteile der Erfindung werden im Folgenden unter Bezug auf die beigefügten Zeichnungen beschrieben. Es zeigen:
    • 1: ein Flussdiagramm zur Illustration eines Bildrekonstruktionsverfahrens gemäß einer Ausführungsform der Erfindung,
    • 2: eine schematische Illustration einer Abbildungsvorrichtung gemäß einer Ausführungsform der Erfindung, und
    • 3: Bildbeispiele, die den mit der Erfindung erreichten Qualitätsgewinn zeigen.
  • Die Erfindung wird im Folgenden unter Bezug auf die Umsetzung der Rekonstruktion der Bildfunktion beschrieben. Einzelheiten der Bildaufnahme mit einem Mikroskop mit strukturierter Beleuchtung sind an sich bekannt und werden daher hier nicht erläutert.
  • 1 illustriert mit den Schritten S0 bis S2 einen Ablauf des erfindungsgemäßen Rekonstruktionsverfahrens, dessen Einzelheiten unten in Zusammenhang mit dem erfindungsgemäßen Abbildungsverfahren erläutert sind. Die optischen Schnittbilder, die Ausgangspunkt der Rekonstruktion sind, können direkt aus Zwischenbildern einer Bildaufnahme mit strukturierter Beleuchtung berechnet werden. In diesem Fall wird mit den Schritten 50.1 bis S2 das erfindungsgemäßen Abbildungsverfahren realisiert. Alternativ können die optischen Schnittbilder mit einer Bildpräparation aus vorab aufgenommenen und gespeicherten Zwischenbildern Bildfunktionen bereitgestellt werden, um das Rekonstruktionsverfahren auf vorgegebene Bilddaten anzuwenden (Schritte 50.2 bis S2).
  • Beim erfindungsgemäßen Abbildungsverfahren 50.1 bis S2 erfolgt zunächst wie bei herkömmlichen Techniken eine Bildaufnahme mit der Methode der strukturierten Beleuchtung. Bei der Bildaufnahme werden in einem ersten Teilschritt 50.1 zunächst mehrere Zwischenbilder g; ermittelt.
  • Mit einer Gitterstruktur si, die durch eine Ortsfrequenz ω und eine Phase φ charakterisiert ist und gemäß s i ( x , z ) = δ ( z ) [ 1 + m c o s ( ω x + φ i ) ]
    Figure DE102006044229B4_0001
    beschrieben werden kann, ergibt sich mit den Koordinaten x̂k = (xk,yk,zk) und den Differentialen dx̂k = dxkdykdzk die Darstellung der Zwischenbilder gi, wie es von L. H. Schaefer et al. in „Journal of Microscopy“ (s.o.) beschrieben wird, gemäß: g i ( x _ ) = ƒ ( x 1 _ ) | h D ( x _ x 1 _ ) | 2 × s i ( x x 0 , z z 0 z 1 ) | h I ( x 0 ) | 2 d x 0 _ d x 1 _
    Figure DE102006044229B4_0002
    (hI und hD: Beleuchtungs- und Detektions-Punkttransferfunktionen) oder vereinfacht g i = h D * ( ƒ [ h I * s i ]
    Figure DE102006044229B4_0003
  • Im Unterschied zu der von L. H. Schaefer et al. in der o. g. Publikation vorgeschlagenen herkömmlichen Näherung g i = h D * ( ƒ [ h I * s i ] ) = g w + g x c o s   φ i + g s s i n   φ i
    Figure DE102006044229B4_0004
    werden erfindungsgemäß die Zwischenbilder gemäß g i = g w + k [ g c k  cos ( m φ i ) + g s k  sin ( m φ i ) ]
    Figure DE102006044229B4_0005
    dargestellt. In Gleichung (5) repräsentieren gw das herkömmliche mikroskopische Weitfeldbild und die optische Schnittbilder gck, gsk insbesondere die Teilbilder, die durch die Basis-Fourierkomponenten des Beleuchtungsgitters (k = 1) und durch die ganzzahligen (k-ten) Vielfachen der Fourierkomponenten der Struktur des Beleuchtungsgitters bestimmt werden (k > 1) .
  • Die mit verschiedenen Phasen φi des Beleuchtungsgitters aufgenommenen Zwischenbilder ergeben wie in WO 2004/038483 A1 und von L. H. Schaefer et al. in der o. g. Publikation beschrieben ein Gleichungssystem, durch dessen Lösung die gesuchten optischen Schnittbilder, insbesondere mit den Teilbildern entsprechend den höheren Fourierkomponenten des Beleuchtungsgitters, ermittelt werden (Schritt Sl). Da der Vektor von unbekannten Größen (gW, gC1...gCN gS1...gSN)T gemäß Gleichung (5) im Unterschied zur herkömmlichen Näherung (4) erweitert ist, sind für die Lösung des Gleichungssystems entsprechend mehr Rohdaten (Zwischenbilder gi) erforderlich.
  • Wenn z. B. mindestens fünf Zwischenbilder g; mit verschiedenen Phasen φ aufgenommen werden, ergibt sich mit Gleichung (5) ein Gleichungssystem, aus dem bei Schritt S1 die optischen Schnittbilder gck, gsk getrennt berechnet werden. Die Lösung des Gleichungssystems erfolgt z. B. mit dem von L. H. Schaefer et al. in der o. g. Publikation beschriebenen Verfahren. Die optischen Schnittbilder gck, gsk werden als Eingangsgrößen der anschließenden Demodulation (Schritt S2) bereitgestellt.
  • Bei Schritt S2 folgt zur Rekonstruktion des Ergebnisbildes (der gesuchten Bildfunktion) eine heterodyne Demodulation, bei der die Bildfunktion (r) gemäß r = k w k [ g c k + j   g s k ] e j ω k x
    Figure DE102006044229B4_0006
    berechnet wird (wk: vorbestimmte Gewichte der k-ten Fourierkomponenten des Beleuchtungsgitters). Die Demodulation gemäß Gleichung (6) stellt eine lineare Berechnung dar und wird daher bevorzugt angewendet.
  • Die Gewichte wk ergeben sich aus der Fouriersynthese der verwendeten Gitterform. Im Falle eines Beleuchtungsgitters, dessen Transmissionsverlauf durch eine Rechteckfunktion mit einem l:l-Tastverhältnis repräsentiert wird, ist w1 = 1, w3 = 3, w5 = 5, ... etc.. Das 1:1-Tastverhältnis hat die Vorteile einer guten Realisierbarkeit und einer Vereinfachung des Rechenaufwandes.
  • Für die Demodulation gemäß Gleichung (6) ist das genaue Wissen von ejωkx, also der Gitterperiode und Phasenlage jeder Fourierkomponente des Beleuchtungsgitters notwendig. Vorzugsweise werden nun in einem ersten Vorbereitungsschritt mit der Gitterperiode der Grundschwingung (k = 1) diese Größen mit der erforderlichen Genauigkeit aus den aufgenommenen Rohdaten ermittelt. Da die Ermittlung der Gitterperiode und der Phasenlage der Grundschwingung als Extremalproblem formulierbar ist, werden geeignete frequenz- und phasensensitive Kostenfunktionen minimiert, die als Parameter die Gitterperiode bzw. Phasenlage haben. Mit den so gefundenen Werten für gC1 und gS1 wird in einem weiteren Teilschritt die Bildfunktion (r) berechnet, die erfindungsgemäß auch ganzzahlige Vielfache der Gitterperiode enthält.
  • Die erfindungsgemäße Abbildungsvorrichtung 100 zur Gewinnung der Bildfunktion r eines Objekts 1 umfasst gemäß 2 eine Bildaufnahmeeinrichtung 10 zur periodisch strukturierten Beleuchtung des Objekts 1 und zur Detektion einer Vielzahl von Zwischenbildern gi, einen Schnittbildrechner 20 zur Ermittlung der optischen Teilbilder gck, gsk aus den Zwischenbildern gi, und eine Rekonstruktionseinrichtung 30 zur Rekonstruktion der Bildfunktion r, die eine Objektfunktion f des Objekts 1 repräsentiert. Optional ist zusätzlich eine Steuerungs- und Anzeigeeinrichtung 40 vorgesehen. Die Komponenten 20 bis 40 können durch einen oder mehrere Computer bereitgestellt werden.
  • Die Bildaufnahmeeinrichtung 10 umfasst eine Lichtquelle 11, eine bewegliche Gitterstruktur 12, einen halbdurchlässigen Spiegel 13, optische Komponenten 14 und eine Kamera 15. Diese Komponenten sind an sich von optischen Abbildungssystemen mit strukturierter Beleuchtung bekannt und werden zum Beispiel durch ein Mikroskop mit dem Gittereinschub und einer Steuerung vom Typ ApoTome (Carl Zeiss AG) realisiert. Der Schnittbildrechner 20 ist z. B. ein Rechnerschaltkreis, mit dem das oben genannte Gleichungssystem (5) zur Ermittlung der optischen Teilbilder gck, gsk gelöst wird. Die Rekonstruktionseinrichtung 30 umfasst eine Demodulationsschaltung 31 zur Berechnung der Bildfunktion r aus den korrigierten optischen Schnittbildern gemäß Gleichung (6).
  • Die 3A bis 3D illustrieren beispielhaft anhand von Messergebnissen, wie sich das Auflösungsvermögen bei der Abbildung einer Probe mit jeder bei der Rekonstruktion zusätzlich berücksichtigten Harmonischen des Beleuchtungsgitters verbessert. Das herkömmliche Weitfeld-Bild (k = 0, 3A) und das mit der herkömmlichen Demodulation (k = 1, 3B) erfasste Bild zeigen nur grobe Umrisse der Probenstruktur, während die erfindungsgemäß mit Teilbildern entsprechend den höheren Fourierkomponenten des Beleuchtungsgitters rekonstruierte Bildfunktion (3C - 3D) eine wesentlich verbesserte laterale und axiale Auflösung aufweist und zahlreiche Einzelheiten erkennen lässt.
  • Die in der vorstehenden Beschreibung, den Zeichnungen und den Ansprüchen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in Kombination für die Verwirklichung der Erfindung in ihren verschiedenen Ausgestaltungen von Bedeutung sein.

Claims (14)

  1. Verfahren zur Rekonstruktion einer Bildfunktion (r), die eine Objektfunktion (f) eines durch periodisch strukturierte Beleuchtung mit einem Beleuchtungsgitter (12) eines Mikroskops abgebildeten Objektes (1) repräsentiert, wobei das Beleuchtungsgitter (12) eine Ortsfrequenz ω aufweist, umfassend: - Bereitstellung von Zwischenbildern (gi) des Objektes (1), die mit verschiedenen Phasen (φ i) des Beleuchtungsgitters (12) des Mikroskops aufgenommen wurden, - Bereitstellung (S1) einer Gruppe von optischen Schnittbildern, die nach Faltungsoperationen der Objektfunktion (f) mit einer Beleuchtungs-Punkttransferfunktion (hl) gebildet sind, aus den aufgenommenen Zwischenbildern (gi) des Objektes (1), wobei die Beleuchtungs-Punkttransferfunktion (hl) eine Punkttransferfunktion ist, welche die Übertragung der Lichtmodulation der Gitterstruktur des Beleuchtungsgitters (12) bis zum Objekt (1) beschreibt, und - Demodulation (S2) der Gruppe von optischen Schnittbildern zur Erzeugung der Bildfunktion (r), dadurch gekennzeichnet, dass - die Gruppe der optischen Schnittbilder Teilbilder (gck, gsk) enthält, deren Beiträge in der Bildfunktion (r) durch k-te höhere Fourierkomponenten (k > 1) des Beleuchtungsgitters (12) gebildet sind, wobei - bei der Demodulation (S2) der Gruppe von optischen Schnittbildern die k-ten höheren Fourierkomponenten des Beleuchtungsgitters (12) (k > 1) berücksichtigt werden.
  2. Verfahren nach Anspruch 1, bei dem das Beleuchtungsgitter (12) eine Gitterstruktur si mit s i ( x , z ) = δ ( z ) [ 1 + m   c o s ( ω x + φ i ) ]
    Figure DE102006044229B4_0007
    aufweist, die durch eine Ortsfrequenz ω, eine Modulationstiefe m und eine Phase φ charakterisiert ist, wobei x und z Ortskoordinaten des Beleuchtungsgitters (12) umfassen, und die Teilbilder (gck, gsk) gemäß g i = g w + k [ g c k cos ( m φ i ) + g s k sin ( m φ i ) ]
    Figure DE102006044229B4_0008
    Komponenten der mit den verschiedenen Phasen (φi) des Beleuchtungsgitters (12) aufgenommenen Zwischenbilder (gi) sind, wobei gw ein mikroskopisches Weitfeldbild und die optischen Schnittbilder gck, gsk die Teilbilder (gck, gsk) repräsentieren, die durch die Basis-Fourierkomponente (k = 1) und durch die k-ten höheren Fourierkomponenten des Beleuchtungsgitters (12) (k > 1) bestimmt werden.
  3. Verfahren nach mindestens einem der vorhergehenden Ansprüche, bei dem zur Demodulation (S2) der Gruppe von optischen Schnittbildern die Bildfunktion (r) gemäß r = k w k [ g c k + j   g s k ] e j ω k x
    Figure DE102006044229B4_0009
    berechnet wird, wobei wk vorbestimmte Gewichte der k-ten Fourierkomponenten, und ωk eine k-fache Ortsfrequenz umfassen.
  4. Verfahren nach Anspruch 3, bei dem das Beleuchtungsgitter (12) eine Rechteckmodulation mit einem Tastverhältnis 1:1 aufweist und wk = 1, 3, 5, ... für k = 1, 3, 5, ... gilt.
  5. Verfahren nach Anspruch 3 oder 4, bei dem die Demodulation (S2) der Gruppe von optischen Schnittbildern den Schritt umfasst: - Ermittlung der Gitterperiode und Phasenlage des Beleuchtungsgitters (12) aus Teilbildern (gck, gsk), die in der Bildfunktion (r) durch Basis-Fourierkomponenten (k = 1) des Beleuchtungsgitters (12) gebildet sind, wobei zur Berechnung der Bildfunktion (r) entsprechend Vielfache der Gitterperiode und Phasenlage des Beleuchtungsgitters (12) verwendet werden.
  6. Verfahren nach Anspruch 5, bei dem die Gitterperiode und Phasenlage des Beleuchtungsgitters (12) durch eine Minimierung einer Kostenfunktion ermittelt werden.
  7. Verfahren nach mindestens einem der vorhergehenden Ansprüche, bei dem die Gruppe der optischen Schnittbilder unmittelbar durch eine Bildaufnahme (S0.1) oder durch eine Bildpräparation aus gegebenen Bilddaten (S0.2) bereitgestellt wird.
  8. Abbildungsverfahren zur Gewinnung einer Bildfunktion (r) eines Objekts (1), mit den Schritten: - periodisch strukturierte Beleuchtung des Objekts (1), - Detektion einer Vielzahl von Zwischenbildern (gi), - Ermittlung einer Gruppe von optischen Schnittbildern aus den Zwischenbildern (gi), und - Rekonstruktion (S1, S2) der Bildfunktion (r) mit einem Verfahren nach mindestens einem der vorhergehenden Ansprüche.
  9. Abbildungsvorrichtung (100) zur Gewinnung einer Bildfunktion (r) eines Objekts (1), die eine Objektfunktion (f) eines abgebildeten Objektes (1) repräsentiert, umfassend: - eine Bildaufnahmeeinrichtung (10), die zur periodisch strukturierten Beleuchtung des Objekts (1) mit einem Beleuchtungsgitter (12), das eine Ortsfrequenz ω aufweist, und zur Detektion einer Vielzahl von Zwischenbildern (gi) mit verschiedenen Phasen (φi) des Beleuchtungsgitters (12) eingerichtet ist, und - einen Schnittbildrechner (20), der zur Ermittlung einer Gruppe von optischen Schnittbildern durch Faltungsoperationen der Objektfunktion (f) mit einer Beleuchtungs-Punkttransferfunktion (hl) aus den Zwischenbildern (gi) eingerichtet ist, wobei die Beleuchtungs-Punkttransferfunktion (hl) eine Punkttransferfunktion ist, welche die Übertragung der Lichtmodulation der Gitterstruktur des Beleuchtungsgitters (12) bis zum Objekt (1) beschreibt, gekennzeichnet durch - eine Rekonstruktionseinrichtung (30), die zur Rekonstruktion der Bildfunktion (r) aus der Gruppe von optischen Schnittbildern eingerichtet ist, die Teilbilder (gck, gsk) enthält, deren Beiträge in der Bildfunktion (r) durch k-te höhere Fourierkomponenten (k > 1) des Beleuchtungsgitters (12) gebildet sind, wobei - die Rekonstruktionseinrichtung (30) eine Demodulationsschaltung (31) enthält, die zur Erzeugung der Bildfunktion (r) aus den Teilbildern (gck, gsk) eingerichtet ist, wobei die k-ten höheren Fourierkomponenten des Beleuchtungsgitters (12) berücksichtigt werden.
  10. Abbildungsvorrichtung (100) nach Anspruch 9, bei der die Rekonstruktionseinrichtung (30) zur Ausführung eines Rekonstruktionsverfahrens nach mindestens einem der Ansprüche 1 bis 8 eingerichtet ist.
  11. Abbildungsvorrichtung (100) nach mindestens einem der Ansprüche 9 bis 10, bei der die Bildaufnahmeeinrichtung (10) Teil eines optischen Mikroskops ist.
  12. Mikroskop, das eine Abbildungsvorrichtung (100) nach einem der Ansprüche 9 bis 11 aufweist.
  13. Computer-Programmprodukt, das sich auf einem Computer-lesbaren Speichermedium befindet, mit einem Programmcode zur Ausführung eines Rekonstruktionsverfahrens nach mindestens einem der Ansprüche 1 bis 7.
  14. Vorrichtung, die ein Computer-lesbares Speichermedium umfasst, das Programmanweisungen zur Ausführung eines Rekonstruktionsverfahrens nach mindestens einem der Ansprüche 1 bis 7 enthält.
DE102006044229.6A 2006-09-20 2006-09-20 Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters Active DE102006044229B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102006044229.6A DE102006044229B4 (de) 2006-09-20 2006-09-20 Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters
US11/900,532 US8160379B2 (en) 2006-09-20 2007-09-12 Methods and devices for image processing with higher harmonics of an illumination grating

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102006044229.6A DE102006044229B4 (de) 2006-09-20 2006-09-20 Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters

Publications (2)

Publication Number Publication Date
DE102006044229A1 DE102006044229A1 (de) 2008-04-03
DE102006044229B4 true DE102006044229B4 (de) 2023-09-28

Family

ID=39133963

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006044229.6A Active DE102006044229B4 (de) 2006-09-20 2006-09-20 Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters

Country Status (2)

Country Link
US (1) US8160379B2 (de)
DE (1) DE102006044229B4 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010088418A1 (en) 2009-01-29 2010-08-05 The Regents Of The University Of California High resolution structured illumination microscopy
DE102011086178A1 (de) * 2011-11-11 2013-05-16 Atmos Medizintechnik Gmbh & Co. Kg Maßstabseinblendung
DE102012017920B4 (de) * 2012-09-11 2023-11-30 Carl Zeiss Microscopy Gmbh Optikanordnung und Lichtmikroskop
CN105589188B (zh) * 2016-03-10 2018-01-16 清华大学 一种结构光照明显微镜的成像方法及装置
DK3622272T3 (da) 2018-01-08 2021-11-15 Illumina Inc Indretninger til højgennemløbssekventering med halvlederbaseret detektering
WO2019136376A1 (en) 2018-01-08 2019-07-11 Illumina, Inc. High-throughput sequencing with semiconductor-based detection
TWI725875B (zh) 2018-01-16 2021-04-21 美商伊路米納有限公司 結構照明成像系統和使用結構化光來創建高解析度圖像的方法
NL2020620B1 (en) 2018-01-16 2019-07-25 Illumina Inc Pattern angle spatial selection structured illumination imaging
NL2020622B1 (en) 2018-01-24 2019-07-30 Lllumina Cambridge Ltd Reduced dimensionality structured illumination microscopy with patterned arrays of nanowells
NL2020623B1 (en) 2018-01-24 2019-07-30 Illumina Inc Structured illumination microscopy with line scanning
NL2021258B1 (en) 2018-06-14 2019-12-20 Illumina Inc Device for luminescent imaging
TWI792150B (zh) 2018-06-29 2023-02-11 美商伊路米納有限公司 用於預測結構照明參數之方法、系統和非暫時性電腦可讀取媒體
TW202138867A (zh) * 2019-12-06 2021-10-16 美商伊路米納有限公司 提供參數估計的裝置和方法
CN115965703B (zh) * 2022-12-27 2023-07-25 中国科学院西安光学精密机械研究所 一种高保真结构光照明光切片三维显微图像的重构方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867604A (en) 1995-08-03 1999-02-02 Ben-Levy; Meir Imaging measurement system
US6239909B1 (en) 1997-12-25 2001-05-29 Olympus Optical Co. Ltd. Image-forming method and image-forming apparatus
WO2004038483A1 (de) 2002-10-28 2004-05-06 Carl Zeiss Jena Gmbh Verfahren zur berbesserung der tiefendiskriminierung optisch abbildender systeme
US6909105B1 (en) 1999-03-02 2005-06-21 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and device for representing an object
DE102005052061A1 (de) 2005-11-01 2007-05-16 Carl Zeiss Imaging Solutions G Verfahren und Vorrichtung zur Bildverarbeitung

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426297A (en) * 1993-09-27 1995-06-20 United Technologies Corporation Multiplexed Bragg grating sensors
US5898517A (en) * 1995-08-24 1999-04-27 Weis; R. Stephen Optical fiber modulation and demodulation system
WO2001094880A1 (fr) * 2000-06-07 2001-12-13 Citizen Watch Co., Ltd. Projecteur de motif de reseau utilisant un reseau de cristaux liquides
US7376068B1 (en) * 2000-08-19 2008-05-20 Jehad Khoury Nano-scale resolution holographic lens and pickup device
TW542899B (en) * 2002-04-10 2003-07-21 Univ Tsinghua Dual fiber Bragg grating strain sensor system
US7053362B2 (en) * 2003-05-02 2006-05-30 Mitutoyo Corporation Absolute position miniature grating encoder readhead using fiber optic receiver channels
US7623235B2 (en) * 2004-03-20 2009-11-24 Seng-Tiong Ho Curved grating spectrometer with very high wavelength resolution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867604A (en) 1995-08-03 1999-02-02 Ben-Levy; Meir Imaging measurement system
US6239909B1 (en) 1997-12-25 2001-05-29 Olympus Optical Co. Ltd. Image-forming method and image-forming apparatus
US6909105B1 (en) 1999-03-02 2005-06-21 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and device for representing an object
WO2004038483A1 (de) 2002-10-28 2004-05-06 Carl Zeiss Jena Gmbh Verfahren zur berbesserung der tiefendiskriminierung optisch abbildender systeme
DE102005052061A1 (de) 2005-11-01 2007-05-16 Carl Zeiss Imaging Solutions G Verfahren und Vorrichtung zur Bildverarbeitung

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
L. H. Schaefer et al. in „Journal of Microscopy", Bd. 216, 2004, S. 165-174
L. H. Schaeffer et al.; "Structured illumination microscopy: artefact analysis and reduction utilizing a parameter optimization approach"; Journal of Microscopy, Vol. 216, Pt 2, November 2004, S. 165 – 174
M.G.L. Gustafsson et al. in „PNAS", Band 102, 2005, S. 13081-13086
M.G.L. Gustafsson; "Nonlinear structured-illumination microscopy: Wide-field fluorescence imaging with theoretically unlimited resolution"; PNAS, Vol. 102, No. 37, September 13, 2005, S. 13081 – 13086
R. Heintzmann et al. in „Applied Optics", Band 45, 2006, S. 5037-5045
R. Heintzmann et al.; "High-resolution image reconstruction in fluorescence microscopy with patterned excitation"; Applied Optics, Vol. 45, No. 20, 10. Jul. 2006, S. 5037 - 5045
R. Heintzmann et al.; „Saturated patterned excitation microscopy – a concept for optical resolution improvement"; Vol. 19, No. 8, August 2002, J. Opt. Soc. Am. A, S. 1599 – 1609
SEARLE,Ben: Fluorescence Microscopy. Vortrag USU ECE 5930 im Kurs "Introduction to Biophotonics" von Prof.R.Sims und Prof.H.S.Hinton an der Utah State University,27.April 2006;Abschnitt "Structured Illumination"

Also Published As

Publication number Publication date
US20080069467A1 (en) 2008-03-20
DE102006044229A1 (de) 2008-04-03
US8160379B2 (en) 2012-04-17

Similar Documents

Publication Publication Date Title
DE102006044229B4 (de) Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters
EP1943625B1 (de) Verfahren und vorrichtung zur rekonstruktion von bildern
WO2016030390A2 (de) Phasenkontrast-bildgebung
EP3172611B1 (de) Verfahren und vorrichtung zum abbilden eines objekts
EP3447559B1 (de) Hochauflösende 2d-mikroskopie mit verbesserter schnittdicke
EP3195250B1 (de) Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung
EP3807838A2 (de) Materialprüfung von optischen prüflingen
DE102017106984B4 (de) Lichtmikroskop und Verfahren zum Betreiben eines Lichtmikroskops mit optimierter Beleuchtungsgeometrie
EP3452858B1 (de) Artefaktreduktion bei der winkelselektiven beleuchtung
EP3655810B1 (de) Lichtblattmikroskopisches verfahren zur erzeugung eines volumenbildes einer probe und lichtblattmikroskop
DE102019100184A1 (de) Hochauflösende Scanning-Mikroskopie
DE102020123669A1 (de) Verfahren zur SIM-Mikroskopie
DE102010007730A1 (de) Verfahren und Vorrichtung zum Einstellen eines geeigneten Auswerteparameters für ein Fluoreszenzmikroskop
Li et al. PURE-LET deconvolution of 3D fluorescence microscopy images
WO2010083984A2 (de) Vorrichtung und verfahren zur abbildung der oberfläche einer probe
EP3988989B1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
DE102020113313A1 (de) Verfahren, computerprogramm und mikroskopsystem zum verarbeiten von mikroskopbildern
DE102020123668A1 (de) Verfahren zur Bildauswertung für die SIM-Mikroskopie und SIM-Mikroskopieverfahren
DE102018101014B3 (de) Verfahren zum Detektieren charakteristischer Merkmale eines Lichtmusters in einem mittels einer Fahrzeugkamera erfassten Abbild davon
DE10355150B4 (de) Verfahren und System zur Analyse von Co-Lokalisationen
DE102018210606A1 (de) Mikroskopisches Abbildungsverfahren unter Verwendung eines Korrekturfaktors
DE102022128079A1 (de) Verfahren und vorrichtung zur lichtfeldmikroskopie
WO2006061359A1 (de) Verfahren zur auswahl einer wellenlänge und mikroskop
DE102021129159A1 (de) Verfahren, Vorrichtung und Softwareprogramm zur Auflösungssteigerung in der Mikroskopie
WO2001092818A1 (de) Verfahren zur korrektur physikalisch bedingter fehler bei der messung mikroskopischer objekte

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8127 New person/name/address of the applicant

Owner name: CARL ZEISS IMAGING SOLUTION GMBH, 81379 MUENCH, DE

R082 Change of representative

Representative=s name: V. BEZOLD & PARTNER, DE

R081 Change of applicant/patentee

Owner name: CARL ZEISS MICROSCOPY GMBH, DE

Free format text: FORMER OWNER: CARL ZEISS IMAGING SOLUTIONS GMBH, 81379 MUENCHEN, DE

Effective date: 20130102

R082 Change of representative

Representative=s name: V. BEZOLD & PARTNER PATENTANWAELTE - PARTG MBB, DE

Effective date: 20130102

Representative=s name: V. BEZOLD & PARTNER, DE

Effective date: 20130102

R012 Request for examination validly filed

Effective date: 20130722

R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final