-
Die Erfindung betrifft Verfahren zur Bildverarbeitung, insbesondere ein Verfahren zur Rekonstruktion von Bildern, die mit einem Mikroskop mit strukturierter Beleuchtung aufgenommen wurden, und ein Abbildungsverfahren zur mikroskopischen Abbildung eines Objekts. Die Erfindung betrifft auch Vorrichtungen zur Umsetzung der genannten Verfahren, insbesondere eine Abbildungsvorrichtung, wie z. B. ein Mikroskop, und eine Rekonstruktionseinrichtung zur Bildrekonstruktion, und Anwendungen der Verfahren.
-
In der optischen Mikroskopie wurden verschiedene Verfahren zur tiefenaufgelösten Abbildung von Objekten entwickelt, z. B. um ein oder mehrere Schnittbilder durch eine Probe zu erhalten. Beispielsweise wird bei der Konfokalmikroskopie mit einer konfokalen, punktweisen Beleuchtung und Abbildung Bildinformation ausschließlich in der interessierenden Schnittebene gesammelt. Nachteile der Konfokalmikroskopie bestehen insbesondere wegen des komplexen Mikroskopaufbaus und der aufwändigen Sammlung der Bildinformation.
-
Ein weiteres Verfahren ist die Mikroskopie mit strukturierter Beleuchtung (SIM-Technik). Bei diesem Verfahren der Weitfeldmikroskopie wird eine periodische Gitterstruktur in die interessierende Schnittebene der Probe fokussiert. Durch die Abbildung der Gitterstruktur eines Beleuchtungsgitters in die Schnittebene wird eine Modulation der Beleuchtung im Ortsraum eingeführt, wodurch das sog. „missing cone“-Problem der Weitfeldmikroskopie überwunden wird. Aus mehreren Zwischenbildern, die jeweils mit einer anderen Phasenlage der Gitterstruktur aufgenommen werden, kann eine Bildfunktion berechnet werden, die ein Bild der Schnittebene im realen Objekt darstellt (siehe z. B.
WO 2004/038483 A1 ). Die herkömmliche Mikroskopie mit strukturierter Beleuchtung hat jedoch den generellen Nachteil, dass das aus den Zwischenbildern rekonstruierte Bild eine Näherung darstellt, deren Qualität insbesondere durch Artefakte und Instabilitäten eingeschränkt sein kann.
-
Zum effizienten Einsatz von Beleuchtungsgittern für strukturierte Beleuchtung werden meist Transmissionsgitter verwendet, die durch scharf abgegrenzte Streifen gebildet werden (sog. „Ronchy Ruling“). Die herkömmliche Mikroskopie mit strukturierter Beleuchtung hat den generellen Nachteil, dass oft aus Gründen der Lichtausbeute ein Transmissionsgitter mit einer relativ großen Periode gewählt wird. Im Ergebnis kann die axiale Auflösung nur beschränkt verbessert werden, wobei jedoch das Potential von auftretenden Artefakten je nach Beobachtungs-Punkttransferfunktion relativ hoch ist. Nachteilig ist des Weiteren, dass in den herkömmlich berechneten optischen Schnitten Fourierkomponenten, die außerhalb der Grundschwingung des Transmissionsgitters liegen, nachteilige Artefakte erzeugen (siehe L. H. Schaefer et al. in „Journal of Microscopy", Bd. 216, 2004, S. 165-174). In der Praxis hat sich daher gezeigt, dass die Qualität der Bildrekonstruktion, insbesondere bei der Untersuchung biologischer Proben, unerwünschte Beschränkungen zeigen kann. Diese können sich z. B. darin äußern, dass Details der realen Probe nur mit ungenügender Auflösung abgebildet werden.
-
Weitere Verfahren zur Bildrekonstruktion für die Mikroskopie mit strukturierter Beleuchtung werden in
DE 10 2005 052 061 A1 (nachveröffentlichte Patentanmeldung),
US 5 867 604 A , von
M.G.L. Gustafsson et al. in „PNAS", Band 102, 2005, S. 13081-13086 und von
R. Heintzmann et al. in „Applied Optics", Band 45, 2006, S. 5037-5045 beschrieben.
-
Die Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Bildrekonstruktion aus Zwischenbildern eines mit strukturierter Beleuchtung abgebildeten Objektes bereitzustellen, mit dem die Nachteile der herkömmlichen Techniken überwunden werden. Die Aufgabe der Erfindung ist es ferner, ein verbessertes Abbildungsverfahren zur Gewinnung von Bildern von strukturiert beleuchteten Objekten bereitzustellen. Die Aufgabe der Erfindung ist es auch, eine entsprechend verbesserte Abbildungsvorrichtung bereitzustellen.
-
Diese Aufgaben werden durch Verfahren bzw. Vorrichtungen mit den Merkmalen der nebengeordneten Ansprüche gelöst. Vorteilhafte Ausführungsformen und Anwendungen der Erfindung ergeben sich aus den abhängigen Patentansprüchen.
-
Verfahrensbezogen basiert die Erfindung gemäß einem ersten Aspekt insbesondere auf der technischen Lehre, eine Bildfunktion aus optischen Schnittbildern zu rekonstruieren, die aus einer Abbildung mit strukturierter Beleuchtung ermittelt wurden und deren Beiträge in der Bildfunktion durch k-te Fourierkomponenten (k > 1) des Beleuchtungsgitters gebildet sind. Vorteilhafterweise enthält die Menge der optischen Schnittbilder durch die höheren Fourierkomponenten des Beleuchtungsgitters Teilbilder mit Informationen der Probe, die sonst nur durch die Beleuchtung mit einem Gitter dieser kleineren Periode verfügbar wären, das sonst alleine funktionsbedingt (Lichtausbeute, durch Beleuchtungs-Punkttransferfunktion erreichbare Modulationstiefe) ggf. nicht einsetzbar wäre.
-
Die Erfinder haben festgestellt, dass, weil die höheren Fourierkomponenten, die bei der herkömmlichen Berechnung eines optischen Schnittes lediglich als oszillatorische Störungen auftraten und verworfen wurden (siehe o. g. Publikation von L. H. Schaefer et al.), erfindungsgemäß bei der Rekonstruktion (Demodulation der Schnittbilder) berücksichtigt werden, sich als wesentliche Vorteile eine verbesserte Artefaktunterdrückung und eine Auflösungsverbesserung durch einen vergrößerten Informationsgewinn ergeben. Die erfindungsgemäß berechnete Bildfunktion repräsentiert eine erheblich verbesserte Näherung der realen Objektfunktion. Ein weiterer wichtiger Vorteil besteht darin, dass anwendungsabhängig ohne Beeinträchtigung der Qualität der Bildrekonstruktion zur strukturierten Beleuchtung bei Bedarf eine gröbere Gitterstruktur verwendet werden kann, die mehr Licht durchlässt und ggf. ein verbessertes Signal-Rausch-Verhältnis ergibt.
-
In der vorliegenden Beschreibung wird mit der „Objektfunktion“ (f) eine von Ortskoordinaten x und y abhängige reale Amplitude des in der interessierenden Schnittebene des untersuchten Objekts (Probe) vorhandenen Lichtes (z. B. Transmission, Reflektion oder Fluoreszenz) bezeichnet. Die „Bildfunktion“ (r) ist die durch die erfindungsgemäße Rekonstruktion ermittelte Approximation (Bild) der Objektfunktion und somit die Approximation des durch periodisch strukturierte Beleuchtung mit einem Beleuchtungsgitter abgebildeten Objektes. Die optischen Schnittbilder werden aus „Zwischenbildern“ (g;) berechnet, die mit der an sich bekannten periodisch strukturierten Beleuchtung des Objekts mit verschiedenen Phasenlagen der Gitterstruktur detektiert werden. Mehrere Zwischenbilder, die mit verschiedenen Phasen des Beleuchtungsgitters aufgenommen werden, liefern eine Vielzahl von optischen Schnittbildern. Innerhalb dieser Gruppe von optischen Schnittbildern werden die Schnittbilder, die durch die höheren Fourierkomponenten des Beleuchtungsgitters gebildet sind, als „Teilbilder“ (gck, gsk) bezeichnet. Mit der „Punkttransferfunktion“ (englisch: Point Spread Function, PSF; Fourier-Transformierte der PSF: Optical Transfer Function, OTF) wird die Übertragung des Lichtes und ggf. der Bildinformation im optischen System beschrieben, das zur Abbildung verwendet wird. Die „Beleuchtungs-Punkttransferfunktion“ beschreibt die Übertragung des Lichtes von der Lichtquelle über die Gitterstruktur bis zur Probe. Die „Detektions-Punkttransferfunktion“ beschreibt die Übertragung des Lichtes von der Probe bis zur Kamera.
-
Wenn gemäß einer bevorzugten Ausführungsform der Erfindung die Gitterperiode und Phasenlage des Beleuchtungsgitters aus weiteren Teilbildern (gck, gsk) ermittelt werden, die in der Bildfunktion (r) durch Basis-Fourierkomponenten (k = 1) des Beleuchtungsgitters gebildet sind, ergeben sich Vorteile für einen relativ geringen Rechenaufwand bei der Rekonstruktion. Vorteilhafterweise können zur Berechnung der Bildfunktion (r) aus allen berücksichtigten Teilbildern entsprechend Vielfache der Gitterperiode und Phasenlage des Beleuchtungsgitters verwendet werden.
-
Gemäß einer bevorzugten Ausführungsform der Erfindung kann das erfindungsgemäße Rekonstruktionsverfahren auf optische Schnittbilder unmittelbar nach deren Berechnung bei einer mikroskopischen Abbildung mit strukturierter Beleuchtung angewendet werden. Vorteilhafterweise wird in diesem Fall die gesuchte Bildfunktion direkt aus den optischen Schnittbildern gebildet. Gemäß einer alternativen Ausführungsform der Erfindung kann das erfindungsgemäße Rekonstruktionsverfahren auf optische Schnittbilder angewendet werden, die aus gespeichert vorliegenden Zwischenbildern (Rohdaten) von herkömmlichen mikroskopischen Abbildungen berechnet werden.
-
Weitere bevorzugte Ausführungsformen der Erfindung sind unten in Zusammenhang mit einer mathematischen Beschreibung der Bildrekonstruktion genannt.
-
Verfahrensbezogen wird die oben genannte Aufgabe gemäß einem zweiten Aspekt der Erfindung durch ein Abbildungsverfahren zur Gewinnung einer Bildfunktion eines Objekts gelöst, bei dem mit einer periodisch strukturierten Beleuchtung des Objekts jeweils mit verschiedenen Phasen der zur Beleuchtung verwendeten Gitterstruktur mehrere Zwischenbilder aufgenommen und aus diesen optische Schnittbilder berechnet werden, wobei die optischen Schnittbilder dem Verfahren zur Rekonstruktion der Bildfunktion gemäß dem oben genannten ersten Aspekt der Erfindung unterzogen werden. Mit dem Abbildungsverfahren können vorteilhafterweise tiefenaufgelöste Bilder mit verbesserter Bildqualität bereitgestellt werden.
-
Vorrichtungsbezogen wird die oben genannte Aufgabe gemäß einem weiteren Aspekt der Erfindung durch eine Abbildungsvorrichtung gelöst, die eine Bildaufnahmeeinrichtung, die zur periodisch strukturierten Beleuchtung des Objekts und zur Detektion einer Vielzahl von Zwischenbildern eingerichtet ist, und eine Rekonstruktionseinrichtung aufweist, die zur Rekonstruktion einer Bildfunktion eingerichtet ist, die eine Objektfunktion des Objekts repräsentiert. Die Rekonstruktionseinrichtung (Rekonstruktionsschaltkreis) enthält eine Demodulationsschaltung, die insbesondere zur Rekonstruktion der Bildfunktion, welche die Objektfunktion des Objekts repräsentiert, aus der Gruppe von optischen Schnittbildern eingerichtet ist, die Teilbilder (gck, gsk) enthält, deren Beiträge in der Bildfunktion durch k-te Fourierkomponenten (k > 1) des Beleuchtungsgitters gebildet sind. Vorzugsweise ist die Rekonstruktionseinrichtung zur Ausführung des erfindungsgemäßen Bildrekonstruktionsverfahrens eingerichtet.
-
Gemäß einer bevorzugten Ausführungsform der Erfindung ist die Abbildungsvorrichtung ein optisches Mikroskop mit strukturierter Beleuchtung, das mit der Rekonstruktionseinrichtung ausgestattet ist.
-
Weitere unabhängige Gegenstände der Erfindung sind ein Computer-Programmprodukt auf einem elektronischen, magnetischen oder optischen Speichermedium mit einem Programmcode zur Ausführung des erfindungsgemäßen Rekonstruktionsverfahrens, und das Speichermedium, das Programmanweisungen zur Ausführung des erfindungsgemäßen Rekonstruktionsverfahrens enthält.
-
Weitere Einzelheiten und Vorteile der Erfindung werden im Folgenden unter Bezug auf die beigefügten Zeichnungen beschrieben. Es zeigen:
- 1: ein Flussdiagramm zur Illustration eines Bildrekonstruktionsverfahrens gemäß einer Ausführungsform der Erfindung,
- 2: eine schematische Illustration einer Abbildungsvorrichtung gemäß einer Ausführungsform der Erfindung, und
- 3: Bildbeispiele, die den mit der Erfindung erreichten Qualitätsgewinn zeigen.
-
Die Erfindung wird im Folgenden unter Bezug auf die Umsetzung der Rekonstruktion der Bildfunktion beschrieben. Einzelheiten der Bildaufnahme mit einem Mikroskop mit strukturierter Beleuchtung sind an sich bekannt und werden daher hier nicht erläutert.
-
1 illustriert mit den Schritten S0 bis S2 einen Ablauf des erfindungsgemäßen Rekonstruktionsverfahrens, dessen Einzelheiten unten in Zusammenhang mit dem erfindungsgemäßen Abbildungsverfahren erläutert sind. Die optischen Schnittbilder, die Ausgangspunkt der Rekonstruktion sind, können direkt aus Zwischenbildern einer Bildaufnahme mit strukturierter Beleuchtung berechnet werden. In diesem Fall wird mit den Schritten 50.1 bis S2 das erfindungsgemäßen Abbildungsverfahren realisiert. Alternativ können die optischen Schnittbilder mit einer Bildpräparation aus vorab aufgenommenen und gespeicherten Zwischenbildern Bildfunktionen bereitgestellt werden, um das Rekonstruktionsverfahren auf vorgegebene Bilddaten anzuwenden (Schritte 50.2 bis S2).
-
Beim erfindungsgemäßen Abbildungsverfahren 50.1 bis S2 erfolgt zunächst wie bei herkömmlichen Techniken eine Bildaufnahme mit der Methode der strukturierten Beleuchtung. Bei der Bildaufnahme werden in einem ersten Teilschritt 50.1 zunächst mehrere Zwischenbilder g; ermittelt.
-
Mit einer Gitterstruktur s
i, die durch eine Ortsfrequenz ω und eine Phase φ charakterisiert ist und gemäß
beschrieben werden kann, ergibt sich mit den Koordinaten x̂
k = (x
k,y
k,z
k) und den Differentialen dx̂
k = dx
kdy
kdz
k die Darstellung der Zwischenbilder g
i, wie es von L. H. Schaefer et al. in „Journal of Microscopy“ (s.o.) beschrieben wird, gemäß:
(h
I und h
D: Beleuchtungs- und Detektions-Punkttransferfunktionen) oder vereinfacht
-
Im Unterschied zu der von L. H. Schaefer et al. in der o. g. Publikation vorgeschlagenen herkömmlichen Näherung
werden erfindungsgemäß die Zwischenbilder gemäß
dargestellt. In Gleichung (5) repräsentieren g
w das herkömmliche mikroskopische Weitfeldbild und die optische Schnittbilder g
ck, g
sk insbesondere die Teilbilder, die durch die Basis-Fourierkomponenten des Beleuchtungsgitters (k = 1) und durch die ganzzahligen (k-ten) Vielfachen der Fourierkomponenten der Struktur des Beleuchtungsgitters bestimmt werden (k > 1) .
-
Die mit verschiedenen Phasen φ
i des Beleuchtungsgitters aufgenommenen Zwischenbilder ergeben wie in
WO 2004/038483 A1 und von L. H. Schaefer et al. in der o. g. Publikation beschrieben ein Gleichungssystem, durch dessen Lösung die gesuchten optischen Schnittbilder, insbesondere mit den Teilbildern entsprechend den höheren Fourierkomponenten des Beleuchtungsgitters, ermittelt werden (Schritt Sl). Da der Vektor von unbekannten Größen (g
W, g
C1...g
CN g
S1...g
SN)
T gemäß Gleichung (5) im Unterschied zur herkömmlichen Näherung (4) erweitert ist, sind für die Lösung des Gleichungssystems entsprechend mehr Rohdaten (Zwischenbilder g
i) erforderlich.
-
Wenn z. B. mindestens fünf Zwischenbilder g; mit verschiedenen Phasen φ aufgenommen werden, ergibt sich mit Gleichung (5) ein Gleichungssystem, aus dem bei Schritt S1 die optischen Schnittbilder gck, gsk getrennt berechnet werden. Die Lösung des Gleichungssystems erfolgt z. B. mit dem von L. H. Schaefer et al. in der o. g. Publikation beschriebenen Verfahren. Die optischen Schnittbilder gck, gsk werden als Eingangsgrößen der anschließenden Demodulation (Schritt S2) bereitgestellt.
-
Bei Schritt S2 folgt zur Rekonstruktion des Ergebnisbildes (der gesuchten Bildfunktion) eine heterodyne Demodulation, bei der die Bildfunktion (r) gemäß
berechnet wird (w
k: vorbestimmte Gewichte der k-ten Fourierkomponenten des Beleuchtungsgitters). Die Demodulation gemäß Gleichung (6) stellt eine lineare Berechnung dar und wird daher bevorzugt angewendet.
-
Die Gewichte wk ergeben sich aus der Fouriersynthese der verwendeten Gitterform. Im Falle eines Beleuchtungsgitters, dessen Transmissionsverlauf durch eine Rechteckfunktion mit einem l:l-Tastverhältnis repräsentiert wird, ist w1 = 1, w3 = 3, w5 = 5, ... etc.. Das 1:1-Tastverhältnis hat die Vorteile einer guten Realisierbarkeit und einer Vereinfachung des Rechenaufwandes.
-
Für die Demodulation gemäß Gleichung (6) ist das genaue Wissen von ejωkx, also der Gitterperiode und Phasenlage jeder Fourierkomponente des Beleuchtungsgitters notwendig. Vorzugsweise werden nun in einem ersten Vorbereitungsschritt mit der Gitterperiode der Grundschwingung (k = 1) diese Größen mit der erforderlichen Genauigkeit aus den aufgenommenen Rohdaten ermittelt. Da die Ermittlung der Gitterperiode und der Phasenlage der Grundschwingung als Extremalproblem formulierbar ist, werden geeignete frequenz- und phasensensitive Kostenfunktionen minimiert, die als Parameter die Gitterperiode bzw. Phasenlage haben. Mit den so gefundenen Werten für gC1 und gS1 wird in einem weiteren Teilschritt die Bildfunktion (r) berechnet, die erfindungsgemäß auch ganzzahlige Vielfache der Gitterperiode enthält.
-
Die erfindungsgemäße Abbildungsvorrichtung 100 zur Gewinnung der Bildfunktion r eines Objekts 1 umfasst gemäß 2 eine Bildaufnahmeeinrichtung 10 zur periodisch strukturierten Beleuchtung des Objekts 1 und zur Detektion einer Vielzahl von Zwischenbildern gi, einen Schnittbildrechner 20 zur Ermittlung der optischen Teilbilder gck, gsk aus den Zwischenbildern gi, und eine Rekonstruktionseinrichtung 30 zur Rekonstruktion der Bildfunktion r, die eine Objektfunktion f des Objekts 1 repräsentiert. Optional ist zusätzlich eine Steuerungs- und Anzeigeeinrichtung 40 vorgesehen. Die Komponenten 20 bis 40 können durch einen oder mehrere Computer bereitgestellt werden.
-
Die Bildaufnahmeeinrichtung 10 umfasst eine Lichtquelle 11, eine bewegliche Gitterstruktur 12, einen halbdurchlässigen Spiegel 13, optische Komponenten 14 und eine Kamera 15. Diese Komponenten sind an sich von optischen Abbildungssystemen mit strukturierter Beleuchtung bekannt und werden zum Beispiel durch ein Mikroskop mit dem Gittereinschub und einer Steuerung vom Typ ApoTome (Carl Zeiss AG) realisiert. Der Schnittbildrechner 20 ist z. B. ein Rechnerschaltkreis, mit dem das oben genannte Gleichungssystem (5) zur Ermittlung der optischen Teilbilder gck, gsk gelöst wird. Die Rekonstruktionseinrichtung 30 umfasst eine Demodulationsschaltung 31 zur Berechnung der Bildfunktion r aus den korrigierten optischen Schnittbildern gemäß Gleichung (6).
-
Die 3A bis 3D illustrieren beispielhaft anhand von Messergebnissen, wie sich das Auflösungsvermögen bei der Abbildung einer Probe mit jeder bei der Rekonstruktion zusätzlich berücksichtigten Harmonischen des Beleuchtungsgitters verbessert. Das herkömmliche Weitfeld-Bild (k = 0, 3A) und das mit der herkömmlichen Demodulation (k = 1, 3B) erfasste Bild zeigen nur grobe Umrisse der Probenstruktur, während die erfindungsgemäß mit Teilbildern entsprechend den höheren Fourierkomponenten des Beleuchtungsgitters rekonstruierte Bildfunktion (3C - 3D) eine wesentlich verbesserte laterale und axiale Auflösung aufweist und zahlreiche Einzelheiten erkennen lässt.
-
Die in der vorstehenden Beschreibung, den Zeichnungen und den Ansprüchen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in Kombination für die Verwirklichung der Erfindung in ihren verschiedenen Ausgestaltungen von Bedeutung sein.