-
Die Erfindung bezieht sich auf ein Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe, wobei die Probe mit Beleuchtungsstrahlung derart beleuchtet wird, dass die Beleuchtungsstrahlung an einem Punkt in oder auf der Probe zu einem beugungsbegrenzten Beleuchtungsfleck gebündelt wird, der Punkt beugungsbegrenzt in ein Beugungsbild auf einen Pixel aufweisenden Flächendetektor abgebildet wird, wobei der Flächendetektor durch seine Pixel eine Ortsauflösung aufweist, die eine Beugungsstruktur des Beugungsbildes auflöst, der Punkt relativ zur Probe in verschiedene Scanpositionen mit einer Schrittweite verschoben wird, die kleiner ist als der Durchmesser des Beleuchtungsflecks, der Flächendetektor ausgelesen und aus den Daten des Flächendetektors und aus den diesen Daten zugeordneten Scanpositionen ein 3D-Bild der Probe erzeugt wird, das eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung gesteigert ist.
-
Die Erfindung bezieht sich weiter auf ein Mikroskop zur hochauflösenden Scanning-Mikroskopie einer Probe, das aufweist: einen Beleuchtungsstrahlengang zur Beleuchtung der Probe mit Beleuchtungsstrahlung derart, dass die Beleuchtungsstrahlung an einem Punkt in oder auf der Probe zu einem beugungsbegrenzten Beleuchtungsfleck gebündelt wird, einen Abbildungsstrahlengang zur beugungsbegrenzten Abbildung der Punkte in ein Beugungsbild auf einen Pixel aufweisenden Flächendetektor, wobei der Flächendetektor durch seine Pixel eine Ortsauflösung aufweist, die eine Beugungsstruktur des Beugungsbildes auflöst, eine Scaneinrichtung zur Verschiebung des Punkts relativ zur Probe in verschiedene Scanpositionen mit einer Schrittweite, die kleiner ist als der Durchmesser des Beleuchtungsflecks, eine Auswerteeinrichtung zum Erzeugen eines 3D-Bilds der Probe aus den Daten des Flächendetektors und den diesen Daten zugeordneten Scanpositionen, wobei das Bild eine Auflösung aufweist, die über eine Auflösungsgrenze der Abbildung gesteigert ist.
-
Eine klassische Ausprägung der Lichtmikroskopie ist die Laser-Scanning-Mikroskope (auch LSM abgekürzt), die mittels einer konfokalen Detektionsanordnung nur diejenige Ebene der Probe abbildet, die sich in der Fokusebene des Objektives befindet. Es wird ein optischer Schnitt gewonnen, dessen Dicke von der Größe der konfokalen Blende abhängt. Die Aufzeichnung mehrerer optischer Schnitte in verschiedenen Tiefen der Probe erlaubt es, ein dreidimensionales Bild der Probe zu generieren, das dann aus den verschiedenen optischen Schnitten zusammengesetzt ist. Die Laser-Scanning-Mikroskopie ist somit zur Untersuchung von dicken Präparaten geeignet.
-
Prinzipiell ist die optische Auflösung eines Lichtmikroskops, auch die eines LSM, durch die physikalischen Gesetze beugungsbegrenzt. Der Begriff „hochauflösend“ wird hier für Auflösungen jenseits der Beugungsgrenze verwendet. Das Überwinden der Beugungsgrenze gelingt der sogenannten Airy-Scan-Mikroskopie, die z.B. in
EP 2317362 A1 beschrieben ist. Diese kombiniert in der dort in
5 dargestellten und beschriebenen Ausführungsform eine beugungsbegrenzte Beleuchtung der Probe mit einem Flächendetektor, wobei eine Scaneinrichtung so ausgebildet ist, dass das Beugungsbild des mit dem Beleuchtungsfleck beleuchteten Punktes auf dem Flächendetektor ruht. Man bezeichnet diese Anordnung als sogenannte „de-scanned“ Detektoranordnung. Sie wird üblicherweise dadurch erreicht, dass ein Scanner zwischen der Probe und dem Vereinigungspunkt von Beleuchtungseinrichtung und Abbildungseinrichtung angeordnet ist, der den Strahlengang ablenkt. Ein solcher Scanner wirkt sowohl auf den Beleuchtungsfleck als auch auf die Abbildung des mit dem Beleuchtungsfleck beleuchteten Punktes, so dass in Abbildungsrichtung nach dem Scanner der Strahlengang ruht. Eine Alternative zu einem solchen Scanner ist die Verwendung eines bewegbaren Probentischs, der die Probe verschiebt. Auch dann ruht das Beugungsbild auf dem Flächendetektor. Im Konzept der
EP 2317362 A1 ist der Flächendetektor mit einer Ortsauflösung versehen, die es erlaubt, die Struktur des Beugungsbildes aufzulösen.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren bzw. ein Mikroskop dieser Art so weiterzubilden, dass die Bildgewinnung beschleunigt ist.
-
Die Erfindung ist in den Ansprüchen 1 und 6 definiert.
-
Die Erfindung sieht ein Verfahren zur hochaufgelösten Scan-Mikroskopie einer Probe gemäß dem Airy-Scan-Prinzip vor. Die Probe wird mit Beleuchtungsstrahlung beleuchtet. Dabei wird die Beleuchtungsstrahlung an einem Punkt in oder auf der Probe zu einem beugungsbegrenzten Beleuchtungsfleck gebündelt. Dieser Punkt wird beugungsbegrenzt in ein Beugungsbild auf einen Flächendetektor abgebildet. Der Flächendetektor weist Pixel auf und dadurch eine Ortsauflösung, die eine Beugungsstruktur des Beugungsbildes auflöst. Der Punkt wird relativ zur Probe in verschiedene Scanpositionen verschoben. Eine Schrittweite zwischen aufeinanderfolgenden Scanpositionen ist dabei kleiner als der Durchmesser des Beleuchtungsflecks, wodurch jeder Punkt der Probe mehrmals in verschieden liegenden Beleuchtungsflecken und Beugungsbilder enthalten ist. Der Flächendetektor wird ausgelesen. Aus den dabei gewonnen Daten und den diesen Daten zugeordneten Scanpositionen wird ein Bild der Probe erzeugt. Das Bild weist nach dem Airy-Scan-Prinzip eine Auflösung auf, die über eine Auflösungsgrenze der Abbildung hinaus gesteigert ist. Die Beugungsgrenze ist damit überwunden.
-
Um das Verfahren zu beschleunigen, wird die Auswertung der Daten zweistufig vorgenommen. Die Daten des Flächendetektors entsprechend den Daten der Pixel, d.h. den Signalen jeweils eines Pixels. Dazu werden die Pixel des Flächendetektors in mindestens zwei Gruppen eingeteilt. Die Gruppen umfassen eine zentrale Gruppe, die auf einer optischen Achse liegt. Die zentrale Gruppe deckt damit eine zentrale Zone ab. Eine weitere Gruppe umgibt ringförmig die zentrale Gruppe. Die dieser ringförmig umgebenden Gruppe zugeordnete Zone umgibt also die Zone der zentralen Gruppe ringförmig. Für jede Gruppe wird ein vorverrechnetes Rohbild berechnet. Die vorverrechneten Rohbilder werden zusammengefasst entfaltet, um das hochaufgelöste Bild der Probe zu erzeugen. Das Auswerteverfahren wird somit zur Beschleunigung des Verfahrens zweistufig ausgeführt, zuerst für die jeweiligen Gruppen bzw. der ihnen zugordneten Zonen auf den Flächendetektor individuell und dann auf Gruppenebene. Dies ergibt eine Beschleunigung der Bildauswertung.
-
Analog zum Verfahren ist ein entsprechendes Mikroskop vorgesehen, das einen Beleuchtungsstrahlengang zur Beleuchtung der Probe mit den genannten Eigenschaften und einen Abbildungsstrahlengang zur beugungsbegrenzten Abbildung des Punkts in ein Beugungsbild auf den Flächendetektor mit seinen Pixeln umfasst. Die Auswerteeinrichtung zum Erzeugen eines Bildes der Probe aus den Daten des Flächendetektor und den diesen Daten zugeordneten Scanpositionen ist weiter ausgebildet, die Pixel des Flächendetektors in die genannten Gruppen einzuteilen und die Auswertung zweistufig, d.h. zuerst für jede Gruppe individuell und dann auf Gruppenebene durchzuführen.
-
Um eine der „klassischen“ Airy-Scan-Verrechnung, bei der das Signal eines jeden Detektorpixels einzeln verarbeitet wird, gleichwertige Auflösung in z-Richtung zu erreichen, kann es erforderlich sein, mehrere ringförmige Gruppen zu bilden. Die Verarbeitung der Daten nimmt mit zunehmender Gruppenzahl ab, ist aber in jedem Fall deutlich schneller als die klassische Verrechnung. Es ist deshalb bevorzugt, nicht nur eine ringförmig umgebende Gruppe, sondere mehrere zu verwenden, wobei die ringförmigen Gruppen jeweils einen anderen Abstand zur zentralen Gruppe haben. Es ist dann ein System von sich umgebenden ringförmigen Gruppen vorgesehen, das um die zentrale Gruppe herum angeordnet ist. Besonders bevorzugt sind vier oder fünf Gruppen.
-
Weiter ist es bevorzugt vorgesehen, dass jedes Pixel in genau eine der Gruppen eingeteilt ist.
-
Die vorverrechneten Rohbilder für jede Gruppe werden in einer bevorzugten Ausbildungsform berechnet, indem für die jeweilige Gruppe eine zweidimensionale Entfaltung der Daten des Flächendetektors durchgeführt wird. Die zweistufige Auswertung sieht dann zuerst eine 2D-Entfaltung für die Gruppen und dann eine 3D-Entfaltung auf Gruppenebene vor.
-
Im Verfahren bzw. beim Mikroskop wird insbesondere durch die Beleuchtung die Probe zur Abgabe von Fluoreszenzstrahlung angeregt. Der Beleuchtungsstrahlengang ist dann als Anregungsstrahlengang ausgebildet.
-
Soweit nachfolgend Aspekte des Verfahrens zur Mikroskopie erläutert werden, betreffen diese Aspekte gleichermaßen die Auswerteeinrichtung, die geeignet ausgebildet ist, die entsprechenden Verfahrensschritte auszuführen. Es kann sich dabei um einen Computer handeln, der mit entsprechender Software oder mit entsprechendem Programmcode ausgestaltet ist. Umgekehrt betreffen Aspekte, die anhand des Mikroskops und dessen Arbeitsweise geschildert werden, gleichermaßen das Verfahren zur Mikroskopie.
-
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbespiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen:
- 1 eine Schemadarstellung eines Mikroskops zur hochauflösenden Mikroskopie,
- 2a und 2b Schemadarstellungen der Anordnungen von Pixeln eines Detektors des Mikroskops der 1,
- 3 einen Signallaufplan zum Mikroskopieverfahren,
- 4 ein Ausführungsbeispiel für die Datenverarbeitung eines hochauflösenden Konfokalmikroskops,
- 5 eine alternative Datenverarbeitung zu der der 4,
- 6a - 6c Mean Transfer Functions der Objekt-Transfer-Funktion des verwendeten Mikroskops,
- 7 eine Schemadarstellung der Aufteilung der Pixel des Detektors in Gruppen,
- 8 den Signallaufplan zur Verrechnung von Bildern mit erhöhter Auflösung gemäß einem ersten Signalauswertungsbeispiel,
- 9 eine Darstellung ähnlich der 8 gemäß einem zweiten Signalauswertungsbeispiel und
- 10a - 10c Mean Transfer Functions für die verschiedenen Auswertungsansätze.
-
1 zeigt schematisch ein Konfokalmikroskop
20 mit hoher, d. h. über die Beugungsgrenze gesteigerter Auflösung nach dem Prinzip des sog. Airy-Scans, wie es z. B. aus der
EP 2317362 A1 bekannt ist. Es besitzt eine Lichtquelle
6 zur Beleuchtung der Probe
P mit einem Beleuchtungsfleck
14. Das Beleuchtungslicht
B wird über eine Strahlformung
7, einen Spiegel
8 zu einem Strahlteiler
9 geleitet. Der Strahlteiler
9 ist so ausgebildet, dass er möglichst viel des Beleuchtungslichts B reflektiert und zu einem Scanner
10 weiterleitet. Vom Scanner
10 wird das Beleuchtungslicht
B über weitere Strahlformungsoptiken
11 und
12 zu einem Objektiv
13 geleitet. Das Objektiv
13 bündelt das Beleuchtungslicht
B auf die Probe
P in einen Beleuchtungsfleck
14.
-
Das von der Probe im Beleuchtungsfleck B erzeugte Probenlicht D wird vom Objektiv 13 gesammelt und über umgekehrten Weg wie das Beleuchtungslicht B zum Strahlteiler 9 geleitet. Der Strahlteiler 9 ist so gestaltet, dass er einen möglichst großen Anteil des Probenlichts D transmittiert. Das so vom Strahlteiler 9 transmittierte Probenlicht D wird über einen weiteren Filter 15 und eine weitere Strahlformungsoptik 16 zum Detektor 17 geleitet. Der Detektor 17 detektiert das Probenlicht D, erzeugt daraus elektrische Signale und leitet diese über Leiter 23, 24, 25 an eine Steuer- und Auswerteeinrichtung C, z. B. einen Computer, weiter. Auf diese Weise wird ein Beugungsbild 18 aufgenommen, das, wie die Beugungsstruktur 18a zeigt, beugungsbegrenzt ist.
-
Um ein Bild von der Probe P zu erhalten, wird der Beleuchtungsfleck 14 mit dem Scanner 10 punktweise über die Probe P bewegt. Aus den so gewonnenen punktweisen Probensignalen Um ein Bild von der Probe P zu erhalten, wird der Beleuchtungsfleck 14 mit dem Scanner 10 punktweise über die Probe P bewegt. Aus den so gewonnenen punktweisen Probensignalen wird von der Steuer- und Auswerteeinrichtung C ein Bild zusammengesetzt, welches z. B. mittels eines Monitors dargestellt werden kann. Der Scanner 10 erlaubt es dabei, ein zweidimensionales Bild aufzunehmen, welches sich lateral, also in einer Ebene senkrecht zur optischen Achse des Objektivs erstreckt. Für eine dreidimensionale Bildaufnahme wird der Abstand des Objektivs 26 relativ zur Probe P variiert und in jedem Abstand ein zweidimensionales Bild von der Probe P aufgenommen. Die Auswerteeinheit kann die so gewonnenen Signale zu einem dreidimensionalen Bild zusammensetzen.
-
In 2a und 2b sind Detektoren eines konfokalen Mikroskops schematisch dargestellt. 2a zeigt einen herkömmlichen Detektor mit einer einzigen sensitiven Fläche 30. Um die hohe Auflösung zu erreichen, besitzt der Detektor 17 des Konfokalmikroskops 20 mehrere Detektionselemente oder Pixel 31 wie in 2b. Die Elemente sind durchnummeriert, die Anordnung besitzt exemplarisch 32 Pixel.
-
Die Größe der Pixel 31 ist so gewählt, dass sie wesentlich kleiner als das auf dem Detektor 17 erzeugte Beugungsbild 18 sind. Gleichzeitig ist die Anzahl der Pixel 31 und damit die gesamte Fläche des Detektors 17 so gewählt, dass ein wesentlicher Anteil des Probenlichts D für das Beugungsbild 18 detektiert werden kann.
-
Zum Vergleich ist in 2a ein Detektor mit nur einem Element 30 angedeutet, wie er für ein Konfokalmikroskop mit gewöhnlicher Auflösung verwendet würde. Mit anderen Worten, die gesamte Fläche des Detektors deckt einen großen Teil des Beugungsbildes 18 ab. Dabei ist der Begriff gewöhnliche Auflösung so zu verstehen, dass für die erreichte Auflösung das Abbe-Limit gilt. Beim Konfokalmikroskop 20 mit erhöhter Auflösung hingegen wirken die Beleuchtung und die Detektion so zusammen, dass theoretisch eine doppelt so hohe Auflösung erreicht werden kann. In der Praxis ist die Auflösungssteigerung etwas geringer, weil Strukturen nahe der Auflösungsgrenze nur noch sehr kontrastarm übertragen werden können. Es lassen sich real Auflösungen bis zum 1,7-fachen des Abbe-Limits erreichen.
-
Der Detektor
17 des Konfokalmikroskops
20 mit hoher Auflösung erfasst für jeden abgetasteten Punkt
viele detektierte Signale
entsprechend der Anzahl der Detektorelemente
31.
bezeichnet die laterale Probenposition, z die axiale Probenposition, der Index h bezeichnet das Detektorelement (Pixel). In der weiteren Beschreibung wird von 32 Pixeln ausgegangen; es kann jedoch auch eine andere Anzahl an Pixeln verwendet werden.
-
Jedes der Detektorelemente
31 erfasst ein Rohbildsignal von der Probe
P bestehend aus den Signalen
Die Rohbildsignale unterscheiden sich voneinander, wobei die Unterschiede durch den lateralen Abstand des Beleuchtungslichtflecks relativ zum vom jeweiligen Detektorelement detektierten Probenbereich bestimmt sind. Die Rohbildsignale werden mathematisch durch eine Faltung des „wirklichen“ Probenbildes
mit der Punktbildübertragungsfunktion (engl. Point spread function, PSF)
des jeweiligen Detektorelementes h beschrieben:
-
Die Funktion der Auswerteeinheit
C ist es, aus allen
ein Bild
zusammenzusetzen, das möglichst genau dem Original der Probe
entspricht. Das wird durch eine Entfaltung (engl. Deconvolution, DCV) und anschließende Zusammensetzung der so entfalteten Rohbildsignale erreicht, wobei die Prozesse Entfaltung und Zusammensetzung prozesstechnisch ineinander übergehen können.
-
In
3 sind alle Schritte in einem Signallaufplan dargestellt. Ausgangspunkt sind die PSFs
(40) sowie die Rohbildsignale
(
41). Die PSFs sind aufgrund der Eigenschaften des optischen Systems bekannt. Sie können aus Systemparametern berechnet oder einmalig gemessen und hinterlegt werden. Die Signale werden über Leitungen
140,
141 zur Auswertung
50 weitergeleitet, die alle Rohbildsignale entsprechend entfaltet, zusammensetzt und ein Bild der Probe
(
42) ausgibt, welches möglichst genau dem Original der Probe
entspricht.
-
In
3 und allen weiteren Signallaufplänen ist die Menge der zu übertragenden Daten durch die Dicke der Pfeile
140,
141,
151 dargestellt. So gibt es
32 Rohbildsignale
sowie auch 32 PSFs
Aus der Auswertung entsteht ein Bild der Probe
die Datenmenge dieses Bildes ist 32mal geringer als die aller Rohbildsignale. Das ist durch den dünnen Pfeil
151 symbolisiert. Ebenso ist der Faktor der Datenmengen bezogen auf ein einzelnes Bild an den Pfeilen angegeben. Also //32 für die Rohbildsignale und PSFs, //1 für das Bild der Probe.
-
Mit der gestrichelten Linie 60 sind Bereiche des gesamten konfokalen Mikroskops 20 voneinander abgegrenzt, zwischen denen die Daten der Rohbildsignale übertragen werden müssen. Dabei umfasst der Bereich LSM (Laser Scanning Microscope) hardwarenahe Bereiche des Konfokalmikroskops, also Optik, Mechanik und Elektronik, welche eine Datenübertragung zum Bereich PC ermöglicht. Der Bereich PC beschreibt die Steuer- und Auswerteeinrichtung C und damit alles, was zur Steuerung des Konfokalmikroskops 20, der weiteren Verarbeitung und Darstellung der Daten erforderlich ist. Kernstück dieses Bereichs ist üblicherweise ein Personal Computer C. Konkret müssen die Daten aller Rohbildsignale vom LSM zum PC übertragen werden. Dazu ist eine leistungsfähige Schnittstelle erforderlich, bzw. die Geschwindigkeit der Datenübertragung kann durch eine vorgegebene Schnittstelle limitiert sein.
-
In
4 ist eine konkretere Ausführung der Datenverarbeitung eines Konfokalmikroskops
20 mit hoher Auflösung dargestellt. Die Auswerteeinheit
50a führt dabei eine sog. Wiener-Filterung aus. Dazu werden zunächst die in Raumkoordinaten dargestellten Rohbildsignale
fouriertransformiert, so dass die Rohbildsignale nun in Raumfrequenzkoordinaten
vorliegen. Mit den PSFs wird ebenso verfahren. Die in den Fourierraum transformierten PSFs
werden als Objekt-Transfer-Funktion OTF bezeichnet.
-
Für das Verständnis der Entfaltungsformel in 50a sind zwei Punkte wichtig:
-
- 1. Die Rohbildsignale entsprechen der Probe gefaltet mit der System-PSF; wie oben bereits dargestellt:
- 2. Eine Faltung im Ortsraum entspricht einer Multiplikation im Fourierraum. D.h. im Fourierraum lassen sich die Rohbildsignale als Produkt aus Probe und OTF darstellen:
-
Setzt man die Formel für
in die Entfaltungsformel ein so erhält man:
bezeichnet die OTF mit konjugiert-komplexer Phase, das Produkt mit der (originalen) OTF ergibt dann deren Betragsquadrat.
-
w ist eine reelle positive Zahl und sei hier als Wiener-Parameter bezeichnet. Ist der Wiener-Parameter klein gegenüber
so wird der Bruch nahezu 1 und
entspricht nahezu dem Original der Probe
Ein nicht zu geringes w stellt andererseits sicher, dass der Bruch an Stellen
an denen
klein ist, nicht divergiert. Solche Divergenzen würden das in den Rohbildsignalen
unweigerlich und hier nicht dargestellte Rauschen über alle Maßen verstärken und das Ergebnisbild
unbrauchbar machen.
-
Um das Bild darstellen zu können, muss das in Raumfrequenzkoordinaten vorliegende Bild
mit der inversen Fouriertransformation in den Ortsraum zurück transformiert werden. Obwohl die eigentliche Entfaltung
50a sich aus vergleichsweise einfachen Rechenschritten (nur Additionen und Multiplikationen) zusammensetzt, ist der gesamte Prozess der Entfaltung aufwendig. Insbesondere die Fouriertransformation aller Rohbildsignale
ist rechenintensiv und damit zeitaufwendig.
-
Eine alternative Verarbeitung der Rohbildsignale ist in
5 dargestellt. Diese alternative Verarbeitung der Rohbildsignale macht es sich zunutze, dass sich die einzelnen Rohbildsignale lateral, also in
-Richtung im Wesentlichen nur durch eine Verschiebung untereinander unterscheiden. Die Verschiebungen
sh 51 sind eine Funktion der PSFs
und lassen sich mit relativ geringem Aufwand berechnen. Daraus ergibt sich nun ein Verarbeitungsweg per Näherung: Die Rohbildsignale werden um die Verschiebungen
sh zurückgeschoben und anschließend addiert
53. Diese Verschiebung erfolgt mit allen Ebenen z der Rohbildsignale auf gleiche Weise. Im Ergebnis entsteht ein vorverrechnetes Rohbild
Auf gleiche Weise wird eine vorverrechnete PSF
52 berechnet. In einem weiteren Schritt
50b wird das vorverrechnete Rohbild mit der vorverrechneten PSF entfaltet und es entsteht ein entfaltetes Rohbild der Probe
Die Vorteile dieses Verarbeitungsweges bestehen darin, dass zum einen die Vorverrechnung (
53) sehr einfach und damit schnell ist. Dadurch wird es möglich, die Vorverrechnung bereits vor der Datenübertragung zum PC hin
153 durchzuführen so dass nur noch ein statt 32 Bilder übertragen werden müssen. Das entlastet die Schnittstelle zwischen LSM und PC. Zum anderen ist nach Abschluss der Bildaufnahme ist dann nur noch die Entfaltung des vorverrechneten Rohbildes erforderlich. Das erfolgt ebenfalls wesentlich schneller, weil nur noch eine Fouriertransformation erforderlich ist und weil die Summierungen bei der Entfaltung entfallen. In Summe benötigt die gesamte Verrechnung nur noch einen Bruchteil der ursprünglich erforderlichen Zeit.
-
Dieser vorteilhaften Eigenschaft des Verarbeitungsweges steht jedoch ein gravierender Nachteil gegenüber. Und zwar beachtet die Vorverrechnung keinerlei Eigenschaften der Rohbildsignale bezüglich z, was dazu führt, dass die Auflösung in z-Richtung auf das Maß zurückfällt, wie sie ein konventionelles konfokales Mikroskop erreicht. Das ist in
6 dargestellt. Die Diagramme a-c zeigen die „Mean Transfer Function“ MTF, welche als Betrag der OTF definiert ist. Auf der x-Achse ist die laterale, auf der y-Achse die axiale Raumfrequenz aufgetragen. Beide Achsen sind normiert auf die Grenzfrequenz, in lateraler bzw. axialer Richtung, bezogen auf ein Weitfeld-System. Die Amplituden der MTF sind als Höhenlinien aufgetragen, normiert auf die Amplitude
Hohe Amplituden der MTF bedeuten einen guten Kontrast des Bildes, bzw. nach Korrektur durch die DCV bedeuten hohe Amplituden der MTF ein besonders rauscharmes Bild.
6a zeigt die MTF eines konventionellen konfokalen Systems mit einem einzelnen Detektor wie in
2a dargestellt. Die laterale Auflösung eines solchen Systems entspricht in etwa der eines Weitfeld-Mikroskops, d.h. die maximale Ausdehnung in
-Richtung erreicht in etwa 1. In axialer Richtung wird bereits eine Auflösungssteigerung gegenüber einem Weitfeld-System erreicht. Allerdings bricht die axiale Auflösung auf der Achse, bei
ein. Dies ist durch den Pfeil
71 in
6a angezeigt. In
6c ist demgegenüber die MTF dargestellt, wie sie ein konfokales Mikroskop
20 mit erhöhter Auflösung erreichen kann, wenn die Verrechnung der Rohbilder wie in
3 oder
4 beschrieben erfolgt. Die laterale Auflösung wird auf etwa das 1,5-fache gesteigert, und in
kz - Richtung auf der Achse gibt es keinen Einbruch
71 der MTF mehr. Erfolgt die Verrechnung der Rohbilder mit der schnell rechnenden Näherung wie in
5 dargestellt, so wird immer noch eine Auflösungssteigerung in lateraler Richtung erreicht. In axialer Richtung jedoch wird der Einbruch in
kz - Richtung nicht behoben. Das ist in
6b dargestellt.
-
Um die Vorteile einer schnellen Verarbeitung zu erreichen ohne dabei die Nachteile der geringeren z-Auflösung in Kauf nehmen zu müssen, wird nun die Auswertung besonders, nämlich zweistufig, ausgestaltet.
-
Dazu sei zunächst 7 betrachtet. Dargestellt ist hier nochmal der Detektor wie in 2b. Der Beleuchtungslichtfleck 14 ist bezüglich des Detektors 17 üblicherweise zentrisch justiert. Mit anderen Worten, der Schwerpunkt des Beleuchtungslichtflecks 14 stimmt mit dem Schwerpunkt des ersten Pixels 32 überein. Die Auflösung in axialer (kz -) Richtung hängt bei einer PSF, die zur optischen Achse symmetrisch ist (insbesondere rotationssymmetrisch), nur vom Abstand eines Pixels 32 relativ zum Beleuchtungslichtfleck 14 ab, nicht jedoch von der Richtung des Pixels 32 relativ zum Beleuchtungslichtfleck 14. Das heißt wiederum, es gibt dann ringförmige Zonen 33 auf dem Detektor mit gleichen Eigenschaften der PSF in axialer Richtung. Diese Eigenschaft wird ausgenutzt, um zunächst die Daten aller Pixel innerhalb eines Ringes zweidimensional zu verrechnen. Dabei wird die PSF in axialer Richtung - wegen der gleichen Eigenschaft in axialer Richtung - nicht eingeschränkt. Die so vorverrechneten Rohbilder werden in einem weiteren Schritt final zusammengefasst und entfaltet, wobei in diesem Schritt die Eigenschaften bezüglich z der vorverrechneten Rohbilder berücksichtigt werden können und so auch in z-Richtung die maximale Auflösung erreicht werden kann.
-
Der Vorteil dieser zweistufigen Auswertung besteht darin, dass die Vorverrechnung der Bilder wesentlich weniger rechenintensiv ist, besonders wenn sie zweidimensional ausgeführt wird, also keine Tiefeninformation erzeugt, wie eine direkte dreidimensionale Verrechnung nach 3. Die finale - aufwendigere - 3D-Verrechnung ist dann nur noch mit einer reduzierten Anzahl an vorverrechneten Rohbildern erforderlich und erfolgt entsprechend schneller.
-
Zur Ökonomie dieses Verfahrens sei nochmal 7 betrachtet. Der beispielhafte Detektor lässt sich in z.B. 4 Ringzonen c einteilen. Ringzone I enthält nur das zentrale Detektorelement 1, Ringzone II die Elemente 2..6, Ringzone III die Elemente 7-19 und Ringzone IV schließlich die Elemente 20-32. Aus ursprünglich 32 Rohbildern können so 4 vorverrechnete Rohbilder erzeugt werden, die nur noch 1/8 des ursprünglichen Datenvolumens enthalten.
-
8 zeigt allgemein die Verrechnung für das konfokale Mikroskop
20. In einem ersten Auswertungsbeispiel werden alle Rohbilder
Dh in einem ersten Schritt zu vorverrechneten Rohbildern
D̃c 55 zusammengefasst. Die Zusammenfassung erfolgt vorteilhafterweise so, dass keinerlei Auflösungsverlust in lateraler Richtung auftritt. Zum Beispiel können alle Rohbilder bezüglich ihrer zweidimensionalen PSF
zunächst entfaltet werden. Die Zusammenfassung
55 erfolgt dann gemäß den Ringzonen c des Detektors
17. Die Anzahl der vorverrechneten Rohbilder ist wesentlich niedriger als die Anzahl der Rohbildsignale. Im Beispiel gibt es 32 Rohbildsignale, aber nur 4 vorverrechnete Rohbilder. Die Menge der Daten ist also um einen Faktor
8 reduziert. Damit ist auch die Menge der zu übertragenden Daten
155 vom LSM zum PC zur finalen Verrechnung
50c um einen Faktor
8 reduziert. Die finale DCV umfasst die Entfaltung und Zusammenfassung der vorverrechneten Rohbilder. Dazu bestimmt das System die PSFs
der vorverrechneten Rohbilder und entfaltet die vorverrechneten Rohbilder mit diesen PSFs. Final entsteht das entfaltete Bild
von der Probe, welches sehr genau der Probe entspricht und mit üblichen Mitteln dargestellt werden kann.
-
9 betrifft ein zweites Auswertungsbeispiel für das konfokale Mikroskop
20. Es macht es sich zunutze, dass sich die einzelnen Rohbildsignale lateral, also in
-Richtung im Wesentlichen nur durch eine Verschiebung untereinander unterscheiden. Die Verschiebungen s
h 51 sind eine Funktion der PSFs
und lassen sich mit relativ geringem Aufwand berechnen. Zur Zusammenfassung wird die Verschiebung der Rohbildsignale kompensiert, anschließend werden je alle so verschobenen Rohbildsignale, die zu einer Ringzone des Detektors gehören, addiert 53a. Diese Rechenschritte lassen sich ebenfalls sehr schnell, und schon während der Bildaufnahme bewerkstelligen. Auf die gleiche Weise werden die PSFs der vorverrechneten Rohbilder
52a berechnet. Die vorverrechneten Rohbilder werden der finalen Verrechnung
50d zugeführt 153a, anschließend entfaltet und addiert. Im Beispiel kommt eine Wiener-Entfaltung zum Einsatz wie sie in
4 im Schritt
50a beschrieben wurde. Durch die reduzierte Anzahl der vorverrechneten Rohbilder kann die Wiener-Entfaltung
50d wesentlich schneller erfolgen. Insbesondere müssen im Erfindungsbeispiel nur noch 4 und nicht mehr 32 Bilder fouriertransformiert werden. Die Wiener-Entfaltung stellt das finale 3D-Bild zur Verfügung, welches mit üblichen Mitteln dargestellt werden kann.
-
In
10a und
10b sind MTFs der konfokalen Mikroskope
20 dargestellt. Zum Vergleich ist in
10c die MTF dargestellt, wie sie ein System mit herkömmlichem Auswerten liefert.
10a zeigt die MTF des zweiten Auswertungsbeispiels gemäß
9. Der Einbruch der MTF in k
z-Richtung bei
wie er in
6b auftritt, ist vollständig vermieden.
10b zeigt die MTF des ersten Auswertungsbeispiels, wobei eine 2D-DCV für die Vorverrechnung eingesetzt wurde. Gegenüber dem sehr schnellen Verfahren des zweiten Auswertungsbeispiels ergibt sich in lateraler Richtung bei Raumfrequenzen ≈ 1 eine etwas größere MTF-Amplitude. Dies ist durch die Vergleichslinie
65a sichtbar gemacht. In
10b berührt diese Linie die MTF-Höhenlinie 0,05, in
10a liegt diese Höhenlinie etwas zentraler. Mit anderen Worten, an der Vergleichslinie
65a ist die MTF etwas geringer als in
10b. Im Bereich hoher lateraler Raumfrequenzen funktionieren beide Ausführungen wieder gleich gut. Das wird durch die Vergleichslinie
65b verdeutlicht. Sie zeigt, dass in beiden Figuren die Höhenlinie 0,002 die gleichen Ausmaße erreicht.
-
Es sei angemerkt, dass die Unterschiede beider Auswertungsbeispiele auch von den Parametern des Systems abhängig sind. So wurde für alle Simulationen ein gesamter Durchmesser der Detektorfläche angesetzt, die dem 1,5-fachen des Durchmessers des Airy-Beugungsscheibchens entspricht. Es zeigt sich, dass bei kleineren Durchmessern die Unterschiede geringer ausfallen. Je nach Wahl der Parameter können so unterschiedliche Auswertungsformen vorteilhaft sein und es ist auch denkbar, mehrere Auswertungsformen in einem System vorzusehen, die je nach Wahl der Parameter eingesetzt werden.
-
Zum Vergleich mit dem Stand der Technik ist in 10c eine MTF mit Auswertung gemäß dem Stand der Technik nach 3 dargestellt. Sie unterscheidet sich praktisch nicht von der MTF der 10b. Damit erreicht die zweistufige Auswertung gleich gute Ergebnisse bei wesentlich weniger Rechenzeit.
-
Dies ist nicht auf die konkret genannten Ausführungsbeispiele beschränkt. So können auch auf einem Detektor mit einer anderen, z. B. quadratischen Matrix-Ringregion Pixel definiert werden, die in z-Richtung eine hinreichend gleiche PSF besitzen, und gemeinsam vorverrechnet werden. Auch kann die Zahl der Zonen variiert werden, z. B. 2, 3 oder 5, 6.
-
Ebenso sind unterschiedliche Vorverrechnungen und finale Verrechnungen denkbar, solange sie den Vorteil der erhöhten Auflösung weitgehend erhalten. Beispielsweise können auch iterative Entfaltungsmethoden eingesetzt werden, welche die spezifischen Nachteile einer Wiener-Entfaltung vermeiden. Im Einzelfall kann auch ein Verfahren verwendet werden, welches nicht ganz so gute Ergebnisse, also eine etwas geringere MTF liefert, dafür aber weniger Rechenaufwand benötigt. Auch können Entfaltungsverfahren zum Einsatz kommen, die keine Kenntnis der System-PSF benötigen (sog. Blind Deconvolution).
-
Es ist nicht entscheidend, in welchem Format die vorverrechneten Rohbilder der finalen Verrechnung übergeben werden. So ist es z. B. denkbar, wenn die Vorverrechnung im Raumfrequenzraum stattfindet, die vorverrechneten Rohbilder nicht in den Ortsraum zurück zu transformieren, sondern als Raumfrequenzdaten zu übertragen. Das ist insbesondere dann vorteilhaft, wenn die finale Verrechnung ebenfalls im Raumfrequenzraum stattfindet. In diesem Falle muss die finale Verrechnung die Daten nur noch bezüglich z transformieren, nicht aber bezüglich der lateralen Koordinaten. Dadurch ergibt sich eine weitere Zeiteinsparung.
-
Es ist für das Verfahren nicht entscheidend, an welcher Stelle die Vorverrechnung und die finale Verrechnung stattfinden. So können auch zunächst alle Rohbildsignale über die Leitung 141 übertragen und die zweistufige Auswertung vollständig im PC durchgeführt werden. Dann entfällt der Vorteil geringerer/schnellerer Datenübertragung, es ergibt sich jedoch immer noch eine Beschleunigung aufgrund des geringeren gesamten Rechenaufwandes.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2317362 A1 [0004, 0017]