DE19930816A1

DE19930816A1 - Verfahren und Vorrichtung zur Tiefenselektion von Mikroskopbildern

Info

Publication number: DE19930816A1
Application number: DE1999130816
Authority: DE
Inventors: Guenter Schoeppe
Original assignee: Carl Zeiss Jena GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 1999-07-01
Filing date: 1999-07-01
Publication date: 2001-01-04
Also published as: JP2001099618A

Abstract

Verfahren zur Ermittlung einer Oberflächeninformation mittels einer aufprojizierten Struktur mit periodisch veränderlichem Helligkeitsverlauf, die um jeweils 1/n, n = ganzzahlig, größer 2, der Gitterkonstante verschoben wird und das Projektionsbild mittels einer CCD-Kamera erfaßt wird, DOLLAR A und für jeden Bildpunkt Informationen ermittelt werden, die die Hellfeldintensität multipliziert mit der jeweiligen Gitterphase darstellen, aus diesen Bildern die sinus- und cosinus-Anteil extrahiert werden und daraus DOLLAR F1 gebildet werden und aus I. und II. der Modulationsgrad m berechnet und zur Darstellung verwendet wird, mit DOLLAR F2 sowie DOLLAR A Anordnung zur Änderung der Projektionsrichtung, eines über mindestens einen keilförmigen, um die optische Achse drehbaren Prismenkörper und eine zur optischen Achse verkippbaren Planplatte auf eine Oberfläche projizierten Gitters, wobei die Ansteuerung der Kippbewegung der Planplatte so mit der Drehbewegung des Primenkörpers gekoppelt ist, daß nach mindestens drei Kippschritten eine Änderung der Orientierung des Prismenkörpers erfolgt.

Description

Es ist bekannt, mittels strukturierter Beleuchtung sowohl Tiefenmessungen in Mikroskopbildern durchzuführen als auch außerhalb der Fokusebene liegende Bildteile zu unterdrücken (AXIOMAP von ZEISS, WO 97/06509, WO 98/45745).

In US 5493400 (DE 93 08 486 U) wird eine schräge Gitterprojektion mittels keilförmiger Glaskörper mit wechselbarer Orientierung erzeugt.

Die Grundlage dieser Verfahren sind aus der Interferenzmikroskopie abgeleitete Verfahren, bei denen in die Objektebene projizierte periodische Strukturen in Interferenzmuster umgedeutet und die damit möglichen Auswertungen durchgeführt werden.

Dazu werden Gitter in die Objektebenen abgebildet und um ganzzahlige Bruchteile der Gitterkonstante entweder kontinuierlich über eine bestimmte Zeit (Phaseshift-Verfahren) oder schrittweise (Phase-Step-Verfahren) verschoben. In jedem Zeitintervall bzw. von jeder Stellung des Gitters wird mittels einer pixelsynchronen CCD-Kamera ein Bild eingezogen und die Bilder miteinander verrechnet.

Am einfachsten sind die Verhältnisse zu überschauen, wenn ein Gitter mit cos²- bzw. sin²- förmiger Intensitätsvariation in Richtung der Gitterperiodizität, z. B. in x-Richtung drei mal um jeweils ¼ der Gitterkonstante verschoben wird.
(Prinzipiell funktioniert das Verfahren bei Verschiebungen mit jedem ganzzahligen Bruchteil < 1/2 der Gitterkonstante.)

Dabei wird das Bild der Ausgangslage als Bild mit sin-förmiger Intensitätsmodulation senkrecht zur Richtung der Gitterstriche (sin x), das nächste als cos x, das folgende als -sin x und das letzte als -cos x gedeutet.

Damit liegen für jeden Bildpunkt Informationen vor, die die Hellfeldintensität multipliziert mit der jeweiligen Gitterphase darstellen. Aus diesen Ausgangsdaten können eine Reihe weiterer interessierender Informationen abgeleitet werden.

Die 4 Bilder können beschrieben werden als:

1. I_xy1 = 0.5 I_obxy.(1 + m.sin x)

2. I_xy2 = 0.5 I_obxy.(1 + m.cos x)

3. I_xy3 = 0.5 I_obxy.(1 - m.sin x)

4. I_xy4 = 0.5 I_obxy.(1 - m.cos x)

Dabei ist I_obxy die von der Objektstelle x, y zur Abbildung beitragende Intensität (Reflektivität, Transmission, Fluoreszenz), m der Modulationsgrad der Gitterabbildung.

Subtrahiert man 3 von 1, bzw. 4 von 2, dann erhält man:

I. I_xy = I_obxy.m.sin x

II. I_xy = I_obxy.m.cos x

Bei dieser Prozedur verschwinden die Gleichanteile.

Addiert man umgekehrt 3. zu 1. bzw. 4. zu 2., so verschwindet in beiden Fällen die Modulation des Bildinhaltes mit den Winkelfunktionen. Man erhält die Hellfeldbilder A₁ bzw. A₂:

A₁: I_xy = I_xy3 + I_xy1 = I_obxy

d. h., in diesen 4 Teilbildern sind 2 vollständige Hellfeldbilder enthalten.

Die Modulation m mit den Winkelfunktionen hat diesen Bildern Informationen über den Abstand zur exakten Fokusebene aufgeprägt.

In Abhängigkeit von der verwendeten Gitterkonstante, der Objektivapertur, der Wellenlänge und dem Abstand von der Fokusebene ändert sich der Modulationsgrad m der Gitterabbildung.

Bei Verwendung eines Objektives, einer Lichtquelle und eines Gitters bleiben die ersten Einflußfaktoren konstant, d. h. der Modulationsgrad ist bei gegebener Anordnung eine Funktion der Fokussierung.

Dieser Modulationsgrad multipliziert mit der Hellfeldinformation kann aus I. und II. mit Hilfe des trigonometrischen Pythagoras durch einzelnes Quadrieren und anschließendes addieren berechnet werden:

Stellt man m allein als Funktion des Ortes dar, so erhält man ein "Abstandsbild" der Bildpunkte von der optimalen Fokusebene. Läßt man die Division durch das Hellfeldbild weg, so erhält man eine Information, die der nahezu Identisch ist, die in Konfokal- Mikroskopen erhalten werden kann. Die Objekteigenschaften werden mit zunehmendem Abstand von der Objektebene mit immer geringerer Intensität dargestellt, d. h. es wird eine bestimmte Schicht des Objektes dargestellt.

Da der Modulationsgrad m ≦ 1 ist, kann die Tiefenselektivität durch Potenzieren erhöht werden.

Es ist durch Auswahl der Grenzen, d. h. das Setzen von Schwellwerten für die Darstellung, möglich, eine mehr oder weniger dicke Schicht in einem synthetischen Bild allein darzustellen, indem durch die Schwellwerte alles von der Darstellung ausgeschlossen wird, was vom Fokus entfernt liegt.

Begrenzt wird diese Möglichkeit durch das Signal-Rausch-Verhältnis, den Schrittfehlern bei der Gitterverschiebung, den Unlinearitäten bei der Detektion und der Zahl der Stützstellen, mit denen das aufmodulierte Gitter durch die im allgemeinen benutzte CCD- Kamera dargestellt wird.

Prinzipiell können aus den bisher beschriebenen Teilbildern folgende Informationen vom Objekt gewonnen werden:

1. vollständige Hellfeldbilder ohne aufmodulierte Gitterstruktur (A₁, A₂)
2. "Abstandsinformationen" von Objektbereichen vom exakten Fokus (ohne Richtung) (m)
3. Hellfeldinformationen vom Objekt, die mit zunehmendem Abstand vom Fokus dunkler werden (Confokalbilder) (A.m)
4. Bilder, bei denen nur eine dünne Schicht um den Fokus als vollständiges Hellfeldbild dargestellt wird (A bei m < Grenzwert)
5. Durch Potenzieren von m einen wählbar kleineren Bereich um den Fokus herum.

Bei zentraler Beleuchtung enthalten die Bilder keine Informationen, ob sich ein aus serhalb der Fokusebene liegender Bildpunkt extra- oder intrafokal befindet.

Durch schiefe Gitterprojektion ist es aber vorteilhaft möglich, diese Information zu gewinnen.

In Abhängigkeit von der Objekthöhe sind die Gitterstriche in Richtung der Inzidenz der Beleuchtung mehr oder weniger verschoben.

Aus obenstehenden Gleichungen I. und II. kann dann durch Division analog zu interferenzmikroskopischen Untersuchungen pixelweise eine Phaseninformation ϕ_xy gewonnen werden:

Dabei verschwinden der Modulationsgrad und die Objektintensität.
(Damit kann entschieden (was heißt das - welcher Vorgang läuft ab?) werden, ob das jeweilige Pixel ober- oder unterhalb der Fokusebene liegt.

Durch das Vorzeichen von ϕ kann entschieden werden, ob das jeweilige Pixel ober- oder unterhalb der Fokusebene liegt. Dabei hängt es von den gerätetechnischen Gegebebheiten und verfahrensmäßigen Vereinbarungen ab, ob ein positives Vorzeichen ober- oder unterhalb und umgekehrt bedeutet.

Erfahrungsgemäß zeigen Rekonstruktionsalgorithmen für das Oberflächenprofil besonders bei stark strukturierten Objekten Fehler oder versagen gänzlich, wenn Bereiche mit geringer bzw. ohne Modulation vorhanden sind.

Dem letztgenannten Umstand kann man begegnen, indem man jeweils 4 Bilder für Beleuchtung mit entgegengesetzter Inzidenz gewinnt.

Projektionsabhängige Verzerrungen werden durch Addition der synthetischen Bilder kompensiert.

Es wird nicht die Phase selbst, sondern die gegenseitige Lage der Gitterstriche durch Vergleich ihrer Lage im ersten "Bilderquartett" gegenüber ihrer Lage im zweiten ermittelt. Dabei ist es vorteilhaft, zusätzlich den Modulationsgrad mit zu bestimmen und solche Bereiche, deren Modulation unterhalb einer bestimmten Schwelle liegt, auf mathematischem Weg von der Darstellung auszuschließen.

Sind die Striche des Gitters in Bild A₁ gegenüber Bild A₂ in eine bestimmte Richtung verschoben, so bedeutet das auch eine aus den anordnungsbedingten Verhältnissen bedingte Richtung der Defokussierung.

Diese Verfahrensweise gestattet - im Gegensatz zu den bekannten Algorithmen - auch die Untersuchung extrem strukturierter und/oder in der Tiefe ausgedehnter Objekte und in Verbindung mit den im Mikroskop sowieso vorhandenen Feintrieb durch Gewinnung von Bildern des Objektes aus verschiedenen Ebenen die 3-dimensionale Rekonstruktion solcher Objekte.

Die Verwendung von schiefer Beleuchtung hat für die Tiefenselektivität und die laterale Auflösung des Bildes weitere Vorteile.

Die schiefe Gitterprojektion hat bei regulär reflektierenden Oberflächen mit geneigten Flächen einen weiteren Vorteil.

Durch die Reflektion wird die zurückkehrende Information um den doppelten Neigungswinkel der Flächenelemente zurückgeworfen. Das führt auch bei Verwendung von Objektiven mit höchsten Aperturen zu einer Begrenzung des untersuchbaren Neigungsbereiches auf ≦ 36°. Durch schiefe Projektion kann der nutzbare Neigungsbereich bei den vorgenannten Verfahren, die nicht zwischen intra- und extrefokaler Lage der Objekteinzelheiten unterscheiden, um den von 90° verschiedenen Projektionswinkel erweitert werden.

Im AXIOMAP war ein Schieber mit einem Gitter mit cos²-förmiger Intensitätsvariation in die Leuchtfeldblendenebene einschiebbar. Das Gitter wurde mit einem Schrittmotor verschoben.

Zwischen Gitter und Aperturblende war ein umschaltbarer Träger mit zwei gleichen Keilen, aber entgegengesetzter Orientierung angebracht. Damit konnte die Neigung der Beleuchtung verändert werden.

Nachteilig an dieser Vorrichtung war die große Umschaltzeit von einem zu einem anderen Zustand. Es bestand auch ohne Ausbau der Zusatzeinrichtung keine Möglichkeit zur zentralen Beleuchtung.

Diese Nachteile sollen mit der neuen Vorrichtung vermieden werden.

Vorrichtung

In einem in die Leuchtfeldblendenebene eines nicht dargestellten Mikroskopes einsetzbaren nicht dargestellten Schieber befindet sich fest eingebaut ein Gitter G mit vorzugsweise cos²-förmigem Helligkeitsverlauf.

Die Gitterkonstante ist wegen eines guten Kompromisses einer guten Rekonstruierbarkeit des Intensitätsverlaufes im Signal und einer hohen Tiefenselektivität so abgestimmt, daß eine Gitterperiode auf ca. 8-12 Pixel einer CCD-Kamera fällt. (Unter diesen Bedingungen wird die Modulationstiefe mit Sicherheit mit 95% des tatsächlichen Wertes wiedergegeben.)

Zwischen Gitter und nicht dargestellter Kollimatorlinse des Illuminators ist in Fig. 1a ein Planplattenmikrometer PM angeordnet, das durch einen Scanner S (z. B. Galvanometerscanner) angetrieben stufenweise um eine Drehachse A verkippt wird.

Der Scanner wird so angesteuert, daß durch Verkippen der Planplatte 3-4 jeweils um ¼ der Gitterkonstante verschobene Einstellungen des Gitters in der Objektebene zustande kommen. Dabei ist der Scannbereich des Scanners nur teilweise, beispielweise zu 30% ausgenutzt.

Zwischen Gitter und nicht dargestellter Aperturblende ist ein schwacher Keil K1 (Prismenkörper) gegen zwei Anschläge drehbar angeordnet. Ein weiterer nahezu gleicher Keil K2 ist fest zwischen Planplattenmikrometer PM und nachfolgender nicht dargestellter Optik angeordnet. Die Wirkung beider Keile ist über die jeweiligen Keilwinkel so abgestimmt, daß durch ihre Überlagerung beim Anliegen des Keiles K1 am ersten Anschlag das Bild der Aperturblende in einer ersten Richtung senkrecht zu den Gitterstrichen verschoben ist, beim Anliegen am anderen Anschlag um den gleichen Betrag in die entgegengesetzte Richtung.

Nachdem die 3-4 Einstellungen vorgenommen wurden, bewegt sich der Scanner in die Nähe einer Endlage und schaltet dabei mit einer Umschaltfeder den beweglichen Keil in eine der beiden Endlagen. Dort wird er durch ein mechanisches Flipp-Flop (ähnlich Lichtschalter) festgehalten.

Dies ist in Fig. 2 dargestellt.

Der Keil K1 ist in einer Halterung H in (zwei Richtungen verkippbar) um die opt. Achse AS drehbar angeordnet.

Die Scannerachse A weist einen Mitnehmer M auf, der erst bei Erreichen einer Endlage über einen oberen oder unteren Mitnehmer MO, MU auf die Halterung einwirkt und bewirkt, daß ein Wechsel der Halterung zwischen oberem und unteren Anschlag AO, AU erfolgt.

Fester und beweglicher Keil erzeugen eine resultierende Wirkung, die die Dezentrierung der Aperturblende in der Objektiv-Pupille in einer Richtung senkrecht zu den Gitterstrichen zur Folge haben, wie in Fig. 1b schematisch dargestellt. Damit wird schiefe Beleuchtung in einer Richtung erzeugt.

In einer weiteren Phase des Verfahrens bewegt sich der Scanner in die Nähe der anderen Endlage, so daß der bewegliche Keil gegen den anderen Anschlag geschaltet wird und schiefe Beleuchtung mit entgegengesetzter Inzidenz entsteht.

Für die auch mögliche Auswertungen ohne schiefe Beleuchtung wird mittels einer Sperre der bewegliche Keil in der Mittellage gehalten, so daß kein Versatz des Bildes der Aperturblende in der Austrittspupille des Mikroskopobjektives entsteht.

Die Umschaltung der verschiedenen Einstellungen kann sehr rasch (in ca. 2-5 ms) erfolgen. Die Genauigkeit der Bewegung erreicht ohne Schwierigkeiten die erfordeliche Genauigkeit von ca. 1/1000 der Gitterkonstante (andernfalls entstehen im ausgewerteten Bild unerwünschte Streifenstrukturen, meist mit 2- bzw. 4-facher Ortsfrequenz des Gitters).

Die Erfassung der Bilddaten erfordert eine pixelsynchrone CCD-Kamera. Es genügt im allgemeinen eine Datentiefe von 8 bit. Die Linearität von CCD-Kameras reicht im allgemeinen nicht aus, um oberwellenfreie Bildrekonstruktionen zu erzeugen. Diesem Mangel kann wie beim AXIOMAP durch eine luck-up-table abgeholfen werden.

Claims

1. Verfahren zur Ermittlung einer Oberflächeninformation mittels einer aufprojizierten Struktur mit periodisch veränderlichem Helligkeitsverlauf, die um jeweils 1/n, n = ganzzahlig, größer 2, der Gitterkonstante verschoben wird und das Projektionsbild mittels einer CCD-Kamera erfaßt wird,
und für jeden Bildpunkt Informationen ermittelt werden, die die Hellfeldintensität multipliziert mit der jeweiligen Gitterphase darstellen, aus diesen Bildern die sinus- und cosinus Anteile extrahiert werden und daraus
I. I_xy = I_obxy.m.sin x
II. I_xy = I_obxy.m.cos x
gebildet werden
und aus I. und II. der Modulationsgrad m berechnet und zur Darstellung verwendet wird, mit

2. Verfahren nach Anspruch 1, wobei weiterhin Hellfeldbilder A ohne aufmodulierte Gitterstruktur gebildet werden.

3. Verfahren nach Anspruch 1 oder 2,
zur Ermittlung einer Oberflächeninformation mittels einer aufprojizierten Struktur mit periodisch veränderlichem Helligkeitsverlauf, die um jeweils ¼ der Gitterkonstante verschoben wird und das Projektionsbild mittels einer CCD-Kamera erfaßt wird,
und für jeden Bildpunkt Informationen ermittelt werden, die die Hellfeldintensität multipliziert mit der jeweiligen Gitterphase darstellen,
beschrieben als:
1. I_xy1 = 0.5 I_obxy.(1 + m.sin x)
2. I_xy2 = 0.5 I_obxy.(1 + m.cos x)
3. I_xy3 = 0.5 I_obxy.(1 - m.sin x)
4. I_xy4 = 0.5 I_obxy.(1 - m.cos x),
wobei 3 von 1 sowie 4 von 2 subtrahiert werden, so daß I, II entstehen als
I. I_xy = I_obxy.m.sin x
II. I_xy = I_obxy.m.cos x,
und aus I. und II. der Modulationsgrad m berechnet und zur Darstellung verwendet wird, mit

4. Verfahren nach Anspruch 3, wobei 3. zu 1. bzw. 4. zu 2. addiert werden, so daß in beiden Fällen die Modulation des Bildinhaltes mit den Winkelfunktionen verschwindet und man aus den vier Teilbildern die vollständigen Hellfeldbilder A₁ bzw. A₂ erhält:
A₁: I_xy = I_xy3 + I_xy1 = I_obxy

5. Verfahren nach einem der Ansprüche 1-4, wobei

1. vollständige Hellfeldbilder ohne aufmodulierte Gitterstruktur (A₁, A₂) und/oder
2. "Abstandsinformationen" von Objektbereichen vom exakten Fokus (ohne Richtung) (m) und/oder
3. Hellfeldinformationen vom Objekt, die mit zunehmendem Abstand vom Fokus dunkler werden (Confokalbilder) (A.m) und/oder
4. Bilder, bei denen nur eine dünne Schicht um den Fokus als vollständiges Hellfeldbild dargestellt wird (A bei m < Grenzwert) und/oder
5. Bilder aus m mit n größer 1 potenziert

zur Darstellung verwendet werden.

6. Verfahren zur Ermittlung einer Oberflächeninformation mittels einer aufprojizierten Struktur mit periodisch veränderlichem Helligkeitsverlauf, die um jeweils 1/n der Gitterkonstante verschoben wird, wobei das Projektionsbild mittels einer CCD-Kamera erfaßt wird und die Struktur unter einem Winkel ungleich 90 Grad aufprojiziert wird, wobei jeweils n Bilder für Beleuchtung unter entgegengesetzt etwa gleichen Projektionswinkeln aufgenommen werden, aus diesen jeweils ein synthetischens Bild gewonnen wird und diese Bilder separat als Stereobildpaar und /oder addiert dargestellt werden.

7. Verfahren zur Ermittlung einer Oberflächeninformation mittels einer aufprojizierten Struktur mit periodisch veränderlichem Helligkeitsverlauf, die um jeweils 1/n, n größer 2 der Gitterkonstante verschoben wird und das Projektionsbild mittels einer CCD- Kamera erfaßt wird,
und für jeden Bildpunkt Informationen ermittelt werden, die die Hellfeldintensität multipliziert mit der jeweiligen Gitterphase darstellen, aus diesen Bildern die sinus- und cosinus-Anteile extrahiert werden und daraus
I. I_xy = I_obxy.m.sin x
II. I_xy = I_obxy.m.cos x,
gebildet werden
und aus I. und II. durch Division eine Phaseninformation ϕ_xy gewonnen wird, um das jeweilige Pixel oberhalb oder unterhalb der Fokusebene zuzuordnen:

8. Verfahren zur Ermittlung einer Oberflächeninformation mittels einer aufprojizierten Struktur mit periodisch veränderlichem Helligkeitsverlauf, die um jeweils ¼ der Gitterkonstante verschoben wird, wobei das Projektionsbild mittels einer CCD-Kamera erfaßt wird und die Struktur unter einem Winkel ungleich 90 Grad aufprojiziert wird, wobei jeweils 4 Bilder für Beleuchtung unter entgegengesetzt gleichen Projektionswinkeln aufgenommen werden, jeweils beschrieben als:
1. I_xy1 = 0.5 I_obxy.(1 + m.sin x)
2. I_xy2 = 0.5 I_obxy.(1 + m.cos x)
3. I_xy3 = 0.5 I_obxy.(1 - m.sin x)
4. I_xy4 = 0.5 I_obxy.(1 - m.cos x),
wobei 3 von 1 sowie 4 von 2 subtrahiert werden, so daß I, II entstehen als
I. I_xy = I_obxy.m.sin x
II. I_xy = I_obxy.m.cos x,
und aus I. und II. kann durch Division eine Phaseninformation ϕ_xy gewonnen wird, um das jeweilige Pixel oberhalb oder unterhalb der Fokusebene zuzuordnen:

9. Anordnung zur Änderung der Projektionsrichtung, insbesondere nach einem der Ansprüche 1-8, eines über mindestens einen keilförmigen, um die optische Achse drehbaren Prismenkörper und eine zur optischen Achse verkippbaren Planplatte auf eine Oberfläche projizierten Gitters, wobei die Ansteuerung der Kippbewegung der Planplatte so mit der Drehbewegung des Primenkörpers gekoppelt ist, daß nach mindestens drei Kippschritten eine Änderung der Orientierung des Prismenkörpers erfolgt.

10. Anordnung nach Anspruch 9, wobei ein zweiter feststehender Prismenkörper im Strahlengang vorgesehen ist.