DE102020211702A1

DE102020211702A1 - Verfahren zum Überwachen einer Immersionsflüssigkeit in einem Mikroskop

Info

Publication number: DE102020211702A1
Application number: DE102020211702.0A
Authority: DE
Inventors: Thomas Ohrt; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2020-09-18
Filing date: 2020-09-18
Publication date: 2022-03-24
Also published as: CN114200658A; US20220091406A1

Abstract

Es ist ein Verfahren zum Überwachen einer Immersionsflüssigkeit (6) bei einem Mikroskop (1) mit einem Objektiv, das eine auf einem Probenträger (2) befindliche Probe (4) abbildet, bereitgestellt. In einem Schritt a) wird eine Kamera (12), die ein Bildfeld (10) aufweist, das so ausgerichtet wird, dass es den Probenträger (2), und einen an den Probenträger (2) in Richtung auf das Objektiv hin anschließenden Raum zwischen Probenträger (2) und Objektiv, der zur Aufnahme der Immersionsflüssigkeit (6) dient, erfasst, positioniert. In einem Schritt b) wird die Immersionsflüssigkeit (6) in den Raum zwischen Probenträger (2) und Objektiv aufgebracht. In Schritt c) wird ein Bild (24) mit der Immersionsflüssigkeit (6) im Raum zwischen Probenträger (2) und Objektiv aufgenommen und in einem Schritt d) wird die Position, die Fläche und/oder die Kontur (34) der Immersionsflüssigkeit (6) auf dem Probenträger (2) aus dem in Schritt d) gewonnenen Bild (24) bestimmt.

Description

Die Erfindung betrifft ein Verfahren zum Überwachen einer Immersionsflüssigkeit bei einem Mikroskop mit einem Mikroskopobjektiv, das eine auf einem Probenträger befindliche Probe abbildet. Dabei wird ein Bild der Immersionsflüssigkeit in einem Raum zwischen Probenträger und Mikroskopobjektiv aufgenommen. Weiter betrifft die Erfindung eine Vorrichtung zum Überwachen einer Immersionsflüssigkeit bei einem Mikroskop mit einem Mikroskopobjektiv, das eine auf einem Probenträger befindliche Probe abbildet. Dabei nimmt eine Kamera ein Bild der Immersionsflüssigkeit in einem Raum zwischen Probenträger und Mikroskopobjektiv auf.
Aus der US 6 980 293 B1 ist eine Vorrichtung zum automatisierten Einbringen von Immersionsmittel in einen Raum zwischen Mikroskopobjektiv und Probe bekannt. Es wird ein vergrößertes Bild des Mikroskopobjektivs und der Probe aufgenommen, und mit einer Versorgungseinheit wird automatisiert Immersionsflüssigkeit in den Raum zwischen Objektiv und Probe eingebracht.
Aus der US 2007 / 0 047 093 A1 ist eine Vorrichtung zum automatisierten Aufbringen von Immersionsflüssigkeit und zum automatisierten Reinigen des Mikroskopobjektivs beschrieben.
Ausgehend hiervon soll ein Verfahren zur automatisierten Überwachung der Immersionsflüssigkeit in einem Mikroskop bereitgestellt werden.
Die Erfindung ist in den unabhängigen Ansprüchen 1 und 15 definiert. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben. Die bevorzugten Ausführungsformen gelten auf dieselbe Weise für das Verfahren und die Vorrichtung.
Es wird ein Verfahren zum Überwachen einer Immersionsflüssigkeit bei einem Mikroskop mit einem Mikroskopobjektiv, das eine auf einem Probenträger befindliche Probe abbildet, bereitgestellt. In einem Schritt a) wird eine Kamera, die ein Bildfeld aufweist, ausgerichtet. Die Ausrichtung erfolgt so, dass die Kamera mit ihrem Bildfeld den Probenträger und einen an den Probenträger in Richtung auf das Mikroskopobjektiv hin anschließenden Raum zwischen Probenträger und Mikroskopobjektiv, der zur Aufnahme der Immersionsflüssigkeit dient, erfasst.
Es wird weiter eine Vorrichtung zum Überwachen einer Immersionsflüssigkeit bei einem Mikroskop mit einem Mikroskopobjektiv, das eine auf einem Probenträger befindliche Probe abbildet, bereit gestellt. Die Vorrichtung weist eine Kamera auf, die ein Bildfeld aufweist. Die Kamera ist derart positioniert, dass das Bildfeld den Probenträger und einen an den Probenträger in Richtung auf das Mikroskopobjektiv hin anschließenden Raum zwischen Probenträger und Mikroskopobjektiv, der zur Aufnahme der Immersionsflüssigkeit dient, erfasst.
Die konkrete Positionierung der Kamera ist unerheblich, solange der Probenträger und die Immersionsflüssigkeit bzw. der Raum, in dem sie sich befinden soll, im Bildfeld enthalten und insbesondere gut sichtbar sind. Die Kamera kann beispielsweise an einem Durchlichtarm des Mikroskops oder am Mikroskopstativ befestigt werden; auch andere Positionen der Kamera sind möglich.
In einem Schritt b) des Verfahrens wird die Immersionsflüssigkeit in den Raum zwischen Probenträger und Mikroskopobjektiv aufgebracht. Bei der Vorrichtung erfolgt die Aufbringung der Immersionsflüssigkeit mit einer Aufbringeinrichtung.
In einem Schritt c) des Verfahrens wird ein Bild mit der Immersionsflüssigkeit im Raum zwischen Probenträger und Mikroskopobjektiv aufgenommen. Bei der Vorrichtung erfolgt die beschriebene Aufnahme mit der Kamera.
In einem Schritt d) des Verfahrens werden dann die Position, Fläche und/oder die Kontur der Immersionsflüssigkeit auf dem Probenträger, aus dem in Schritt c) aufgenommenen Bild bestimmt.
Da die Kamera im Prinzip beliebig platziert werden kann, solange der Probenträger und die Immersionsflüssigkeit bzw. der dafür vorgesehene Raum im Bildfeld gut sichtbar sind, ist die Probenebene im von der Kamera aufgenommenen Bild in der Regel perspektivisch verzerrt. Das Bild spielt beim Finden und Auswerten der Immersionsflüssigkeit allerdings eine wichtige Rolle, daher ist es vorteilhaft, nach einem Schritt a) des Verfahrens die Kamera zu kalibrieren, beispielsweise indem ein vorbekanntes Kalibriermuster in einer Ebene des Probenträgers und im Bildfeld der Kamera positioniert und ein Kalibrierbild aufgenommen wird. Zur Kalibrierung können aber auch Bezugsobjekte in Form von Bauteilen des Mikroskops, wie zum Beispiel Einlegerahmen, oder der Probenträger selbst dienen.
Eine andere Möglichkeit der Kalibrierung besteht darin, den Schnittpunkt einer optischen Achse des Kameraobjektivs mit der Probenträgerebene im Bild zu lokalisieren. Dieser Schnittpunkt liegt für den Fall, dass die Kamera zentral von oben oder unten auf den Probenträger gerichtet ist, am Mittelpunkt des Kameraobjektivs. Die Position des Kameraobjektivs im Bild ist im Normalfall aus dem Kameraaufbau bekannt, kann aber alternativ auch manuell oder automatisiert über einen Detektionsalgorithmus ermittelt werden.
Insbesondere kann die aus der Positionierung der Kamera entstehende Verzerrung ermittelt und durch eine Transformation rückgängig gemacht werden und besonders bevorzugt die Probenebene im transformierten Bild so dargestellt werden, als hätte die Kamera die Probenebene exakt von oben aufgenommen. Dazu wird auf Basis des abgebildeten Kalibriermusters oder eines aufgenommenen (bekannten) Bezugsobjektes in einem weiteren Schritt die Bildverzerrung im Raum zwischen Probenträger und Mikroskopobjektiv, welche durch die Lage der Kamera bedingt ist, ermittelt.
Zur Ermittlung der nötigen Transformation wird einmalig das vorbekannte Kalibriermuster in der Ebene des Probenträgers platziert und mit der Kamera aufgenommen. Das Kalibriermuster ist so ausgestaltet, dass es erlaubt, eine perspektivisch bedingte Verzerrung im Kalibrierbild zu erkennen. Zum Beispiel ist das Kalibriermuster als Gitter oder Schachbrettmuster ausgestaltet. Alternativ wird ein Bezugsobjekt, wie zuvor bereits ausgeführt, mit der Kamera aufgenommen und zur Bestimmung der nötigen Transformation herangezogen.
Aus dem Unterschied zwischen Kalibriermuster beziehungsweise dem Bezugsobjekt und dessen Wiedergabe im Kalibrierbild lässt sich dann die nötige Transformation, die sogenannte Homographie, ermitteln, wobei eine Schätzung genügen kann. Die Homographie ist eine Abbildung, die die Kameraebene auf die Probenträgerebene abbildet. Sie ermöglicht es, Bilder bei gleichbleibendem Kameraaufbau entsprechend zu entzerren. Zudem lassen sich mit Hilfe des Kalibriermusters bzw. des Bezugsobjektes sowie des Kalibrierbildes auch Verzerrungen, welche durch die Kameraoptik entstehen (z.B. tonnenförmige Wölbung) aus dem Bild herausrechnen. Auch dies geht optional in die Transformation ein. Damit ermöglicht es die Kalibrierung, das von der Kamera aufgenommene Bild durch die Transformation derart geometrisch und perspektivisch zu entzerren, dass alle Objekte in der Ebene des Probenträgers, und damit auch die am Probenträger anliegende Immersionsflüssigkeit, weitgehend (im Rahmen der rechnerisch und durch die Auflösung bedingten Transformationsgenauigkeit) verzerrungsfrei dargestellt werden.
Die Vorrichtung zum Überwachen der Immersionsflüssigkeit weist eine Verarbeitungseinrichtung auf. Dieser Verarbeitungseinrichtung kann ein Kalibrierbild, das den Raum zwischen Probenträger und Mikroskopobjektiv beispielsweise mit einem vorbekannten Kalibriermuster in einer Ebene des Probenträgers und im Bildfeld der Kamera darstellt, zur Verfügung gestellt werden. Die Verarbeitungseinrichtung kann ferner so konfiguriert sein, dass sie basierend auf dem Kalibrierbild und damit dem abgebildeten Kalibriermuster eine Bildverzerrung im Raum zwischen Probenträger und Mikroskopobjektiv ermittelt. Analog kann ein bekanntes Bezugsobjekt als Grundlage für die Kalibrierung verwendet werden.
Nach Schritt a) des Verfahrens kann alternativ oder zusätzlich auch ein Hintergrundbild im Raum zwischen Probenträger und Mikroskopobjektiv aufgenommen werden. Vorzugsweise geschieht dies nach einer gegebenenfalls durchzuführenden Kalibrierung. Im Falle der Vorrichtung erfolgt die Aufnahme des Hintergrundbildes mit Hilfe der Kamera. Bei dem Hintergrundbild handelt es sich um ein Bild, welches das Aussehen des Mikroskopobjektivs im Bild ohne störende Einflüsse beschreibt. Das Hintergrundbild kann beispielsweise ohne Immersionsflüssigkeit im Raum zwischen Probenträger und Mikroskopobjektiv aufgenommen werden. Weiter kann das Hintergrundbild durch eine Aufnahme einer Menge von typischen Bildern bei typischen Umgebungsvariationen, wie zum Beispiel verschiedenen Beleuchtungen, erzeugt werden. Für ein Hintergrundbild, welches mit einer Immersionsflüssigkeit aufgenommen wurde, lässt sich das Aussehen des Mikroskopobjektivs ohne die Immersionsflüssigkeit aus dem Hintergrundbild selbst schätzen.
Bevorzugt wird in einem Schritt d) die die Position, die Fläche und/oder die Kontur der Immersionsflüssigkeit auf dem Probenträger bestimmt, indem nach einer Struktur im Bild gesucht wird, welche sich innerhalb eines bestimmten Abstands von einem Zentrum des Mikroskopobjektivs befindet, nicht dem Mikroskopobjektiv zuzuordnen ist und/oder eine näherungsweise ringförmige Form aufweist.
Bei der Vorrichtung ist die Verarbeitungseinrichtung so konfiguriert, dass sie die Position, die Fläche und/oder die Kontur der Immersionsflüssigkeit auf dem Probenträger bestimmt, wobei sie ein von der Kamera aufgenommenes Bild des Raumes zwischen Probenträger und Mikroskopobjektiv mit Immersionsflüssigkeit im Raum verwendet. Sie kann optional zudem ein von der Kamera aufgenommenes Hintergrundbild des Raumes zwischen Probenträger und Mikroskopobjektiv, ein von der Kamera aufgenommenes Bild des Raumes zwischen Probenträger und Mikroskopobjektiv mit Immersionsflüssigkeit im Raum und/oder die ermittelte Bildverzerrung verwenden. Die Verarbeitungseinrichtung ist bevorzugt so konfiguriert, dass sie die Position, die Fläche und/oder die Kontur der Immersionsflüssigkeit auf dem Probenträger bestimmt, indem sie nach einer Struktur im Bild sucht, welche sich innerhalb eines bestimmten Abstands von einem Zentrum des Mikroskopobjektivs befindet, nicht dem Mikroskopobjektiv zuzuordnen ist und/oder eine näherungsweise ringförmige Form aufweist.
Die Position des Mikroskopobjektivs und damit die Position des Zentrums des Mikroskopobjektivs, kann durch die optional vorangegangene Kalibrierung, durch eine automatisierte Schätzung aus einem oder mehreren Übersichtsbildern oder aus einer manuellen Eingabe bekannt sein. Es wird bevorzugt ein maximaler Suchabstand definiert. Dabei handelt es sich um einen radialen Abstand vom Zentrum des Mikroskopobjektivs. Dieser maximale Suchabstand wird entweder aus der Mikroskopanwendung anhand des gewählten Mikroskopobjektivs, der Größe des Probenträgers oder der Art der Immersionsflüssigkeit automatisch bestimmt oder vom Nutzer manuell festgelegt.
Auch das Mikroskopobjektiv erzeugt unter Umständen Strukturen im Bild, die den Strukturen der Immersionsflüssigkeit ähneln können. Die Strukturen im Bild, die dem Mikroskopobjektiv zuzuordnen sind, dürfen allerdings bei der Bestimmung der der Position, der Fläche und/oder der Kontur der Immersionsflüssigkeit im Bild nicht herangezogen werden. Um die Unterscheidung von Strukturen im Bild, welche dem Mikroskopobjektiv zuzuordnen sind, und Strukturen der Immersionsflüssigkeit zu erleichtern, kann beispielsweise ein vorher erzeugtes Hintergrundbild benutzt werden. Das im Schritt c) aufgenommene Bild wird dabei mit dem Hintergrundbild so kombiniert, dass möglichst nur die Strukturen der Immersionsflüssigkeit im Bild übrigbleiben. Im einfachsten Fall besteht das Hintergrundbild aus einem einzigen Referenzbild, in dem keine Immersionsflüssigkeit zu sehen ist. Die Kombination ist dann eine Subtraktion des Hintergrundbildes vom im Schritt c) erzeugten Bild. Es ist aber auch die Kombination mit mehreren Hintergrundbildern möglich, welche mehrere Umgebungsvariationen, wie etwa variierende Beleuchtungen umfassen.
Die Struktur, nach der im Bild gesucht wird, weist bevorzugt eine näherungsweise ringförmige Struktur auf. Eine Verformung des Tropfens der Immersionsflüssigkeit ist dabei erlaubt; der Idealzustand ist allerdings ein kreisförmiger Tropfen am Probenträger, der als Kreisring im Bild sichtbar wird. Das Lokalisieren der näherungsweise ringförmigen Struktur kann über verschiedene Ansätze erfolgen. Eine Möglichkeit der Lokalisation besteht aus drei Schritten:

In einem ersten Schritt werden Pixelwerte des Bildes in Grauwerte umgewandelt. Dabei werden dunkle Grauwerte der näherungsweise ringförmigen Struktur der Immersionsflüssigkeit zugeordnet und helle Grauwerte nicht. Eine derartige Skalierung anhand von Grauwerten kann beispielsweise durch eine Verrechnung mit dem zuvor aufgenommenen Hintergrundbild erfolgen.

In einem zweiten Schritt wird das Bild von einem kartesischen in ein Polarkoordinatensystem überführt. Dabei wird der Koordinatenursprung im Zentrum des Mikroskopobjektivs gewählt. Die genaue Position des Zentrums des Mikroskopobjektivs kann beispielsweise aus einer vorherigen Kalibrierung bekannt sein. Nach der Transformation des Bildes in Polarkoordinaten stellt sich die im ersten Schritt ermittelte Kontur der Immersionsflüssigkeit um das Mikroskopobjektiv herum als gerade Linie dar. Da die Immersionsflüssigkeit aufgrund äußerer Einflüsse, wie etwa einem Bewegen des Probentisches, nicht zwingend als idealer Tropfen und damit nicht als exakt ringförmige, sondern nahezu ringförmige Struktur vorliegt, ist die Linie im in Polarkoordinaten transformierten Bild oftmals ebenfalls leicht verformt. Dies kann in Ausführungsformen berücksichtigt und durch eine Verzerrungstransformation kompensiert werden.
In einem dritten Schritt wird schließlich ein Pfad über alle Werte der Winkel-Achse des in Polarkoordinaten transformierten Bildes bestimmt. Dieser Pfad lässt die Summe aller Pixelwerte entlang des Pfades minimal werden und wird, nachdem er bestimmt wurde, wieder in kartesische Koordinaten zurücktransformiert werden. Der Pfad entspricht dann der Kontur der Immersionsflüssigkeit im in Schritt c) aufgenommenen Bild. Bevorzugt wird für die Konturbestimmung davon ausgegangen, dass der Tropfen der Immersionsflüssigkeit im Bild eine geschlossene, stetige Form aufweist. Dazu kann bei der Suche nach dem Pfad darauf geachtet werden, dass die Änderung der Radialkoordinate für aufeinanderfolgende Elemente entlang der Winkelachse einen festgelegten Schwellwert nicht überschreitet. Hierbei handelt es sich um ein Optimierungsproblem, welches durch einen Algorithmus zur Berechnung kürzester Pfade gelöst wird. In Betracht kommen zum Beispiel ein Dijkstra-Algorithmus, ein A*-Algorithmus oder ein Floyd-Warshall-Algorithmus.
Eine weitere Möglichkeit der Lokalisierung der Immersionsflüssigkeit basiert auf maschinellem Lernen. Dazu wird ein neuronales Netz, insbesondere ein tiefe neuronales Netz des sogenannten Deep Learning, weiter bevorzugt mindestens ein faltendes neuronales Netz (englisch: convolutional neuronal network, CNN) als Maschinenlernmodell aufgesetzt und dahingehend trainiert, dass es in einer Aufnahme ringförmige beziehungsweise annähernd ringförmige Strukturen erkennt, die die aufgebrachte Immersionsflüssigkeit zeigen. Das neuronale Netz oder die neuronalen Netze können durch überwachtes Lernen, unüberwachtes Lernen, teilüberwachtes Lernen oder bestärkendes Lernen trainiert sein.
Insbesondere kann die Lokalisierung mit Hilfe einer Segmentierung, in welcher in der Aufnahme beziehungsweise dem Bild markiert wird, in welchem Bereich sich die Immersionsflüssigkeit befindet, mit Hilfe einer Klassifizierung oder semantischen Segmentierung, wobei zwischen Bereichen mit und ohne Immersionsflüssigkeit unterschieden wird, und/oder mit Hilfe einer Detektion Bereichen mit und ohne Immersionsflüssigkeit, erfolgen.
Der Vorteil der Verwendung des maschinellen Lernens beziehungsweise eines Maschinenlernmodells liegt vor allem in dessen Robustheit, da es kleinere Veränderungen oder Störungen im Übersichtsbild in der Regel kompensieren kann, so dass diese nicht zu Fehlern führen. Zudem können neue Elemente der Probenträgerumgebung oder eine generelle Umgestaltung der Probenträgerumgebung durch einen neuen Trainingsdurchgang einfach ergänzt werden. Im Vergleich dazu ist der Aufwand, der bei der klassischen Bildanalyse betrieben werden muss, um derartige Störungen und/oder Veränderungen zu kompensieren, sehr hoch, da die Veränderungen gegebenenfalls die Erkennung bekannter Elemente und Umgebungen beeinflusst.
In einer bevorzugten Ausführungsform wird in einem Schritt e) des Verfahrens die Kontur und/oder die Fläche der Immersionsflüssigkeit auf dem Probenträger bewertet und/oder das Volumen der Immersionsflüssigkeit abgeschätzt und/oder eine durch Verdunstung verbleibende Restdauer der Immersionsflüssigkeit auf dem Probenträger bestimmt. Bei der Vorrichtung erfolgen folglich nach der Bestimmung der Kontur und/oder der Fläche der Immersionsflüssigkeit im Bild weitere Schritte, um die Form des Tropfens der Immersionsflüssigkeit auf dem Probenträger zu bewerten, das Volumen des Tropfens abzuschätzen oder um die durch Verdunstung verbleibende Restdauer zu bestimmen.
Ein idealer Tropfen der Immersionsflüssigkeit benetzt die Frontlinse des Mikroskopobjektivs vollständig und weist auf dem Probenträger eine kreisrunde Form auf, welche sich im Bild als kreisringförmige Kontur darstellt. Durch äußere Einflüsse wie zum Beispiel das Verfahren des Probentisches oder bei zu kleinem/großem Volumen der Immersionsflüssigkeit kann es vorkommen, dass die Frontlinse nicht vollständig bedeckt ist, und/oder die Form von einem Kreis stark abweicht. Es wird daher bevorzugt die Güte des Tropfens der Immersionsflüssigkeit dahingehend bewertet, inwieweit die Frontlinse des Mikroskopobjektivs mit Immersionsflüssigkeit bedeckt ist. Dazu wird zum Beispiel ein aus einer Kalibrierung bekannter Schnittpunkt der optischen Achse des Mikroskopobjektivs mit der Probenträgerebene, also das Zentrum des Mikroskopobjektivs in einer Draufsicht auf die Probe herangezogen. Die Größe der Frontlinse wird beispielsweise aus einer Objektivdatenbank entnommen. Zudem wird um die Frontlinse ein von einer numerischen Apertur und vom Abstand zum Probenträger abhängiger Flächenbereich um die Frontlinse herum definiert, welcher mit Immersionsflüssigkeit bedeckt sein muss, um eine optimale Bildqualität zu garantieren. Somit wird sichergestellt, dass die Frontlinse und der sie umgebende Flächenbereich immer mit Immersionsflüssigkeit bedeckt sind. Dadurch können entsprechende Gegenmaßnahmen, wie zum Beispiel eine Warnung an einen Nutzer, eine automatische Immergierung, etc. rechtzeitig, also bevor die Bildqualität beeinträchtigt wird, eingeleitet werden.
Weiter wird die Güte des Tropfens der Immersionsflüssigkeit optional dahingehend bestimmt, wie stark der Tropfen einem Kreis ähnelt, indem geeignete Merkmale, wie z.B. die Exzentrizität einer Ellipse, welche die Kontur optimal annähert, beurteilt werden. So kann zum Beispiel die Exzentrizität der Ellipse der durch die Kontur definierten Region im Bild berechnet und mit manuell definierten oder Trainingsdaten eines Maschinenlernmodells verglichen werden. Alternativ kann auch ohne Verwendung einer Beurteilung der Kontur des Immersionstropfens direkt aus dem in Schritt c) aufgenommenen Bild eine Klassifizierung der Kontur der Immersionsflüssigkeit von „hinreichend kreisförmig“ bis „zu stark verformt“ durchgeführt werden. Dies kann unter anderem auf Basis der Fläche des Immersionstropfens erfolgen. Im Falle einer zu starken Verformung , aber auch wenn das Volumen des Immersionstropfens oder die Restdauer des Immersionstropfens auf dem Probenträger zu gering ist, können je nach Mikroskopieanwendung Gegenmaßnahmen, wie zum Beispiel ein langsameres Verfahren der Probe, haptisches Feedback, eine Warnung an den Nutzer, etc. ausgeführt werden.
Zudem lässt sich eine Kontaktfläche der Immersionsflüssigkeit auf dem Probenträger auf Basis der Kontur und/oder der Fläche leicht bestimmen. Um zusätzlich das Volumen der Immersionsflüssigkeit abschätzen zu können, werden für jedes Mikroskopobjektiv Kalibriermessungen bereitgestellt. Dabei werden bei bekanntem Abstand zwischen Mikroskopobjektiv und Probenträger mehrere Tropfen der Immersionsflüssigkeit mit verschiedenen, bekannten Volumina appliziert und anschließend automatisch deren Kontaktfläche mit dem Probenträger aus dem Bild bestimmt. Dadurch ergibt sich für jedes Mikroskopobjektiv eine 1 :1-Abbildung zwischen Volumen des Immersionstropfens und dessen Kontaktfläche. Das Volumen des Tropfens der Immersionsflüssigkeit wird so bei bekanntem Abstand zwischen Probenträger und Mikroskopobjektiv aus der Kontaktfläche geschätzt. Optional wird zusätzlich geschätzt, wieviel Volumen noch aufzubringen ist, um ein benötigtes Zielvolumen zu erreichen. Weiter ist es durch die Bestimmung des Volumens der Immersionsflüssigkeit und Kenntnis der Geometrie des Mikroskopobjektivs möglich, abzuschätzen, ob die Immersionsmenge für eine vorher festgelegte Aufnahme ausreicht, um an jede Position eine gewünschte Bildqualität zu gewährleisten. Umgekehrt ist es ebenfalls möglich, bei bekanntem Volumen der Immersionsflüssigkeit, aus der Kontaktfläche den Abstand zwischen Probenträger und Mikroskopobjektiv zu bestimmen, was beispielsweise als Kollisionsschutz eingesetzt werden kann.
Bevorzugt wird im Verfahren und bei der Vorrichtung zur Beleuchtung des Bildfeldes eine Lichtquelle verwendet, welche an der Kamera angebracht oder am Mikroskop vorhanden ist. Vorzugsweise ist beziehungsweise sind die Lichtquelle(n) hinsichtlich Intensität und Wellenlängenbereich steuerbar. Damit können in Schritt c) mehrere verschieden beleuchtete Bilder aufgenommen werden, aus denen in ihrer Gesamtheit die Kontur, die Fläche und/oder die Position der Immersionsflüssigkeit analysiert wird. Damit kann die Beurteilung der Immersion weiter optimiert werden.
Weiter ist es bevorzugt, dass die Kamera das Bild im infraroten Bereich aufnimmt. Um die Abhängigkeit von umgebenden Lichtverhältnissen so gering wie möglich zu halten, operieren die Kamera und die Lichtquelle bevorzugt im infraroten Bereich des elektromagnetischen Spektrums. Dies erlaubt eine Überwachung der Immersionsflüssigkeit parallel zur Fluoreszenzmikroskopie. Arbeitet die Kamera im sichtbaren Bereich des Spektrums, oder kommt es aufgrund der jeweiligen Mikroskopieanwendung zur Überlappung der Spektralbereiche von Kamerabeleuchtung und Mikroskop, so wird bevorzugt die Aufnahme des Bildes zeitlich getrennt von der Aufnahme des Fluoreszenzbildes ausgeführt oder die störenden Bereiche im Bild werden ausgeblendet.
Es kann auch vorteilhaft sein, einen Polarisationsfilter an der Kamera anzuordnen, um das Bild unter Verwendung dieses Polarisationsfilters auszunehmen. Die Vorrichtung ist dann so ausgebildet, dass ein Polarisationsfilter an der Kamera anzuordnen oder bereits angeordnet ist, um ein Bild mit diesem aufzunehmen. Die Verwendung des Polarisationsfilters lassen sich Reflexionen an Metalloberflächen, wie denen eines Objektivs, oder am Immersionstropfen herausfiltern beziehungsweise zum Auffinden des Immersionstropfens nutzen, vor allem wenn das mit Polarisationsfilter aufgenommene Bild mit einem Bild kombiniert wird, dass ohne einen Polarisationsfilter aufgenommen wurde.
Werden in Schritt c), wie vorstehend erläutert, mehrere verschieden beleuchtete Bilder in ihrer Gesamtheit analysiert, kann dies auch die Bilder aus dem infraroten Bereich und/oder die unter Verwendung des Polarisationsfilters aufgenommenen Bilder einschließen.
Bevorzugt werden in Schritt d) des Verfahrens Verunreinigungen in der Immersionsflüssigkeit erkannt und optional aus dem in Schritt c aufgenommenen Bild herausgefiltert. Bei der Vorrichtung ist die Verarbeitungseinrichtung so konfiguriert ist, dass sie Verunreinigungen in der Immersionsflüssigkeit erkennt und optional auch aus dem Bild herausfiltert.
Die Kontur, die Fläche und/oder die Position der Immersionsflüssigkeit ist aus Schritt d) bekannt. Dadurch kann im Bild anschließend an Schritt d nach Verunreinigungen in der Immersionsflüssigkeit, wie z.B. Luftblasen oder Staub, gesucht werden. Dabei sind Bereiche im Bild von Interesse, welche innerhalb der Kontur und/oder der Fläche liegen und eine starke visuelle Abweichung zum Mikroskopobjektiv aufweisen. Auch in diesem Schritt kann wieder das Hintergrundbild (oder das Hintergrundmodell) verwendet werden, um die zum Mikroskopobjektiv gehörenden Strukturen herauszufiltern. Das Auffinden der meist kleinen, kreisförmigen Strukturen innerhalb des Tropfens der Immersionsflüssigkeit kann mittels Standardalgorithmen aus dem Bereich der Bildverarbeitung und/oder des maschinellen Lernens, wie beispielsweise mittels Detektion, erfolgen.
Durch das Verfahren und die Vorrichtung zum Überwachen der Immersionsflüssigkeit werden Vorgehensweisen beim Mikroskopieren, wie das Reinigen des Mikroskopobjektivs und das Aufbringen der Immersionsflüssigkeit automatisiert und kontrolliert. Diese Vorgehensweisen wurden nach dem bisherigen Stand der Technik vom Nutzer manuell und unter ständiger Aufsicht und Sorgfalt bewältigt. Ein optional automatisiertes Aufbringen der Immersionsflüssigkeit wird ausgeführt und durch das Verfahren automatisch überwacht, indem die Kontur, die Fläche und/oder die Position überprüft wird. Dadurch wird geprüft, ob ein Soll-Volumen und eine SollPosition der Immersionsflüssigkeit innerhalb vorbestimmter Grenzen eingehalten werden. Zudem ist es möglich, Menge und Ort der Immersionsflüssigkeit automatisiert zu überwachen, während ein Probentisch verfahren wird, um sicherzustellen, dass die Frontlinse des Mikroskopobjektivs durchgängig mit der Immersionsflüssigkeit benetzt ist, und um zu verhindern, dass durch zu starke Verformung des Immersionsflüssigkeitstropfens Immersionsreste am Probenträger zurückbleiben.
Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung beispielhalber noch näher erläutert. In der Zeichnung zeigt:

1 eine Vorrichtung zum Überwachen einer Immersionsflüssigkeit bei einem Mikroskop,
2 ein Ablaufdiagramm des Verfahrens zum Überwachen einer Immersionsflüssigkeit in einem Mikroskop,
3 ein Ablaufdiagramm eines Kalibrierprozesses,
4a und b einen Sicherheitsabstand in Abhängigkeit einer numerischen Apertur eines Objektivs,
5a und b eine Kontur der Immersionsflüssigkeit auf dem Objektiv und
6 eine Evaporation der Immersionsflüssigkeit auf einem Probenträger über die Zeit.

In 1 ist eine Vorrichtung zum Überwachen einer Immersionsflüssigkeit 6 bei einem Mikroskop 1 dargestellt. Entlang einer optischen Achse OA erfasst ein Mikroskop mit einem Mikroskopobjektiv (nicht separat gezeigt) eine auf einem Probenträger 2 befindliche Probe 4. Auf dem Probenträger 2 ist die Immersionsflüssigkeit 6 aufgebracht und überspannt die Probe 4. Zum Aufbringen der Immersionsflüssigkeit 6 in einen Spalt zwischen Mikroskopobjektiv und Probe 4 ist eine Aufbringeinrichtung 8 vorgesehen. Auf die Probe 4 und die Immersionsflüssigkeit 6 ist eine ein Bildfeld 10 aufspannende Kamera 12 gerichtet. Sowohl die Aufbringeinrichtung 8, als auch die Kamera 12 sind über elektrische Leitungen 14 mit der Verarbeitungseinrichtung 16 verbunden. Die Verarbeitungseinrichtung wiederum ist über eine elektrische Leitung 14 mit einer Anzeigevorrichtung 18 verbunden.
Bei der Positionierung der Kamera 12 ist der Nutzer grundsätzlich frei. Die Kamera 12 kann folglich im Prinzip beliebig platziert werden, solange der Probenträger 2 mit der darauf befindlichen Probe 4 und die Immersionsflüssigkeit 6 im Bildfeld 10 gut sichtbar sind. In 1 ist die Befestigung der Kamera 12 nicht eingezeichnet; die Kamera 12 kann beispielsweise an einem Durchlichtarm des Mikroskops 1 oder an einem Mikroskopstativ angebracht sein. Aufgrund der Möglichkeit der freien Platzierung der Kamera 12 ist eine Ebene, in der sich die Probe befindet, in einem Bild, das von der Kamera 12 aufgenommen wird, in der Regel perspektivisch verzerrt. Das perspektivisch verzerrte Bild wird nach der Aufnahme durch die Kamera 12 über die Leitungen 14 oder per Funk an die Verarbeitungseinrichtung 16 übermittelt.
Um die Immersionsflüssigkeit 6 finden und auswerten zu können, muss das perspektivisch verzerrte Bild, welches von der Kamera 12 an die Verarbeitungseinrichtung 16 über die Leitungen 14 übermittelt wurde, durch eine Transformation entzerrt werden, sodass in einem transformierten Bild die Probenebene so dargestellt wird, als hätte die Kamera 12 die Probenebene exakt von oben aufgenommen. Dazu bleibt die Vorrichtung gem. 1 bestehen, es wird bevorzugt lediglich die Probe 4 entfernt und ein Kalibriermuster mit einer bekannten Struktur in eine Ebene des Probenträgers 2 eingebracht. Die Kamera 12 verbleibt dabei in der gleichen Position. Ist das Kalibriermuster parallel zur Ebene des Probenträgers 2 (oder idealerweise an seiner statt) positioniert, wird von der Kamera 12 ein Kalibrierbild aufgenommen und an die Verarbeitungseinrichtung 16 übermittelt. Die Verarbeitungseinrichtung 16 ermittelt anschließend auf Basis des perspektivisch verzerrten Bildes und des Kalibrierbildes eine nötige Transformation, eine sogenannte Homographie H und erkennt daraus eine Bildverzerrung im Raum zwischen Probenträger 2 und Objektiv. Dazu vergleicht die Verarbeitungseinrichtung 16 die Struktur des Kalibriermusters mit deren Abbild gemäß Kalibrierbild.
Ist die Verzerrung bekannt, nimmt die Kamera 12 ein weiteres Bild, ein Hintergrundbild 22, auf. In einer bevorzugten Ausführungsform stellt das Hintergrundbild 22 den Raum zwischen Probenträger 2 und Mikroskopobjektiv ohne Immersionsflüssigkeit 6 dar. Im Hintergrundbild 22 wird folglich das Aussehen des Mikroskopobjektivs im Bild ohne störende Einflüsse dargestellt. Das Hintergrundbild 22 kann bevorzugt auch durch die Aufnahme einer Menge von typischen Bildern 20 bei typischen Umgebungsvariationen, wie zum Beispiel verschiedenen Beleuchtungen erzeugt werden. In Abwandlungen wird das Hintergrundbild 22 mit der in den Raum zwischen Probenträger 2 und Mikroskopobjektiv eingebrachten Immersionsflüssigkeit 6 aufgenommen. Nach Aufnahme des Hintergrundbildes 22 durch die Kamera 12 wird es an über die Leitungen 14 an die Verarbeitungseinrichtung 16 übermittelt. Die Verarbeitungseinrichtung 16 setzt im Falle der Aufnahme mehrerer Bilder 20 mit Umgebungsvariationen das Hintergrundbild 22 aus den einzelnen Bildern 20 zusammen. Für den Fall, dass das Hintergrundbild 22 mit Immersionsmittel 6 im Raum zwischen Probenträger 2 und Mikroskopobjektiv aufgenommen wurde, schätzt die Verarbeitungseinrichtung 16 aus dem Hintergrundbild 22 selbst, wie das Mikroskopobjektiv ohne Immersionsflüssigkeit 6 aussieht.
Mit der Aufbringeinrichtung 8 wird die Immersionsflüssigkeit 6 in den Raum zwischen Probenträger 2 und Objektiv eingebracht. Die Aufbringeinrichtung 8 wird dazu von der Verarbeitungseinrichtung 16 angesteuert.
Befindet sich die Immersionsflüssigkeit 6 im Raum zwischen Probenträger 2 und Objektiv, nimmt die Kamera 12 ein Bild mit Immersionsflüssigkeit 6 im Raum zwischen Probenträger 2 und Objektiv auf und übermittelt es an die Verarbeitungseinrichtung 16. Die Position der Kamera 12 ist dieselbe wie bei der Aufnahme des Hintergrundbildes 22 und des Kalibrierbildes.
Die Verarbeitungseinrichtung 16 korrigiert das Bild hinsichtlich der Bildverzerrung und ermittelt dann die Position und die Kontur 34 der Immersionsflüssigkeit 6 auf dem Probenträger 2. Dabei sucht die Verarbeitungseinrichtung 16 im Bild nach einer Struktur, die sich innerhalb eines bestimmten Abstands von einem Zentrum des Mikroskopobjektivs befindet, nicht dem Mikroskopobjektiv zuzuordnen ist und näherungsweise ringförmige Form aufweist.
Die Verarbeitungseinrichtung 16 ist über die Leitungen 14 weiter mit der Abbildungsvorrichtung 18 verbunden. Bei der Abbildungsvorrichtung 18 handelt es sich beispielsweise um einen Monitor, auf dem die Verarbeitungseinrichtung 16 die Ergebnisse darstellt.
Bevorzugt bewertet die Verarbeitungseinheit 16 die Kontur 34 der Immersionsflüssigkeit 6 auf dem Probenträger 2 und/oder schätzt das Volumen der Immersionsflüssigkeit 6 ab und/oder bestimmt eine durch Verdunstung verbleibende Restdauer der Immersionsflüssigkeit 6 auf dem Probenträger 2.
In Abwandlungen ist in der Vorrichtung gemäß 1 eine Lichtquelle vorgesehen, welche ein Beleuchtungsfeld erzeugt, das das Bildfeld 10 beleuchtet. Die Lichtquelle kann beispielsweise direkt an der Kamera 12 befestigt sein; es kann auch eine bereits am Mikroskop 1 vorhandene Lichtquelle zur Beleuchtung des Bildfeldes 10 verwendet werden. Bei einer aktiven Beleuchtung des Bildfeldes 10 mit der Lichtquelle operieren die Kamera 12 und die Lichtquelle bevorzugt im infraroten Bereich des elektromagnetischen Spektrums. Dies erlaubt eine Überwachung der Immersionsflüssigkeit 6 parallel zur Fluoreszenzmikroskopie.
In Abwandlungen erkennt die Verarbeitungseinrichtung 16 Verunreinigungen der Immersionsflüssigkeit 6 und filtert diese aus dem Bild heraus. Dabei sucht die Verarbeitungseinrichtung 16 im Bild nach Bereichen, welche innerhalb der Kontur 34 der Immersionsflüssigkeit 6 liegen und eine starke visuelle Abweichung zum Bild aufweisen. Bei den Verunreinigungen kann es sich beispielsweise um Luftblasen oder Staub handeln. Die Verarbeitungseinrichtung 16 ist in der Lage, die erkannten Verunreinigungen mit dem Hintergrundbild 22 zu kombinieren und dadurch aus dem Bild zu entfernen. Dies kann mittels Standardalgorithmen aus dem Bereich der Bildverarbeitung und/oder des maschinellen Lernens erfolgen.
2 zeigt ein Ablaufdiagramm für das Verfahren zum Überwachen der Immersionsflüssigkeit 6 bei einem Mikroskop 1 mit einem Mikroskopobjektiv, das eine auf einem Probenträger 2 befindliche Probe 4 abbildet.
In einem Schritt S1 wird die Kamera 12 so ausgerichtet, dass das Bildfeld 10 den Probenträger 2 und den an den Probenträger 2 in Richtung auf das Mikroskopobjektiv hin anschließenden Raum zwischen Probenträger 2 und Mikroskopobjektiv, der zur Aufnahme der Immersionsflüssigkeit 6 dient, erfasst.
In einem Schritt S2 wird die Kamera kalibriert. Dazu wird das Kalibriermuster parallel zur Ebene des Probenträgers 2, idealerweise anstelle des Probenträgers 2, und im Bildfeld 10 positioniert und von der Kamera 12 das Kalibrierbild aufgenommen.
Anschließend wird in einem Schritt S3 die Bildverzerrung im Raum zwischen Probenträger 2 und Mikroskopobjektiv, welche durch die Lage der Kamera 12 bedingt ist, ermittelt. Weiter wird die Homographie H ermittelt oder geschätzt, welche die Ebene der Kamera 12 auf die Ebene des Probenträgers 2 abbildet. Dadurch können die aufgrund der Platzierung der Kamera 12 verzerrten Bilder, die in den weiteren Schritten des Verfahrens aufgenommen werden, basierend auf dem Kalibrierbild entzerrt werden.
In einem Schritt S4 wird das Hintergrundbild 22 des Raums zwischen Probenträger 2 und Objektiv aufgenommen. Das Hintergrundbild 22 kann beispielsweise durch eine einzige Aufnahme des Raums zwischen Mikroskopobjektiv und Probenträger 2 ohne störende Einflüsse, wie beispielsweise die Immersionsflüssigkeit 6 erzeugt werden. Das Hintergrundbild 22 kann ebenfalls durch die Aufnahme mehrerer Bilder 20 bei typischen Umgebungsvariationen, wie zum Beispiel verschiedenen Beleuchtungen, erzeugt werden. Das Hintergrundbild 22 wird dann, wie in 5 dargestellt, von der Verarbeitungseinrichtung 16 aus mehreren Bildern 20 zusammengesetzt. Auch kann das Aussehen des Mikroskopobjektivs ohne die Immersionsflüssigkeit 6 von der Verarbeitungseinrichtung 16 aus einem Hintergrundbild 22 mit der Immersionsflüssigkeit 6 im Raum zwischen Objektiv und Probenträger 2 geschätzt werden.
In einem Schritt S5 wird mit der Aufbringeinrichtung 8 die Immersionsflüssigkeit 6 in den Raum zwischen Mikroskopobjektiv und Probenträger 2 eingebracht, bevor in einem Schritt S6 das Bild mit der Immersionsflüssigkeit 6 im Raum zwischen Mikroskopobjektiv und Probenträger 2 aufgenommen wird.
Anschließend werden in einem Schritt S7 die Position und die Kontur 34 der Immersionsflüssigkeit 6 auf dem Probenträger 2 aus dem in Schritt S6 aufgenommenen Bild und der in Schritt S3 ermittelten Bildverzerrung ermittelt. Bevorzugt wird die Kontur 34 der Immersionsflüssigkeit auf dem Probenträger bestimmt, indem nach einer Struktur im Bild gesucht wird, welche sich innerhalb eines bestimmten Abstands von einem Zentrum des Mikroskopobjektivs befindet, nicht dem Mikroskopobjektiv zuzuordnen ist und näherungsweise ringförmige Form aufweist.
In Abwandlungen wird im Anschluss an Schritt S7 die Kontur 34 der Immersionsflüssigkeit 6 auf dem Probenträger 2 bewertet und/oder das Volumen der Immersionsflüssigkeit 6 abgeschätzt und/oder die durch Verdunstung verbleibende Restdauer der Immersionsflüssigkeit 6 auf dem Probenträger 2 bestimmt.
Zur Kalibrierung und Bestimmung der Bildverzerrung werden vorzugsweise eine Ebene E1 des Kamerabildes, eine Ebene E2 des Probenträgers 2 und eine Ebene E3 des Kalibriermusters herangezogen. Aus diesen drei Ebenen wird in den Schritten S2 und S3 wie bereits ausgeführt eine Bildverzerrung, basierend auf einem Kalibrierprozess, ermittelt. Eine Übersichtsdarstellung des Ermittelns der Bildverzerrung ist in 3 dargestellt.
3 stellt den Kalibrierprozess K, verbunden mit der Ermittlung der Bildverzerrung der Verarbeitungseinrichtung 16 dar. Die Bildkoordinaten C1 der Ebene E1 sind über die Homographie H mit den Kalibrierkoordinaten C3 und den Probenträgerkoordinaten C2 verbunden. Zwischen den Probenträgerkoordinaten C2 und den Kalibrierkoordinaten C3 findet eine Übersetzung T statt.
Die Bildkoordinaten C1 in der Ebene E1 des Kamerabildes stellen die Probenträgerebene E2 so dar, als hätte die Kamera 12 das Bild exakt von oben aufgenommen. Zur Berechnung der Verzerrung werden zunächst die Probenträgerkoordinaten C2 und die Kalibrierkoordinaten C3 in einer Übersetzung T verrechnet und skaliert. Die Koordinaten C2 und C3 sind dann über die Homographie H mit den Bildkoordinaten C1 verbunden. Mit der Homographie H wird die Ebene E1 auf die Ebene E2 abgebildet. Dadurch ist es möglich, die Bilder zu entzerren. Natürlich darf die Kameraposition und -ausrichtung nicht mehr verändert werden. Zudem lassen sich mit Hilfe der Kalibrierung K auch Verzerrungen, welche durch die Kameraoptik entstehen (z.B. tonnenförmige Wölbung) aus dem Bild herausrechnen.
In einer Abwandlung wird bei der Kalibrierung K der Schnittpunkt der optischen Achse OA des Kameraobjektivs mit der Probenträgerebene E2 im Bild lokalisiert. Dieser Schnittpunkt liegt für den Fall, dass die Kamera 12 zentral von oben oder unten auf den Probenträger 2 gerichtet ist, am Mittelpunkt des Kameraobjektivs. Die Position des Kameraobjektivs im Bild ist im Normalfall aus dem Kameraaufbau bekannt, kann aber alternativ auch über einen Detektionsalgorithmus ermittelt werden, ggf. auch manuell.
4A zeigt eine Frontlinse 36 mit einem Durchmesser D1. Weiter ist ein Deckglas 40 abgebildet. Zwischen dem Deckglas 40 und der Frontlinse 36 befindet sich die Immersionsflüssigkeit 6 in Tropfenform. Es ist ein Sicherheitsbereich 42 sowie ein Öffnungswinkel 44 des Mikroskopobjektivs 38 definiert. 4B zeigt eine Frontlinse 36 eines Mikroskopobjektivs mit einer vergleichsweise höheren Apertur. Ihr Durchmesser ist D2. Zwischen dem Deckglas 40 und der Frontlinse 36 befindet sich die Immersionsflüssigkeit 6 in Tropfenform. Es ist ein Sicherheitsbereich 48 sowie ein Öffnungswinkel 50 des Mikroskopobjektivs 46 definiert.
Die Güte des Tropfens der Immersionsflüssigkeit 6 kann dadurch bewertet werden, inwieweit die Frontlinse 36 des Mikroskopobjektivs 38, 46 mit Immersionsflüssigkeit 6 bedeckt ist. Mikroskopobjektive 38, 46 mit unterschiedlichen Aperturen unterscheiden sich in der Größe der Frontlinse 36. Die Größe der Frontlinse 36 kann beispielsweise aus einer Objektivdatenbank entnommen werden. Die numerische Apertur beschreibt das Vermögen eines Mikroskopobjektivs 38, 46, Licht zu fokussieren. Mit einer höheren Apertur geht daher auch ein höherer Öffnungswinkel 44, 50 einher. Aus diesem Grund weist das Objektiv 38 einen geringeren Öffnungswinkel 44 auf, als das Objektiv 46 mit ihrem Öffnungswinkel 50.
Aus diesem Grund wird, wie in 4A und 4B dargestellt, um die Frontlinse 36 herum der vom Abstand des Probenträgers 2 zur Frontlinse 36 abhängige Sicherheitsbereich 42, 48 definiert, welcher mit Immersionsflüssigkeit 6 bedeckt sein muss, um eine optimale Bildqualität zu gewährleisten. Dadurch wird sichergestellt, dass die Frontlinse 36 und der Sicherheitsbereich 42, 48 immer ausreichend mit Immersionsflüssigkeit 6 bedeckt sind, und entsprechende Gegenmaßnahmen, wie das Warnen des Nutzers, oder das automatisierte Einbringen der Immersionsflüssigkeit 6 über die Aufbringeinrichtung 8, können rechtzeitig eingeleitet werden. Dadurch wird eine über die gesamte Zeitdauer des Experiments gleichbleibende Bildqualität gewährleistet.
Die 5A und 5B zeigen jeweils ein resultiertes Bild 32 mit einer Kontur 34 der Immersionsflüssigkeit 6.
Ein idealer Tropfen der Immersionsflüssigkeit 6 benetzt die Frontlinse 36 des Mikroskopobjektivs 38, 46 vollständig und weist auf dem Probenträger 2 eine kreisrunde Form auf, welche sich im Bild als kreisringförmige Kontur 34 darstellt (7A). Durch äußere Einflüsse wie zum Beispiel das Verfahren des Probentisches oder bei zu kleinem/großem Volumen der Immersionsflüssigkeit 6 kann es vorkommen, dass die Frontlinse 36 nicht vollständig bedeckt ist, und/oder die Form von einem Kreis stark abweicht (7B).
Die Güte des Tropfens der Immersionsflüssigkeit 6 wird in Ausführungsformen dahingehend bestimmt, wie stark der Tropfen einem Kreis ähnelt, indem geeignete Merkmale, wie z.B. die Exzentrität einer Ellipse, welche die Kontur 34 optimal annähert, der durch die Kontur 34 definierte Region im resultierten Bild 32 berechnet und mit manuell definierten oder anhand von Trainingsdaten verglichen werden. Es wird eine Klassifizierung der Kontur 34 der Immersionsflüssigkeit 6 von „hinreichend kreisförmig“ bis „zu stark verformt“ durchgeführt. Im Falle einer zu starken Verformung werden je nach Mikroskopieanwendung Gegenmaßnahmen, wie zum Beispiel ein langsameres Verfahren des Tisches, haptisches Feedback, Warnung an den Nutzer, etc. ausgeführt.
Zudem lässt sich eine Kontaktfläche der Immersionsflüssigkeit 6 auf dem Probenträger auf Basis der Kontur leicht bestimmen. Um zusätzlich das Volumen der Immersionsflüssigkeit abschätzen zu können, werden für jedes Mikroskopobjektiv 38, 46 Kalibriermessungen bereitgestellt. Dabei werden bei bekanntem Abstand zwischen Mikroskopobjektiv 38, 46 und Probenträger 2 mehrere Tropfen der Immersionsflüssigkeit 6 mit verschiedenen, bekannten Volumina appliziert und anschließend automatisch deren Kontaktfläche mit dem Probenträger 2 aus dem resultierten Bild 32 bestimmt. Dadurch ergibt sich für jedes Mikroskopobjektiv 38, 46 eine 1 :1-Abbildung zwischen Volumen des Immersionstropfens und dessen Kontaktfläche. Das Volumen des Tropfens der Immersionsflüssigkeit 6 wird so bei bekanntem Abstand zwischen Probenträger 2 und Mikroskopobjektiv 38, 46 aus der Kontaktfläche geschätzt. Optional wird zusätzlich geschätzt, wieviel Volumen noch aufzubringen ist, um ein gewünschtes Zielvolumen zu erreichen. Weiter ist es durch die Bestimmung des Volumens der Immersionsflüssigkeit 6 und Kenntnis der Geometrie des Mikroskopobjektivs 38, 46 möglich, abzuschätzen, ob die Immersionsmenge für eine vorher festgelegte Aufnahme ausreicht, um an jede Position eine gewünschte Bildqualität zu gewährleisten. Umgekehrt ist es ebenfalls möglich, bei bekanntem Volumen der Immersionsflüssigkeit 6 aus der Kontaktfläche den Abstand zwischen Probenträger 2 und Mikroskopobjektiv 38, 46 zu bestimmen, was beispielsweise zum Kollisionsschutz eingesetzt werden kann.
In 6 ist die Überwachung eines Tropfens der Immersionsflüssigkeit 6, in diesem Fall Wasser im resultierenden Bild 32a, b, c über einen bestimmten Zeitraum dargestellt. Es ist die Evaporation E dargestellt. Auf der y-Achse ist die erwartete Fläche der Immersionsflüssigkeit dargestellt, auf der x-Achse der zeitliche Verlauf.
Durch Verdunstung der Immersionsflüssigkeit 6 auf dem Probenträger 2 wird die Kontaktfläche des Probenträgers 2 mit der Immersionsflüssigkeit kontinuierlich kleiner. Mittels Regression lässt sich vorhersagen, wie sich der Tropfen zeitlich verändert. Es wird die zeitliche Entwicklung der Menge an Immersionsflüssigkeit 6 auf dem Probenträger 2 von der Verarbeitungseinrichtung 16 anhand der Bilder der Kamera 12 überwacht und prognostiziert. Dadurch ist eine rechtzeitige Warnung an den Nutzer bei einer kritischen Reduzierung der Immersionsflüssigkeit 6 auf dem Probenträger 2 gewährleistet.
Bezugszeichenliste

1: Mikroskop
2: Probenträger
4: Probe
6: Immersionsflüssigkeit
8: Aufbringeinrichtung
10: Bildfeld
12: Kamera
14: elektrische Leitungen
16: Verarbeitungseinrichtung
18: Abbildungsvorrichtung
20: typisches Bild
22: Hintergrundbild
24: Bild
26: Differenzbild
28: Differenzbild in Polarkoordinaten
30: Pfad
32: resultiertes Bild
34: Kontur
36: Frontlinse
38: Objektiv mit niedriger Apertur
40: Deckglas
42: Sicherheitsbereich
44: Öffnungswinkel
46: Objektiv mit hoher Apertur
48: Sicherheitsbereich
50: Öffnungswinkel
C1: Bildkoordinaten
C2: Probenträgerkoordinaten
C3: Kalibrierkoordinaten
D1: Durchmesser Frontlinse
D2: Durchmesser Frontlinse
E1: Ebene der Kamera
E2: Probenträgerebene
E3: Kalibrierebene
H: Homographie
K: Kalibrierung
OA: optische Achse
S1: Schritt 1
S2: Schritt 2
S3: Schritt 3
S4: Schritt 4
S5: Schritt 5
S6: Schritt 6
S7: Schritt 7
T: Übersetzung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 6980293 B1 [0002]

Claims

Verfahren zum Überwachen einer Immersionsflüssigkeit (6) bei einem Mikroskop (1) mit einem Objektiv, das eine auf einem Probenträger (2) befindliche Probe (4) abbildet, umfassend die Schritte: a) Positionieren einer Kamera (12), die ein Bildfeld (10) aufweist, das so ausgerichtet wird, dass es den Probenträger (2) und einen an den Probenträger (2) in Richtung auf das Objektiv hin anschließenden Raum zwischen Probenträger (2) und Objektiv, der zur Aufnahme der Immersionsflüssigkeit (6) dient, erfasst, b) Aufbringen der Immersionsflüssigkeit (6) in den Raum zwischen Probenträger (2) und Objektiv, c) Aufnehmen eines Bildes (24) des Raums zwischen Probenträger (2) und Objektiv, mit der Immersionsflüssigkeit (6) im Raum, d) Bestimmen von Position, Fläche und/oder Kontur (34) der Immersionsflüssigkeit (6) auf dem Probenträger (2) aus dem im Schritt c) aufgenommenen Bild (24).
Verfahren nach Anspruch 1, wobei nach Schritt a) ein Kalibrieren der Kamera (12) erfolgt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Kalibrieren erfolgt, indem ein Kalibriermuster in einer Ebene des Probenträgers (2) und im Bildfeld (10) der Kamera (12) positioniert und ein Kalibrierbild aufgenommen wird.
Verfahren nach einem der obigen Ansprüche, wobei eine durch die Lage der Kamera (12) bedingte Bildverzerrung im Raum zwischen Probenträger (2) und Objektiv ermittelt wird und die Bestimmung von Position, Fläche und/oder Kontur (34) der Immersionsflüssigkeit (6) auf dem Probenträger (2) aus dem in Schritt c) aufgenommenen Bild (24) unter Verwendung der ermittelten Bildverzerrung erfolgt.
Verfahren nach einem der obigen Ansprüche, wobei nach Schritt a) ein Hintergrundbild (22) des Raums zwischen Probenträger (2) und Objektiv aufgenommen wird und die Bestimmung von Position, Fläche und/oder Kontur (34) der Immersionsflüssigkeit (6) auf dem Probenträger (2) aus dem in Schritt c) aufgenommenen Bild (24) unter Verwendung des Hintergrundbildes (22) erfolgt.
Verfahren nach einem der obigen Ansprüche, wobei in Schritt d) die Position, Fläche und/oder die Kontur der Immersionsflüssigkeit (6) auf dem Probenträger (2) bestimmt wird, indem nach einer Struktur im Bild (24) gesucht wird, welche sich innerhalb eines bestimmten Abstands von einem Zentrum des Objektivs befindet, nicht dem Objektiv zuzuordnen ist und/oder eine näherungsweise ringförmige Form aufweist.
Verfahren nach einem der obigen Ansprüche, wobei in einem Schritt e) die Kontur und/oder die Fläche der Immersionsflüssigkeit (6) auf dem Probenträger (2) bewertet und/oder das Volumen der Immersionsflüssigkeit (6) abgeschätzt und/oder eine durch Verdunstung verbleibende Restdauer der Immersionsflüssigkeit (6) auf dem Probenträger (2) bestimmt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass im Falle einer zu starken Verformung, eines zu geringen Volumens und/oder eine zu geringe Restdauer der Immersionsflüssigkeit (6) ein langsameres Verfahren der Probe, ein haptisches Feedback, eine Warnung an einen Nutzer und/oder eine automatische Immersion veranlasst wird.
Verfahren nach einem der obigen Ansprüche, wobei eine Lichtquelle zur Beleuchtung des Bildfeldes (10) verwendet wird, die an der Kamera (12) angebracht ist.
Verfahren nach einem der obigen Ansprüche, wobei eine am Mikroskop (1) vorhandene Lichtquelle zur Beleuchtung des Bildfeldes (10) verwendet wird.
Verfahren nach Anspruch 9 oder 10, wobei das Bild (24) von der Kamera (12) im infraroten Spektralbereich aufgenommen wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Bild (24) unter Verwendung eines Polarisationsfilters aufgenommen wird.
Verfahren nach einem der Ansprüche 9 bis 12, wobei in Schritt c) mehrere verschieden beleuchtete Bilder aufgenommen werden, aus deren Gesamtheit die Kontur, die Fläche und/oder die Position der Immersionsflüssigkeit analysiert wird.
Verfahren nach einem der obigen Ansprüche, wobei in Schritt d) Verunreinigungen in der Immersionsflüssigkeit (6) erkannt werden.
Verfahren nach Anspruch 14, wobei die erkannten Verunreinigungen aus dem in Schritt c) aufgenommenen Bild (24) herausgefiltert werden.
Vorrichtung zum Überwachen einer Immersionsflüssigkeit (6) bei einem Mikroskop (1) mit einem Objektiv, das eine auf einem Probenträger (2) befindliche Probe (4) abbildet, wobei - eine Kamera (12), die ein Bildfeld (10) aufweist, derart positioniert ist, dass das Bildfeld (10) so ausgerichtet ist, dass es den Probenträger (2), und einen an den Probenträger (2) in Richtung auf das Objektiv hin anschließenden Raum zwischen Probenträger (2) und Objektiv, der zur Aufnahme der Immersionsflüssigkeit (6) dient, erfasst, - eine Verarbeitungseinrichtung (16), die mit der Kamera (12) über eine elektrische Leitung (14) verbunden ist, und - die Verarbeitungseinrichtung (16) so konfiguriert ist, dass sie Position, Fläche und/oder Kontur (34) der Immersionsflüssigkeit (6) auf dem Probenträger (2) bestimmt, wobei sie ein von der Kamera (12) aufgenommenes Bild (24) des Raumes zwischen Probenträger (2) und Objektiv mit Immersionsflüssigkeit (6) im Raum verwendet.
Vorrichtung nach Anspruch 16, wobei sie eine Aufbringeinrichtung (8) aufweist, die über eine elektrische Leitung (14) mit der Verarbeitungseinheit (16) verbunden ist, und die Immersionsflüssigkeit (6) in den Raum zwischen Probenträger (2) und Objektiv aufbringt.
Vorrichtung nach Anspruch 16 oder 17, wobei die Verarbeitungseinrichtung (16) mit Hilfe eines von der Kamera (12) zur Verfügung gestellten Kalibrierbildes, das den Raum zwischen Probenträger (2) und Objektiv mit einem Kalibriermuster in einer Ebene des Probenträgers (2) und im Bildfeld (10) der Kamera (12) darstellt, eine durch die Lage der Kamera (12) bedingte Bildverzerrung im Raum zwischen Probenträger (2) und Objektiv ermittelt.
Vorrichtung nach einem der Ansprüche 16 bis 18, wobei die Verarbeitungseinrichtung (16) zur Bestimmung von Position, Fläche und/oder Kontur (34) der Immersionsflüssigkeit (6) auf dem Probenträger (2) ein von der Kamera (12) aufgenommenes Hintergrundbild (22) des Raumes zwischen Probenträger (2) und Objektiv verwendet.
Vorrichtung nach einem der Ansprüche 16 bis 19, wobei die Verarbeitungseinrichtung (16) so konfiguriert ist, dass sie die Position, Fläche und/oder Kontur (34) der Immersionsflüssigkeit (6) auf dem Probenträger (2) bestimmt, indem sie nach einer Struktur im Bild (24) sucht, welche sich innerhalb eines bestimmten Abstands von einem Zentrum des Objektivs befindet, nicht dem Objektiv zuzuordnen ist und/oder eine näherungsweise ringförmige Form aufweist.
Vorrichtung nach einem der Ansprüche 16 bis 20, wobei die Verarbeitungseinrichtung (16) so konfiguriert ist, dass sie die Kontur (34) der Immersionsflüssigkeit (6) auf dem Probenträger (2) bewertet und/oder das Volumen der Immersionsflüssigkeit (6) abschätzt und/oder eine durch Verdunstung verbleibende Restdauer der Immersionsflüssigkeit (6) auf dem Probenträger (2) bestimmt.
Vorrichtung nach Anspruch 21, wobei die Verarbeitungseinrichtung (16) so konfiguriert ist, dass sie im Falle einer zu starken Verformung, eines zu geringen Volumens und/oder eine zu geringe Restdauer der Immersionsflüssigkeit (6) ein langsameres Verfahren der Probe, ein haptisches Feedback, eine Warnung an einen Nutzer und/oder eine automatische Immersion veranlasst.
Vorrichtung nach einem der Ansprüche 16 bis 22, wobei eine Lichtquelle zur Beleuchtung des Bildfeldes (10) an der Kamera (12) angebracht ist.
Vorrichtung nach einem der Ansprüche 16 bis 23, wobei eine am Mikroskop (1) vorhandene Lichtquelle das Bildfeld (10) beleuchtet.
Vorrichtung nach einem der Ansprüche 16 bis 24, wobei die Kamera (12) das Bild (24) im infraroten Spektralbereich aufnimmt.
Vorrichtung nach einem der Ansprüche 16 bis 25, wobei ein Polarisationsfilter an der Kamera (12) angeordnet wird, so dass die Kamera (12) das Bild (12) unter Verwendung des Polarisationsfilters aufnimmt.
Vorrichtung nach einem der Ansprüche 23 bis 26, wobei die Verarbeitungseinrichtung (16) so konfiguriert ist, dass in Schritt c) mehrere verschieden beleuchtete Bilder aufgenommen werden, aus deren Gesamtheit die Kontur, die Fläche und/oder die Position der Immersionsflüssigkeit analysiert wird.
Vorrichtung nach einem der Ansprüche 16 bis 27, wobei die Verarbeitungseinrichtung (16) so konfiguriert ist, dass sie Verunreinigungen in der Immersionsflüssigkeit (6) erkennt.
Vorrichtung nach Anspruch 28, wobei sie die erkannten Verunreinigungen aus dem Bild (24) herausfiltert.