DE102020126737A1

DE102020126737A1 - Verfahren und Mikroskop zum Erzeugen eines Übersichtsbildes einer Probe

Info

Publication number: DE102020126737A1
Application number: DE102020126737.1A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase; Markus Sticker; Sebastian Backs; Thomas Ohrt; Christian Dietrich
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2020-10-12
Filing date: 2020-10-12
Publication date: 2022-04-14
Also published as: CN114326074A; US20220113525A1

Abstract

Vorgeschlagen wird ein Verfahren zum Erzeugen eines Übersichtsbildes einer Probe, welche mittels eines Probenträgers in einem Beobachtungsvolumen eines Mikroskops angeordnet ist, wobei der Probenträger mit einer ersten Beleuchtung beleuchtet wird, wobei ein vorläufiges Übersichtsbild unter Verwendung der ersten Beleuchtung und einer Übersichtskamera des Mikroskops erzeugt wird, wobei eine Übersichtsbildbeleuchtung in Abhängigkeit des vorläufigen Übersichtsbilds gewählt wird, wobei der Probenträger mit der Übersichtsbeleuchtung beleuchtet wird, und wobei das Übersichtsbild unter Verwendung der Übersichtsbildbeleuchtung und der Übersichtskamera erzeugt wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen eines Übersichtsbildes einer Probe, welche mittels eines Probenträgers in einem Beobachtungsvolumen eines Mikroskops angeordnet ist. Weiter betrifft die Erfindung ein Mikroskop, welches zur Durchführung des Verfahrens eingerichtet ist.
Aufgrund von kleinen Objektfeldern und geringen Schärfentiefen von Objektiven bei hohen Vergrößerungen ist es für den Verwender eines Mikroskops schwierig, eine Probe so im Beobachtungsvolumen anzuordnen, dass sich ein zu untersuchendes Merkmal der Probe im Objektfeld des Objektivs mit hoher Vergrößerung befindet.
In der DE 10 2017 111 718 A1 wird daher ein Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes eines Probenträgers und/oder auf einen Probenträger angeordneter Proben vorgeschlagen. Dabei wird ein mindestens teilweise im Fokus einer Detektionsoptik angeordneter Probenträger im Durchlicht mit einem zweidimensionalen, Array-förmigen Beleuchtungsmuster beleuchtet. Es werden mindestens zwei Roh-Übersichtsbilder mit unterschiedlichen Beleuchtungen des Probenträgers detektiert und in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen wird ein Verrechnungsalgorithmus ausgewählt, mittels dessen die mindestens zwei Roh-Übersichtsbilder zu dem Übersichtskontrastbild verrechnet werden. In Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen wird schließlich ein Bildauswertungsalgorithmus ausgewählt, mittels dessen die Informationen extrahiert werden. Das Übersichtskontrastbild kann dem Benutzer zur Navigation zur Verfügung gestellt werden.
Zur Untersuchung von Proben mittels eines Mikroskops werden verschiedene Arten von Probenträgern verwendet. Zu den verwendeten Probenträgern gehören beispielsweise sogenannte Multiwellplatten, Chamber-Slides, Petrischalen, Objektträger mit Deckgläsern, etc.
Aufgabe der vorliegenden Erfindung ist es, das bekannte Verfahren dahingehend weiterzuentwickeln, dass unabhängig vom Probenträger mit großer Zuverlässigkeit ein Übersichtsbild einer Probe generiert werden kann, welches es dem Benutzer des Mikroskops erlaubt, zur gewünschten Stelle der Probe zu navigieren, d.h. die zu untersuchende Probenstelle in das Sehfeld und die Fokusebene des Objektivs mit hoher Vergrößerung zu positionieren.
Diese Aufgabe wird mit den Merkmalen des Hauptanspruchs und der Nebenansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Vorgeschlagen wird ein Verfahren zum Erzeugen eines Übersichtsbildes einer Probe, welche mittels eines Probenträgers in einem Beobachtungsvolumen eines Mikroskops angeordnet ist, wobei der Probenträger mit einer ersten Beleuchtung beleuchtet wird, wobei ein vorläufiges Übersichtsbild unter Verwendung der ersten Beleuchtung und einer Übersichtskamera des Mikroskops erzeugt wird, wobei eine Übersichtsbildbeleuchtung in Abhängigkeit des vorläufigen Übersichtsbild gewählt wird, wobei der Probenträger mit der Übersichtsbeleuchtung beleuchtet wird, wobei anhand des vorläufigen Übersichtbildes entschieden wird wie viele Aufnahmen mit der Übersichtskamera notwendig sind um den gesamten Probenträgerbereich aufzunehmen, und wobei das Übersichtsbild unter Verwendung der Übersichtsbeleuchtung und der Übersichtskamera erzeugt wird.
Bei der ersten Beleuchtung kann es sich um eine Auflichtbeleuchtung oder eine Durchlichtbeleuchtung handeln. Es ist auch möglich, für die erste Beleuchtung eine Kombination einer Auflichtbeleuchtung und einer Durchlichtbeleuchtung vorzusehen.
Die Übersichtskamera kann dabei ein größeres Objektfeld aufnehmen als mit einem Mikroskopobjektiv. Die Erzeugung eines Übersichtbildes unter Verwendung der Übersichtskamera kann weniger Zeit benötigen als die Erzeugung des Übersichtsbildes mit einem Mikroskopobjektiv geringerer Vergrößerung, bei welchem gegebenenfalls mehrere Einzelbilder unter Verwendung von Stitching-Techniken zusammengefügt werden müssen, um die gesamte Probe abbilden zu können. Ebenso kann die Übersichtskamera ein Objektiv mit einer höheren Schärfentiefe als ein Mikroskopobjektiv aufweisen. Die Übersichtskamera kann seitlich der Mikroskopobjektive angeordnet sein und schräg auf den Probenträger blickend angeordnet sein. Ebenso ist es denkbar, an einer Position des Objektivrevolvers eines Mikroskops einen Spiegel vorzusehen, der vom Probenträger kommendes Licht seitlich in Richtung der Übersichtskamera ablenkt. Es ist weiter denkbar, dass die Übersichtskamera ein nichttelezentrisches Objektiv aufweist.
Bei der Übersichtsbildbeleuchtung kann es sich um eine Auflichtbeleuchtung und/oder eine Durchlichtbeleuchtung handeln. Es hat sich gezeigt, dass viele Probenträger unter Verwendung einer Durchlichtbeleuchtung kontrastreicher dargestellt werden können, wodurch die Qualität eines Übersichtbildes kontrastarmer Probenverbessert wird. Dabei kann zum Beispiel ein Durchlichtdunkelfeldkontrast verwendet werden. Bei einigen Probenträger, zum Beispiel Multiwellplatten können Strukturen des Probenträgers dazu führen, dass Licht der Durchlichtbeleuchtung geblockt oder abgelenkt wird, so dass sich Roh-Übersichtsbilder der Übersichtsbildkamera nicht immer mit der gewünschten Zuverlässigkeit auswerten lassen. Dies kann die Erstellung eines Übersichtbildes des Probenträgers und der Probe schwieriger machen. Werden solche Probenträger mit einer Auflichtbeleuchtung beleuchtet, können Übersichtsbilder typischerweise mit großer Zuverlässigkeit erstellt werden, da die Merkmale des Probenträgers besser erkannt werden können und das Anfahren einer bestimmten Position mit einem Mikroskop später mit größerer Zuverlässigkeit erfolgen kann. Indem zunächst ein vorläufiges Übersichtsbild unter Verwendung einer ersten Beleuchtung erzeugt wird und die Übersichtsbildbeleuchtung in Abhängigkeit des vorläufigen Übersichtsbildes gewählt wird, kann ein Übersichtsbild für verschiedene Probenträger mit höherer Zuverlässigkeit erstellt werden. Für das Übersichtsbild kann später auch eine Kombination aus einer Auflichtbeleuchtung, die eine bessere Erkennbarkeit des Probenträgers ermöglich kann, und einer Durchlichtbeleuchtung, mit der auf dem Probenträger angeordnete Proben (z.B. in Töpfchen einer Multiwellplatte angeordnete Zellen) kontrastreicher dargestellt werden können, verwendet werden.
Das vorläufige Übersichtsbild kann in einem trainierten Machine-Learning-basierten System (ML-System) prozessiert werden, wobei die Übersichtsbildbeleuchtung für weitere Übersichtsaufnahmen auf der Basis einer Ausgabe des ML-Systems gewählt wird. Das ML-System kann beispielsweise mit einem Satz von Trainingsbildern trainiert worden sein, wobei für jedes Trainingsbild angegeben ist, ob sich mit einer Auflichtbeleuchtung oder mit einer Durchlichtbeleuchtung das Übersichtsbild mit höherer Zuverlässigkeit erstellen lässt. Ebenfalls denkbar ist, dass mittels des ML-Systems bestimmt wird, welcher Kontrastbesser für die Erstellung des Übersichtsbildes geeignet ist. Für die Erstellung des Übersichtsbilds kann beispielsweise ein Hellfeldkontrast oder ein Dunkelfeldkontrast verwendet werden. Es ist auch denkbar, für die Erstellung des Übersichtsbildes einen Hellfeldkontrast mit einem Dunkelfeldkontrast zu kombinieren.
In einer Ausgestaltung des Verfahrens kann die Ausgabe des trainierten ML-Systems eine Angabe über den Probenträgertyp des Probenträgers umfassen und die Übersichtsbeleuchtung auf der Basis des Probenträgertyps bestimmt werden. Beispielsweise ist denkbar, dass das ML-System trainiert worden ist auf der Basis des vorläufigen Übersichtsbildes zu bestimmen, ob es sich bei dem Probenträger um eine Multiwellplatte oder einen Objektträger mit Deckglas handelt. Je nach Probenträgertyp kann dabei dann eine unterschiedliche Übersichtsbildbeleuchtung gewählt werden. Zum Beispiel kann für Multiwellplatten eine Auflichtbeleuchtung gewählt werden.
In einer weiteren Ausgestaltung wird im Beobachtungsvolumen des Mikroskopsystems zunächst eine Kalibrierplatte angeordnet. Die Kalibrierplatte wird mit der Kalibrierbeleuchtung beleuchtet, wobei ein Kalibrierübersichtsbild unter Verwendung der Kalibrierbeleuchtung und der Übersichtskamera erzeugt wird. Bei der Kalibrierbeleuchtung kann es sich wiederum um eine Auflichtbeleuchtung oder eine Durchlichtbeleuchtung handeln. Auf der Grundlage des Kalibrierübersichtsbildes können Kalibrierdaten gewonnen werden. Mit Hilfe der Kalibrierdaten wird später das vorläufige Übersichtsbild und/oder das Übersichtsbild erzeugt. Unter einer Kalibrierplatte kann insbesondere eine Platte verstanden werden, welcher vordefinierte Kalibrierstrukturen aufweist. Beispielsweise kann die Kalibrierplatte mit einem vordefinierten Muster an Referenzpunkten versehen werden. Die Kalibrierplatte kann so beschaffen sein, dass sie definiert in ein Tischsystem des Mikroskops eingelegt werden kann. Insbesondere kann die Kalibrierplatte so ausgestaltet sein, dass sie wiederholt in identischer Lage und/oder Orientierung in das Tischsystem des Mikroskops eingelegt werden kann. Die vorbestimmten Kalibrierstrukturen können es erlauben, eine Korrektur von optischen Verzeichnungen vorzunehmen, die von einem Objektiv der Übersichtskamera verursacht werden. Ebenso können perspektivische Korrekturen ermöglicht werden, mit welcher die nichtorthogonale Ausrichtung der Übersichtskamera zum Tischsystem des Mikroskops und somit auch zum Probenträger ausgeglichen werden kann. Weiter ist es denkbar, dass das Kalibrierübersichtsbild verwendet wird, um einen Zusammenhang zwischen der Pixelskalierung der mit der Übersichtskamera aufgenommenen Rohbilder und dem Abstand zu Probenstrukturen einer auf einem Probenträger, welcher sich im Beobachtungsvolumen des Mikroskops befindet, angeordneten Probe zu beschreiben. Weiter kann die Kalibrierplatte an unterschiedlichen Positionen im Beobachtungsvolumen angeordnet werden und für die jeweiligen Positionen Kalibrierübersichtsbilder erzeugt werden. Dies kann eine weitere Verbesserung der obengenannten Korrekturen und Zusammenhänge ermöglichen. Beispielsweise kann die Kalibrierplatte, welche im Tischsystem des Mikroskops eingelegt ist, mithilfe von Translationseinheiten des Tischs lateral (d.h. in x-Richtung und in y-Richtung) und axial (d.h. in z-Richtung) bewegt werden.
Die Kalibrierplatte kann insbesondere eine erste Kalibrierstruktur umfassen. Das Kalibrierübersichtsbild kann eine Abbildung der ersten Kalibrierstruktur umfassen. Unter Verwendung eines Mikroskopobjektivs des Mikroskops kann ein erstes Detailbild der ersten Kalibrierstruktur erzeugt werden. Auf der Basis des Kalibrierübersichtsbildes und des ersten Detailbildes können Kalibrierdaten zur Verortung eines Probendetailbildes der Probe im Übersichtsbild erhalten werden.
Weiter kann die Kalibrierplatte eine zweite Kalibrierstruktur aufweisen. Nach der Erzeugen des ersten Detailbilds kann die Position der Kalibrierplatte in Bezug auf das Mikroskopobjektiv um einen vordefinierten Translationsvektor geändert und ein zweites Detailbild der zweiten Kalibrierstruktur unter Verwendung des Mikroskopobjektivs des Mikroskops erzeugt werden. Die Kalibrierdaten können anschließend unter zusätzlicher Verwendung des vordefinierten Translationsvektors und des zweiten Detailbilds erhalten werden.
Durch die Änderung der Position der Kalibrierstruktur Bezug auf das Mikroskop kann einmal die erste Kalibrierstruktur in das Objektfeld des Mikroskopobjektivs gebracht werden und dann die zweite Kalibrierstruktur. Folglich kann ein Zusammenhang zwischen Positionen auf dem später generierten Übersichtsbild und den mit den Mikroskopbjektiven erhaltenen Probendetailbilder hergestellt werden. Insbesondere können mehr als die erste Kalibrierstruktur und die zweite Kalibrierstruktur angefahren werden, um den Zusammenhang zu bestimmen. Beispielsweise können mehr als vier Kalibrierstrukturen, welche auch als Referenzpunkte bezeichnet werden können, berücksichtigt werden. Die Verwendung von genau vier Kalibrierstrukturen kann im Hinblick auf die für die Erzeugung der Kalibrierdaten benötigte Zeit und die Qualität der Kalibrierdaten ein Optimum darstellen. Insbesondere kann die Verwendung von vier Kalibrierstrukturen für die Bestimmung der Homographie ausreichend sein.
Das Probendetailbild kann später unter Verwendung des Mikroskopobjektivs erzeugt werden, mit welchem die Kalibrierstrukturen aufgenommen worden sind. Ebenfalls ist es allerdings denkbar, ein anderes Mikroskopobjektiv zu verwenden, welches in der gleichen optischen Achse angeordnet ist. Beispielsweise können bei Objektivrevolvern eines Mikroskops, die Mikroskopobjektive reproduzierbar in der gleichen optischen Achse angeordnet werden. Es ist daher denkbar, auf eine Aufnahme der Kalibrierstrukturen für jedes einzelne Mikroskopobjektiv zu verzichten. Für eine noch bessere Verortung des Probendetailbildes im Übersichtsbild kann allerdings auch für jedes Mikroskopobjektiv die Aufnahme von Detailbildern der Kalibrierstrukturen vorgesehen sein.
Die Bestimmung der Kalibrierdaten mit Hilfe der Kalibrierplatte kann in regelmäßigen Abständen vorgenommen werden, um die zuverlässige Erstellung des Übersichtsbilds zu ermöglichen. Insbesondere können die Kalibrierdaten bestimmt werden, nachdem ein Transport oder Umbau des Mikroskops durchgeführt worden ist. Nachdem die Kalibrierdaten bzw. der Kalibrierdatensatz bestimmt worden ist, kann dieser für die Erstellung von Übersichtsbildern mehrerer Proben verwendet werden. Mit anderen Worten kann es vorgesehen sein, nicht vor jeder Erstellung eines Übersichtsbilds die Kalibrierdaten zu bestimmen.
In einer weiteren Ausgestaltung des Verfahrens können zur Erzeugung des vorläufigen Übersichtsbildes wenigstens zwei vorläufige Roh-Übersichtsbilder mit der Übersichtskamera aufgenommen werden, wobei sich die erste Beleuchtung bei den vorläufigen Roh-Übersichtsbildern unterscheidet. Beispielsweise können schnell schaltbare Lichtquellen, zum Beispiel LEDs, genutzt werden, die mindestens in zwei Gruppen zur Aufnahme von zwei Roh-Übersichtsbildern verwendet werden. Damit können mit einer geeigneten digitalen Verrechnung (zum Beispiel durch Wahl des Minimums der einzelnen Pixelwerte der jeweiligen Roh-Übersichtsbilder) Reflexe der Lichtquellen unterdrückt oder vermindert werden. Ebenso ist es denkbar, für ein vorläufiges Roh-Übersichtsbilder eine Auflichtbeleuchtung zu verwenden und für ein weiteres vorläufiges Roh-Übersichtsbild eine Durchlichtbeleuchtung.
Ebenso können zur Erzeugung des Übersichtsbildes wenigstens zwei Roh-Übersichtsbilder aufgenommen werden, wobei sich die Übersichtsbeleuchtung der Roh-Übersichtsbilder unterscheidet. Wie voranstehend beschrieben, können beispielsweise ebenso schnell schaltbare Lichtquellen verwendet und mit einer geeigneten digitalen Verrechnung Reflexe der Lichtquellen unterdrückt oder vermindert werden. Bei den für die Roh-Übersichtsbilder verwendeten Übersichtsbeleuchtungen kann es sich dabei entweder um mehrere Auflichtbeleuchtungen (zum Beispiel bei Probenträgern in Form von Multiwellplatten) oder um mehrere Durchlichtbeleuchtungen (zum Beispiel bei Probenträgern in Form von Objektträgern mit Deckglas) handeln. Grundsätzlich ist auch die Verwendung einer Kombination von Durchlichtbeleuchtungen und Auflichtbeleuchtungen denkbar.
Weiter wird eine Ausgestaltung des Verfahrens vorgeschlagen, wobei zur Erzeugung des vorläufigen Übersichtsbildes wenigstens zwei vorläufige Roh-Übersichtsbilder mit der Übersichtskamera aufgenommen werden, wobei zwischen den Roh-Übersichtsbildern die Position des Probenträgers um einen bekannten Translationsvektor geändert wird, wobei zueinander korrespondierende Strukturen in den Roh-Übersichtsbildern erkannt werden, und wobei aus den zueinander korrespondierenden Strukturen in den Roh-Übersichtsbildern, der bekannte Translationsvektor und den Kalibrierdaten eine Grobfokusposition bestimmt wird. Es kann insbesondere der Abstand zur Grobfokusposition bestimmt werden.
Ferner wird vorgeschlagen, wenigstens zwei Roh-Übersichtsbilder mit der Übersichtskamera aufzunehmen, wobei zwischen den Roh-Übersichtsbildern die Position des Probenträgers um einen Verschiebungsvektor geändert wird, und wobei das Übersichtsbild basierend auf den Roh-Übersichtsbildern und optional basierend auf dem Verschiebungsvektor als Mosaikübersichtsbild erzeugt wird. Dies kann insbesondere dann vorteilhaft sein, wenn die im Übersichtsbild abzubildende Probe nicht vollständig mit einem einzelnen Roh-Übersichtsbild der Übersichtskamera abgebildet werden kann. Die Kombination mehrerer Roh-Übersichtsbilder zu einem Mosaikübersichtsbild kann auch als Stitching bezeichnet werden.
Weiter wird ein Mikroskop vorgeschlagen, welches eine Übersichtskamera, wenigstens ein Mikroskopobjektiv, eine Durchlichteinheit, eine Auflichteinheit und eine Steuereinheit aufweist, wobei die Steuereinheit dazu eingerichtet ist, eines der oben beschriebenen Verfahren durchzuführen.
Ferner wird ein Computerprogrammprodukt offenbart, welches Befehle umfasst, die bei der Ausführung des Programms durch eine Steuereinheit eines Mikroskops diese veranlassen, eines der obengenannten Verfahren durchzuführen.
Schließlich wird eine Kalibrierplatte zur Kalibrierung eines Mikroskops offenbart, welches eine Übersichtskamera und ein Mikroskopobjektiv aufweist, wobei die Kalibrierplatte wenigstens eine erste Kalibrierstruktur aufweist, welche sowohl mit der Übersichtskamera als auch mit dem Mikroskopobjektiv, insbesondere unter Verwendung einer Kalibrierbeleuchtung, abbildbar ist.
Die Kalibrierplatte kann die automatisierte Generierung von Kalibrierdaten ermöglichen, mit denen Verzerrungen und Verzeichnungen einer Übersichtskamera, welche ein nicht telezentrisches Objektiv aufweist, korrigiert werden können. Dies kann die Erzeugung von navigierbaren Übersichtsbilder vereinfachen.
Die Kalibrierplatte kann wenigstens eine zweite Kalibrierstruktur in einem vordefinierten Abstand von der ersten Kalibrierstruktur aufweisen. Die Bereitstellung von mehreren Kalibrierstrukturen an fest definierten räumlichen Positionen kann die Generierung von entsprechenden Kalibrierdaten weiter vereinfachen.
Die Kalibrierstrukturen können insbesondere so ausgestaltet sein, dass sie bei typischen Beleuchtungskonfigurationen des Mikroskops mit einem Mikroskopobjektiv abgebildet werden können und ihre Lage bestimmt werden können. Vorzugsweise kann die Lage der Kalibrierstrukturen mit einer Genauigkeit besser als 20 µm bestimmt werden.
Weiter können die Kalibrierstrukturen so ausgestaltet sein, dass sie durch die Übersichtskamera bei typischen Beleuchtungskonfigurationen so abgebildet werden können, dass ihre Lage in Bezug auf einen Bildsensor der Übersichtskamera mit Subpixelgenauigkeit bestimmt werden kann.
Die Kalibrierstrukturen können definierte, stabile und in ihrer relativen Lage bekannte räumliche Abstände mit kleinen Toleranzen, insbesondere mit Toleranzen geringer als 100 µm aufweisen, so dass die Kalibrierstrukturen genutzt werden können, um bei der Übersichtskamera Verzeichnungen und perspektivische Korrekturparameter zu ermitteln. Dadurch können beim Anfahren von verschiedenen Kalibrierstrukturen der Kalibrierplatte, welche auch als Kalibriermerkmale bezeichnet werden können, diese Kalibrierstrukturen in das Bildfeld des Mikroskopobjektivs gebracht werden.
Die Kalibrierplatte kann insbesondere ein Schachbrettmuster aufweisen, wobei die erste Kalibrierstruktur einer Ecke eines Feldes des Schachbrettmusters entspricht. Das Schachbrettmuster kann beispielsweise 20 x 9 Felder umfassen. Die Ecken eines Feldes des Schachbrettmusters und/oder die Kanten eines Feldes eine Schachbrettmusters können sowohl in Bildern, welche mit der Übersichtskamera generiert werden, als auch in solchen, welche mit einem Mikroskopobjektiv generiert werden, mit hoher Genauigkeit bestimmt werden, so dass sich das Schachbrettmuster besonders gut zur Bestimmung von Kalibrierdaten eignen kann.
Die Kalibrierplatte kann dazu eingerichtet sein, Licht diffus zu reflektieren. Auf diese Weise können Reflexeffekte an der Oberfläche der Kalibrierplatte vermieden werden, so dass die Kalibrierstrukturen mit allenfalls einer geringen Anzahl an Artefakten abgebildet werden können.
Die Kalibrierplatte kann transluzent sein. Dies kann es ermöglichen, die Kalibrierstrukturen auch unter Verwendung einer Durchlichtbeleuchtung abzubilden. Dies kann die Bestimmbarkeit der Kalibrierdaten weiter vereinfachen.
Vorzugsweise sind die Kalibrierstrukturen der Kalibrierplatte so ausgebildet, dass sie auch bei einer Beleuchtung mit hoher Intensität (z.B. durch Laserlicht) nicht degradieren.
Die Dimensionierung und Beschaffenheit der Kalibrierplatte kann so gewählt sein, dass sich die Kalibrierplatte eindeutig und wiederholbar in eine Aufnahme eines Tisches des Mikroskops einsetzen lässt.
In Ausführungsbeispielen weist die Kalibrierplatte im Wesentlichen ebene Deckflächen auf. Insbesondere kann eine Oberflächentopographie der Kalibrierplatte Höhenabweichungen von weniger als 100 µm aufweisen. Dies kann es erlauben, (Nach-)Fokussierungen für die verschiedenen Kalibrierungsstrukturen der Kalibriermerkmale bei der Aufnahme der Kalibrierstrukturen mit einem Mikroskopobjektiv zu vereinfachen oder auf eine solche verzichten zu können.
Der Herstellungsprozess der Kalibrierplatten kann sicherstellen, dass die Lage und die Orientierung der Kalibriermerkmale zu einem Einlegerahmen des Tisches des Mikroskops für verschiedene Platten nur sehr geringe Toleranzen aufweist. Insbesondere kann eine Positionierung der Kalibrierplatte im Tisch mit Lagetoleranzen besser als +- 500 µm und/oder einer Winkeltoleranzen besser als +- 0,5° ermöglicht werden.
Die Kalibrierplatte kann ein zentrales Kalibriermerkmal aufweisen, welches eine Mitte eines Tischdurchbruches eines Tisches eines Mikroskops markieren kann, so dass die Mitte dieses Tischdurchbruches für die Untersuchung von Proben besser bestimmt werden kann.
Wenigstens die erste Kalibrierstruktur der Kalibrierplatte kann asymmetrisch sein, so dass ein falsches Einlegen der Kalibrierplatte in einen Tisch eines Mikroskops automatisiert detektiert werden kann.
Weiter kann die Kalibrierplatte Durchgangslöcher aufweisen. Dies kann es ermöglichen, eine Immersionsflüssigkeit auf ein Mikroskopobjektiv des Mikroskops aufzubringen, ohne die Kalibrierplatte aus einem Tisch des Mikroskops zu entnehmen. Somit können Referenzaufnahmen mit einem Mikroskopobjektiv gemacht werden, welches für die Verwendung in Kombination mit einer Immersionsflüssigkeit vorgesehen ist und auch als Immersionsobjektiv bezeichnet werden kann, ohne dass eine Probe aufliegt.
Neben dem Schachbrettmuster können weitere Kalibrierstrukturen vorgesehen sein, um die Skalierung von Mikroskopobjektiven feststellen zu können und/oder einen Fokusvergleich mehrerer Mikroskopobjektive durchführen zu können und/oder einen Versatz zwischen mehreren Mikroskopobjektiven bestimmen zu können.
Es sei darauf hingewiesen, dass Ausführungsbeispiele der Erfindung in Bezug auf unterschiedliche Implementierungskategorien beschrieben sein können. Insbesondere sind einige Ausführungsbeispiele in Bezug auf ein Verfahren beschrieben, während andere Ausführungsbeispiele im Kontext von entsprechenden Vorrichtungen beschrieben sein können. Unabhängig davon wird es einem Fachmann möglich sein, aus der hiervor stehenden und nachfolgenden Beschreibung mögliche Kombinationen der Merkmale des Verfahrens sowie mögliche Merkmalskombinationen mit dem entsprechenden System zu erkennen und zu kombinieren, auch wenn sie zu unterschiedlichen Anspruchskategorien gehören.
Nachfolgend werden Ausführungsbeispiele unter Bezugnahme auf die folgenden Figuren beschrieben, dabei zeigt:

1 schematisch ein Mikroskop;
2 schematisch ein weiteres Mikroskop;
3 ein Ablaufdiagramm eines Verfahrens zum Erzeugen eines Übersichtsbildes;
4 ein Detail des Ablaufdiagramms nach 3;
5 ein Detail des Ablaufdiagramms nach 3;
6 ein Detail eines Ablaufdiagramms nach 3;
7 ein Detail des Ablaufdiagramms nach 3;
8 ein Detail des Ablaufdiagramms nach 3;
9 ein Detail des Ablaufdiagramms nach 3;
10 ein Detail des Ablaufdiagramms nach 3;
11 ein Detail des Ablaufdiagramms nach 3;
12 eine Kalibrierplatte;
13 einen Ausschnitt eines Roh-Übersichtsbilds der Kalibrierplatte;
14 ein Detailbild der Kalibrierplatte; und
15 Kalibrierstrukturen der Kalibrierplatte.

In der 1 ist ein Mikroskop 1000 dargestellt. Das Mikroskop weist mehrere Mikroskopobjektive 1111, 1112 und 1113 auf, welche in einem Objektivrevolver 1110 angeordnet sind. Weiter weist das Mikroskop 1000 einen Tisch 1120 auf, der zur Aufnahme eines Probenträgers oder einer Kalibrierplatte 1200 eingerichtet ist. Der Tisch 1120 ist im Wesentlichen normal zur optischen Achse der Mikroskopobjektive 1111, 1112, 1113 bzw. des gerade in Verwendung befindlichen Mikroskopobjektivs ausgerichtet. Mithilfe von Translationseinheiten 1221 kann der Tisch 1120 in Bezug auf den Abstand zu den Mikroskopobjektiven 1111, 1112, 1113 bzw. dem gerade verwendeten Objektiv, d.h. in Richtung z geändert werden. Typischerweise wird dazu der Objektivrevolver 1110 in Bezug auf den in Richtung z feststehenden Tisch 1120 bewegt. Grundsätzlich wäre es allerdings ebenfalls denkbar, den Tisch 1120 in Bezug auf einen feststehenden Objektivrevolver zu bewegen. Weiter kann mithilfe der Translationseinheiten 1221 der Tisch 1120 in den Richtungen x und y seitlich verschoben werden, so dass ein anderer Teil des Probenträgers oder der Kalibrierplatte 1200 in das Objektfeld des gerade verwendeten Mikroskopobjektivs gebracht werden kann.
Weiter weist das Mikroskop 1000 eine Auflichteinheit 1320 und eine Durchlichteinheit 1310 auf, die jeweils aus einer Anordnung von Leuchtdioden gebildet sind. Die Leuchtdioden können beispielsweise in Form eines regelmäßigen, ebenen zweidimensionalen Arrays angeordnet sein. Ebenso ist es denkbar, die Leuchtdioden auf einer Kugelfläche anzuordnen. Weiter ist auch eine nicht periodische, insbesondere eine unregelmäßige Anordnung der Leuchtdioden möglich. Mithilfe der Auflichteinheit 1320 und der Durchlichteinheit 1310 kann jeweils ein Hellfeldkontrast oder ein Dunkelfeldkontrast eingestellt werden. In Ausführungsbeispielen können die einzelnen Dioden der Auflichteinheit 1320 und der Durchlichteinheit 1310 auch einzeln angesteuert werden.
Ferner ist eine Übersichtskamera 1400 vorgesehen, mithilfe derer ein großer Bereich des Probenträgers oder der Kalibrierplatte 1200 abgebildet werden kann. Die Kamera kann insbesondere ein nichttelezentrisches Objektiv aufweisen. In dem gezeigten Beispiel ist die Übersichtskamera 1400 seitlich des Objektivrevolvers 1110 angeordnet. Die Übersichtskamera 1400 blickt folglich schräg auf den Probenträger beziehungsweise die Kalibrierplatte 1200. Aufgrund der typischerweise im geringen Abstands zum Tisch 1120 angeordneten Übersichtskamera, die gleichzeitig ein großes Sichtfeld (englisch field of view, FoV) aufweisen soll, werden typischerweise Objektive für die Überblickskamera verwendet, die signifikante optische Verzeichnungen aufweisen. Darüber hinaus kann es aufgrund der schrägen Blickrichtung der Übersichtskamera 1400 auf den Probenträger beziehungsweise die Kalibrierplatte1200 zu perspektivischen Verzerrungen kommen.
Das Mikroskop 1000 weist ferner eine Steuereinheit 1500 auf, mit welcher es gesteuert werden kann.
Die Kalibrierplatte 1200 weist Kalibrierstrukturen 1210 auf, mit welchen, wie später erläutert werden wird, optische Verzeichnungen und perspektivische Verzerrungen korrigiert werden können. Darüber hinaus erlaubt es die Kalibrierplatte 1200 mit den Kalibrierstrukturen 1210 den Zusammenhang zwischen einer Pixelskalierung eines mit der Übersichtskamera 1400 aufgenommenen Roh-Umgebungsbildes und dem tatsächlichen physikalischen Abstand von Probenstrukturen einer auf dem Probenträger befindlichen Probe zu bestimmen.
2 zeigt ein weiteres Mikroskop 2000, welches dem Mikroskop 1000 ähnlich ist. Die Elemente 2111, 2112, 2110, 2120, 2121, 2310, 2320 und 2500 entsprechen dabei den vorstehend beschriebenen Elementen 1111, 1112, 1110, 1120, 1121, 1310, 1320 und 1500.
Im Unterschied zu dem in der 1 gezeigten Mikroskop 1000 ist bei dem in der 2 gezeigten Mikroskop 2000 im Objektivrevolver 2110 ein Spiegel 2114 anstelle eines Mikroskopobjektivs angeordnet. Die Übersichtskamera 2400 des Mikroskops 2000 ist so angeordnet, dass mittels des Spiegels 2114 ein großer Bereich des Probenträgers 2200 beobachtet werden kann. Der Strahlengang vom Probenträger 2200 zur Übersichtskamera 2400 kann dabei einer im Wesentlichen orthogonalen Ausrichtung der Übersichtskamera 2400 in Bezug auf den Probenträger 2200 bzw. den Tisch 2120 entsprechen.
Im Unterschied zu der 1 ist auf dem Tisch 2120 keine Kalibrierplatte, sondern der Probenträger 2200 angeordnet. In dem gezeigten Beispiel handelt es sich bei dem Probenträger 2200 um eine Multiwellplatte, die mehrere Wells oder Töpfchen 2220 aufweist.
Das in der 3 schematisch beschriebene Verfahren kann es erlauben, mit einem Mikroskop gemäß 1 oder 2 dem Benutzer ein Übersichtsbild, mit Hilfen dessen er sich in der Probe orientieren kann, zur Verfügung zu stellen. Dabei können die erforderlichen Verfahrensschritte zu einem großen Teil automatisiert durchgeführt werden, so dass der Benutzer möglichst einfach und schnell ein seinen Anforderungen gerecht werdendes Übersichtsbild erhält und er folglich mehr Zeit mit der Untersuchung der ihn eigentlich interessierenden Probenstrukturen verbringen kann. Das Verfahren ist dabei so gestaltet, dass es mit einem sehr breiten Spektrum von Probenträgern und Proben robust funktioniert. Insbesondere kann es das beschriebene Verfahren erlauben, Übersichtsbildern auch für sehr große Probenträger wie zum Beispiel Multiwellplatten mit Abmessungen von 128 x 86 mm zu erzeugen.
Zunächst wird in einem Schritt 3100 beispielsweise mithilfe der Kalibrierplatte eine Kalibration durchgeführt, mithilfe derer Verzeichnungen und Verzerrungen der von der Übersichtskamera aufgenommenen Roh-Übersichtsbildern reduziert werden können, eine Zuordnung der Objektfelder der Mikroskopobjektive in Bezug auf das Übersichtsbild ermöglicht werden kann und mit der letztlich auch eine Bestimmung der physikalischen Abmessungen der Probe ermöglicht werden kann. Der Schritt 3100 kann optional sein. Insbesondere ist denkbar den Schritt 3100 nicht vor jeder Erstellung eines Übersichtsbildes durchzuführen.
Weiter wird im Schritt 3200 eine Bestimmung der für die Darstellung des Übersichtbilds optimierten Übersichtsbeleuchtung durchgeführt. Bei der Übersichtsbeleuchtung kann es sich um eine Auflichtbeleuchtung oder um eine Dunkelfeldbeleuchtung handeln. Dabei kann dem Benutzer eine Übersichtsbildbeleuchtung basierend auf dem erkannten Probenträgertyp vorgeschlagen werden, die der Benutzer bestätigen muss, oder die bestimmte Übersichtsbeleuchtung kann automatisch übernommen werden. Vorzugsweise umfasst der Schritt 3200 auch die Erkennung des Probenträgertyps.
Sofern der Probenträgertyp erkannt wird oder dem Benutzer keine optimierte Übersichtsbildbeleuchtung vorgeschlagen werden kann, kann das Verfahren abgebrochen werden (Schritt 3300).
Im Anschluss an die Erkennung des Probenträgertyps kann eine Fokusannäherung 3400 durchgeführt werden.
Sofern eine Grobfokusposition gefunden wird (Schritt 3500) wird in einem nächsten Schritt 3600 entschieden, ob das FoV (Field of View) der Übersichtskamera ausreichend ist, um die gesamte Probe im Übersichtsbild darzustellen. Dies kann einerseits manuell geschehen, andererseits ist es allerdings auch denkbar, dass von der Steuereinheit bereits erkannt wird, dass ein Probenträgertyp verwendet wird, der größer ist als das FoV der Übersichtskamera.
Bei ausreichendem FoV wird in einem nächsten Schritt eine Erkennung des Probenträgers durchgeführt (Schritt 3611). Die Verwendung der optimierten Übersichtsbildbeleuchtung (zum Beispiel Durchlichtbeleuchtung mit Dunkelfeldkontrast im Falle eines Objektträgers mit Deckglas oder eine Auflichtbeleuchtung im Falle einer Multiwellplatte) kann die Erkennung des Probenträgers und dessen Strukturen verbessern.
Wenn der Probenträger in Schritt 3612 erkannt worden ist, wird im Schritt 3613 geprüft, ob die Probe im Übersichtsbild automatisch erkannt werden soll.
Wenn dies der Fall ist, wird automatisch eine Erkennung der Probe durchgeführt.
Wenn im Schritt 3600 festgestellt worden ist, dass das FoV der Übersichtskamera nicht ausreichend ist, um die gesamte Probe abzubilden, werden in Schritt 3620 mehrere Roh-Übersichtsbilder generiert, indem der Tisch des Mikroskops immer ein Stück seitlich verschoben wird. Die einzelnen Roh-Übersichtsbilder können auch als Kacheln (englisch tiles) bezeichnet werden. Die einzelnen Kacheln können anschließend zu einem Mosaik zusammengesetzt werden (englisch stitching). Dabei kann die Bildung des Mosaikbilds anhand bekannter Verfahrwege der Translationseinheiten durchgeführt werden, so dass Fehler, die beim Stitching auf der Basis korrespondierender Strukturen der einzelnen Roh-Übersichtsbildern vermieden werden können.
In Schritt 3621 wird anschließend eine Detektion das Probenhalters im Schritt 3621 durchgeführt. Der Probenhalter kann dazu dienen, den Probenträger fest am Tisch des Mikroskops zu halten. Die Detektion des Probenhalters kann helfen, Kollisionen zwischen Mikroskopobjektiven und dem Probenhalter zu vermeiden, wenn der Abstand des Probenträgers von den Mikroskopobjektiven geändert oder der Tisch des Mikroskops seitlich verfahren wird.
Wenn im Schritt 3622 festgestellt worden ist, dass der Probenträger detektiert worden ist, kann in einem weiteren Schritt 3623 abgefragt werden, ob auch die Probe im Übersichtsbild automatisch erkannt werden soll.
Ist dies der Fall, wird im Schritt 3624 eine automatische Detektion der Probe im Übersichtsbild durchgeführt.
In der 4 wird der Schritt 3100 der 3 näher erläutert. Im Schritt 4100 wird zunächst eine Kalibrierplatte definiert am Tisch eines Mikroskops befestigt.
Anschließend wird der Abstand der Übersichtskamera und des Objektivrevolvers vom Tisch des Mikroskops so angepasst, dass Kalibrierstrukturen der Kalibrierplatte mithilfe der Übersichtskamera scharf abgebildet werden können. Diese Position kann auch als Referenzfokusposition 4201 bezeichnet werden.
Im Schritt 4300 wird unter Verwendung einer geeigneten Kalibrierbeleuchtung, z.B. einer Auflichtbeleuchtung, mit der Übersichtskamera ein Kalibrierübersichtsbild 4301 erstellt. Im Schritt 4400 kann der Tisch des Mikroskops seitlich verschoben werden und im Schritt 4500 ein verschobenes Kalibrierübersichtsbild 4501 erhalten werden.
In einem weiteren Schritt 4600 werden aus dem Kalibrierübersichtsbild 4301 und dem verschobenen Kalibrierübersichtsbild 4501 Kalibrierdaten 4601 gewonnen. Dies kann beispielsweise durch Triangulation ermöglicht werden. Die Kalibrierdaten können dazu genutzt werden, Verzeichnungen eines Objektivs der Übersichtskamera und/oder perspektivische Verzerrungen aufgrund einer nicht normalen Ausrichtung der Übersichtskamera zum Probentisch zu korrigieren.
In einem Schritt 4700 kann mittels eines Mikroskopobjektivs ein erstes Detailbild 4701 einer Kalibrierstruktur der Kalibrierplatte aufgenommen werden.
Anschließend kann im Schritt 4800 die Kalibrierplatte seitlich so verschoben werden, dass im Schritt 4900 ein zweites Detailbild 4902 wenigstens eine zweite Kalibrierstruktur der Kalibrierplatte mit dem Mikroskopobjektiv aufgenommen werden kann. Typischerweise werden im Schritt 4900 weitere Detailbilder 4902 von weiteren Kalibrierstrukturen der Kalibrierplatte aufgenommen. In Summe können beispielsweise vier Kalibrierstrukturen aufgenommen werden. Im Schritt 4A00 können anschließend Kalibrierdaten 4A01 vor Verortung von Detailbildern im Übersichtsbild gewonnen werden.
In der 5 wird der Schritt 3400 der 3 näher erläutert. In einem ersten Schritt 5100 wird der Fokuspunkt der Übersichtskamera in eine Referenzstellung gebracht. Dies kann dadurch geschehen, dass der Tisch des Mikroskops näher oder weiter weg von der Übersichtskamera gebracht wird. Im Schritt 5200 wird der Tisch des Mikroskops in eine zentrale Stelle gebracht. Anschließend wird im Schritt 5300 ein vorläufiges Roh-Übersichtsbild aufgenommen und auf der Basis der im Schritt 3100 gewonnenen Kalibrierdaten hinsichtlich Verzeichnung und Verzerrungen korrigiert, so dass ein vorläufiges Übersichtsbild 5301 erhalten wird. Wie im Schritt 5400 kann dieses vorläufige Übersichtsbild 5301 dem Benutzer des Mikroskops angezeigt werden. Dies kann es dem Benutzer ermöglichen, die korrekte Funktionsweise des vorgeschlagenen Verfahrens in einem ersten Schritt zu prüfen. Weiter kann in einem Schritt 5500 auf der Basis des vorläufigen Übersichtsbildes 5301 ein Probenträgertyp 5501 erkannt werden, der sich im Beobachtungsvolumen des Mikroskops befindet. Hierzu kann beispielsweise ein ML(Machine Learning)-System, welches mit einer Vielzahl von Probenträgerbildern trainiert worden ist, verwendet werden. Zur Erkennung bzw. Klassifizierung des Probenträgertyps 5501 kann beispielsweise ein Convolutional Neural Networks (CNN) genutzt werden, wie es in den Artikeln Krizhevsky, Sutskever, Hinton: „ImageNet Classification with Deep Convolutional Neural Networks“ (NIPS 2012) und He, Zhang, Ren, Sun: „Deep residual learning for image recognition“ (CVPR 2016) näher erläutert ist.
Basierend auf dem festgestellten Probenträgertyp 5501 kann im Schritt 5600 die Übersichtsbildbeleuchtung 5601 gewählt werden, welche für die Erstellung des Übersichtsbildes verwendet werden soll. Die Wahl der Übersichtsbildbeleuchtung 5601 kann dabei automatisch vorgenommen werden. Alternativ ist es denkbar, dass dem Benutzer des Mikroskops basierend auf dem festgestellten Probenträgertyp 5501 die Übersichtbildbeleuchtung vorgeschlagen wird und dieser die Auswahl nur bestätigen muss, allerdings auch noch eine andere Übersichtsbildbeleuchtung wählen kann.
Der Schritt 3400 des in der 3 dargestellten Verfahrens kann beispielsweise so durchgeführt werden, wie es in der 6 dargestellt ist. In einem ersten Schritt 6100 wird geprüft, ob sich die Übersichtsbildbeleuchtung 5601 von der Auflichtbeleuchtung unterscheidet, mit welcher das vorläufige Übersichtsbild 5301 aufgenommen worden ist. Sofern dies nicht der Fall ist, wird das vorläufige Übersichtsbild 5301 als vorläufiges Übersichtsbild 6111 weiterverwendet (Schritt 6110).
Wenn sich die Übersichtsbildbeleuchtung 5601 von der Auflichtbeleuchtung unterscheidet, wird im Schritt 6120 ein neues vorläufiges Übersichtsbild 6111 unter Verwendung der Übersichtsbildbeleuchtung 5601 aufgenommen. Das neue vorläufige Übersichtsbild 6111 kann dem Benutzer des Mikroskops wiederum angezeigt werden (6130).
Basierend auf dem vorläufigen Übersichtsbild wird eine Segmentierung durchgeführt (6200) und ein Maskenbild 6201 erhalten. Das Maskenbild 6201 kann insbesondere Strukturen des Probenträgers visualisieren. Die Segmentierung kann beispielsweise auf der Basis von Fully Convolutional Networks (FCN) durchgeführt werden, wie sie beispielsweise in den Artikeln Chen, Zhu, Papandreou, Schroff, Adam: „Encoder-decoder with atrous separable convolution for semantic image segmentation. (ECCV 2018) und Shelhamer, Long, Darrell: „Fully convolutional networks for semantic segmentation“ (PAMI 2016) erläutert sind. Die Segmentierung kann dabei insbesondere auf der Grundlage einer pixelbezogenen Klassifikation durchgeführt werden.
Anschließend wird im Schritt 6300 der Tisch des Mikroskops seitlich verfahren. Unter Verwendung der Übersichtsbildbeleuchtung 5601 wird im Schritt 6400 ein weiteres vorläufiges Übersichtsrohbild aufgenommen und nach Korrektur der Verzeichnung und Verzerrungen ein verschobenes vorläufiges Übersichtsbild 6401 erhalten. Auf der Basis des verschobenen vorläufigen Übersichtsbildes 6401 kann im Schritt 6500 abermals eine Segmentierung durchgeführt werden, so dass ein verschobenes Maskenbild 6501 erhalten werden kann.
Auf der Grundlage des Maskenbildes 6201 und des verschobenen Maskenbildes 6501 kann im Schritt 6600 eine Grobfokusposition bestimmt werden.
Die Bestimmung der Grobfokusposition 6601 kann der Tatsache Rechnung tragen, dass der Abstand D1 zwischen dem Objektivrevolver beziehungsweise der Übersichtskamera zur Kalibrierplatte sich vom Abstand D2 vom Objektivrevolver beziehungsweise der Übersichtskamera zum Probenträger unterscheiden kann. Insbesondere sollte bei einem Probenträger in Form einer Multiwellplatte der Fokuspunkt am Boden der Töpfchen liegen und nicht an der Unterseite des Probenträgers.
Weitere Details eines Verfahrens zur Bestimmung der Grobfokusposition können der Druckschrift DE 10 2018 133 188 A1 entnommen werden.
Im Schritt 6700 kann auf der Grundlage des vorläufigen Übersichtsbildes 6111 und der Grobfokusposition 6601 ein korrigiertes vorläufiges Übersichtsbild 6701 erhalten werden. Im Anschluss kann das korrigierte vorläufige Übersichtsbild 6701 dem Benutzer des Mikroskops abermals angezeigt werden (Schritt 6800).
In der 7 wird der Verfahrensschritt 3611 der 3 näher erläutert. Im Schritt 7100 wird basierend auf dem vorläufigen Übersichtsbild 6701 ein Probenträgermaskenbild 7101 generiert. Das Probenträgermaskenbild 7101 wird im Schritt 7200 dazu genutzt, die verschiedenen Regionen des Probenträgers zu identifizieren. Die gewonnenen Probenträgerinformationen 7201 können dem Benutzer des Mikroskops im Schritt 7300 angezeigt werden. Beispielsweise können dem Benutzer des Mikroskops die Positionen der verschiedenen Näpfchen einer Multiwellplatte angezeigt werden. Basierend auf dem Schritt 7400 kann basierend auf den Probenträgerinformation 7201 eine Probenträgervorlage 7401 generiert werden. Die Probenträgervorlage 7401 kann beispielsweise verschiedene Töpfchen einer Multiwellplatte vereinfacht darstellen, so dass diese Töpfchen einzeln angefahren werden können. Die verschiedenen Töpfchen der Multiwellplatte können beispielsweise in Zeilen und/oder Reihen durchnummeriert werden.
8 zeigt beispielhaft Details des Verfahrensschritts 3614 der 3. In einem ersten Schritt 8100 wird basierend auf dem Übersichtsbild 6701 die Qualität der Aufnahme der Probenregion untersucht. Basierend auf der Information zur Probenregionaufnahmequalität 8101 wird im Schritt 8200 entschieden, ob eine Segmentierung 8300 der Probenregion durchgeführt werden kann. Bei der Segmentierung der Probenregionen wird zunächst auf der Basis des Übersichtsbildes 6701 eine Maske 8301 erzeugt. Die Maske 8301 wird im Schritt 8400 genutzt, um die Probenregionen 8401 zu identifizieren. Insbesondere kann die Maske 8301 dazu dienen, Bereiche festzulegen, welche eine Probe enthalten können. Beispielsweise sind im Fall von Objektträgern typischer nur im Bereich des Deckglases und bei Multiwellplatten nur innerhalb der Töpfchen Proben angeordnet, die untersucht werden sollen. Die identifizierten Probenregionen 8401 werden im Schritt 8500 dem Benutzer des Mikroskops angezeigt. Somit kann dieser prüfen, ob mithilfe des automatisierten Verfahrens die richtigen Regionen identifiziert worden sind. Basierend auf den Probenregionen 8401 kann dann im Schritt 8600 eine Teilung der Probenregion in kleinere Kachelregionen durchgeführt werden, die einzeln unter Zuhilfenahme eines Mikroskopobjektivs analysiert werden können.
9 zeigt Details des Verfahrensschritts 3620 der 3. Basierend auf der Übersichtsbildbeleuchtung 5601 werden im Verfahrensschritt 9100 unter Verwendung von Verschiebungen des Tisches des Mikroskops mehrere Roh-Übersichtsbilder aufgenommen, so dass nach Korrektur von Verzeichnungen und Verzerrungen mehrere Kachelübersichtsbilder 9101 erhalten werden. Im Schritt 9200 werden die verschiedenen Kachelübersichtsbilder 9101 zu einem Übersichtsbild 9201 zusammengesetzt, wobei das zusammengesetzte Übersichtskachelbild 9201 auch als Mosaikübersichtsbild bezeichnet werden kann. Das Mosaikübersichtsbild 9201 wird dann dem Benutzer des Mikroskops im Schritt 9300 angezeigt.
In der 10 wird der Schritt 3621 der 3 detailreicher dargestellt. In einem ersten Schritt 10100 wird basierend auf den Kachelübersichtsbildern 9201 eine Vielzahl von Kachelmaskenübersichtsbildern 10101 generiert. Die Kachelmaskenübersichtsbilder werden im Schritt 10200 zu einem Mosaikmaskenbild 10201 zusammengesetzt. Dies kann beispielsweise unter Zuhilfenahme von Stitching geschehen. Basierend auf dem Mosaikmaskenübersichtsbild 10201 werden im Schritt 10300 die Probenregionen 10301 identifiziert. Im Schritt 10400 werden die Probenregionen dem Benutzer des Mikroskops angezeigt. Im Schritt 10500 werden die Probenregionen 10301 analysiert und eine Probenträgervorlage 10501 erstellt.
In der 11 wird der Schritt 3624 der 3 näher erläutert. In einem ersten Schritt 11100 wird die Qualität der Kachelübersichtsbilder 9201 bestimmt. Basierend auf der bestimmten Qualität 11101 wird im Schritt 11200 festgelegt, ob mit dem Verfahren weitergemacht wird. Im Schritt 11300 wird basierend auf den Kachelübersichtsbildern eine Segmentierung der Probenregion durchgeführt und Kachelmaskenübersichtsbilder 11301 erhalten. Die Kachelmaskenübersichtsbilder 11301 werden im Schritt 11400 zu einem Mosaikübersichtsbild 11401 zusammengefügt
Das Mosaikübersichtsbild 11401 wird im Schritt 11500 genutzt, um die Probenregionen 11501 zu extrahieren. Die extrahierten Probenregionen 11501 werden anschließend im Schritt 11600 dem Benutzer des Mikroskops angezeigt. Im Schritt 11700 werden die Probenregionen 11501 in Kachelprobenregionen 11701 unterteilt, die einzeln mit einem Mikroskopobjektiv näher untersucht werden können.
In der 12 ist ein Ausführungsbeispiel einer Kalibrierplatte 12000 gezeigt, welche bei einem der oben beschriebenen Verfahren verwendet werden kann. Die Kalibrierplatte 12000 weist wenigstens ein Durchgangsloch 12021 auf, welches es erlauben kann, eine Immersionsflüssigkeit auf ein Immersionsobjektiv des Mikroskops aufzubringen. Weiter weist die Kalibrierplatte 12000 ein Schachbrettmuster 12010 auf, welches mehrere Kalibrierstrukturen umfasst. Die Kalibrierplatte 12000 kann transluzent, insbesondere transparent sein, so dass das Schachbrettmuster 12010 oder ein Teil des Schachbrettmusters 12010 sowohl bei Verwendung einer Auflichtbeleuchtung als auch bei Verwendung einer Durchlichtbeleuchtung mit der Übersichtskamera und/oder einem Mikroskopobjektiv aufgenommen werden kann.
13 zeigt einen Ausschnitt 13001 eines Roh-Übersichtsbild einer ersten Kalibrierstruktur der Kalibrierplatte 12000, welche mit einer Übersichtskamera eines Mikroskops aufgenommen wurde. 14 zeigt ein Detailbild 14001 derselben Kalibrierstruktur, welches mit einem Mikroskopobjektiv des Mikroskops aufgenommen wurde. Das verwendete Mikroskopobjektiv war ein 5x Mikroskopobjektiv mit einem deutlich kleineren Bildfeld als die Übersichtskamera. Die 13 und 14 zeigen, dass dieselbe Kalibrierstruktur der Kalibrierplatte in beiden Fällen gut abgebildet werden kann und die Kanten der Felder des Schachbrettmusters 12010 scharf abgebildet werden, so dass die Generierung von Kalibrierdaten zur Korrektur von Verzeichnungen und/oder perspektivischen Verzerrungen automatisiert durchgeführt werden kann.
Neben dem Schachbrettmuster 12010 kann die Kalibrierplatte 12000, wie es in der 15 angedeutet ist, weitere Kalibrierstrukturen 12011, 12012 umfassen. Beispielsweise kann eine Kalibrierstruktur 12011 vorgesehen sein, mit welcher die Mitte eines Tisches des Mikroskops optisch bestimmt werden kann. Weiter können es Kalibrierstrukturen 12012 ermöglichen, eine Skalierung von Objektiven vorzunehmen. Die Kalibrierstrukturen 12012 können auch dazu dienen, einen Fokusabgleich zwischen mehreren Mikroskopobjektiven durchzuführen und/oder einen Versatz zwischen mehreren Mikroskopobjektiven zu bestimmen.
Zusammenfassend erlauben das beschriebene Verfahren, das vorgeschlagene Mikroskop und die offenbarte Kalibrierplatte die automatisierte, schnelle Erstellung eines navigierbaren Übersichtsbilds. Mithin kann ein Benutzer des Mikroskops anhand des Übersichtsbildes oder ausgehend von bekannten Positionen der Probe auf dem Probenträger schnell an zu untersuchende Stelle von Proben navigieren und diese mit den Mikroskopobjektiven hoher Vergrößerung weiter analysieren. Der Benutzer kann folglich die ihm zur Verfügung stehende Zeit optimal nutzen, so dass er schnell zu Ergebnissen gelangen kann.
Im Rahmen des beschriebenen Verfahrens können für die Erkennung des Probenträgertyps, der Erkennung von Deckgläsern von Objektträgern, für die Segmentierung von Multiwellplatten, die Bestimmung der Klassifikationsqualität und die Probenbereichssegmentierung verschiedene ML-Systeme verwendet werden, welche mit annotierten Bildern von verschiedenen Probenträgern und Proben sowie ggf. annotierten Daten trainiert worden sind. Dabei können insbesondere Kanten und Texturen in den Bildern erkannt werden. Objektteile numerisch erkannt werden und verschiedene Objekte erkannt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017111718 A1 [0003]
DE 102018133188 A1 [0079]

Claims

Verfahren zum Erzeugen eines Übersichtsbildes einer Probe, welche mittels eines Probenträgers in einem Beobachtungsvolumen eines Mikroskops angeordnet ist, wobei der Probenträger mit einer ersten Beleuchtung beleuchtet wird, wobei ein vorläufiges Übersichtsbild unter Verwendung der ersten Beleuchtung und einer Übersichtskamera des Mikroskops erzeugt wird, wobei eine Übersichtsbildbeleuchtung in Abhängigkeit des vorläufigen Übersichtsbilds gewählt wird, wobei der Probenträger mit der Übersichtsbeleuchtung beleuchtet wird, und wobei das Übersichtsbild unter Verwendung der Übersichtsbildbeleuchtung und der Übersichtskamera erzeugt wird.
Verfahren nach Patentanspruch 1, wobei die Übersichtsbildbeleuchtung eine Auflichtbeleuchtung und/oder eine Durchlichtbeleuchtung umfasst.
Verfahren nach Patentanspruch 1 oder 2, wobei das vorläufige Übersichtsbild in einem trainierten Machine-Learning-basiertem System, ML-System, prozessiert wird, wobei die Übersichtsbildbeleuchtung auf der Basis einer Ausgabe des ML-Systems gewählt wird.
Verfahren nach Patentanspruch 3, wobei die Ausgabe des trainierten ML-Systems eine Angabe über den Probenträgertyp des Probenträgers umfasst, und wobei die Übersichtsbildbeleuchtung auf der Basis des Probenträgertyps bestimmt wird.
Verfahren nach einem der voranstehenden Patentansprüche 1 bis 4, wobei im Beobachtungsvolumen eine Kalibrierplatte angeordnet wird, wobei die Kalibrierplatte mit einer Kalibrierbeleuchtung beleuchtet wird, wobei Kalibrierübersichtsbilder unter Verwendung der Kalibrierbeleuchtung und der Übersichtskamera erzeugt werden, wobei mittels der Kalibrierübersichtsbilder Kalibrierdaten gewonnen werden, wobei das vorläufige Übersichtsbild und/oder das Übersichtsbild unter Verwendung der Kalibrierdaten erzeugt werden.
Verfahren nach Patentanspruch 5, wobei die Kalibrierplatte eine erste Kalibrierstruktur umfasst, wobei das Kalibrierübersichtsbild eine Abbildung der ersten Kalibrierstruktur umfasst, wobei ein erstes Detailbild der ersten Kalibrierstruktur unter Verwendung eines Mikroskopobjektivs des Mikroskops erzeugt wird, wobei auf der Basis der Kalibrierübersichtsbilder und des ersten Detailbilds weitere Kalibrierdaten zur Verortung eines Probendetailbilds der Probe im Übersichtsbild erhalten werden.
Verfahren nach Patentanspruch 6, wobei die Kalibrierplatte mindestens eine weitere Kalibrierstruktur aufweist, wobei nach Erzeugung des ersten Detailbilds die Position der Kalibrierplatte in Bezug auf das Mikroskopobjektiv um wenigstens einen weiteren vordefinierten Translationsvektor geändert wird, wobei mindestens ein zweites Detailbild der weiteren Kalibrierstrukturen Kalibrierstruktur unter Verwendung des Mikroskopobjektivs des Mikroskops erzeugt wird, wobei die Kalibrierdaten unter zusätzlicher Verwendung der weiteren vordefinierten Translationsvektoren und der Auswertung der Positionen der Kalibrierstrukturen in den weiteren Detailbildern erhalten werden.
Verfahren nach Patentanspruch 6 oder 7, wobei das Probendetailbild unter Verwendung des Mikroskopobjektivs oder eines weiteren Mikroskopobjektivs erzeugt wird.
Verfahren nach einem der voranstehenden Patentansprüche, wobei zur Erzeugung des vorläufigen Übersichtsbilds wenigstens zwei vorläufige Roh-Übersichtsbilder mit der Übersichtskamera aufgenommen werden, wobei sich die erste Beleuchtung bei den vorläufigen Roh-Übersichtsbildern unterscheidet.
Verfahren nach einem der voranstehenden Patentansprüche, wobei zur Erzeugung des Übersichtsbilds wenigstens zwei Roh-Übersichtsbilder aufgenommen werden, wobei sich die Übersichtsbildbeleuchtung der Roh-Übersichtsbilder unterscheidet.
Verfahren nach einem der voranstehenden Patentansprüche 1 bis 10, wobei zur Erzeugung des vorläufigen Übersichtsbilds wenigstens zwei vorläufige Roh-Übersichtsbilder mit der Übersichtskamera aufgenommen werden, wobei zwischen den Roh-Übersichtsbildern die Position des Probenträgers um einen bekannten Translationsvektor geändert wird, wobei zueinander korrespondierende Strukturen in den vorläufigen Roh-Übersichtsbildern erkannt werden, und wobei aus den zueinander korrespondierenden Strukturen in den vorläufigen Roh-Übersichtsbildern, dem bekannten Translationsvektor und den Kalibrierdaten eine Grobfokusposition bestimmt wird.
Verfahren nach einem der voranstehenden Patentansprüche, wobei wenigstens zwei Roh-Übersichtsbilder mit der Übersichtskamera aufgenommen werden, wobei zwischen den Roh-Übersichtsbildern die Position des Probenträgers um einen Verschiebungsvektor geändert wird, und wobei das Übersichtsbild basierend auf den Roh-Übersichtsbildern und optional basierend auf dem Verschiebungsvektor als Mosaikübersichtsbild erzeugt wird.
Mikroskop mit einer Übersichtskamera, mit wenigstens einem Mikroskopobjektiv, mit einer Durchlichteinheit, mit einer Auflichteinheit, mit einer Steuereinheit, wobei die Steuereinheit dazu eingereicht ist, ein Verfahren nach einem der voranstehenden Patentansprüche durchzuführen.
Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch eine Steuereinheit eines Mikroskops diese veranlassen, ein Verfahren nach einem der voranstehenden Patentansprüche 1 bis 12 durchzuführen.
Kalibrierplatte zur Kalibrierung eines Mikroskops, welches eine Übersichtskamera und ein Mikroskopobjektiv aufweist, wobei die Kalibrierplatte wenigstens eine erste Kalibrierstruktur aufweist, welche sowohl mit der Übersichtskamera als auch mit dem Mikroskopobjektiv, insbesondere unter Verwendung einer Kalibrierbeleuchtung, abbildbar ist.
Kalibrierplatte nach Patentanspruch 15, wobei die Kalibrierplatte wenigstens eine zweite Kalibrierstruktur in einem vordefinierten Abstand von der ersten Kalibrierstruktur aufweist.
Kalibrierplatte nach einem voranstehenden der Patentansprüche 15 oder 16, wobei die Kalibrierplatte ein Schachbrettmuster aufweist, wobei die erste Kalibrierstruktur einer Ecke eines Feldes des Schachbrettmusters entspricht.
Kalibrierplatte nach einem der voranstehenden Patentansprüche 15 bis 17, wobei die Kalibrierplatte dazu eingerichtet ist, Licht diffus zu reflektieren.
Kalibrierplatte nach einem der voranstehenden Patentansprüche 15 bis 18, wobei die Kalibrierplatte transluzent ist.
Kalibrierplatte nach einem der voranstehenden Patentansprüche 15 bis 19, wobei die Kalibrierplatte Höhenabweichungen von weniger als 150 µm, insbesondere weniger als 100 µm aufweist.
Kalibrierplatte nach einem der voranstehenden Patentansprüche 15 bis 20, wobei die erste Kalibrierstruktur asymmetrisch ist.
Kalibrierplatte nach einem der voranstehenden Patentansprüche 15 bis 21, wobei die Kalibierplatte wenigstens ein Durchgangsloch aufweist.