DE102020123562A1 - Mikroskopiesystem und verfahren zum überprüfen einer mikroskopkalibrierung - Google Patents

Abstract

Ein Mikroskopiesystem umfasst eine Übersichtskamera (9) zum Aufnehmen von mindestens einem Übersichtsbild (10) einer Probenumgebung und eine Recheneinrichtung (20), welche eingerichtet ist zum Auswerten des mindestens einen Übersichtsbildes (10). Die Recheneinrichtung (20) verfügt über Kalibrierparameter (P), mit welchen eine Interpretation von Bildkoordinaten des mindestens einen Übersichtsbildes (10) erfolgt. Aus dem mindestens einen Übersichtsbild (10) werden geometrische Informationen (G) zu mindestens einer im Übersichtsbild (10) abgebildeten Referenzstruktur (15) ermittelt, deren Lage oder Form im Übersichtsbild (10) von einer Lage mindestens einer Mikroskopkomponente (3, 5, 6, 9, 9B) abhängt. Durch Verrechnen der ermittelten geometrischen Informationen (G) mit vorgegebenen Referenzdaten (a, b) wird bestimmt, ob eine Änderung der Mikroskopkomponente (3, 5, 6, 9, 9B) eingetreten ist, welche eine Gültigkeit der Kalibrierparameter (P) beeinträchtigt. Es werden ein entsprechendes Verfahren sowie ein Verfahren beschrieben, welches mit Hilfe eines trainierten Maschinenlernmodells die genannte Änderung ermittelt.

Description

• TECHNISCHES GEBIET
• Die vorliegende Offenbarung bezieht sich auf ein Mikroskopiesystem und Verfahren zum Überprüfen einer Mikroskopkalibrierung.
• HINTERGRUND
• In modernen Mikroskopiesystemen spielt eine Automatisierung eine zunehmend wichtige Rolle. Eine zu untersuchende Probe soll teil- oder vollautomatisiert vom Mikroskopiesystem erfasst, angefahren und näher untersucht werden. Dabei sollen einem Mikroskopnutzer Bildinformationen in möglichst hoher Qualität dargestellt werden können, ohne dass der Nutzer zahlreiche Einstellungen manuell optimieren muss. Relevante Teile dieser Ziele werden mittels einer Übersichtskamera erreicht, welche ein Übersichtsbild der Probe und einer Probenumgebung aufnimmt. Aus dem Übersichtsbild kann z.B. eine Navigationskarte gebildet werden, in welcher ein Nutzer einen Ort auswählen kann, der sodann automatisch mit einem motorisierten Probentisch angefahren und mit stärkerer Vergrößerung untersucht werden kann. Das Übersichtsbild kann auch für eine automatische Probenerkennung genutzt werden, indem beispielsweise die Näpfchen einer Mikrotiterplatte erkannt und optional automatisch genauer untersucht werden. Auch für eine Autofokussierung kann ein Übersichtsbild verwendet werden, beispielsweise indem aus dem Übersichtsbild eine Probenhöhe geschätzt wird oder eine geeignete Position ermittelt wird, an welcher sodann ein Autofokussierungsverfahren durchgeführt wird.
• Um ein Übersichtsbild in dieser Weise nutzen zu können, muss ein Bezug zwischen Bildkoordinaten des Übersichtsbildes und Rauminformationen, beispielsweise einem Blickwinkel und/oder einer Position der Übersichtskamera relativ zu einem Bezugspunkt, bekannt sein. Hierzu wird eine Kalibrierung der Übersichtskamera durchgeführt. Beispielsweise kann ein Übersichtsbild eines Kalibrierobjekts mit bekannten Abmessungen aufgenommen werden, so dass ein Zusammenhang zu Bildkoordinaten ermittelt werden kann. Auch können Verzeichnungen der Übersichtskamera durch eine solche Kalibrierung ermittelt und rechnerisch korrigiert werden.
• Ein gattungsgemäßes Mikroskopiesystem umfasst dementsprechend eine Übersichtskamera zum Aufnehmen von mindestens einem Übersichtsbild einer Probenumgebung und eine Recheneinrichtung, welche eingerichtet ist zum Auswerten des mindestens einen Übersichtsbildes. Die Recheneinrichtung verfügt über Kalibrierparameter, mit welchen eine Interpretation von Bildkoordinaten des mindestens einen Übersichtsbildes erfolgt.
• In US 9 344 650 B2 und DE 10 2013 012 987 A1 wurden beispielsweise von der Anmelderin ein optisches Gerät beschrieben, bei welchem eine Kalibrierung mit Hilfe eines Referenzobjektes durchgeführt wird, um anschließend aufgenommene Bilder mit Hilfe von Kalibrierdaten zu verarbeiten. In DE 10 2017 109 698 A1 wurde von der Anmelderin ein Mikroskop offenbart, bei dem Übersichtsbilder einer kalibrierten Übersichtskamera ausgewertet werden, beispielsweise um Mikroskopkomponenten zu klassifizieren und Informationen zu erkannten Komponenten zu laden. Ein weiteres Kalibrierverfahren wurde von der Anmelderin in DE 10 2013 222 295 A1 für ein Mikroskop mit Schwenkstativ beschrieben, um eine automatische Fokus- und Bildmittennachführung zu ermöglichen. Die Auswertung eines Übersichtsbildes, beispielsweise zum Ermitteln und automatischen Anfahren einer Probenposition, wurde von der Anmelderin in DE 10 2013 006 994 A1 beschrieben. Weitere Bildauswertungen zum automatischen Ausführen von Workflows eines Mikroskops sind von der Anmelderin in DE 10 2019 114 117 beschrieben, wozu in einem Übersichtsbild Kalibrier- und Spezialproben erkannt werden, bei welchen es sich auch um z.B. Aufkleber am Probentisch handeln kann. Auswertungen von Übersichtsbildern eines Mikroskops sind außerdem von der Anmelderin in DE 10 2020 118 801 beschrieben. Hierbei wird insbesondere aus dem Übersichtsbild ein Abstand einer Übersichtskamera zur Probenebene geschätzt, wozu Referenzmarkierungen im Sichtfeld der Übersichtskamera genutzt werden können. In DE 10 2020 101 191 hat die Anmelderin eine Auswertung von Übersichtsbildern eines Mikroskops beschrieben, wobei eine Homographie ermittelt wird, durch die das Übersichtsbild in eine andere Darstellung überführt wird; die Ermittlung der perspektivisch korrekten Homographie kann unter anderem durch Aufnahmen von Kalibriermustern bekannter Abmessungen erfolgen.
• Die Sicherstellung einer korrekten Kalibrierung wird erschwert, wenn ein Anwender Komponenten neu konfigurieren, austauschen oder unterschiedlich positionieren kann. Beispielsweise können Endlagenschalter von motorisierten Tischen neu konfiguriert werden. Auch wenn eine Anleitung darauf hinweist, dass nach solchen Maßnahmen eine neue Kalibrierung durchzuführen ist, mag dies ein Anwender übersehen. Veränderungen können auch unwissentlich durch Stöße, sich lösende Verbindungen oder Temperaturänderungen hervorgerufen werden. Damit besteht die Gefahr, dass eine Navigation nur noch mit reduzierter Genauigkeit erfolgt und zu Kollisionen mit Beschädigungen von Gerätekomponenten oder der Probe führt. Häufige Kalibrierungen, z.B. bei jedem Systemstart, sind nicht erstrebenswert, da dies Zeit und einen geschulten Anwender erfordert. Große Sicherheitstoleranzen können zwar Kollisionen auch bei fehlerhafter Kalibrierung vermeiden, schränken aber den Fahrbereich eines motorisierten Probentisches unnötig ein und beheben keine Ungenauigkeiten einer bildbasierten Navigation.
• Um zu erkennen, ob eine Wartung, insbesondere eine Kalibrierung, notwendig ist, wurde von der Anmelderin in DE 10 2018 133 196 A1 ein Maschinenlernmodell vorgestellt. Das Maschinenlernmodell erkennt in Übersichtsbildern Abweichungen zu korrekten Fällen, beispielsweise durch ein zur Anomaliedetektion trainiertes neuronales Netz. Dadurch kann basierend auf einem Übersichtsbild prinzipiell eine Fehlermeldung erzeugt werden, wenn eine Wartung nötig ist. Wünschenswert wäre eine noch präzisere Ermittlung, ob oder inwiefern eine Kalibrierung weiterhin zutreffend ist.
• KURZFASSUNG
• Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopiesystem und ein Verfahren zum Überprüfen einer Mikroskopkalibrierung anzugeben, welche eine präzise Nutzung von Übersichtsbildern ermöglichen und Fehlsituationen möglichst präzise erkennen.
• Diese Aufgabe wird durch das Mikroskopiesystem mit den Merkmalen des Anspruchs 1 und durch die Verfahren zum Überprüfen einer Mikroskopkalibrierung mit den Merkmalen des Anspruchs 17 oder 18 gelöst.
• Bei dem Mikroskopiesystem der oben genannten Art ist erfindungsgemäß die Recheneinrichtung dazu eingerichtet, aus dem mindestens einen Übersichtsbild geometrische Informationen zu mindestens einer im Übersichtsbild abgebildeten Referenzstruktur zu ermitteln, deren Lage oder Form im Übersichtsbild von einer Lage mindestens einer Mikroskopkomponente abhängt. Durch Verrechnen der ermittelten geometrischen Informationen mit vorgegebenen Referenzdaten bestimmt die Recheneinrichtung, ob eine Änderung der Mikroskopkomponente eingetreten ist, welche eine Gültigkeit der Kalibrierparameter beeinträchtigt.
• Bei einem Verfahren zum Überprüfen einer Mikroskopkalibrierung wird gemäß einer Ausführungsform der Erfindung mindestens ein Übersichtsbild einer Probenumgebung eines Mikroskops erhalten. Das mindestens eine Übersichtsbild wird zum Ermitteln von geometrischen Informationen zu mindestens einer im Übersichtsbild abgebildeten Referenzstruktur ausgewertet, wobei deren Lage oder Form im Übersichtsbild von einer Lage mindestens einer Mikroskopkomponente abhängt. Die ermittelten geometrischen Informationen werden mit vorgegebenen Referenzdaten verrechnet, um zu bestimmen, ob eine Änderung der Mikroskopkomponente eingetreten ist, welche eine Gültigkeit von Kalibrierparametern beeinträchtigt, welche einer Interpretation von Bildkoordinaten des mindestens einen Übersichtsbildes dienen.
• Die Erfindung erlaubt eine Überprüfung, ob verwendete Kalibrierparameter zutreffend sind, ohne dass spezielle Messungen hierzu nötig wären. Die Ermittlung geometrischer Informationen von Referenzstrukturen im Übersichtsbild kann eine Kalibrierabweichung nicht nur an sich feststellen, sondern auch quantifizieren. Dies ermöglicht eine präzisere Aussage darüber, ob bisherige Kalibrierparameter weiterhin zutreffend sind. In fakultativen Weiterbildungen werden quantitative Bewertungen der Kalibrierabweichungen für eine Korrektur von Bilddarstellungen und/oder Ansteuerungen von Mikroskopkomponenten genutzt. Vorteilhafte Varianten des erfindungsgemäßen Mikroskopiesystems und der erfindungsgemäßen Verfahren sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.
• Geometrische Informationen
• Die geometrischen Informationen können beispielsweise eine Position, Ausrichtung und/oder Form der Referenzstruktur im Übersichtsbild betreffen oder Abstände zwischen zwei oder mehr vorgegebenen Punkten der Referenzstruktur. Hierbei sind die geometrische Form und Größe der Referenzstruktur im Raum bekannt. Beispielsweise kann die Referenzstruktur einen Kreis, ein Rechteck oder eine Gerade einer Mikroskopkomponente umfassen. So bildet z.B. die Kanten eines Glasobjektträgers Geraden bzw. ein Rechteck. Ein Kreis kann auf einen Referenzaufkleber gedruckt sein oder durch die Öffnung mancher Halterahmen für Probenträger gegeben sein. Im Übersichtsbild sind Form, Position, Ausrichtung und Größe dieser Geometrien abhängig von der Lage der Übersichtskamera, der Referenzstruktur(en) sowie optionaler Komponenten, über welche die Übersichtskamera auf die Referenzstrukturen blickt. Ein Kreis einer Referenzstruktur kann beispielsweise im Übersichtsbild zu einer Ellipse verzerrt sein, wobei als geometrische Informationen insbesondere eine Form, Größe und/oder Position der Ellipse im Übersichtsbild ermittelt werden kann.
• Die Ermittlung der geometrischen Informationen kann durch klassische Bildverarbeitungsalgorithmen ohne Maschinenlernmodelle erfolgen. Beispielsweise kann ein Kantenfilter angewandt werden, wonach in leichter Weise ein Strichcode als Referenzstruktur, oder prinzipiell eine beliebige anders gestaltete Referenzstruktur vermessen werden kann.
• Alternativ kann die Recheneinrichtung über ein trainiertes Maschinenlernmodell verfügen, welches das mindestens eine Übersichtsbild als Eingabe erhält und die geometrischen Informationen ausgibt. Das Maschinenlernmodell kann beispielsweise ein faltendes neuronales Netz (englisch: convolutional neural network, CNN) umfassen, welches das mindestens eine Übersichtsbild oder hieraus abgeleitete Bilddaten als Eingabe erhält. Das Training des Maschinenlernmodells kann durch einen überwachten Lernvorgang erfolgt sein, in welchem Trainings-Übersichtsbilder mit jeweiliger Annotation/Kennzeichnung vorgegeben wurden. Die Kennzeichnung kann den geometrischen Informationen entsprechen. Beispielsweise kann manuell eine Position einer Referenzstruktur im Trainings-Übersichtsbild vorgegeben worden sein. Ein Lernalgorithmus wird verwendet, um Modellparameter des Maschinenlernmodells an Hand der annotierten Trainings-Übersichtsbilder festzulegen. Hierzu kann eine vorgegebene Zielfunktion optimiert werden, z.B. eine Verlustfunktion minimiert werden. Die Verlustfunktion beschreibt eine Abweichung zwischen der vorgegebenen Kennzeichnung und einer momentanen Ausgabe des Maschinenlernmodells, welche mit den momentanen Modellparameterwerten aus einem Trainings-Übersichtsbild berechnet wird. Abhängig von dieser Abweichung werden Modellparameterwerte verändert, was z.B. durch einen (stochastischen) Gradientenabstieg berechnet werden kann. Im Fall eines CNN können die Modellparameter insbesondere die Einträge der Faltungsmatrizen der verschiedenen Schichten des CNN umfassen. Auch andere Modellarchitekturen eines tiefen neuronalen Netzes (englisch: deep neural network) sind anstelle eines CNN möglich.
• Die Trainings-Übersichtsbilder können verschiedene Referenzstrukturen aufzeigen, zu denen jeweils geometrische Informationen als Kennzeichnungen vorgegeben wurden. Dadurch wird ein Modell gelernt, welches nicht nur eine einzige Referenzstruktur in Übersichtsbildern erkennen kann, sondern alle in den Trainings-Übersichtsbildern enthaltenen Referenzstrukturen.
• Anstelle eines überwachten Trainings kann auch ein teilüberwachtes Training genutzt werden, in welchem nicht alle Trainings-Übersichtsbilder annotiert sind.
• Referenzstrukturen
• Eine Referenzstruktur kann prinzipiell ein beliebiges Element im Sichtfeld der Übersichtskamera sein, dessen Lage oder Form im Übersichtsbild von einer Lage einer Mikroskopkomponente abhängt. Beispielsweise kann die Referenzstruktur ein Element der Mikroskopkomponente sein oder umfassen, insbesondere eine (Gewinde-)bohrung oder Schraube der Mikroskopkomponente. Die Referenzstruktur kann auch eine Außenform, eine Stufe oder eine Kante der Mikroskopkomponente sein oder umfassen. Zudem kann die Referenzstruktur eine Referenzmarkierung umfassen, beispielsweise ein Aufkleber, ein Referenzmuster oder eine Beschriftung, insbesondere auf der Mikroskopkomponente.
• Damit die Lage oder Form der Referenzstruktur im Übersichtsbild von der Lage der Mikroskopkomponente abhängt, muss die Referenzstruktur aber nicht zwingend Teil der Mikroskopkomponente sein oder starr mit dieser verbunden sein. Beispielsweise kann die Referenzstruktur auch durch oder an einem ortsfesten Geräterahmen oder Mikroskopstativ gebildet sein und bei der Mikroskopkomponente kann es sich um die Übersichtskamera selbst handeln: Eine Lage einer Referenzstruktur an einem ortsfesten Mikroskopstativ hängt von einer Positionierung und Ausrichtung der Übersichtskamera ab. Dadurch kann eine Dejustage der Übersichtskamera, beispielsweise eine Verdrehung oder Verschiebung, festgestellt werden.
• Bei Verwendung eines Maschinenlernmodells kann durch die Annotationen der Trainings-Übersichtsbilder definiert sein, was eine Referenzstruktur ist. Sind beispielsweise als Annotationen die Größe (gemessen in z.B. Bildpixeln) oder Form eines in den Trainings-Übersichtsbildern abgebildeten Objekts vorgegeben, so stellt dieses Objekt eine Referenzstruktur dar.
• Aus ein- und demselben Übersichtsbild können optional geometrische Informationen zu mehreren abgebildeten Referenzstrukturen ermittelt werden. Lagen oder Formen der Referenzstrukturen im Übersichtsbild können hierbei von Lagen verschiedener Mikroskopkomponenten abhängen. Beispielsweise kann eine Referenzstruktur an einem Probentisch und eine andere Referenzstruktur an einem Objektivrevolver oder an einer vom Objektivrevolver gehaltenen Mikroskopkomponente vorhanden sein. Durch Verrechnen der ermittelten geometrischen Informationen mit vorgegebenen Referenzdaten wird nun bestimmt, welche der verschiedenen Mikroskopkomponenten eine Änderung, insbesondere eine Dejustierung, erfahren hat. Blickt beispielsweise die Übersichtskamera über einen Spiegel, der am Objektivrevolver gehalten ist, auf den Probentisch, so kann durch die mehreren Referenzstrukturen unterschieden werden, ob der Probentisch oder der Spiegel eine unbeabsichtigte Änderung gegenüber einer den Kalibrierparametern zugrundeliegenden Anordnung erfahren hat.
• Referenzdaten
• Die Referenzdaten können bei einer zuletzt durchgeführten Kalibrierung festgelegt worden sein oder nach Durchführung der Kalibrierung aufgenommen worden sein. Durch einen Vergleich oder eine Verrechnung der ermittelten geometrischen Informationen mit den Referenzdaten kann somit festgestellt werden, ob eine Dejustierung, das heißt eine relevante Änderung gegenüber der zuletzt durchgeführten Kalibrierung, stattgefunden hat.
• Als einfaches Beispiel können die Referenzdaten geometrische Informationen zu den Referenzstrukturen darstellen, also beispielsweise eine Position oder Größe eines Aufklebers (welcher eine Referenzstruktur darstellt) in einem Übersichtsbild, welches bei einem Kalibriervorgang aufgenommen wurde, das heißt ein Übersichtsbild, zu dem bekannt oder vorgegeben ist, dass die Kalibrierparameter gültig sind. Wird nun eine Differenz zwischen den Referenzdaten und den geometrischen Informationen, die aus einem aktuellen Übersichtsbild ermittelt werden, festgestellt, so kann hieraus auf eine Änderung der Mikroskopkomponente geschlossen werden. Ob diese Änderung groß genug ist, dass eine Gültigkeit der Kalibrierparameter als beeinträchtigt angenommen wird, kann über einen vorgegebenen Schwellwert ermittelt werden. Ist die genannte Differenz betragsmäßig größer als der Schwellwert, werden die Kalibrierparameter als ungültig bzw. beeinträchtigt angenommen.
• Für den oben beschriebenen Fall kann es vorgesehen sein, dass das Übersichtsbild bei Einstellungen von beweglichen Komponenten aufgenommen wird, welche den Einstellungen bei Festlegung der Referenzdaten entsprechen. Beispielsweise wird dieselbe Tischposition eines verfahrbaren Probentischs eingestellt wie bei Festlegung der Referenzdaten. Handelt es sich bei der Referenzstruktur um z.B. eine Gewindebohrung im Probentisch, kann ein direkter Vergleich der geometrischen Informationen mit den Referenzdaten erfolgen. Für eine flexible Überwachung im laufenden Betrieb kann aber auch ein Übersichtsbild ausgewertet werden, welches mit anderen Einstellungen von beweglichen Komponenten aufgenommen wurde. In diesem Fall muss eine Auswirkung der Einstellungen auf die Darstellung der Referenzstruktur im Übersichtsbild berücksichtigt werden, was mit Hilfe der Kalibrierparameter erfolgen kann. Wurde beispielsweise ein motorischer Probentisch um eine bekannte Strecke verschoben, so kann mit Hilfe der Kalibrierparameter eine entsprechende Verschiebung der Referenzstruktur (z.B. einer Gewindebohrung des Probentischs) im Übersichtsbild berechnen. Nachdem aus dem Übersichtsbild geometrische Informationen der Referenzstruktur ermittelt wurden, können diese also mit Hilfe der Kalibrierparameter gemäß der Tischposition (oder allgemein gemäß den Einstellungen von Mikroskopkomponenten) verrechnet werden, bevor ein Vergleich mit den Referenzdaten erfolgt.
• Als Referenzdaten können auch ein oder mehrere Übersichtsbilder oder hieraus abgeleitete Daten dienen, welche während oder im Anschluss an eine zuletzt durchgeführte Kalibrierung aufgenommen wurden. Insbesondere kann es sich um ein Übersichtsbild handeln, welches zum Zwecke der Kalibrierung aufgenommen wurde. Im Anschluss an eine Kalibrierung kann davon ausgegangen werden, dass noch keine Änderung einer Mikroskopkomponente eingetreten ist, welche die Kalibrierung beeinträchtigen würde. Daher kann auch ein im Anschluss an die Kalibrierung aufgenommenes Übersichtsbild die Referenzdaten darstellen oder zum Ableiten der Referenzdaten herangezogen werden.
• In manchen Ausführungen werden die Kalibrierparameter verwendet, um aus dem Übersichtsbild eine Abbildung oder eine Homographie zu berechnen, welche eine Ebene im Raum perspektivisch in eine andere Ebene abbildet oder projiziert. Die Homographie beschreibt also, wie ein Bildinhalt des Übersichtsbilds aus einer anderen Blickrichtung (z.B. als Draufsichtbild) zu sehen wäre. In solch einer perspektivisch korrigierten Darstellung von Gerätekomponenten, einem Probenhalter oder Proben werden geometrische Strukturen wie Kanten, Scheiben oder Quader geometrisch korrekt als z.B. Linien, Kreise oder Rechtecke dargestellt und können dadurch besser geometrisch vermessen werden. Eine Verrechnung mit den Referenzdaten kann daher auch im Anschluss an die Berechnung der Homographie erfolgen. Dabei können die Referenzdaten z.B. eine Form von abgebildeten Komponenten betreffen, beispielsweise dass bestimmte Objekte rechte Winkel, gerade Kanten oder eine Kreisform haben. Weicht die Form im verarbeiteten Übersichtsbild hiervon ab, kann festgestellt werden, dass die Kalibrierparameter nicht mehr zutreffen.
• Das Verrechnen der ermittelten geometrischen Informationen mit vorgegebenen Referenzdaten kann auch durch ein trainiertes Maschinenlernmodell erfolgen. Das Maschinenlernmodell erhält die geometrischen Informationen als Eingabe und gibt eine Angabe über eine Änderung einer/der Mikroskopkomponente aus. Die Referenzdaten liegen hierbei durch gelernte Modellparameterwerte vor. Die Referenzdaten müssen also nicht leicht interpretierbare geometrische Angaben sein, sondern können allgemein beliebige Angaben sein, die für eine Bewertung hilfreich sind, ob aktuell ermittelte geometrische Informationen mit einer Anordnung übereinstimmen, für welche die Kalibrierparameter zutreffen. Das Maschinenlernmodell kann beispielsweise mit annotierten Trainingsdaten trainiert sein, welche geometrische Informationen umfassen, die aus Übersichtsbildern zu Referenzstrukturen wie beschrieben ermittelt wurden. Als Annotation kann jeweils ein Wert einer Änderung oder eine Klassifikationsangabe (z.B. die Klassen: „keine relevante Änderung“ und „Änderung, welche die Kalibrierparameter beeinträchtigt“) vorgegeben sein. Dementsprechend kann das Maschinenlernmodell insbesondere als Klassifikationsmodell oder als Regressionsmodell gestaltet sein. Es kann an das zuvor beschriebene Maschinenlernmodell, welches ein Übersichtsbild als Eingabe erhält und geometrische Informationen ausgibt, konkateniert sein. In optionalen Gestaltungen kann das Maschinenlernmodell als zusätzliche Eingabe Einstellungen von Mikroskopkomponenten (z.B. eine Probentischposition) erhalten, mit welcher das Übersichtsbild aufgenommen wurde. Hierdurch kann berücksichtigt werden, wie verschiedene Einstellungen von Mikroskopkomponenten bei der Kalibrierung und bei der Aufnahme des Übersichtsbildes die ermittelten geometrischen Informationen beeinflussen. Im Training des Maschinenlernmodells werden bei dieser Ausführung ebenfalls verschiedene Einstellungen von Mikroskopkomponenten berücksichtigt.
• Kalibrierparameter und Kalibriervorgang
• Unter Kalibrierparametern können Parameterwerte verstanden werden, auf deren Basis eine Interpretation von Bildkoordinaten des mindestens einen Übersichtsbildes erfolgt. Beispielsweise kann ein Kalibriermodell vorgegeben sein, welches als Kalibrierparameter Homographie-Parameter und/oder eine Skalierung nutzt. Eine Homographie beschreibt, wie eine Ebene auf eine andere Ebene abzubilden ist. Eine Übersichtskamera kann z.B. schräg auf einen Probenträger blicken, so dass eine Blickrichtung auf den Probenträger einen Winkel zu einer Normalen auf dessen Oberfläche bildet. Durch eine Homographie kann ein solches Übersichtsbild in ein Bild transformiert werden, welches einer senkrechten Blickrichtung auf die Oberfläche des Probenträgers entspricht.
• Ein Kalibriermodell bzw. die darin enthaltenen Werte von Kalibrierparametern können ermöglichen, aus einem Ort im Übersichtsbild eine Lage im Raum (Weltkoordinatensystem) zu errechnen. Insbesondere können daher zu einem Punkt im Übersichtsbild zugehörige laterale x- und y-Koordinaten und/oder eine z-Koordinate (in Richtung einer optischen Achse eines Mikroskopobjektivs) im Raum ermittelt werden. Somit können Ortsinformationen aus einem Übersichtsbild in Ortsinformationen bezüglich eines Mikroskopreferenzortes überführt werden. Insbesondere kann eine Zuordnung von Antriebsrichtungen, bspw. eines Probentisches, zu einem Kamerakoordinatensystem erfolgen. Dadurch können die Kalibrierparameter auch einer Kollisionsvermeidung zwischen Mikroskopkomponenten dienen. Beispielsweise können zu einem im Übersichtsbild dargestellten Probenträger mit Hilfe der Kalibrierparameter dessen Höhe und/oder Lateralabmessungen ermittelt werden. Abhängig von dieser Höhe und/oder Lateralabmessungen sowie abhängig von Abmessungen eines momentan verwendeten Mikroskopobjektivs ergibt sich ein erlaubter Verfahrbereich für den Probentisch. Die Kollisionsvermeidung ist insbesondere im Fall wechselbarer Anbaumodule, wie z.B. verschiebbare Probentische, vorteilhaft. Bedienfehler eines Nutzers können zumindest teilweise vermieden und/oder korrigiert werden.
• Die Kalibrierparameter können daher genutzt werden, um das Übersichtsbild als Navigationskarte zu nutzen. Wählt ein Nutzer einen Ort im Übersichtsbild aus, kann mit Hilfe der Kalibrierparameter ein motorisierter Probentisch und/oder ein Fokussiertrieb angesteuert werden, um den ausgewählten Ort anzufahren, um eine weitergehende Untersuchung an diesem Ort durchzuführen.
• Werte von Kalibrierparametern können in einem Kalibriervorgang ermittelt worden sein. In einem Kalibriervorgang wird beispielsweise ein Übersichtsbild eines Referenzobjekts bei vorgegebenen/bekannten Mikroskopeinstellungen aufgenommen. Die vorgegebenen Mikroskopeinstellungen können insbesondere Lateralpositionen des Probentischs sowie eine Höheneinstellung des Probentischs angeben. Allgemeiner können die Mikroskopeinstellungen sämtliche Einstellungen von Mikroskopkomponenten betreffen, welche eine Position, Größe oder Form des Referenzobjekts im Übersichtsbild beeinflussen. Bei dem Referenzobjekt kann es sich um die bereits beschriebene Referenzstruktur handeln, welche zur Überprüfung, ob Kalibrierparameter noch zutreffend sind, genutzt wird. Alternativ kann das Referenzobjekt aber auch hiervon verschieden sein und beispielsweise eine Referenzprobe wie ein Schachbrettfeld umfassen, welches für den Kalibriervorgang an eine vorgegebene Position am Probentisch anzuordnen ist und eine bekannte Größe haben kann.
• Aus den Kalibrierparametern und momentanen Mikroskopeinstellungen können optional die Referenzdaten abgeleitet werden, mit denen ermittelte geometrische Informationen einer Referenzstruktur verglichen werden. Beispielsweise können die momentanen Mikroskopeinstellungen (vermutete) Lateral- und Höhenkoordinaten eines Probentischs angeben; mit den Kalibrierparameter können dann Bildkoordinaten abgeleitet werden, an denen in einem Übersichtsbild eine bekannte Gewindebohrung des Probentisches (oder allgemein eine andere Referenzstruktur) liegen sollte (Sollkoordinaten). Diese Sollkoordinaten können die Referenzdaten darstellen und mit Istkoordinaten der Referenzstruktur, die in einem aktuellen Übersichtsbild ermittelt werden, verglichen werden. Der Vergleich ermöglicht eine Bewertung, ob die Kalibrierparameter noch zutreffend sind oder sich Änderungen an Mikroskopkomponenten ergeben haben, die nicht durch ein Kalibriermodell, welches die Kalibrierparameter nutzt, berücksichtigt sind.
• M ikroskopkom ponente
• Bei der mindestens einen Mikroskopkomponente kann es sich um eine prinzipiell beliebige, insbesondere austauschbare oder verstellbare Komponente eines Mikroskops handeln. Die Mikroskopkomponente kann beispielsweise ein Probentisch, ein Objektivwechsler oder Objektivrevolver, ein Spiegel oder anderes optisches Element, welches Licht zur Übersichtskamera leitet, oder die Übersichtskamera sein.
• Zu einer oder mehreren Mikroskopkomponente kann jeweils eine Sollposition vorgegeben sein. Die ermittelte Änderung beschreibt dann einen Unterschied einer Istposition der Mikroskopkomponente zur Sollposition.
• Änderungen, die eine Gültigkeit der Kalibrierparameter beeinträchtigen, können insbesondere eine Verschiebung, Drehung, Biegung, Verformung oder sonstige räumliche Änderung der Mikroskopkomponente sein. Geometrische Informationen von Referenzstrukturen können entsprechend insbesondere eine Verschiebung, Drehung, Biegung oder Verzerrung der Referenzstruktur beschreiben. Beispielsweise können bei einer Biegung oder Verformung eines Spiegels, über welchen die Übersichtskamera auf die Probenumgebung blickt, Referenzstrukturen im Übersichtsbild entsprechend verzerrt erscheinen. Änderungen einer Mikroskopkomponente können aus einem einzigen Übersichtsbild oder auch auf Basis mehrerer Übersichtsbilder ermittelt werden. Insbesondere können mehrere Übersichtsbilder mit verschiedenen Einstellungen einer Mikroskopkomponente aufgenommen werden. Es wird ein Unterschied in geometrischen Informationen der Referenzstruktur zwischen den Übersichtsbildern ermittelt und mit den vorgegebenen Referenzdaten verrechnet, um zu bestimmen, ob eine Änderung der Mikroskopkomponente eingetreten ist. Beispielsweise kann ein Probentisch verfahren werden und als Unterschied in den geometrischen Informationen wird erfasst, wie weit eine Referenzstruktur am Probentisch in den Übersichtsbildern verschoben ist. Bei einem verstellbaren Halterahmen für Probenträger können ebenfalls Übersichtsbilder mit verschiedenen Einstellungen des Halterahmens aufgenommen und ausgewertet werden, um zu ermitteln, ob eine Position oder ein Modell des Halterahmens mit den Kalibrierparametern in Einklang steht. Zwei oder mehr Übersichtsbilder können auch von verschiedenen Übersichtskameras stammen. In der Stereometrie blicken diese aus verschiedenen Richtungen auf die Probenumgebung. Bei Auswertung mehrerer Übersichtsbilder aus verschiedenen Blickrichtungen oder mit verschiedenen Einstellungen von Mikroskopkomponenten, kann eine Lage einer Mikroskopkomponente unter Umständen präziser ermittelt werden.
• Kontinuierliche Selbstüberwachung
• Eine Aufnahme von Übersichtsbildern und eine Bestimmung, ob eine Änderung der Mikroskopkomponente eingetreten ist, kann während oder abwechselnd zu einem Mikroskopmessbetrieb erfolgen, in welchem über ein Mikroskopobjektiv eine Probe untersucht wird. Dies ermöglicht eine kontinuierliche Überwachung, so dass eine Dejustage frühzeitig erkannt wird. Blickt die Übersichtskamera über einen Spiegel am Objektivwechsler auf den Probenbereich, wobei der Spiegel anstelle eines Mikroskopobjektivs auswählbar ist, so können Übersichtsbilder abwechselnd zu einer Probenuntersuchung über das Mikroskopobjektiv aufgenommen werden.
• Das Einlegen von speziellen Kalibrier- oder Referenzstrukturen ist für die Kalibrierungsüberprüfung nicht zwingend notwendig, womit auch eine damit verbundene Schulung oder Anleitung eines Nutzers entfallen kann.
• Ermittlung geräteindividueller Wartungszyklen
• Ermittelte Änderungen können von der Recheneinrichtung protokolliert werden, zusammen mit Zeit- oder Nutzungsangaben, z.B. einer Nutzungsdauer seit dem letzten Kalibriervorgang. Hiermit können geräteindividuelle Wartungszyklen ermittelt werden. Eine vorbeugende Wartung kann eingeleitet werden, bevor eine Änderung festgestellt wird. Erfasste Änderungen können so einer Optimierung von Wartungsintervallen dienen, wobei eine Notwendigkeit von Gerätekalibrierungen vorbeugend identifiziert wird (Predictive Maintenance). Die Durchführung eines angezeigten Wartungsverfahrens kann durch den Anwender direkt oder online durch die Herstellerfirma, nach Zustimmung des Anwenders, aktiviert werden.
• Folgen einer Bestimmung einer Beeinträchtigung der Kalibrierparameter
• Bestimmt die Recheneinrichtung, dass eine Änderung einer Mikroskopkomponente eingetreten ist, durch welche eine Gültigkeit der Kalibrierparameter beeinträchtigt wird, können verschiedene Maßnahmen ergriffen werden:
• So kann im Fall einer ermittelten Änderung ein Steuerbefehl für einen Bewegungsausgleich bezüglich der Änderung ausgegeben werden. Der Steuerbefehl kann an einen Nutzer für eine manuelle Verstellung gerichtet sein, oder an einen oder mehrere Aktuatoren. Ein Aktuator kann zum Bewegen oder Verstellen einer der Mikroskopkomponente gestaltet sein. Durch den Bewegungsausgleich kann insbesondere eine Anordnung wiederhergestellt oder angenähert werden, für welche die Kalibrierparameter zutreffen. Es können Motorisierungen vorhanden sein, mit denen die Mikroskopkomponenten in gewünschte Referenz- oder Arbeitspositionen gebracht werden können. Alternativ kann auch durch eine entsprechende Rast eine manuelle Einstellung erfolgen, wobei eine Rast auch justierbar ausgeführt sein kann.
• Insbesondere für die vorgenannten Fälle kann die Recheneinrichtung dazu gestaltet sein, nicht nur festzustellen, ob eine Änderung eingetreten ist, welche die Kalibrierparameter beeinträchtigt, sondern auch festzustellen, in welche Richtung und optional über welche Bewegungsstrecke eine Positionsänderung eingetreten ist. Handelt es sich bei der Änderung um eine Drehung, können zusätzlich oder alternativ auch Rotationswinkel der Mikroskopkomponente(n) ermittelt werden. Hierin liegt ein wesentlicher Vorteil gegenüber einer reinen Anomaliedetektion, bei welcher lediglich festgestellt wird, dass ein momentanes Übersichtsbild von normalen Situationen abweicht, ohne aber eingetretene Änderungen näher angeben zu können.
• Die Recheneinrichtung kann auch dazu eingerichtet sein, im Fall einer ermittelten Änderung einen Kalibrierstartbefehl auszugeben. Diese Variante kann alternativ oder zusätzlich zu vorgenannten Korrekturmaßnahmen erfolgen. So kann die Recheneinrichtung optional bei einer festgestellten Änderung prüfen, ob ein kompensierender Bewegungsausgleich (insbesondere eine Verschiebung und/oder Drehung) möglich ist bzw. ermittelt werden kann. Ist dies der Fall, wird ein entsprechender Steuerbefehl ausgegeben, andernfalls wird ein Kalibrierstartbefehl ausgegeben. Der Kalibrierstartbefehl kann an einen Nutzer gerichtet sein oder auch einen automatisierten Kalibriervorgang initiieren. Der Kalibrierstartbefehl kann auch, nach Freigabe durch einen Mikroskopnutzer, über eine Internetverbindung an einen Mikroskophersteller gesendet werden, welcher sodann über die Internetverbindung den Kalibriervorgang startet oder begleitet.
• Insbesondere wenn eine festgestellte Änderung kleiner als ein vorgegebener Grenzwert ist, kann auch eine rechnerische Korrektur oder Aktualisierung der Kalibrierparameter erfolgen. Die rechnerische Korrektur kann durchgeführt werden, ohne dass der Nutzer seine Anwendung abbrechen muss. So kann eine Korrektur einer identifizierten Sollzustandsabweichung, z.B. eine Aktualisierung eines Koordinaten-Nullpunkts eines virtuellen Koordinatensystems, durch Software- oder Firmware-Offsets erfolgen. Auch eine Drehung des virtuellen Koordinatensystems ist zur Korrektur möglich.
• Die ermittelte Änderung kann in einer Navigation berücksichtigt werden, welche basierend auf dem Übersichtsbild oder einem anderen Übersichtsbild zum Anfahren eines Probenbereichs erfolgt. Die Kalibrierparameter, welche für die Navigation verwendet werden, werden also durch die ermittelte Änderung angepasst. Ebenso kann die ermittelte Änderung in einer Ansteuerung beweglicher Mikroskopkomponenten zur Kollisionsvermeidung berücksichtigt werden. Insbesondere kann eine Kollisionsvermeidung an einem motorisierten Mikroskop zwischen Mikroskop und Probe durch entsprechende Ansteuerung des Probentischs und des Z-Triebs/Fokussiertriebs sichergestellt werden.
• Für eine kollisionsfreie Navigation ist es förderlich, wenn aus dem Übersichtsbild oder den Übersichtsbildern außer einer möglichen Positions- oder Rotationsänderung auch Positionsdaten über einen verwendeten Probenträger und/oder verwendete Systemkomponenten (Objektive, Objektivrevolver, Tisch- und Fokusposition) gewonnen werden. Beispielsweise können im Übersichtsbild ein verwendeter Probenträger klassifiziert und zusätzlich dessen Lateralpositionen ermittelt werden. Durch die Klassifizierung kann z.B. eine in einer Datenbank hinterlegte Höhe dieses Probenträgertyps ermittelt werden. Ist ein Spiegel am Objektivrevolver, über welchen die Übersichtskamera auf den Probenträger blickt, ungewollt dejustiert, so kann diese Änderung in der bereits beschriebenen Weise aus dem Übersichtsbild ermittelt werden. Sodann kann die im Übersichtsbild festgestellte Lateralposition des Probenträgers basierend auf der ermittelten Änderung rechnerisch korrigiert werden. Die korrigierte Lateralposition ermöglicht die kollisionsfreie Navigation.
• Kalibrierungsüberprüfung durch End-to-End-Maschinenlernmodell
• Die Erfindung betrifft außerdem ein Verfahren zum Überprüfen einer Mikroskopkalibrierung mittels eines Maschinenlernmodells, welches auch als End-to-End-Maschinenlernmodell bezeichnet werden kann. Das Verfahren umfasst, dass mindestens ein Übersichtsbild einer Probenumgebung eines Mikroskops erhalten und in ein trainiertes Maschinenlernmodell eingegeben wird. Zudem werden Kalibrierparameter oder zugehörige Referenzdaten in das Maschinenlernmodell eingegeben. Die Kalibrierparameter dienen hierbei einer Interpretation von Bildkoordinaten des mindestens einen Übersichtsbildes. Das Maschinenlernmodell erzeugt nun eine Ausgabe basierend auf dem eingegebenen mindestens einen Übersichtsbild und den Kalibrierparametern oder Referenzdaten. In einer Ausführung gibt die Ausgabe an, ob eine Änderung einer Mikroskopkomponente eingetreten ist, welche eine Gültigkeit der Kalibrierparameter beeinträchtigt. Alternativ ist das Maschinenlernmodell dazu gestaltet, eine Ausgabe zu erzeugen, welche eine Korrektur bezüglich einer Änderung einer Mikroskopkomponente, die eine Gültigkeit der Kalibrierparameter beeinträchtigt, angibt.
• Das Maschinenlernmodell kann mit Trainingsdaten trainiert sein, welche für mehrere Sätze an Kalibrierparametern jeweils mehrere verschiedene Trainings-Übersichtsbilder umfassen. Die Trainings-Übersichtsbilder können z.B. mit dem beschriebenen Mikroskopiesystem oder einem gleichartigen anderen Mikroskopiesystem aufgenommen worden sein. Indem auch die Kalibrierparameter Teil der Trainingsdaten sind, kann in einer Überprüfung eines Übersichtsbildes berücksichtigt werden, ob ein Bildinhalt des Übersichtsbilds zu den momentan verwendeten Kalibrierparameter passt. Denn je nach aktuellen Kalibrierparametern kann ein und derselbe Bildinhalt eines Übersichtsbildes entweder korrekt sein oder auf eine fehlerhafte Position einer Mikroskopkomponente hinweisen.
• Das Training kann durch ein überwachtes Lernen erfolgen. Hierbei kann als Annotation oder Kennzeichnung angegeben sein, ob ein jeweiliges Trainings-Übersichtsbild zu den gleichzeitig eingegebenen Kalibrierparametern passt. Die Annotation kann entweder in Form einer „ja/nein“-Klassifikation oder als Zahl/Vektor innerhalb von Wertebereichen vorliegen, womit ein Maß für die (Positions-)änderung einer Mikroskopkomponente gegeben ist. Diejenigen Trainings-Übersichtsbilder, die zu einem bestimmten Satz an Kalibrierparametern gehören, können im Training auch als Beispiele nicht-zutreffender Kalibrierparameter für andere Sätze an Kalibrierparametern verwendet werden. Werden als Annotationen Korrekturen angegeben, so kann anhand der Trainingsdaten ein Modell gelernt werden, welches direkt eine Korrektur zu einer eingetretenen Änderung einer Mikroskopkomponente ausgibt. Die als Annotationen angegebenen Korrekturen können beispielsweise korrigierte Kalibrierparameter oder Änderungsangaben bezüglich der bisherigen Kalibrierparameter sein. Alternativ können die annotierten Korrekturen auch Anweisungen für eine geänderte Ansteuerung des Mikroskops betreffen, insbesondere um einen kompensierenden Bewegungsausgleich, wie bereits beschrieben, durchzuführen.
• Alternativ kann auch ein unüberwachtes Training erfolgen, in welchem keine Annotation vorgegeben wird und allein Trainings-Übersichtsbild mit jeweils korrekt passenden zugehörigen Kalibrierparametern als Eingabedaten verwendet werden. Möglich sind auch ein teilüberwachtes Training oder ein Lernverfahren des bestärkenden Lernens (englisch: reinforcement learning).
• Ein Übersichtsbild kann wie von der Übersichtskamera aufgenommen dem Maschinenlernmodell eingegeben werden, oder zunächst verarbeitet werden. Eine Verarbeitung kann z.B. eine Segmentierung durch ein weiteres Maschinenlernmodell betreffen. Auch kann eine Merkmalsextraktion durch ein anderes Maschinenlernmodell erfolgen, womit aus dem Übersichtsbild ein Merkmalsvektor erzeugt wird, welcher weiterhin Informationen des Übersichtsbildes enthält, aber nicht unmittelbar als Bild darstellbar ist. Solche aus dem Übersichtsbild erzeugten Verarbeitungsergebnisse können als Eingabe in das vorgenannte Maschinenlernmodell (oder auch bei anderen vorliegend beschriebenen Maschinenlernmodellen) verwendet werden. Die Trainingsdaten können dementsprechend durch gleichartige Verarbeitung aus Übersichtsbildern gewonnen sein.
• Ein zu überprüfendes Übersichtsbild kann mit angenommenen Einstellungen von Mikroskopkomponenten aufgenommen werden, welche denen bei Ermittlung der Kalibrierparameter oder Referenzdaten entsprechen. Beispielsweise kann eine Probentischposition eingestellt werden, welche als gleich zu der Probentischposition angenommen wird, bei welcher die Kalibrierparameter oder die Referenzdaten festgelegt wurden. Hierbei wird von angenommenen Einstellungen gesprochen, da durch eine festzustellende Änderung einer Mikroskopkomponente eine tatsächliche Einstellung von der angenommenen Einstellung abweichen kann.
• Für eine größere Flexibilität können optional aber auch Übersichtsbilder überprüft werden, welche bei beliebigen anderen Einstellungen von Mikroskopkomponenten aufgenommen werden. In diesem Fall können dem Maschinenlernmodell auch Angaben über aktuelle (angenommene) Einstellungen von Mikroskopkomponenten eingegeben werden. Beispielsweise erhält das Maschinenlernmodell eine Angabe einer angenommenen Tischposition. Diese kann durch eine Messung oder aufgrund eines Probentisch-Steuerbefehls geschätzt werden.
• Da die genannten Referenzdaten zu Kalibrierparametern gehören, können die Referenzdaten und/oder die Kalibrierparameter an das Maschinenlernmodell gegeben werden. Die Referenzdaten können z.B. ein Übersichtsbild sein, dass bei Erfassung der Kalibrierparameter mit bestimmten (bekannten) Mikroskopeinstellungen aufgenommen wurde. Werden Kalibrierparameter an das Maschinenlernmodell gegeben, können Referenzdaten optional vollständig entfallen.
• Das beschriebene Maschinenlernmodell kann als ein einziges Modell trainiert werden. Alternativ kann es auch durch zwei oder mehr aneinandergefügte Modelle trainiert werden.
• Allgemeine Eigenschaften
• Als Mikroskopiesystem wird eine Vorrichtung verstanden, die zumindest eine Recheneinrichtung und ein Mikroskop umfasst. Unter einem Mikroskop kann ein prinzipiell beliebiges vergrößerndes Messgerät verstanden werden, insbesondere ein Lichtmikroskop, Röntgenmikroskop, Elektronenmikroskop, Makroskop oder auch ein anders gestaltetes vergrößerndes Bildaufnahmegerät.
• Die Recheneinrichtung kann physisch als Teil des Mikroskops gestaltet sein, separat in der Mikroskopumgebung angeordnet sein oder an einem vom Mikroskop beliebig entfernten Ort angeordnet sein. Die Recheneinrichtung kann auch dezentral gestaltet sein und über eine Datenverbindung mit dem Mikroskop kommunizieren. Sie kann allgemein durch eine beliebige Kombination aus Elektronik und Software gebildet sein und insbesondere einen Computer, einen Server, ein cloud-basiertes Rechensystem oder einen oder mehrere Mikro- oder Graphikprozessoren umfassen. Die Recheneinrichtung kann auch zur Steuerung der Mikroskopkamera, der Bildaufnahme, der Probentischansteuerung und/oder anderer Mikroskopkomponenten eingerichtet sein.
• Die Übersichtskamera zum Aufnehmen eines Übersichtsbildes kann zusätzlich zu einer Probenkamera vorhanden sein, mit welcher stärker vergrößerte Bilder eines Probenbereichs aufgenommen werden. Alternativ kann es sich hierbei aber auch um dieselbe Kamera handeln, wobei verschiedene Objektive oder Optiksysteme für die Aufnahme eines Übersichtsbildes und eines stärker vergrößerten Probenbildes verwendet werden. Eine Übersichtskamera kann eine Lage- und Positionsvermessung von Komponenten in einem großen Raumbereich ermöglichen, wobei die verhältnismäßig große Tiefenschärfe einer Übersichtskamera hilfreich sein kann. Die Übersichtskamera kann an einem ortsfesten Geräterahmen, z.B. einem Mikroskopstativ, angebracht sein oder an einer beweglichen Komponente, z.B. einem Mikroskoptisch, Fokussiertrieb oder Objektivrevolver. Bei dem Übersichtsbild kann es sich um ein Rohbild handeln, wie es von einer Kamera aufgenommen wird, oder um ein verarbeitetes Bild aus einem oder mehreren Rohbildern. Ein aufgenommenes Rohbild / Übersichtsbild kann weiterverarbeitet werden, bevor es in der hier beschriebenen Weise ausgewertet wird. Verfahrensvarianten der Erfindung können auf vorab aufgenommen Übersichtsbildern beruhen und diese aus z.B. einem Speicher erhalten. Optional kann das Aufnehmen eines Übersichtsbildes ebenfalls Teil der beanspruchten Verfahren sein. Ein Übersichtsbild deckt einen Bereich um einen Ort ab, an dem eine Probe zu positionieren ist, was vorliegend als Probenumgebung bezeichnet wird. Um ein Übersichtsbild aufzunehmen, in dem sodann eine Referenzstruktur in der beschriebenen Weise ausgewertet werden kann, ist es nicht zwingend nötig, dass sich eine Probe im Sichtfeld der Übersichtskamera befindet. Vielmehr können sich Referenzstrukturen an anderen Komponenten, z.B. dem Probentisch, befinden. Eine Mikroskopkomponente, für die festgestellt werden soll, ob eine Änderung eingetreten ist, muss nicht im Übersichtsbild abgebildet sein. Vielmehr genügt es, dass eine abgebildete Referenzstruktur in der abgebildeten Position oder Form von der Lage der Mikroskopkomponente abhängig ist.
• Ein erfindungsgemäßes Computerprogramm umfasst Befehle, die bei Ausführung durch einen Computer die Ausführung einer der beschriebenen Verfahrensvarianten veranlassen.
• Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten der erfindungsgemäßen Verfahren. In umgekehrter Weise kann ein Mikroskopiesystem auch zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein. Insbesondere kann die Recheneinrichtung dazu eingerichtet sein, die beschriebenen Verfahrensvarianten durchzuführen und/oder Steuerbefehle zur Ausführung von beschriebenen Verfahrensschritten auszugeben. Zudem kann die Recheneinrichtung das beschriebene Computerprogramm umfassen. Während bei einigen Varianten ein fertig trainiertes Maschinenlernmodell in der Überprüfung der Kalibrierungsparameter verwendet wird, ergeben sich weitere Erfindungsvarianten durch die Ausführung der entsprechenden Trainingsschritte.
• Figurenliste
• Weitere Vorteile und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:
• 1 ist eine schematische Darstellung eines Ausführungsbeispiels eines Mikroskopiesystems der Erfindung;
• 2 zeigt schematisch ein Übersichtsbild;
• 3 zeigt schematisch ein Übersichtsbild;
• 4 zeigt schematisch eine Referenzstruktur;
• 5 zeigt schematisch Teile des Mikroskopiesystems aus 1;
• 6 ist eine schematische Darstellung von Prozessen eines Verfahrens eines Ausführungsbeispiels der Erfindung; und
• 7 ist eine schematische Darstellung von Prozessen eines Verfahrens eines weiteren Ausführungsbeispiels der Erfindung.
• DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
• Verschiedene Ausführungsbeispiele der Erfindung werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.
• FIG. 1
• 1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 100. Dieses umfasst eine Recheneinrichtung 20 und ein Mikroskop 1, welches im dargestellten Beispiel ein Lichtmikroskop ist, prinzipiell aber auch eine andere Art von Mikroskop sein kann. Das Mikroskop 1 umfasst ein Stativ 2, über welches weitere Mikroskopkomponenten gehalten sind. Hierunter können insbesondere fallen: ein Objektivwechsler oder -revolver 3, an dem im dargestellten Beispiel ein Objektiv 4 montiert ist; ein Probentisch 5 mit einem Halterahmen 6 zum Halten eines Probenträgers 7 und eine Mikroskopkamera 8. Ist das Objektiv 4 in den Mikroskopstrahlengang eingeschwenkt, empfängt die Mikroskopkamera 8 Detektionslicht von einer oder mehreren Proben, die vom Probenträger 7 gehalten sind, um ein Probenbild aufzunehmen.
• Das Mikroskop 1 umfasst außerdem eine Übersichtskamera 9 zum Aufnehmen eines Übersichtsbildes einer Probenumgebung. Das Übersichtsbild kann dadurch insbesondere den Probenträger 7 oder einen Teil hiervon zeigen. Ein Sichtfeld 9A der Übersichtskamera 9 ist größer als ein Sichtfeld bei einer Aufnahme eines Probenbildes. Im dargestellten Beispiel blickt die Übersichtskamera 9 über einen Spiegel 9B auf den Probenträger 7. Der Spiegel 9B ist am Objektivrevolver 3 angeordnet und kann anstelle des Objektivs 4 ausgewählt werden. In Abwandlungen dieser Ausführung kann der Spiegel oder ein anderes Umlenkelement auch an anderer Stelle angeordnet sein. Alternativ kann die Übersichtskamera 9 auch so angeordnet sein, dass sie ohne Spiegel 9B direkt auf den Probenträger 7 blickt. Prinzipiell kann auch die Mikroskopkamera 8 eine Übersichtskamera darstellen, wenn zur Aufnahme eines Übersichtsbildes ein anderes Objektiv, insbesondere ein Makroobjektiv, über den Objektivrevolver 3 ausgewählt wird.
• Die Recheneinrichtung 20 nutzt ein erfindungsgemäßes Computerprogramm 80, um Übersichtsbilder zu verarbeiten und optional basierend auf Verarbeitungsergebnissen Mikroskopkomponenten zu steuern. Beispielsweise kann die Recheneinrichtung 20 ein Übersichtsbild dahingehend auswerten, wo sich Näpfchen einer Mikrotiterplatte befinden, um anschließend den Probentisch 5 so anzusteuern, dass ein bestimmtes Näpfchen angefahren wird. Für eine korrekte Verarbeitung eines Übersichtsbildes und auch für die Umsetzung, wie Mikroskopkomponenten basierend auf Ortsinformationen aus einem Übersichtsbild anzusteuern sind, nutzt die Recheneinrichtung 20 Kalibrierparameter P. Diese ermöglichen eine Interpretation des Übersichtsbildes, beispielsweise wie Richtungen im Übersichtsbild mit Richtungen am Probentisch zusammenhängen, insbesondere auch quantitativ. Die Kalibrierparameter P können auch Information zu einer Skalierung umfassen, insbesondere in welcher Form oder Größe Objekte im Übersichtsbild bei einer bestimmten Probentischhöhe erscheinen. Für eine Auswertung eines Übersichtsbildes können sodann die Kalibrierparameter P und optional aktuelle Einstellungen von Mikroskopkomponenten, beispielsweise eine aktuelle Höhe eines motorisierten Probentischs berücksichtigt werden. Alternativ kann auch ohne Kenntnis der Einstellungen von Mikroskopkomponenten mit Hilfe der Kalibrierparameter P beispielsweise eine Höhe eines Probenträgers aus dem Übersichtsbild geschätzt werden. Durch die Kalibrierparameter P kann insbesondere ein Zusammenhang zwischen Ortsinformationen aus einem Übersichtsbild und Ortsinformationen bezüglich eines Mikroskopreferenzortes beschrieben werden.
• Die Kalibrierparameter P können an Gültigkeit verlieren, wenn ein Nutzer Mikroskopkomponenten austauscht oder neu positioniert. Auch Stöße, sich lösende Verbindungen oder Auswirkungen von Umgebungsparametern wie Luftfeuchtigkeits- oder Temperaturänderungen können zu Dejustierungen von Mikroskopkomponenten führen, durch welche die Kalibrierparameter P ungenau bzw. unzutreffend werden. Die Recheneinrichtung 20 wertet ein oder mehrere Übersichtsbilder aus, um solche Änderungen automatisiert festzustellen. Dies wird näher mit Bezug auf die folgenden Figuren beschrieben.
• FIG. 2 bis 4
• Die 2 und 3 zeigen schematisch ein Übersichtsbild 10, in dem ein Halterahmen 6 erkennbar ist. Der Halterahmen 6 umfasst eine kreisförmige Öffnung 6A, in welcher ein Probenträger gehalten werden kann. Blickt die Übersichtskamera schräg auf einen Probentisch und somit schräg auf den Halterahmen 6, kann die Abbildung wie in 3 gezeigt perspektivisch verzerrt sein. Insbesondere wird hierdurch die kreisförmige Halterahmenöffnung 6A im Übersichtsbild 10 als Oval dargestellt. Eine perspektivische Entzerrung kann mit Hilfe der Kalibrierparameter berechnet werden, womit eine Darstellung gemäß 2 resultiert. Voraussetzung für diese Berechnung ist, dass keine Änderung eingetreten ist, durch welche die Kalibrierparameter an Gültigkeit verlieren. Andernfalls würde die Bildtransformation nicht in einer entzerrten Darstellung, sondern einer verfälschten Darstellung münden.
• Alternativ kann eine Dejustage bei einer senkrechten Blickrichtung auf den Halterahmen 6 bewirken, dass eine Verrechnung des Übersichtsbildes aufgrund der nicht mehr zutreffenden Kalibrierparameter fehlerhaft wird. Aus einem aufgenommenen Übersichtsbild, welches bei senkrechter Kamerablickrichtung der Darstellung von 2 entspricht, kann durch die unzutreffende Verrechnung ein verzerrtes Bild gemäß 3 resultieren.
• Um zu überprüfen, ob Änderungen an Mikroskopkomponenten eingetreten sind, welche die Kalibrierparameter beeinträchtigen, werden geometrische Informationen zu einer oder mehreren Referenzstrukturen 15 im Übersichtsbild 10 ermittelt. Die Referenzstruktur 15 kann eine Markierung oder ein Aufkleber sein, wie in 4 gezeigt, womit optional weitere Informationen kodiert sein können, beispielsweise eine Modellbezeichnung einer Mikroskopkomponente, auf welcher sich diese Markierung befindet. An mehreren (Teil-)komponenten können entsprechende Markierungen aufgebracht sein. Alternativ können auch Elemente einer Mikroskopkomponente, beispielsweise eine Gewindebohrung des Probentischs oder eine Schraube am Halterahmen 6, als Referenzstruktur 15 dienen. In solchen Fällen sind die Referenzstrukturen 15 bereits konstruktiv an der zu überwachenden Mikroskopkomponente vorgesehen und sind damit Teil von dieser. Als Referenzstruktur kann weiterhin auch eine Geometrie oder Form einer bekannten Struktur verwendet werden, die Teil der zu überwachenden Mikroskopkomponente oder Teil eines montierbarer Probenträgers oder einer Probe sein kann.
• Wie in 3 eingetragen, können als geometrische Informationen z.B. Positionskoordinaten Ph und Pv einer Referenzstruktur 15 im Übersichtsbild 10 ermittelt werden und/oder Größen- oder Formangaben der Referenzstruktur 15, wie durch eine horizontale Abmessung Dh und eine vertikale Abmessung Dv in 3 veranschaulicht.
• Anschließend werden diese geometrischen Informationen mit Referenzdaten verrechnet. Die Referenzdaten können z.B. Positionskoordinaten der Referenzstruktur 15 für eine Situation angeben, in welcher die Kalibrierparameter gültig sind. Übersteigt eine Abweichung hierzwischen einen vorgegebenen Grenzwert, wird eine Änderung erkannt, welche die Kalibrierparameter beeinträchtigt.
• Während 3 beispielhaft einen Fall zeigt, in dem eine Referenzstruktur 15 an einem Halterahmen 6 erkannt wird, können prinzipiell auch Referenzstrukturen zu anderen Mikroskopkomponenten erfasst werden. Dies wird im Folgenden unter Bezug auf 5 näher beschrieben.
• FIG. 5
• 5 zeigt schematisch, wie die Übersichtskamera 9 auf Mikroskopkomponenten blickt. In diesem Beispiel erstreckt sich ihr Sichtfeld 9A über einen Spiegel 9B am Objektivrevolver 3 zum Halterahmen 6. Hierbei kann eventuell auch der Probentisch 5 in einem aufgenommenen Übersichtsbild sichtbar sein. Referenzstrukturen 15, beispielsweise Aufkleber oder Markierungen, können am Spiegel 9B vorhanden sein. Zudem ist ein Außenumfang des Spiegels 9B als Referenzstruktur geeignet, da eine Kantenrichtung, Kantenposition und Eckwinkel der Kanten des Spiegels 9B präzise und zuverlässig aus einem Übersichtsbild ermittelt werden können. Diese Auswertungen sind in der Regel auch möglich, wenn die Spiegelkanten aufgrund einer abweichenden Fokussierung der Übersichtskamera 9 unscharf dargestellt werden. Alternativ kann eine Übersichtskamera 9 mit verstellbarem Fokusabstand mehrere verschiedene Übersichtsbilder mit unterschiedlichem Fokusabstand aufnehmen. Dadurch können unter Umständen Referenzstrukturen zu verschiedenen Mikroskopkomponenten noch präziser analysiert werden.
• Am Probentisch 5 können ebenfalls Referenzstrukturen 15 angebracht sein oder es können Elemente des Probentischs 5 als Referenzstruktur 15 verwendet werden, beispielsweise eine Gewindebohrung 5A. Hierdurch kann unterschieden werden, ob der Spiegel 9B, der Halterahmen 6 oder der Probentisch 5 eine ungewollte Änderung erfahren hat. Wird eine Änderung für Referenzstrukturen 15 mehrerer bzw. aller im Übersichtsbild abgebildeten Mikroskopkomponenten festgestellt, kann dies darauf hindeuten, dass nicht diese Mikroskopkomponenten, sondern die Übersichtskamera 9 selbst verdreht oder fehlpositioniert ist. Aus den Referenzstrukturen 15 kann daher unter Umständen auch auf eine Änderung einer Mikroskopkomponente geschlossen werden, welche nicht mit der Referenzstruktur in starrer Verbindung steht.
• Die einzelnen Schritte zur Erfassung und Auswertung einer Referenzstruktur sowie Folgehandlungen bei Feststellung einer Änderung werden nachfolgend mit Bezug auf 6 beschrieben.
• FIG. 6
• 6 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens, wie es vom Computerprogramm der Recheneinrichtung aus 1 ausgeführt werden kann.
• Die Ermittlung von geometrischen Informationen zu Referenzstrukturen in einem Übersichtsbild 10 erfolgt hier mit zwei trainierten Maschinenlernmodellen M1 und M2. Als Schritt S1 des Verfahrens erhält das Maschinenlernmodell M1 das Übersichtsbild 10 und berechnet hieraus eine Segmentierungsmaske 30. Diese kann insbesondere eine Binärmaske sein, in welcher ein Pixelwert eine Zugehörigkeit zu einer Referenzstruktur angibt und der andere Pixelwert angibt, dass hier keine Referenzstruktur vorliegt. Das Maschinenlernmodell M1 kann insbesondere als faltendes neuronales Netz (CNN) gestaltet sein, welches eine Bild-zu-Bild-Abbildung durchführt.
• Optional kann das Maschinenlernmodell M1 auch dazu gestaltet sein, Kontextinformationen i zu nutzen, die zusammen mit dem Übersichtsbild 10 eingegeben werden. Die Kontextinformationen i können beispielsweise Informationen über eine (vermutete) Probentischposition oder -höhe umfassen oder Informationen über einen verwendeten Halterahmen oder Probenträgertyp. Die Kontextinformationen i können vom Maschinenlernmodell M1 dabei berücksichtigt werden, welche Referenzstrukturen und wie Referenzstrukturen ermittelt werden.
• Die Segmentierungsmaske 30 wird sodann einem zweiten Maschinenlernmodell M2 zugeführt, welches hier als Regressionsmodell gestaltet ist und in Schritt S2 geometrische Informationen G zu der in der Segmentierungsmaske 30 durch den entsprechenden Pixelwert gekennzeichneten Struktur berechnet. Beispielhaft werden hier als geometrische Informationen G die Abmessungen Dv, Dh der Struktur ermittelt und ausgegeben. Das Maschinenlernmodell M2 kann optional ebenfalls Kontextinformationen i nutzen, welche denen für das Maschinenlernmodell M1 entsprechen können oder unterschiedlich von diesen sein können. Wird z.B. vom Maschinenlernmodell M1 eine semantische Segmentierung oder Instanzsegmentierung durchgeführt, kann eine Angabe, um was für eine Referenzstruktur es sich handelt, ebenfalls dem Maschinenlernmodell M2 zugeführt werden.
• Als nächstes werden in Schritt S3 die geometrischen Informationen G mit Referenzdaten a, b verrechnet. Abhängig von dieser Verrechnung wird entweder festgestellt, dass keine Änderung eingetreten ist, welche die Kalibrierparameter beeinträchtigt (Schritt S4), oder es wird eine beeinträchtigende Änderung festgestellt (Schritt S5).
• In Schritt S5 wird entschieden, ob die Beeinträchtigung der Kalibrierparameter durch eine rechnerische Anpassung der Kalibrierparameter basierend auf der ermittelten Änderung kompensiert werden kann, was sodann als Schritt S6 erfolgen kann.
• Ist keine rechnerische Anpassung möglich, kann in Schritt S7 ein Steuerbefehl zum Bewegen einer Mikroskopkomponente ausgegeben werden, um die Änderung zu kompensieren. Die Korrektur einer identifizierten Sollzustandsabweichung (z.B. Koordinaten-Nullpunkte eines virtuellen Koordinatensystems) kann bei vorhandenen motorischen Hardware-Aktuatoren durch ein mechanisches Korrektur-Offset oder durch eine manuelle Korrektur erfolgen, in welcher dem Anwender einzustellende Werte bzw. Positionen vorgegeben werden. Durch die Vermessung von Abweichungen von Ist- zu Sollwerten einer Mikroskopkomponente kann daher eine Korrektur der Position und Ausrichtung der Mikroskopkomponente erfolgen, um den Istwert der Mikroskopkomponente wieder in den Sollwert zu bringen.
• Ist dies nicht möglich, z.B. weil die betroffene Mikroskopkomponente nicht motorisiert ist, keine hilfreiche Verstellbarkeit der Mikroskopkomponente vorgesehen ist oder unklar ist, ob die Übersichtskamera selbst oder ein zur Übersichtskamera leitendes optisches Element dejustiert ist, kann in Schritt S8 ein Kalibrierstartbefehl gegeben werden. Dies kann beispielsweise ein Hinweis an einen Nutzer sein, eine Kalibrierung durchzuführen. Zudem können in Schritt S9 Angaben zur eingetretenen Änderung gespeichert werden, insbesondere zusammen mit Zeit- oder Nutzungsdauerangaben.
• Diese Angaben werden sodann genutzt, um einen Wartungszyklus vorherzusagen. Der Wartungszyklus kann individuell für das vorliegende Mikroskopiesystem ermittelt und festgelegt werden.
• In Abwandlungen werden nicht alle der Schritte S6 bis S9 bereitgestellt. Zudem kann eine bevorzugte Reihenfolge in der Entscheidung, welcher der Schritte S6 bis S8 durchgeführt wird, variieren. Beispielsweise kann die rechnerische Anpassung gemäß Schritt S6 nur dann erfolgen, wenn keine Kompensationsbewegung gemäß Schritt S7 möglich ist, z.B. wenn ein laufender Messbetrieb nicht durch eine Kompensationsbewegung beeinflusst werden soll.
• Die in Schritt S3 von 5 illustrierte Verrechnung einer der geometrischen Informationen G mit Referenzdaten a, b stellt lediglich ein einfaches Beispiel dar und komplexere Verrechnungen sind möglich. Zudem kann Schritt S3 optional durch ein Maschinenlernmodell M3 ausgeführt werden. In diesem sind Referenzdaten a, b in Form der Modellparameterwerte festgelegt, welche in einem Training festgelegt wurden. Das Maschinenlernmodell M3 kann als Eingaben zusätzlich zu den geometrischen Informationen auch Kontextinformationen empfangen, welche Angaben 40 über Einstellungen der Mikroskopkomponenten (z.B. eine angenommene Probentischposition) betreffen, mit welchen das Übersichtsbild 10 aufgenommen wurde. Diese Angaben 40 können optional auch bei Ausführung von Schritt S3 durch einen klassischen Algorithmus ohne Maschinenlernmodell genutzt werden.
• In einer weiteren Abwandlung des dargestellten Ausführungsbeispiels können Schritt S1 und das Maschinenlernmodell M1 entfallen, so dass das Maschinenlernmodell M2 das Übersichtsbild 10 anstelle einer Segmentierungsmaske 30 erhält. In wiederum einer weiteren Abwandlung kann das Maschinenlernmodell M2 durch einen klassischen Bildverarbeitungsalgorithmus ersetzt sein, welcher geometrische Informationen G ohne Nutzung eines Maschinenlernmodells aus dem Übersichtsbild 10 oder aus einer Segmentierungsmaske 30 berechnet.
• FIG. 7
• 7 zeigt schematisch einen Ablauf eines weiteren erfindungsgemäßen Verfahrens, wie es vom Computerprogramm der Recheneinrichtung aus 1 ausgeführt werden kann.
• In diesem Fall wird ein End-to-End-Maschinenlernmodell M verwendet, welches aus einem eingegebenen Übersichtsbild 10 direkt eine Ausgabe erzeugt, welche eine Änderung einer Mikroskopkomponente angibt bzw. welche gibt, ob eine Änderung eingetreten ist, die eine Gültigkeit der Kalibrierparameter P beeinträchtigt. Eine Ausgabe des Maschinenlernmodells M kann daher bestimmen, ob gemäß den bereits beschriebenen Schritten S4 oder S5 weiterverfahren wird.
• Dem Maschinenlernmodell M werden außer dem Übersichtsbild 10 auch Angaben 40 über Mikroskopeinstellungen, mit denen das Übersichtsbild 10 aufgenommen wurde, sowie die Kalibrierparameter P eingegeben.
• Das Maschinenlernmodell M kann mit Trainingsdaten trainiert sein, welche ebenfalls Übersichtsbilder 10, Angaben 40 über zugehörige Mikroskopeinstellungen und Kalibrierparameter P umfassen. Die Trainingsdaten können mehrere Sätze an Kalibrierparametern P umfassen, wobei zu jedem Satz an Kalibrierparametern K mehrere Übersichtsbilder 10 mit jeweiligen Angaben 40 über zugehörige Mikroskopeinstellungen vorhanden sind und sich diese Mikroskopeinstellungen unterscheiden. Beim Training kann es sich um ein überwachtes Training handeln, bei dem ein Ergebnis, welches das Maschinenlernmodell M möglichst liefern soll, vorgegeben ist. Alternativ kann auch ein unüberwachtes Training erfolgen. Von bekannten Anomaliedetektionsverfahren, wie sie auch im Einleitungsteil genannt sind, unterscheidet sich der vorliegende Fall dadurch, dass die Trainingsdaten auch Kalibrierparameter P und Angaben 40 über Mikroskopeinstellungen umfassen.
• Eine Nutzung der Angaben 40 über Mikroskopeinstellungen ist zweckmäßig, um beispielsweise zu unterscheiden, ob eine Probentischposition bei Aufnahme eines Übersichtsbildes 10 eine fehlerhafte Positionsänderung des Probentisches, insbesondere eine Verschiebung, Neigung oder Drehung, oder eine gewünschte Einstellung darstellt.
• Prinzipiell kann aber auch auf die Angaben 40 über Mikroskopeinstellungen verzichtet werden, wenn nur Übersichtsbilder 10, die stets mit den gleichen Mikroskopeinstellungen aufgenommen wurden, dem Maschinenlernmodell M zugeführt werden. Die Trainingsdaten können bei dieser Ausführung entsprechend angepasst sein.
• In einer Abwandlung der beschriebenen Ausführung können die Kalibrierparameter P ersetzt sein durch andere Informationen, welche mit den Kalibrierparametern P in Bezug stehen. Beispielsweise kann ein Referenz-Übersichtsbild abgespeichert sein, welches zu einem Zeitpunkt aufgenommen wurde, bei dem die Gültigkeit der Kalibrierparameter P bekannt war, z.B. während oder direkt nach Durchführung eines Kalibriervorgangs. Ein solches Referenz-Übersichtsbild kann anstelle der Kalibrierparameter P im Ablauf von 7 verwendet werden. Zusammen mit dem Referenz-Übersichtsbild können Angaben der zugehörigen Mikroskopeinstellungen eine weitere Eingabe in das Maschinenlernmodell M sein. Alternativ können das Referenz-Übersichtsbild und ein zu überprüfendes Übersichtsbild 10 auch mit denselben (angenommenen/vermuteten) Mikroskopeinstellungen aufgenommen werden, womit keine Angaben 40 der zugehörigen Mikroskopeinstellungen in das Maschinenlernmodell M eingegeben werden müssen. Anstelle des Referenz-Übersichtsbildes können auch andere Referenzdaten verwendet werden, beispielsweise geometrische Informationen, die aus einem Referenz-Übersichtsbild abgeleitet wurden, wie zu anderen Ausführungen bereits beschrieben.
• Die Ausführung von 7 kann auch dahingehend abgewandelt werden, dass die Ausgabe des Maschinenlernmodells M direkt eine Korrektur angibt. Die Korrektur kann beispielsweise eine rechnerische Anpassung von Kalibrierparametern oder ein Steuerbefehl für einen Bewegungsausgleich einer Mikroskopkomponente sein, analog zu den Schritten S6 oder S7 aus 6.
• Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen hiervon sind im Rahmen der beigefügten Ansprüche möglich.
• Bezugszeichenliste

1

Mikroskop

2

Stativ

3

Objektivrevolver, Mikroskopkomponente

4

Mikroskopobjektiv, Mikroskopkomponente

5

Probentisch, Mikroskopkomponente

5A

Gewindebohrung

6

Halterahmen, Mikroskopkomponente

6A

Halterahmenöffnung

7

Probenträger

8

Mikroskopkamera

9

Übersichtskamera, Mikroskopkomponente

9A

Sichtfeld der Übersichtskamera

9B

Spiegel, Mikroskopkomponente

10

Übersichtsbild

15

Referenzstruktur

20

Recheneinrichtung

30

Segmentierungsmaske

40

Angaben über aktuelle Einstellungen von Mikroskopkomponenten

80

Computerprogramm der Erfindung

100

Mikroskopiesystem der Erfindung

a, b

Referenzdaten

G

geometrische Informationen

i

Kontextinformationen

M

Maschinenlernmodell

M1

Maschinenlernmodell

M2

Maschinenlernmodell

M3

Maschinenlernmodell

P

Kalibrierparameter

Ph, Pv

Bildkoordinaten einer Referenzstruktur 15 im Übersichtsbild 10

Dh, Dv

Abmessungen einer Referenzstruktur 15 im Übersichtsbild 10

S1-S9

Schritte von Ausführungsbeispielen eines erfindungsgemäßen Verfahrens

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 9344650 B2 [0005]
• DE 102013012987 A1 [0005]
• DE 102017109698 A1 [0005]
• DE 102013222295 A1 [0005]
• DE 102013006994 A1 [0005]
• DE 102019114117 [0005]
• DE 102020118801 [0005]
• DE 102020101191 [0005]
• DE 102018133196 A1 [0007]

Claims (20)

1. Mikroskopiesystem umfassend eine Übersichtskamera (9) zum Aufnehmen von mindestens einem Übersichtsbild (10) einer Probenumgebung und eine Recheneinrichtung (20), welche eingerichtet ist zum Auswerten des mindestens einen Übersichtsbildes (10), wobei die Recheneinrichtung (20) über Kalibrierparameter (P) verfügt, mit welchen eine Interpretation von Bildkoordinaten des mindestens einen Übersichtsbildes (10) erfolgt; dadurch gekennzeichnet, dass die Recheneinrichtung (20) dazu eingerichtet ist, - aus dem mindestens einen Übersichtsbild (10) geometrische Informationen (G) zu mindestens einer im Übersichtsbild (10) abgebildeten Referenzstruktur (15) zu ermitteln, deren Lage oder Form im Übersichtsbild (10) von einer Lage mindestens einer Mikroskopkomponente (3, 5, 6, 9, 9B) abhängt; und - durch Verrechnen der ermittelten geometrischen Informationen (G) mit vorgegebenen Referenzdaten (a, b) zu bestimmen, ob eine Änderung der Mikroskopkomponente (3, 5, 6, 9, 9B) eingetreten ist, welche eine Gültigkeit der Kalibrierparameter (P) beeinträchtigt.
2. Mikroskopiesystem nach vorstehendem Anspruch, wobei die geometrischen Informationen (G) eine Position und/oder Form der Referenzstruktur (15) im Übersichtsbild (10) betreffen.
3. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) über ein trainiertes Maschinenlernmodell (M1, M2) verfügt, welches das mindestens eine Übersichtsbild (10) als Eingabe erhält und die geometrischen Informationen (G) ausgibt.
4. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei das Verrechnen der ermittelten geometrischen Informationen (G) mit vorgegebenen Referenzdaten (a, b) durch ein trainiertes Maschinenlernmodell (M3) erfolgt, in welchem die Referenzdaten (a, b) durch gelernte Modellparameterwerte vorliegen.
5. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Mikroskopkomponente (3, 5, 6, 9, 9B) ein Probentisch (5), ein Spiegel (9B) oder optisches Element, welches Licht zur Übersichtskamera (9) leitet, ein Objektivwechsler oder Objektivrevolver (3), oder die Übersichtskamera (9) ist.
6. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei zur Mikroskopkomponente (3, 5, 6, 9, 9B) eine Sollposition vorgegeben ist und die ermittelte Änderung der Mikroskopkomponente (3, 5, 6, 9, 9B) einen Unterschied einer Istposition zur Sollposition beschreibt.
7. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei mehrere Übersichtsbilder (10) mit verschiedenen Einstellungen einer der Mikroskopkomponenten (3, 5, 6, 9, 9B) aufgenommen werden, und wobei ein Unterschied in geometrischen Informationen (G) der Referenzstruktur (15) zwischen den Übersichtsbildern (10) ermittelt und mit den vorgegebenen Referenzdaten (a, b) verrechnet wird, um zu bestimmen, ob eine Änderung einer der Mikroskopkomponenten (3, 5, 6, 9, 9B) eingetreten ist.
8. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) dazu eingerichtet ist, im Fall einer ermittelten Änderung der Mikroskopkomponente (3, 5, 6, 9, 9B) einen Steuerbefehl für einen Bewegungsausgleich bezüglich der Änderung auszugeben (S7); wobei mindestens ein Aktuator zum Bewegen oder Verstellen der Mikroskopkomponente (3, 5, 6, 9, 9B) vorhanden ist und die Recheneinrichtung (20) dazu eingerichtet ist, den Steuerbefehl für einen Bewegungsausgleich an den mindestens einen Aktuator zu geben.
9. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) dazu eingerichtet ist, im Fall einer ermittelten Änderung einen Kalibrierstartbefehl auszugeben (S8).
10. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) dazu eingerichtet ist, eine rechnerische Korrektur oder Aktualisierung der Kalibrierparameter (P) durchzuführen (S6).
11. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) dazu eingerichtet ist, eine auf dem Übersichtsbild (10) basierende Navigation zum Anfahren eines Probenbereichs durchzuführen, wobei in der Navigation die ermittelte Änderung berücksichtigt wird.
12. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) dazu eingerichtet ist, die ermittelte Änderung in einer Ansteuerung beweglicher Mikroskopkomponenten (3, 5, 6, 9, 9B) zur Kollisionsvermeidung zu berücksichtigen.
13. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Referenzstruktur (15) ein Element der Mikroskopkomponente (3, 5, 6, 9B), eine Gewindebohrung oder Schraube der Mikroskopkomponente (3, 5, 6, 9B), eine Außenform der Mikroskopkomponente (3, 5, 6, 9B), oder eine Referenzmarkierung auf der Mikroskopkomponente (3, 5, 6, 9B) umfasst.
14. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) dazu eingerichtet ist, aus dem mindestens einen Übersichtsbild (10) geometrische Informationen (G) zu mehreren im Übersichtsbild (10) abgebildeten Referenzstrukturen (15) zu ermitteln, wobei Lagen oder Formen der Referenzstrukturen (15) im Übersichtsbild (10) von Lagen verschiedener Mikroskopkomponenten (3, 5, 6, 9, 9B) abhängen; und durch Verrechnen der ermittelten geometrischen Informationen (G) mit vorgegebenen Referenzdaten (a, b) zu bestimmen, welche der verschiedenen Mikroskopkomponenten (3, 5, 6, 9, 9B) eine Änderung erfahren hat.
15. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) dazu eingerichtet ist, eine Aufnahme von Übersichtsbildern (10) und eine Bestimmung, ob eine Änderung der Mikroskopkomponente (3, 5, 6, 9, 9B) eingetreten ist, während oder abwechselnd zu einem Mikroskopmessbetrieb durchzuführen, in welchem über ein Mikroskopobjektiv eine Probe untersucht wird.
16. Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) dazu eingerichtet ist, ermittelte Änderungen der Mikroskopkomponente (3, 5, 6, 9, 9B) zu protokollieren und hiermit geräteindividuelle Wartungszyklen zu ermitteln (S9), um eine vorbeugende Wartung einzuleiten.
17. Verfahren zum Überprüfen einer Mikroskopkalibrierung, umfassend Erhalten von mindestens einem Übersichtsbild (10) einer Probenumgebung eines Mikroskops (1); Auswerten des mindestens einen Übersichtsbilds (10) zum Ermitteln von geometrischen Informationen (G) zu mindestens einer im Übersichtsbild (10) abgebildeten Referenzstruktur (15), wobei deren Lage oder Form im Übersichtsbild (10) von einer Lage mindestens einer Mikroskopkomponente (3, 5, 6, 9, 9B) abhängt; und Verrechnen der ermittelten geometrischen Informationen (G) mit vorgegebenen Referenzdaten (a, b) zum Bestimmen, ob eine Änderung der Mikroskopkomponente (3, 5, 6, 9, 9B) eingetreten ist, welche eine Gültigkeit von Kalibrierparametern (P) beeinträchtigt, welche einer Interpretation von Bildkoordinaten des mindestens einen Übersichtsbildes (10) dienen.
18. Verfahren zum Überprüfen einer Mikroskopkalibrierung, umfassend Erhalten von mindestens einem Übersichtsbild (10) einer Probenumgebung eines Mikroskops (1); Eingeben des mindestens einen Übersichtsbilds (10) in ein trainiertes Maschinenlernmodell (M); Eingeben von Kalibrierparametern (P), welche einer Interpretation von Bildkoordinaten des mindestens einen Übersichtsbildes (10) dienen, oder von vorgegebenen Referenzdaten (a, b), die zu den Kalibrierparametern (P) gehören, in das Maschinenlernmodell (M); und Berechnen, mit dem Maschinenlernmodell (M), einer Ausgabe basierend auf dem eingegebenen mindestens einen Übersichtsbild (10) und den Kalibrierparametern (P) oder Referenzdaten (a, b), wobei die Ausgabe angibt, ob eine Änderung einer Mikroskopkomponente (3, 5, 6, 9, 9B) eingetreten ist, welche eine Gültigkeit der Kalibrierparameter (P) beeinträchtigt, oder die Ausgabe eine Korrektur bezüglich einer Änderung einer Mikroskopkomponente (3, 5, 6, 9, 9B), welche eine Gültigkeit der Kalibrierparameter (P) beeinträchtigt, angibt.
19. Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei dem Maschinenlernmodell (M) auch Angaben über aktuelle Einstellungen von Mikroskopkomponenten (3, 5, 6, 9, 9B) eingegeben werden.
20. Computerprogramm mit Befehlen, die bei Ausführung durch einen Computer die Ausführung des Verfahrens nach einem der Ansprüche 17 bis 19 veranlassen.

Images