DE102021121635A1

DE102021121635A1 - Automatisiertes trainieren eines maschinengelernten algorithmus basierend auf der überwachung einer mikroskopiemessung

Info

Publication number: DE102021121635A1
Application number: DE102021121635.4A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2021-08-20
Filing date: 2021-08-20
Publication date: 2023-02-23
Also published as: CN115713767A; US20230055377A1

Abstract

Ein computerimplementiertes Verfahren umfasst die folgenden Schritte. In einem Schritt wird ein Bild erhalten, das im Rahmen einer Mikroskopiemessung erfasst wird und eine zu untersuchende Probe abbildet. In einem Schritt wird die Mikroskopiemessung automatisiert überwacht. Basierend auf dem automatisierten Überwachen der Mikroskopiemessung wird eins oder mehrere Label erstellt, wobei die ein oder mehreren Label semantische Kontextinformationen der Mikroskopiemessung umfassen. Basierend auf dem Bild als Eingabe und dem ein oder mehreren Labeln als Grundwahrheit wird ein maschinengelernter Algorithmus trainiert, der semantische Kontextinformationen basierend auf Bildern, die im Rahmen von Mikroskopiemessungen erfasst werden, bereitstellt. In einem weiteren Schritt wird ein weiteres Bild erhalten, das im Rahmen der Mikroskopiemessung oder einer weiteren Mikroskopiemessung mit dem Mikroskop erfasst wird und die Probe oder eine weitere Probe abbildet. In einem weiteren Schritt wird der trainierte maschinengelernte Algorithmus auf das weitere Bild angewendet, um weitere semantische Kontextinformationen für das weitere Bild vorherzusagen.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft ein computer-implementiertes Verfahren für ein Messinstrument, insbesondere ein Verfahren zum Trainieren eines Modells einer Bildanalyse-Anwendung basierend auf einem Messvorgang eines Messinstruments.
Weiterhin werden ein entsprechendes Mikroskop, sowie ein Computerprogramm und ein elektronisch lesbarer Datenträger bereitgestellt.
TECHNISCHER HINTERGRUND
Einfache Bedienbarkeit spielt für Messinstrumente eine immer wichtigere Rolle, damit sich Benutzer beim Messvorgang vollkommen auf die Probe konzentrieren können. Existierende Lösungen, welche die Bedienbarkeit von Mikroskopen verbessern, nutzen Machine-Learningbasierte Algorithmen zur automatischen Bildanalyse. Das Trainieren dieser Modelle ist jedoch aufwendig, insbesondere müssen für das Training manuell Annotationen bereitgestellt werden.
ZUSAMMENFASSUNG
Daher besteht Bedarf an verbesserten Techniken für Messinstrumente, die zumindest einige der genannten Einschränkungen und Nachteile überwinden oder abmildern.
Diese Aufgabe wird mit den Merkmalen der unabhängigen An-sprüche gelöst. In den abhängigen Ansprüchen sind weitere vorteilhafte Ausführungsbeispiele beschrieben.
Im Folgenden wird die erfindungsgemäße Lösung in Bezug auf die beanspruchten Verfahren, als auch in Bezug auf die beanspruchten Datenverarbeitungseinrichtungen beschrieben. Merkmale, Vorteile oder alternative Ausführungsbeispiele können den jeweils anderen beanspruchten Kategorien zugeordnet werden. In anderen Worten, die Ansprüche für die Datenverarbeitungseinrichtungen können durch Merkmale verbessert werden, die im Rahmen der Verfahren beschrieben und/oder beansprucht werden, und umgekehrt.
Die hierin beschriebenen Techniken ermöglichen es, einen maschinengelernten Algorithmus basierend auf Labeln zu trainieren, die aus dem normalen Mikroskopiebetrieb abgeleitet werden.
Ein computerimplementiertes Verfahren umfasst die folgenden Schritte.
In einem Schritt wird ein Bild erhalten, welches im Rahmen einer Mikroskopiemessung erfasst wird und welches eine bei der Mikroskopiemessung zu untersuchende Probe zumindest teilweise abbildet.
Beispielsweise könnte ein Übersichtsbild oder aber auch ein Mikroskopiebild erhalten werden.
Das Mikroskopiebild kann mit der Abbildungsoptik des Mikroskops erfasst werden. Das Übersichtsbild kann mit einer separaten Kamera erfasst werden. Die Vergrößerung des Mikroskopiebilds kann grundsätzlich deutlich größer sein als die Vergrößerung des Übersichtsbilds.
In einem weiteren Schritt wird die Durchführung der Mikroskopiemessung zumindest teilweise automatisiert überwacht.
Ein automatisiertes Überwachen kann ein Überwachen der Mikroskopiemessung umfassen, welches automatisiert, d.h. maschinengesteuert ohne Mitwirken eines Benutzers durchgeführt wird. Der Benutzer kann den Verlauf der Mikroskopiemessung bestimmen oder zumindest beeinflussen. Dieser Verlauf der Mikroskopiemessung kann dann im Hintergrund überwacht werden. Das Überwachen entspricht also einem Beobachten der Mikroskopiemessung, ohne diese zu beeinflussen.
In einigen Beispielen kann ein Durchführen einer Mikroskopiemessung eine Vielzahl von Vorgängen umfassen, bei welchen semantische Kontextinformationen für die Durchführung der Mikroskopiemessung bestimmt und/oder verwendet wird. Beispielsweise kann ein Bestimmen von semantischen Kontextinformationen im Rahmen der Mikroskopiemessung mittels einem oder mehreren weiteren physikalischen oder datenanalytischen Verfahren, welche sich von der Mikroskopiemessung selbst unterscheiden können, bestimmt werden. Dies kann beispielsweise ein Anwenden von einen oder mehreren weiteren maschinell gelernten Algorithmen auf Daten aus dem einen oder mehreren weiteren Analyseverfahren umfassen. Semantische Kontextinformationen können beispielsweise auch basierend auf einem oder mehreren Benutzerinteraktionen mit dem Mikroskop und oder mit der Probe bestimmt werden.
In einem weiteren Schritt wird basierend auf dem automatisierten Überwachen der Mikroskopiemessung ein oder mehrere Label erstellt, wobei die ein oder mehreren Label semantische Kontextinformationen für die Mikroskopiemessung indizieren.
Die Label können also eine Datenstruktur bereitstellen, welche für das Training des maschinengelernten Algorithmus verwendet wird. Die Label können ein oder mehrerer Werte umfassen, die indikativ für unterschiedliche schematische Kontextinformation sind.
In einem weiteren Schritt wird basierend auf dem Bild als Eingabe und einem oder mehreren Labeln als Grundwahrheit ein maschinengelernter Algorithmus trainiert, der semantische Kontextinformationen für Bilder bereitstellt, die im Rahmen von Mikroskopiemessungen erfasst werden.
In einem weiteren Schritt wird ein weiteres Bild (z.B. ein weiteres Übersichtsbild) erhalten, das im Rahmen der Mikroskopiemessung oder einer weiteren Mikroskopiemessung mit dem Mikroskop erfasst wird und die Probe oder eine weitere Probe abbildet.
In einem weiteren Schritt wird der trainierte maschinengelernte Algorithmus auf das weitere Bild angewendet, um die semantische Kontextinformationen für das weitere Bild vorherzusagen.
Genaugenommen kann der maschinengelernte Algorithmus weitere Label vorhersagen, die dann die semantische Kontextinformation indizieren.
Das entspricht der Inferenz der semantischen Kontextinformation. Durch die Vorhersage der semantischen Kontextinformation kann der maschinengelernte Algorithmus also einen Benutzer beim Durchführen von Mikroskopiemessungen unterstützen.
Das bedeutet also, dass der neu trainierte maschinengelernte Algorithmus im weiteren Verlauf derselben Mikroskopiemessung weiterverwendet werden kann und/oder für weitere nachfolgende Mikroskopiemessungen eingesetzt werden kann.
Die offenbarten Techniken ermöglichen somit, Annotationen für ein Training eines maschinengelernten Algorithmus automatisch während eines Messvorgangs anstatt manuell zu generieren, wodurch Zeit und Aufwand für die Messung weiter verringert werden können.
Eine besondere Referenzmessung oder ein Referenzexperiment ist nicht notwendig. Das Training kann vielmehr im Hintergrund der Mikroskopiemessung durch deren Überwachung erfolgen.
Das Training kann während der Mikroskopiemessung erfolgen („online-Training“) oder im Nachgang erfolgen („offhne-Training“).
Die Mikroskopiemessungen kann die Benutzerinteraktion zwischen dem Benutzer und dem Mikroskop umfassen. Die Benutzerinteraktion kann zum Beispiel das Positionieren des Probenträgers, auf dem die Probe angeordnet ist, in Bezug auf eine Abbildungsoptik des Mikroskops umfassen. Die Benutzerinteraktion kann zum Beispiel ein Navigieren oder Zoomen in einem Übersichtsbild umfassen. Die Mikroskopiemessung kann zum Beispiel das Konfigurieren des Mikroskops umfassen, etwa Beleuchtungsstärke, verwendete Abbildungsoptik, Filter, usw. Die Mikroskopiemessung kann das Erfassen von Mikroskopiebildern bzw. Messbildern und/oder Übersichtsbildern umfassen. Da die Mikroskopiemessung kann das Konfigurieren des Erfassens von Mikroskopiebildern und/oder Übersichtsbildern umfassen, etwa das Einstellen der Belichtungszeit, usw. Die Mikroskopiemessung kann auch eine digitale Nachbearbeitung von erfassten Mikroskopiebildern umfassen, zum Beispiel eine Auswertung usw.
Das Überwachen der Mikroskopiemessung kann allgemein Überwachungsdaten bereitstellen, die solche oder andere Vorgänge indizieren, d.h. die den Verlauf der Mikroskopiemessung charakterisieren.
Basierend auf den Überwachungsdaten, können dann die Label bestimmt werden. Zum Beispiel könnten die Überwachungsdaten Positionsmarken einer Navigation in einem Übersichtsbild oder im Zusammenhang mit der Positionierung einer Probenbühne bzw. Probenhalters umfassen. Die Überwachungsdaten könnten bestimmte Einstellungen des Mikroskops beschreiben, zum Beispiel ein verwendetes Objektiv (etwa, eine bestimmte Vergrößerung) oder eine Einstellung der Beleuchtung oder die Verwendung eines Filters. Die Überwachungsdaten könnten eine Frequenz der Bilderfassung durch einen Benutzer umfassen.
Diese Überwachungsdaten könnten dann übersetzt werden in Label, die zum Training verwendet werden. Das bedeutet, dass zum Beispiel mit einem Auswertealgorithmus das Label und/oder die zugehörige semantische Kontextinformation bestimmt werden kann.
Zum Beispiel könnten Positionsmarken in eine Segmentierung als Label übersetzt werden. Diese Segmentierung kann dann - als semantische Kontextinformation - assoziiert sein mit einem Probenbereich, einem Manipulationsbereich, allgemein einem Bereich von Interesse. Zum Beispiel könnte die Frequenz der Bilderfassung oder die Verwendung eines Objektivs mit großer Vergrößerung dazu verwendet werden, um einen Bereich von Interesse zusammen mit den Positionsmarken zu bestimmen.
Eine Datenverarbeitungseinrichtung für ein Mikroskop, umfasst eine Recheneinheit und eine Speichereinheit. Die Speichereinheit speichert von der Recheneinheit ausführbare Befehle, wobei das Mikroskop ausgebildet ist, bei der Ausführung der Befehle in der Recheneinheit die Schritte eines beliebigen Verfahrens oder einer beliebigen Kombination von Verfahren gemäß der vorliegenden Offenbarung auszuführen.
Ein Computerprogramm umfasst Befehle, die bei der Ausführung des Programms durch einen Prozessor diesen veranlassen, die Schritte eines beliebigen Verfahrens oder einer beliebigen Kombination von Verfahren gemäß der vorliegenden Offenbarung auszuführen.
Ein elektronisch lesbarer Datenträger umfasst Befehle, die bei der Ausführung durch einen Prozessor diesen veranlassen, die Schritte eines beliebigen Verfahrens oder einer beliebigen Kombination von Verfahren gemäß der vorliegenden Offenbarung auszuführen.
Für eine solche Datenverarbeitungseinrichtung für ein Mikroskop, Computerprogramm und elektronisch lesbaren Datenträger können technische Effekte erzielt werden, die den technischen Effekten für die Verfahren gemäß der vorliegenden Offenbarung entsprechen.
Obwohl die in der obigen Zusammenfassung und der folgenden detaillierten Beschreibung beschriebenen Merkmale im Zusammenhang mit spezifischen Beispielen beschrieben werden, ist zu verstehen, dass die Merkmale nicht nur in den jeweiligen Kombinationen verwendet werden können, sondern auch isoliert oder in beliebigen Kombinationen verwendet werden können, und Merkmale aus verschiedenen Beispielen für die Verfahren, Netzwerkknoten und IoT-Infrastrukturen, miteinander kombiniert werden können und miteinander korrelieren, sofern nicht ausdrücklich anders angegeben.
Die obige Zusammenfassung soll daher nur einen kurzen Überblick über einige Merkmale einiger Ausführungsformen und Implementierungen geben und ist nicht als Einschränkung zu verstehen. Andere Ausführungsformen können andere als die oben beschriebenen Merkmale umfassen.
Figurenliste
Die Erfindung wird nachfolgend anhand bevorzugter Ausführungsbeispiele mit Bezug auf die beiliegenden Zeichnungen näher erläutert.
Dabei bezeichnen in den Figuren gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Darstellungen verschiedener Ausführungsbeispiele der Erfindung, wobei die in den Figuren dargestellten Elemente nicht notwendigerweise maßstabsgetreu dargestellt sind. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck für den Fachmann verständlich wird.

1 zeigt schematisch ein Mikroskop mit einer Übersichtskamera, gemäß Ausführungsbeispielen der Erfindung.
2 zeigt Benutzerinteraktionen mit einer Probe in einem Übersichtsbild, gemäß Ausführungsbeispielen der Erfindung.
3 zeigt schematisch eine von einem Benutzer vorgenommene Segmentierung eines Übersichtsbilds, gemäß Ausführungsbeispielen der Erfindung.
4 zeigt ein Flussdiagramm mit Schritten, gemäß Ausführungsbeispielen der Erfindung.
5 zeigt eine Datenverarbeitungseinrichtung für ein Mikroskop, mit dem ein erfindungsgemäßes Verfahren durchgeführt werden kann.

DETAILLIERTE BESCHREIBUNG
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung von Ausführungsbeispielen, welche im Zusammenhang mit den Figuren näher erläutert werden.
Die Zeichnungen sind als schematische Darstellungen zu betrachten und die in den Zeichnungen dargestellten Elemente sind nicht unbedingt maßstabsgetreu dargestellt. Vielmehr werden die verschiedenen Elemente so dargestellt, dass ihre Funktion und ihr allgemeiner Zweck für einen Fachmann ersichtlich werden.
Dabei ist zu beachten, dass die Beschreibung der Ausführungsbeispiele nicht im in einem beschränkenden Sinne zu verstehen ist. Der Umfang der Erfindung soll nicht durch die im Folgenden beschriebenen Ausführungsbeispielen oder durch die Figuren eingeschränkt werden, welche nur zur Veranschaulichung dienen.
In der vorliegenden Offenbarung werden Techniken zum Betreiben oder Steuern eines Messinstruments, insbesondere eines optischen und/oder bildgebenden Messinstruments, wie zum Beispiel eines Mikroskops, beschrieben, welche insbesondere auch im Rahmen von beliebigen anderen bildgebenden Mess- oder Untersuchungsverfahren und -instrumenten eingesetzt werden können, in welchen eine Probe untersucht wird, und wobei ein Benutzer mit dem Messinstrument und/oder der Probe interagiert.
Eine einfache Bedienbarkeit spielt für Messinstrumente eine immer wichtigere Rolle, damit sich ein Benutzer beim Messvorgang voll und ganz auf die Probe konzentrieren kann, anstatt sich unnötig mit der Software und/oder Hardware zu beschäftigen.
Wichtige Bausteine für eine erhöhte Bedienbarkeit sind eine vereinfachte Probennavigation sowie eine Automatisierung gewisser Teile des Workflows. Dies wird in vielen Beispielen basierend auf einer (makroskopischen) Übersichtsaufnahme der Probe bzw. des Probenträgers umgesetzt. Ein solches Übersichtsbild dient unter anderem als eine Art „Karte“, auf welche der Kunde die aktuelle Position des Objektivs relativ zur Probe erkennen und ggf. auch steuern kann. Zudem kann solch ein Übersichtsbild mit Bildanalyseverfahren automatisch ausgewertet werden, um relevante Bereiche schneller selektieren zu können.
Technische Lösungen zur Bildanalyse basieren dabei oftmals auf Machine-Learning-Techniken (insbesondere Deep Learning, CNNs). Bei dieser besonderen Form der Bildanalyse wird zunächst ein Modell anhand von annotierten Beispieldaten trainiert. Anschließend kann es auf andere Daten angewandt werden. Annotation bedeutet hier, dass man im Training neben dem zu verarbeitenden Eingabebild auch die gewünschte Ausgabe mitgeben muss. Im Beispiel der Segmentierung ist dies beispielsweise die gewünschte Segmentierungsmaske.
In vielen Machine-Learning-basierten Anwendungen benötigt die Aufnahme von Daten aber insbesondere auch deren Annotation - etwa durch einen Experten in einer Referenzmessung - den größten Zeitaufwand und stellt oft den Flaschenhals dar. Um die eingesetzten Modelle kontinuierlich und schnell verbessern zu können, sind daher Verfahren für das Sammeln von Annotationen von großem Vorteil.
Daher ist Ziel dieser Offenbarung, solche Annotationen bzw. Label während des „normalen“ Betriebes zu gewinnen. In einigen Beispielen wird während des normalen Mikroskop-Betriebs eine Benutzerinteraktion mit der Probe/Probenträger bzw. allgemein eine Mikroskopiemessung automatisiert überwacht, um daraus Annotationsdaten (Label) für die Erstellung oder Verbesserung von Bildanalysemodellen - d.h. allgemein eines maschinengelernten Algorithmus - zu generieren. Die Mikroskopiemessung kann also primär das Ziel haben, eine Probe zu untersuchen und neues Wissen über die Probe zu gewinnen. Der Verlauf der Mikroskopiemessung wird also bestimmt durch die Benutzerinteraktion des Benutzers mit dem Mikroskop und/oder einen Messworkflow, der Messdaten zur Probe gewinnen soll. Gleichzeitig können aber auch Trainingsdaten zum Trainieren eines maschinengelernten Algorithmus abgeleitet werden. Der Verlauf der Mikroskopiemessung kann also unabhängig sein von dem Erfasse
Allgemein ist es möglich, dass der maschinengelernte Algorithmus derart wiederholt in aufeinanderfolgenden Mikroskopiemessungen trainiert wird. Das bedeutet, dass ein kontinuierliches Training während des Betriebs des Mikroskops möglich ist. Der Trainingszustand des maschinengelernten Algorithmus kann dadurch von Mikroskopiemessung zu Mikroskopiemessung verbessert werden. Das wird manchmal auch als „life-long-learning“ bezeichnet.
Jeder einzelne Trainingsvorgang kann beispielsweise auf einem vorangegangenen Trainingszustand aufbauen. Das bedeutet, dass der maschinengelernte Algorithmus bereits vortrainiert sein kann. Das bedeutet, dass der maschinengelernte Algorithmus bei der Mikroskopiemessung im vortrainierten Zustand bereits zur Unterstützung des Benutzers verwendet werden kann; dann können Parameter des maschinengelernten Algorithmus beim Training weiter angepasst werden, ausgehend von diesem vordefinierten Zustand. Es wäre aber auch denkbar, dass der maschinengelernte Algorithmus nicht vortrainiert ist oder vor dem Durchführen des Trainings die Parameterwerte in einem Ausgangszustand neu initialisiert werden, beispielsweise durch zufälliges Setzen von Parameterwerten.
Außerdem wäre es denkbar, dass Label akkumuliert werden, die durch das Überwachen mehrerer Mikroskopiemessungen, z.B. an unterschiedlichen Proben, bestimmt werden. Das bedeutet, dass das Trainieren des maschinengelernten Algorithmus auch auf ein oder mehreren weiteren Bildern basieren kann, die mit ein oder mehreren früheren Mikroskopiemessungen assoziiert sind.
1 zeigt schematisch ein Mikroskop mit einer Übersichtskamera, gemäß Ausführungsbeispielen der Erfindung.
Das Mikroskop 1 umfasst eine Lichtquelle 12 und einen Kondensor 11 zum Beleuchten einer in einem Probenträger 6 angeordneten Probe 7, die auf einem Probentisch 5 positioniert wird. Von der Probe 7 ausgehendes Detektionslicht wird entlang einer optischen Achse 13 mit einem Objektiv 4 zum Aufnehmen eines Probenbildes zu einer Kamera 8 geleitet.
An dem Mikroskopstativ 2 wird eine Übersichtskamera 9 gehalten, mit welcher ein Übersichtsbild der Probe 7 aufgenommen werden kann. In einer alternativen Ausgestaltung kann auch vorgesehen sein, dass die Übersichtskamera 9 das Übersichtsbild über einen Spiegel (nicht gezeigt) aufnimmt.
Ein Steuergerät oder Datenverarbeitungseinrichtung 20 mit einer Recheneinrichtung 80 ist dazu eingerichtet, ein aufgenommenes Mikroskopbild (das heißt ein Probenbild oder Übersichtsbild) zu verarbeiten, unter anderem um eine Bildanalyse vorzunehmen. Die Recheneinrichtung 80 ist dabei dazu eingerichtet, die ein Verfahren oder eine beliebige Kombination von Verfahren gemäß der vorliegenden Offenbarung auszuführen.
Die Recheneinrichtung 80 kann auch in einem anderen Mikroskop verwendet werden, welches im Unterschied zum dargestellten Mikroskop beispielsweise nach einem anderen Messprinzip arbeitet oder ein Scan- oder Elektronenmikroskop ist. Auch in anderen Geräten als Mikroskopen kann zur Bildanalyse eine wie hier beschriebene Recheneinrichtung vorgesehen sein.
2 zeigt schematisch Benutzerinteraktionen mit einer Probe in einem Übersichtsbild 200, gemäß Ausführungsbeispielen der Erfindung.
In 2 ist das Übersichtsbild 200 einer Probe gezeigt, wobei zusätzlich Benutzerinteraktionen an der Probe im Übersichtsbild 200 dargestellt sind. Insbesondere sind eine Trajektorie 210 des Benutzers, sowie an einigen Stellen von besonderem Interesse ausgeführte Benutzeraktionen mit Pfeilen gekennzeichnet. Aus diesen Informationen lassen sich zum einen Modelle trainieren, welche z.B. interessante Bereiche/für Fokussierung geeignete Bereiche/für Experimente geeignete Bereiche der Probe finden können, basierend auf der Position der jeweiligen Benutzeraktionen.
Eine Vielzahl von Benutzerinteraktionen können beobachtet/aufgezeichnet werden, beispielsweise eine beobachtete Position auf dem Probenträger, und/oder eine Verweildauer an der jeweiligen Position, und/oder ein Field-of-View, bestimmt z.B. durch ein ausgewähltes Objektiv.
Weiter als Benutzerinteraktion beobachtet/aufgezeichnet werden können beispielsweise durchgeführte Benutzer-Aktionen, wie eines oder mehrere von einer Bildaufnahme, wie etwa einem Einzelbild, einer Zeitreihe, oder Tiling-Aufnahme von einem oder mehreren Teilbereichen der Probe und/oder des Übersichtsbildes, einem Messen im Übersichtsbild, wie zum Beispiel einer Breite einer Zelle, einem Vornehmen einer Prozessierung, wie zum Beispiel Zellen zählen oder Konfluenzbestimmung, einem Annotieren, wie zum Beispiel einem Einzeichnen, einem Verändern, einem Löschen eines Polygons oder eines Kreises oder einer Bounding-Box oder eines Markers oder Ähnlichem um einen relevanten Bereich in dem Übersichtsbild, einem Umschalten auf anderen Kontrast oder Filter oder Vergrößerung, einer Änderung von Mikroskop-Parametern, wie zum Beispiel Laserleistung oder Beleuchtung, und einem Fokussieren in einem Teilbereich in dem Übersichtsbild.
Daraus lassen sich beispielsweise Annotationen für ein oder mehrere beliebige Bildanalyse-Anwendungen ableiten, für die dann beispielsweise ein Machine-Learning-Modell trainiert werden kann, um eines oder mehrere der folgenden semantischen Kontextinformationen zu bestimmen. Einer Bestimmung des Probenträger-Typs, wie zum Beispiel anhand von konkreten Benutzeraktionen, einer Qualitätsbestimmung des Probenträgers, wie zum Beispiel ein Kunde legt Probe auf den Probenträger, fährt unterschiedliche Positionen auf der Probe an, und legt Probe anschließend nochmal geputzt auf, einer Segmentierung von Probenbereichen und Deckglasbereichen, einer Detektion von relevanten/auffälligen Probenbereichen, zum Beispiel Bereiche, in denen der Kunde lange verweilt, geeignete Probenpositionen für eine Kalibrierung, wie zum Beispiel Bereiche, an denen der Kunde oft Kalibrierung durchführt, eine Fokussierung und Zentrierung, eine Einstellung von Mikroskop-Parametern, wie zum Beispiel ein automatisches Erkennen von Probenbereichen, an denen zwecks Mikroskop-Parameter-Einstellung geblichen werden kann, ein Aufsetzen von Experimenten, und/oder ein Aufnahme von Daten für das Trainieren von Machine-Learning-Modellen.
Bei den Annotationen kann es sich beispielsweise um schwache oder auch starke Annotationen handeln. Schwache Annotationen können z.B. Wissen, dass an einer Position lange verweilt wurde, umfassen. Starke Annotationen können z.B. Polygone um relevante Bereiche umfassen.
3 zeigt schematisch eine von einem Benutzer vorgenommene Segmentierung eines Übersichtsbilds 200, gemäß Ausführungsbeispielen der Erfindung.
In 3 ist eine von einem Benutzer eingegebene semantische Kontextinformation für die Messung gezeigt, in diesem Beispiel eine vorgenommene Einstellung eines Tile-Scans der Probe. Der Tile-Scan kann dann an der Probe im Rahmen der Mikroskopiemessung durchgeführt werden. Mit Hilfe dieser Informationen lässt sich außerdem beispielsweise ein Segmentierungsmodell trainieren, welches Probenbereiche finden kann.
Die so gesammelten Annotationen und vom Benutzer eingegebenen semantischen Kontextinformationen können dann beispielsweise für die folgenden Schritte benutzt werden. Einem überwachten Lernen, einem unüberwachten Lernen oder einem Reinforcement-Learning von Machine-Learning-Modellen, einem „Life-Long-Learning“ (LLL), wobei ein Modell stetig verbessert wird (d.h. von Mikroskopiemessung zu Mikroskopiemessung), ein Training von Modellen direkt beim Kunden oder Sammeln der Daten und ein Training eines zentralen Modells, das für Einzelbenutzer, Benutzergruppen oder mehrere Benutzer bereitgestellt werden kann. In diesem Zusammenhang können Modelle, welche zentral bereitgestellt wurden, lokal auf spezielle Benutzer trainiert werden und/oder zentral oder dezentral gespeichert werden. Beispielsweise könnte ein entsprechendes Trainiertes Modell an einen zentralen Server übertragen werden.
Durch die offenbarten Techniken werden Annotationen automatisch anstatt manuell generiert, wodurch Zeit und Aufwand für die Messung verringert werden können. Weiter wird bei einem kombinierten Durchführen der Verfahren zum Training und zum Anwenden der Modelle durch „Life-Long-Learning“ ein Modell stetig verbessert, anstatt auf dem Stand nach Auslieferung zu bleiben.
4 zeigt ein Flussdiagramm mit Schritten für ein Betreiben eines Mikroskops, gemäß Ausführungsbeispielen der Erfindung.
Das Verfahren beginnt in Schritt S10. In Schritt S20 wird ein Bild erhalten, das im Rahmen einer Mikroskopiemessung erfasst wird und eine zu untersuchende Probe abbildet. Es könnte ein Übersichtsbild sein.
In Schritt S30 wird die Mikroskopiemessung automatisiert überwacht.
Das bedeutet, dass der Verlauf der Mikroskopiemessung durch andere bestimmende Größen - typischerweise eine Benutzerinteraktion und/oder ein Messprotokoll - vorgegeben sein kann; und das Überwachen lediglich eine Beobachtung des Verlaufs darstellt.
Z.B. kann ein zeitlicher Verlauf der Mikroskopiemessung durch Überwachungsdaten abgebildet werden. Diese könnten mit Zeitstempeln versehen sein. Die Überwachungsdaten könnten Einstellung des Mikroskops und/oder Benutzerhandlungen angeben.
In Schritt S40 wird basierend auf dem automatisierten Überwachen ein oder mehreren Label erstellt, wobei die ein oder mehreren Label semantische Kontextinformationen für die Mikroskopiemessung umfassen bzw. indizieren.
Das könnte z.B. basierend auf den Überwachungsdaten erfolgen. Ein Vorverarbeitungsalgorithmus kann diese auswerten. Z.B. könnte eine Zeitabhängigkeit der Überwachungsdaten analysiert werden.
Zum Beispiel könnte eine Zeitabhängigkeit Überwachungsdaten verwendet werden, um die ein oder mehreren Label zu erstellen. Zum Beispiel könnte überprüft werden, in welchen Probenbereichen Positionsmarken der Überwachungsdaten eine besonders große Verweildauer indizieren. Zum Beispiel könnte überprüft werden, in welchen Probenbereichen ein Objektiv mit besonders großen Vergrößerungsfaktor verwendet wird.
Beispielsweise könnten Überwachungsdaten, die unterschiedliche Charakteristiken der Mikroskopiemessung indizieren, miteinander fusioniert werden, um die ein oder mehreren Label zu erstellen. Beispielsweise könnten Überwachungsdaten, die Positionsmarken indizieren, zusammengeführt werden mit Überwachungsdaten, welche das verwendete Objektiv oder die Verwendung eines bestimmten Filters indizieren.
Aus dem obenstehenden ist also ersichtlich, dass die ein oder mehreren Label nicht ausdrücklich spezifiziert werden müssen, sondern vielmehr als verdeckte Observable aus der Mikroskopiemessung abgeleitet werden können.
In Schritt S50 wird basierend auf dem Bild als Eingabe und ein oder mehreren Labeln als Grundwahrheit ein maschinengelernter Algorithmus trainiert, der semantische Kontextinformationen für Bilder, die im Rahmen von Mikroskopiemessungen erfasst werden, bereitstellt.
Hierzu können grundsätzlich bekannte Techniken verwendet werden, z.B. Gradientenabstiegsverfahren / Rückwärtspropagation für ein neuronales Netzwerk.
In Schritt S60 wird ein weiteres Bild erhalten, das im Rahmen der Mikroskopiemessung oder einer weiteren Mikroskopiemessung mit dem Mikroskop erfasst wird und die Probe oder eine weitere Probe abbildet.
In Schritt S70 wird der trainierte maschinengelernte Algorithmus auf das weitere Bild angewendet, um die semantische Kontextinformationen für das weitere Bild vorherzusagen.
Allgemein kann die semantische Kontextinformation unterschiedliche Informationen wiedergeben. Zum Beispiel könnte die semantische Kontextinformation indikativ für einen Bereich von Interesse sein. Die semantische Kontextinformation könnte die Probe markieren. Die semantische Kontextinformation könnte einen Manipulationsbereich der Probe markieren. Die semantische Kontextinformation könnte auch globale Parameter betreffen, beispielsweise eine Bildgüte. Die semantische Kontextinformation könnte zum Beispiel einen Probentyp beschreiben.
Das Verfahren endet in Schritt S80.
5 zeigt eine Datenverarbeitungseinrichtung für ein Mikroskop 100, mit dem ein erfindungsgemäßes Verfahren durchgeführt werden kann, gemäß Ausführungsbeispielen der Erfindung.
Das Mikroskop 100 ist mit einer Datenverarbeitungseinrichtung umfassend eine Recheneinheit 110 und eine Speichereinheit 120 verbunden, wobei die Speichereinheit 120 von der Recheneinheit 110 ausführbare Befehle speichert, und wobei die Datenverarbeitungseinrichtung ausgebildet ist, bei der Ausführung der Befehle in der Recheneinheit 110 die Schritte eines der Verfahren oder einer beliebigen Kombination von Verfahren entsprechend der vorliegenden Offenbarung durchzuführen.
Aus dem oben Gesagten lassen sich einige allgemeine Schlussfolgerungen ziehen:

Die Verfahren können vorzugsweise rechnergestützt, d.h. computerimplementiert und/oder automatisiert, realisiert sein.

In einigen Beispielen kann ein maschinengelernter Algorithmus ein Ende-zu-Ende trainiertes Modell umfassen, und eine Vielzahl von Parametern beinhalten. Der maschinengelernte Algorithmus kann als Eingabe ein Bild empfangen, und kann basierend darauf direkt als Ausgabe eine semantische Kontextinformation für eine Messung mit dem Messinstrument ausgeben. Eine Anwendung eines trainierten Modells kann von einem neuronalen Netz durchgeführt werden, das eine Vielzahl von Klassifizierungsfunktionen umfassen kann. In verschiedenen Beispielen kann ein trainiertes Modell einen oder mehrere bekannte Klassifizierer für maschinelles Lernen umfassen. Ohne Einschränkung können die trainierten Funktionen z.B. auf einer oder mehreren einer Support-Vektor-Maschine, einem Entscheidungsbaum und/oder einem Bayesschen Netzwerk, k-Mittel-Clustering, Q-Learning, genetischen Algorithmen und/oder Assoziationsregeln basieren. Ein neuronales Netz kann ohne Einschränkung ein Deep Neural Network, ein Convolutional Neural Network oder ein Convolutional Deep Neural Network, ein Adversarial Network, ein Deep Adversarial Network und/oder ein generatives Adversarial Network oder eine modellbasierte maschinenlernende Netzwerkarchitektur umfassen.
Ein automatisiertes Überwachen einer Mikroskopiemessung kann ein Bestimmen eines Probentyps und/oder eines Verschmutzungsgrades der Probe umfassen. Beispielsweise kann ein eine Transformation zwischen Pose und Mikroskopiebild durchgeführt werden, wobei ein Übersichtsbild kalibriert werden kann. Mittels einer separaten Übersichtskamera kann ein Übersichtsbild aufgenommen werden. Mittels eines weiteren Algorithmus kann eine Farbstoffkonzentration in dem Übersichtsbild gesucht werden, wobei der Algorithmus Strukturen findet, die Farbstoff annehmen. Das kann makroskopisch zurückgespiegelt werden auf die entsprechenden Teilbereiche, welche als semantische Kontextinformation hervorgehoben werden können.
Ein automatisiertes Überwachen der Mikroskopiemessung kann ein automatisiertes Überwachen einer automatisierten Analyseoperation umfassen.
Dabei sind unterschiedliche Analyseoperationen denkbar. Zum Beispiel könnten bei einer biologischen Probe, die eine Vielzahl von Zellen umfasst, Zellen gezählt werden. Dann könnte zum Beispiel festgestellt werden, ob in unterschiedlichen Teilbereichen der Probe unterschiedliche Zell-Dichten vorliegen und eine entsprechende Segmentierung könnte als Label verwendet werden. Es könnte zum Beispiel festgestellt werden, ob in unterschiedlichen Teilbereichen der Probe unterschiedliche Zell-Typen vorliegen. Andere Analyseoperation können zum Beispiel Verschmutzungen identifizieren. Analyseoperation können zum Beispiel Glanzpunkte identifizieren, bei denen der Kontrast übersteuert und damit eine Qualität des Bilds herabgesetzt ist.
Die Analyseoperation könnte zum Beispiel eine Segmentierung eines Mikroskopiebild bereitstellen. Zum Beispiel könnte die Analyseoperation bestimmte Teilbereiche Mikroskopiebild hervorheben. Der Benutzer könnte dann eine Korrektur der Ausgabe der Analyseoperation, zum Beispiel der Segmentierung, durchführen. Basierend auf einer solchen Korrektur könnte das Label bestimmt werden, etwa weil der entsprechende Bereich dann vom Benutzer überprüft wurde und mit einer besonderen Wichtigkeit versehen ist.
Es wäre denkbar, dass die Analyseoperation durch den maschinengelernten Algorithmus in einem vorangegangenen Trainingszustand implementiert wird. Das bedeutet, dass das Ergebnis der Analyseoperation dem vorhergesagten Label des maschinengelernten Algorithmus im vorangegangenen Trainingszustand entsprechen kann. Wird dieses Label korrigiert, kann diese Korrektur für das neu trainieren des maschinengelernten Algorithmus verwendet werden. Derart kann also der Trainingszustand des maschinengelernten Algorithmus nach und nach verbessert werden.
Ein Label kann eine Datenstruktur umfassen, welche die Ausgabe des maschinengelernten Algorithmus darstellt. Diese Datenstruktur kann eine schematische Kontextinformation anzeigen bzw. diese umfassen. Ein Label kann eine semantische Kontextinformation codieren.
Das eine oder die mehreren Label können basierend auf einem Ergebnis der automatisierten Analyseoperation bestimmt werden.
Die semantische Kontextinformation und/oder die weitere semantische Kontextinformation kann eine globale Eigenschaft der Probe oder der weiteren Probe angeben.
Die semantische Kontextinformation und/oder die weitere semantische Kontextinformation kann eine Bildqualität der Mikroskopiemessung angeben.
Die semantische Kontextinformation und/oder die weitere semantische Kontextinformation kann einen Sauberkeitsgrad der Probe oder der weiteren Probe angeben.
Die semantische Kontextinformation und/oder die weitere semantische Kontextinformation kann ein oder mehrere Teilbereiche der Probe oder der weiteren Probe markieren.
Die ein oder mehreren Teilbereiche der Probe oder der weiteren Probe können mit ein oder mehreren vorgeschlagenen Benutzerinteraktionen assoziiert sein.
Semantische Kontextinformationen Daten umfassen, welche bei der Durchführung der Mikroskopiemessung und oder für eine Steuerung der Mikroskopiemessung verwendet werden.
Semantische Kontextinformationen Daten umfassen, welche die Mikroskopiemessung und/oder das Mikroskop und/oder die Probe und/oder das Bild im Ganzen und/oder Teile des Bilds qualitativ und/oder quantitativ charakterisieren.
Ein trainiertes Modell kann zusammen mit weiteren Informationen zu einem Probentyp der Probe und einem speziellen Messvorgang gespeichert bzw. zugeordnet sein, wie beispielsweise Benutzer- oder Nutzgruppenidentifikation und/oder Mikroskop-Einstellungen (relevante Parameter).
Die Benutzerinteraktion kann einen oder mehrere Teilbereiche der Probe betreffen. Die Label und die semantischen Kontextinformation können nur einen oder mehrere Teilbereiche betreffen, und mit diesen assoziiert sein. Die Label könnten also z.B. eine entsprechende Segmentierung des Bilds beinhalten.
Die ein oder mehreren Label können basierend auf einer relativen Abbildungshäufigkeit oder Abbildungsdauer der verschiedenen Teilbereiche während der Messung bestimmt werden. Die relative Abbildungshäufigkeit könnte in Überwachungsdaten angegeben sein. Teilbereiche, die häufig abgebildet werden, können z.B. einen Bereich von Interesse (engl. region of interest) markieren.
Die ein oder mehreren Label können basierend auf Benutzer-ausgelösten Analyseoperationen von Eigenschaften der Probe für die ein oder mehreren Teilbereiche bestimmt werden.
Die ein oder mehreren Label können basierend auf Benutzer-ausgelösten Messprotokollschritten der Messung für die ein oder mehreren Teilbereiche bestimmt werden. Beispielsweise könnte ein Messprotokollschritt die Erfassung von Messbildern umfassen oder das Auswerten von Messbildern oder das Manipulieren der Probe.
Die ein oder mehreren Label können basierend auf Benutzer-ausgelösten Einstellungsänderungen von Bildgebungsparametern des Mikroskops bei Abbildung der ein oder mehreren Teilbereiche bestimmt werden.
Die ein oder mehreren Teilbereiche können basierend auf einem Sichtfeld des Mikroskops bestimmt werden.
Die ein oder mehreren Teilbereiche können basierend auf einer Benutzersegmentierung eines Mikroskopiebilds, bzw. Bildes des bildgebenden Verfahrens, im Rahmen einer Analyseoperation bestimmt werden.
Ein Übersichtsbild kann von einer zum Messgerät separaten Übersichtskamera erfasst werden. Das Übersichtsbild kann eine eine geringere räumliche Auflösung als die Mikroskopiemessung aufweisen, insbesondere von einem optischen bildgebenden System unabhängig von dem Messverfahren erzeugt werden. Das Übersichtsbild kann eine Position eines Objektivs des Mikroskops relativ zur Probe darstellen. Die Benutzerinteraktion kann eine beobachtete Position auf der Probe umfassen. Die Benutzerinteraktion kann eine durchgeführte Benutzeraktion und/oder Benutzereingabe bei dem Messvorgang mittels des Mikroskops und/oder an der Probe umfassen.
Im Allgemeinen sehen Beispiele der vorliegenden Offenbarung eine Vielzahl von Schaltungen, Datenspeichern, Schnittstellen oder elektrische Verarbeitungsvorrichtungen z.B. Prozessoren vor. Alle Verweise auf diese Einheiten und andere elektrische Geräte sowie die von ihnen bereitgestellte Funktionen sind nicht auf das beschränkt, was veranschaulicht und beschrieben wird. Während den verschiedenen Schaltkreisen oder anderen offenbarten elektrischen Geräten bestimmte Bezeichnungen zugeordnet werden können, sind diese Bezeichnungen nicht dazu bestimmt, den Funktionsumfang der Schaltkreise und der anderen elektrischen Geräte einzuschränken. Diese Schaltkreise und andere elektrische Geräte können je nach der gewünschten Art der elektrischen Ausführung miteinander kombiniert und/oder voneinander getrennt werden. Es ist zu verstehen, dass jede offenbarte Schaltung oder andere elektrische Vorrichtung eine beliebige Anzahl von Mikrocontrollern, Grafikprozessoreinheiten (GPU), integrierte Schaltungen, Speichervorrichtungen, z.B. FLASH, Arbeitsspeicher(RAM), Read Only Memory (ROM), elektrisch programmierbarer Read Only Memory (EPROM), elektrisch löschbarer programmierbarer Read Only Memory (EEPROM), oder beliebige andere geeignete Ausführungsformen derselben umfassen können, sowie Software, welche miteinander zusammenarbeiten, um die hierin offenbarten Verfahrensschritte durchzuführen. Darüber hinaus kann jede der elektrischen Vorrichtungen konfiguriert sein, um Programmcode auszuführen, der in einem elektronisch lesbaren Datenträger enthalten ist, und der konfiguriert ist, um eine beliebige Anzahl von Schritten gemäß der Verfahren der vorliegenden Offenbarung auszuführen.
Zusammenfassend wird ein Verfahren vorgestellt, wie Annotationsdaten während des normalen Betriebs eines Mikroskopsystems gewonnen werden können. Dadurch ist es insbesondere möglich, Annotationen für ein Training von maschinengelernten Algorithmen automatisch zu generieren, und die Algorithmen lokal zu verbessern, wodurch Zeit und Aufwand für die Messung weiter verringert werden können. Insbesondere kann ein maschinengelernter Algorithmus trainiert werden basierend auf einem Bild und/oder basierend auf Benutzerinteraktionen semantische Kontextinformationen für eine Mikroskopiemessung vorherzusagen.
Voranstehend wurden Techniken beschrieben, welche die Vorhersage von semantischer Kontextinformation basierend auf Übersichtsbildern ermöglichen, wobei die Übersichtsbilder im Rahmen einer Mikroskopiemessung erfasst werden. Allgemein formuliert können die hierin beschriebenen Techniken auch auf Mikroskopiebilder, die im Rahmen der Mikroskopiemessung erfasst werden, angewendet werden. Das bedeutet, dass semantische Kontextinformationen alternativ oder zusätzlich auch basierend auf Mikroskopiebildern mit einem vergleichsweise großen Vergrößerungsgrad, zum Beispiel mehr als fünffache oder zehnfache Vergrößerung, bestimmt werden können. Zum Beispiel könnten in Mikroskopiebildern bestimmte Merkmale extrahiert werden, die für die Mikroskopiemessung hilfreich sind, z.B. Probenrandbereiche annotiert werden, usw...
Obwohl die Erfindung in Bezug auf bestimmte bevorzugte Ausführungsbeispiele gezeigt und beschrieben wurde, werden durch Fachleute nach dem Lesen und Verstehen der Beschreibung Äquivalente und Änderungen vorgenommen werden. Die vorliegende Erfindung umfasst alle derartigen Äquivalente und Änderungen und ist nur durch den Umfang der beiliegenden Ansprüche begrenzt.

Claims

Computerimplementiertes Verfahren, umfassend: - Erhalten eines Bilds (200), das im Rahmen einer Mikroskopiemessung erfasst wird und eine zu untersuchende Probe abbildet; - Automatisiertes Überwachen der Mikroskopiemessung; - Basierend auf dem automatisierten Überwachen, Erstellen von ein oder mehreren Labeln, wobei die ein oder mehreren Label semantische Kontextinformationen für die Mikroskopiemessung indizieren; - basierend auf dem Bild als Eingabe und ein oder mehreren Labeln als Grundwahrheit, Trainieren eines maschinengelernten Algorithmus, der semantische Kontextinformationen für Bilder, die im Rahmen von Mikroskopiemessungen erfasst werden, bereitstellt, - Erhalten eines weiteren Bildes, das im Rahmen der Mikroskopiemessung oder einer weiteren Mikroskopiemessung mit dem Mikroskop erfasst wird und die Probe oder eine weitere Probe abbildet, und - Anwenden des trainierten maschinengelernten Algorithmus auf das weitere Bild, um weitere Label vorherzusagen, die semantische Kontextinformationen für das weitere Bild indizieren.
Verfahren nach Anspruch 1, wobei das automatisierte Überwachen der Mikroskopiemessung ein automatisiertes Überwachen einer Benutzerinteraktion mit dem Mikroskop und/oder der Probe im Rahmen der Mikroskopiemessung umfasst, und wobei das eine oder die mehreren Label basierend auf der Benutzerinteraktion erstellt werden.
Verfahren nach einem der voranstehenden Ansprüche, wobei das eine oder die mehreren Label mit dem einem oder mehreren Teilbereichen der Probe assoziiert sind.
Verfahren nach Anspruch 2 oder 3, wobei die Benutzerinteraktion ein oder mehrere Teilbereiche der Probe betrifft.
Verfahren nach Anspruch 3 oder 4, wobei die ein oder mehreren Label basierend auf einer relativen Abbildungshäufigkeit oder Abbildungsdauer der verschiedenen Teilbereiche während der Mikroskopiemessung bestimmt werden.
Verfahren nach einem der Ansprüche 3 bis 5, wobei die ein oder mehreren Label basierend auf benutzerausgelösten Analyseoperationen von Eigenschaften der Probe für die ein oder mehreren Teilbereiche bestimmt werden.
Verfahren nach einem der Ansprüche 3-6, wobei die ein oder mehreren Label basierend auf benutzerausgelösten Messprotokollschritten der Mikroskopiemessung für die ein oder mehreren Teilbereiche bestimmt werden.
Verfahren nach einem der Ansprüche 3-7, wobei die ein oder mehreren Label basierend auf benutzerausgelösten Einstellungsänderungen von Bildgebungsparametern des Mikroskops bei Abbildung der ein oder mehreren Teilbereiche bestimmt werden.
Verfahren nach einem der Ansprüche 3-8, wobei die ein oder mehreren Teilbereiche basierend auf einem Sichtfeld des Mikroskops bestimmt werden.
Verfahren nach einem der Ansprüche 3-9, wobei die ein oder mehreren Teilbereiche basierend auf einer Korrektur einer Segmentierung einer Analyseoperation eines Mikroskopiebilds bestimmt werden.
Verfahren nach einem der voranstehenden Ansprüche, wobei das automatisierte Überwachen der Mikroskopiemessung ein automatisiertes Überwachen einer automatisierten Analyseoperation umfasst, und wobei das eine oder die mehreren Label basierend auf einem Ergebnis der automatisierten Analyseoperation bestimmt werden, und/oder auf einem Korrigieren des Analyseergebnisses der automatisierten Analyseoperation.
Verfahren nach Anspruch 11, wobei die automatisierte Analyseoperation durch den maschinengelernten Algorithmus in einem früheren Trainingszustand vor dem Trainieren implementiert wird.
Verfahren nach einem der voranstehenden Ansprüche, wobei die weitere semantische Kontextinformation eine globale Eigenschaft der Probe oder der weiteren Probe angibt.
Verfahren nach einem der voranstehenden Ansprüche, wobei die weitere semantische Kontextinformation eine Bildqualität der Mikroskopiemessung angibt.
Verfahren nach einem der voranstehenden Ansprüche, wobei die weitere semantische Kontextinformation einen Sauberkeitsgrad der Probe oder der weiteren Probe angibt.
Verfahren nach einem der voranstehenden Ansprüche, wobei die weitere semantische Kontextinformation einen Probenträgertyp angibt.
Verfahren nach einem der voranstehenden Ansprüche, wobei die weitere semantische Kontextinformation eine geeignete Position für eine weitere durchzuführende Benutzerinteraktion angibt.
Verfahren nach einem der voranstehenden Ansprüche, wobei das Trainieren des maschinengelernten Algorithmus weiterhin basiert auf einem weiteren Bild als Eingabe und ein oder mehreren weiteren Labeln als Grundwahrheit, die mit einer früheren Mikroskopiemessung assoziiert sind.
Verfahren nach einem der voranstehenden Ansprüche, wobei das Verfahren weiterhin umfasst: - Übertragen des trainierten maschinengelernten Algorithmus an einen zentralen Server.
Verfahren nach einem der voranstehenden Ansprüche, wobei das automatisierte Überwachen der Mikroskopiemessung das Erzeugen von Überwachungsdaten umfasst, die einen zeitlichen Verlauf der Mikroskopiemessung indizieren, wobei das Verfahren weiterhin umfasst: - Bestimmen der ein oder mehreren Labeln basierend auf den Überwachungsdaten.
Verfahren nach Anspruch 19, wobei das Bestimmen der ein oder mehreren Label basierend auf den Überwachungsdaten abhängt von einem Zeitabhängigkeit der Überwachungsdaten und/oder abhängt von Überwachungsdaten, die unterschiedliche Charakteristiken der Mikroskopiemessung betreffen.
Datenverarbeitungseinrichtung für ein Mikroskop (100), umfassend eine Recheneinheit (110) und eine Speichereinheit (120), wobei die Speichereinheit (120) von der Recheneinheit (110) ausführbare Befehle speichert, und wobei das Mikroskop (100) ausgebildet ist, bei der Ausführung der Befehle in der Recheneinheit (110) die folgenden Schritte auszuführen: - Erhalten eines Bilds (200), das im Rahmen einer Mikroskopiemessung erfasst wird und eine zu untersuchende Probe abbildet; - automatisiertes Überwachen der Mikroskopiemessung; - Basierend auf dem automatisierten Überwachen, Erstellen von ein oder mehreren Labeln, wobei die ein oder mehreren Label semantische Kontextinformationen für die Mikroskopiemessung indizieren; - basierend auf dem Bild (200) als Eingabe und ein oder mehreren Labeln als Grundwahrheit, Trainieren eines maschinengelernten Algorithmus, der semantische Kontextinformationen für Bilder, die im Rahmen von Mikroskopiemessungen erfasst werden, bereitstellt, - Erhalten eines weiteren Bildes, das im Rahmen der Mikroskopiemessung oder einer weiteren Mikroskopiemessung mit dem Mikroskop erfasst wird und die Probe oder eine weitere Probe abbildet, und - Anwenden des trainierten maschinengelernten Algorithmus auf das weitere Bild, um weitere semantische Kontextinformationen für das weitere Bild vorherzusagen.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Prozessor diesen veranlassen, die Schritte des Verfahrens nach einem der Ansprüche 1-21 auszuführen.
Elektronisch lesbarer Datenträger umfassend Befehle, die bei der Ausführung durch einen Prozessor diesen veranlassen, die Schritte des Verfahrens nach einem der Ansprüche 1-21 auszuführen.