DE102019114459A1

DE102019114459A1 - Verfahren zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, Computerprogrammprodukt, computerlesbares Medium und System zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops

Info

Publication number: DE102019114459A1
Application number: DE102019114459.0A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2018-05-30
Filing date: 2019-05-29
Publication date: 2019-12-05
Also published as: WO2019229151A2; WO2019229151A3; US20210239952A1

Abstract

Es wird ein Verfahren zum Scannen von Teilbereichen (10-15) einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe, aufgezeigt, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche (10-15) der Probe und der Reihenfolge des Scannens der Teilbereiche (10-15) der Probe, mittels eines maschinellen Lernsystems (30), wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, trainiert ist;- Scannen der bestimmten Teilbereiche (10-15) der Probe mittels des Rastermikroskops; und- Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe, wobei nicht-gescannte Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe abgeschätzt werden.

Description

Die Erfindung betrifft mehrere Verfahren zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, mehrere Computerprogrammprodukte, mehrere computerlesbares Medien, mehrere Systeme zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, mehrere Verfahren zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops und mehrere Systeme zum Erfassen von Teilbereichen einer Probe.
Stand der Technik
Bei bisher bekannten Mikroskopsystemen, deren Bildgebung auf dem Abrastern (auch Abtasten bzw. Scannen genannt) einer Probe 1' beruht, z.B. ein Laser-Scanning-Mikroskop (LSM) oder ein Rasterelektronenmikroskop (engl. scanning electron microscope, SEM), wird ein Bild erzeugt, indem ein Probenbereich punktweise (oder z.B. auch linienweise) vollständig abgerastert bzw. abgescannt wird. 7 zeigt solch eine linienweise vollständige Abrasterung bzw. ein vollständiges Scannen einer Probe 1' umfassend vier Elemente 5'-8', wobei sich die Probe 1' auf einem Träger befindet, gemäß dem Stand der Technik. Der vollständige Scan der Probe 1' ergibt dann ein Gesamtbild der Probe. Der Abstand der linienförmigen Teilbereiche ist in 7 aus Darstellungsgründen übertrieben dargestellt. Der Abstand der Linien ist in der Realität deutlich geringer bzw. nahezu Null, da die Probe 1' vollständig gescannt wird.
Eine andere Möglichkeit ist, dass ein Gesamtbild eine Probe mittels des Mikroskops erzeugt wird, indem eine Probe nicht komplett, sondern dünn (engl. sparse) abgerastert bzw. gescannt wird, d.h. ein Scanmuster vorgibt, welche Teilbereiche der Probe gescannt werden, und das vollständige Bild anschließend aus den Daten der gescannten Teilbereiche der Probe rekonstruiert wird (sogenanntes „Compressed Sensing“). Dies erhöht die Aufnahmegeschwindigkeit und reduziert die Belastung der Probe mittels Strahlung.
Wie geeignet ein Scanmuster ist, hängt stark vom jeweiligen Mikroskopsystem, von dem Verwendungszweck des Gesamtbilds, der Probe, usw. ab. Zudem ist es wichtig, dass das Scanmuster eine gute bzw. zutreffende Rekonstruktion des Gesamtbilds der Probe ermöglicht, d.h. dass das rekonstruierte Gesamtbild möglichst gut einem vollständig gescannten Gesamtbild der Probe entspricht. Es gibt daher üblicherweise kein allgemeingültiges „bestes Scan-Muster“, sondern dieses wird im Optimalfall immer an die Gegebenheiten angepasst.
Die Rekonstruktion eines Gesamtbilds der Probe aus den dünn abgetasteten Datenpunkten ist im Allgemeinen ein unterbestimmtes Problem, d.h. es existieren mehrere plausible Lösungen. Mathematisch wird dieses Problem beispielsweise mittels Regularisierung umgangen, also indem weitere Nebenbedingungen an die Lösung gestellt werden.
Die Lösung beider Probleme (Bestimmung des Scanmuster und Rekonstruktion des Gesamtbilds der Probe) ist jeweils eine komplexe Aufgabe und im Allgemeinen stark von den jeweiligen Gegebenheiten (Mikroskop, Probe, Verwendungszweck des Gesamtbilds, ...) abhängig. Es ist anzunehmen, dass ein Anwender nach einer gewissen Lernphase in der Lage ist, aus den Gegebenheiten auf gute Scanmuster zu schließen bzw. diese zu bestimmen. Gleichermaßen kann ein mit Probe und Mikroskop vertrauter Anwender oftmals sehr gut fehlende Teile eines Gesamtbilds der Probe aus dem jeweiligen Kontext bzw. den gescannten Teilbereichen „erahnen“. Oftmals wird die Rekonstruktion des Gesamtbilds mittels klassischer Optimierung durchgeführt.
Nachteilig hieran ist, dass die Bestimmung des Scanmusters bzw. der zu scannenden Teilbereiche der Probe sowie die Rekonstruktion des Gesamtbilds manuell vorgenommen wird und man Personen bzw. Anwender mit entsprechend großer Erfahrung hierfür braucht. Daher ist das Bestimmen der Scanmuster bzw. die Rekonstruktion des Gesamtbilds der Probe sehr zeitaufwendig und kann nicht automatisiert durchgeführt werden. Bei der klassischen Optimierung der Rekonstruktion des Gesamtbilds ist nachteilig, dass keine Kontextinformationen einfließen und somit das Gesamtbild nicht optimal rekonstruiert wird.
Offenbarung der Erfindung
Der vorliegenden Erfindung liegt die Aufgabe zu Grunde, ein Verfahren bzw. eine Vorrichtung bzw. ein System aufzuzeigen, mittels dem bzw. der für ein Rastermikroskop automatisiert zu scannende Teilbereiche der Probe bestimmt werden können sowie das Gesamtbild der Probe aus den gescannten Teilbereichen der Probe rekonstruiert werden kann.
Diese Aufgabe wird jeweils durch ein Verfahren nach Anspruch 1, ein Verfahren nach Anspruch 6, ein Computerprogrammprodukt nach Anspruch 10, ein computerlesbares Medium nach Anspruch 11, ein System nach Anspruch 12 und ein System nach Anspruch 13 gelöst.
Insbesondere wird die Aufgabe durch ein erstes Verfahren zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der gescannten Teilbereichen der Probe gelöst, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Scannens der Teilbereiche der Probe, mittels eines maschinellen Lernsystems, wobei das maschinelle Lernsystem mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, trainiert ist; - Scannen der bestimmten Teilbereiche der Probe mittels des Rastermikroskops; und - Rekonstruieren des Gesamtbilds der Probe aus den Daten der gescannten Teilbereiche der Probe, wobei nicht-gescannte Teilbereiche der Probe mittels der Daten der gescannten Teilbereiche der Probe abgeschätzt werden.
Ein Vorteil hiervon ist, dass die Teilbereiche der Probe, die vom Rastermikroskop gescannt werden, automatisiert mittels eines trainierten maschinellen Lernsystems bestimmt werden. Durch das trainierte maschinelle Lernsystem werden besonders effiziente Scanmuster, d.h. welche Teilbereiche der Probe gescannt werden, schnell und technisch einfach bestimmt. Die besonders effizienten Scanmuster können sich beispielsweise durch eine geringe Zeit, die für das Scannen benötigt wird, durch eine besonders präzise bzw. zutreffende Rekonstruktion des Gesamtbilds der Probe, eine besonders geringe Strahlenbelastung der Probe während des Scannens der Teilbereiche oder ähnliche Eigenschaften auszeichnen. Es wird bei diesem Verfahren nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt. Ein weiterer Vorteil ist, dass Gesamtbilder rekonstruiert werden, die eine besonders hohe Qualität bzw. Exaktheit aufweisen.
Insbesondere wird die Aufgabe auch durch ein zweites Verfahren zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der gescannten Teilbereichen der Probe, insbesondere wie vorstehend beschrieben, gelöst, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Scannens der Teilbereiche der Probe; - Scannen der Teilbereiche der Probe mittels des Rastermikroskops; - Eingeben der Daten der gescannten Teilbereiche in ein maschinelles Lernsystem; und - Rekonstruieren des Gesamtbilds der Probe aus den Daten der gescannten Teilbereiche der Probe mittels des maschinellen Lernsystems, wobei nicht-gescannte Teilbereiche der Probe mittels der Daten der gescannten Teilbereiche der Probe durch das maschinelle Lernsystem abgeschätzt werden, wobei das maschinelle Lernsystem mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds der Probe aus den Daten der gescannten Teilbereiche der Probe trainiert ist.
Ein Vorteil hiervon ist, dass das Gesamtbild der Probe automatisiert mittels eines trainierten maschinellen Lernsystems rekonstruiert wird. Durch das trainierte maschinelle Lernsystem wird das rekonstruierte Gesamtbild schnell und technisch einfach bestimmt. Zudem wird das rekonstruierte Gesamtbild durch das maschinelle Lernsystem besonders präzise bestimmt, d.h. entspricht möglichst gut einem Gesamtscan bzw. vollständigem Scan der Probe. Es wird bei diesem Verfahren nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt.
Insbesondere wird die Aufgabe auch durch ein Computerprogrammprodukt gelöst, das von einem Prozessor eines Computers lesbare Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das obengenannte Verfahren auszuführen.
Insbesondere wird die Aufgabe auch durch ein computerlesbares Medium gelöst, auf dem das Computerprogrammprodukt gespeichert ist.
Insbesondere wird die Aufgabe auch durch ein System zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der gescannten Teilbereichen der Probe gelöst, wobei das System zum Abschätzen nicht-gescannter Teilbereiche der Probe mittels der Daten der gescannten Teilbereiche der Probe ausgebildet ist, wobei das System ein maschinelles Lernsystem umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Scannens der Teilbereiche der Probe, mittels des maschinellen Lernsystems.
Ein Vorteil hiervon ist, dass die Teilbereiche der Probe, die vom Rastermikroskop gescannt werden, automatisiert mittels eines trainierten maschinellen Lernsystems bestimmt werden können. Durch das trainierte maschinelle Lernsystem werden besonders effiziente Scanmuster, d.h. welche Teilbereiche der Probe gescannt werden, schnell und technisch einfach bestimmt. Die besonders effizienten Scanmuster können sich beispielsweise durch eine geringe Zeit, die für das Scannen benötigt wird, durch eine besonders präzise bzw. zutreffende Rekonstruktion des Gesamtbilds der Probe, eine besonders geringe Strahlenbelastung der Probe während des Scannens der Teilbereiche oder ähnliche Eigenschaften auszeichnen. Bei diesem System wird nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt. Ein weiterer Vorteil ist, dass das System Gesamtbilder rekonstruiert, die eine besonders hohe Qualität bzw. Exaktheit aufweisen.
Insbesondere wird die Aufgabe auch durch ein System zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der gescannten Teilbereichen der Probe, insbesondere ein System mit den Merkmalen des obengenannten System, gelöst, wobei das System ein maschinelles Lernsystem umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Rekonstruieren des Gesamtbilds der Probe aus den Daten der gescannten Teilbereiche der Probe mittels des maschinellen Lernsystems, wobei nicht-gescannte Teilbereiche der Probe mittels der Daten der gescannten Teilbereiche der Probe durch das maschinelle Lernsystem abgeschätzt werden.
Ein Vorteil hiervon ist, dass das System das Gesamtbild der Probe automatisiert mittels eines trainierten maschinellen Lernsystems rekonstruiert. Durch das trainierte maschinelle Lernsystem wird das rekonstruierte Gesamtbild schnell und technisch einfach bestimmt. Zudem wird das rekonstruierte Gesamtbild durch das maschinelle Lernsystem besonders präzise bestimmt, d.h. entspricht möglichst gut einem Gesamtscan bzw. einem vollständigem Scan der Probe. Es wird bei diesem System nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt. Ein weiterer Vorteil ist, dass Gesamtbilder rekonstruiert werden, die eine besonders hohe Qualität bzw. Exaktheit aufweisen.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems mittels bestärkendem Lernen: Eingeben eines oder mehrere Gütemaße, beispielsweise des Gesamtzeitaufwands für das Scannen der Teilbereiche und/oder der Gesamtstrahlenbelastung der Probe beim Scannen der Teilbereiche der Probe und/oder der Qualität des rekonstruierten Gesamtbilds der Probe, in das maschinelle Lernsystem; und Variieren der Teilbereiche der Probe, die gescannt werden, und/oder der Reihenfolge des Scannens der Teilbereiche der Probe zum Erreichen eines möglichst optimalen Gütemaßes oder möglichst optimaler Gütemaße. Vorteilhaft hieran ist, dass das maschinelle Lernsystem schnell und technisch einfach mittels bestärkendem Lernen trainiert wird, um ein möglichst optimales Scanmuster zu bestimmen. Ein optimales Scanmuster kann insbesondere ein Scanmuster sein, das bei niedriger Zeitdauer zum Scannen mit möglichst geringer Strahlenbelastung der Probe beim Scannen eine möglichst exakte bzw. präzise Rekonstruktion des Gesamtbilds der Probe ermöglicht. Insbesondere kann bei dem bestärkendem Lernen (auch Reinforcement Learning genannt) bei jedem Schritt eine Belohnung oder Bestrafung hinsichtlich des zu minimierenden bzw. zu maximierenden Gütemaßes (Zeitdauer des Scans, Strahlenbelastung, Qualität bzw.
Exaktheit der Rekonstruktion des Gesamtbilds), insbesondere automatisiert, vergeben werden. Das Variieren der Teilbereiche kann mittels eines Rastermikroskops durchgeführt werden oder kann durch Simulation des Scannens von Teilbereichen auf Grundlage eines Gesamtbilds durchgeführt werden.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Verfahren ferner folgenden Schritt: Eingeben von Informationen über die Probe, z.B. die Anzahl der Elemente der Probe, die Größe der Elemente der Probe und/oder die Art der Probe, und/oder über das Rastermikroskop und/oder über den Nutzungszweck des rekonstruierten Gesamtbilds in das maschinelle Lernsystem zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden. Durch das Eingeben der Informationen können die Teilbereiche, die vom Rastermikroskop gescannt werden, noch besser bzw. effizienter bestimmt werden. Das maschinelle Lernsystem kann aufgrund der eingegebenen Informationen (sogenannte Kontextinformationen) die Teilbereiche besser bestimmen. Insbesondere muss durch das Eingeben der Informationen das maschinelle Lernsystem nicht von vollständig unbekannten gescannten Daten der Teilbereiche, die zum Rekonstruieren des Gesamtbilds verwendet werden, ausgehen. Das maschinelle Lernsystem kann insbesondere davon ausgehen, dass die Daten der Teilbereiche nicht aus vollständig zufälligen Informationen bzw. Daten besteht.
Gemäß einer Ausführungsform des ersten Verfahrens wird vor dem Scannen der Teilbereiche der Probe ein Übersichtsbild der Probe in das maschinelle Lernsystem zum verbesserten Bestimmen der Teilbereiche, die von dem Rastermikroskop gescannt werden, eingegeben. Hierdurch kann das maschinelle Lernsystem Teilbereiche der Probe, die eine besonders hohe Informationsdichte aufweisen (z.B. Rändern von Elementen, Teilbereiche, in denen Elemente vorhanden sind etc.) bereits vor dem Bestimmen der Teilbereiche identifizieren. Somit kann ein noch effizienteres Scanmuster durch das maschinelle Lernsystem bestimmt werden.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems mittels unüberwachtem Lernen: Eingeben von nicht-rekonstruierten Gesamtbildern von Proben in das maschinelle Lernsystem; und Bestimmen der Teilbereiche der Probe, die eine besonders hohe Informationsdichte aufweisen, auf Grundlage des jeweiligen nicht-rekonstruierten Gesamtbilds mittels eines Autoencoders zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden. Vorteilhaft hieran ist, dass keine gescannten Teilbereiche der Probe in das maschinelle Lernsystem zum Trainieren eingegeben werden müssen. Es werden lediglich gescannte Gesamtbilder der Probe in das maschinelle Lernsystem eingegeben, das, z.B. mittels eines Autoencoders, trainiert wird, ein möglichst effizientes Scanmuster zu bestimmen. Vorteilhaft hieran ist, dass wenig bis kein externes Wissen bzw. Expertenwissen zum Trainieren des maschinellen Lernsystems benötigt wird.
Gemäß einer Ausführungsform des zweiten Verfahrens umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds aus den Daten der gescannten Teilbereiche der Probe mittels überwachtem Lernen: Eingeben von Daten von gescannten Teilbereichen, insbesondere simulierten gescannten Teilbereichen, der Probe als Trainingsdaten in das maschinelle Lernsystem; und Vergleichen des mittels des maschinellen Lernsystems aus den Trainingsdaten rekonstruierten Gesamtbilds der Probe mit einem nicht-rekonstruierten Gesamtbild der Probe zum Trainieren des maschinellen Lernsystems zum verbesserten Rekonstruieren des Gesamtbilds aus den Daten der gescannten Teilbereiche der Probe. Durch dieses überwachte Lernen kann das maschinelle Lernsystem schnell und technisch einfach zum verbesserten Rekonstruieren, d.h. einem möglichst exakten bzw. präzisen Rekonstruieren des Gesamtbilds, trainiert werden.
Gemäß einer Ausführungsform des zweiten Verfahrens werden zunächst Teilregionen des Gesamtbilds im Wesentlichen unabhängig voneinander aus den Daten der gescannten Teilbereiche der Probe rekonstruiert, und anschließend werden die Teilbereiche zu einem rekonstruierten Gesamtbild zusammengesetzt. Hierdurch kann die Rekonstruktion des Gesamtbilds in einem Computer parallelisiert, d.h. auf mehrere Prozessoren, verteilt werden. Somit kann das Gesamtbild schneller und/oder durch aufwändigere Rechnungen in der gleichen Zeit rekonstruiert werden.
Gemäß einer Ausführungsform des ersten bzw. des zweiten Verfahrens ist oder wird das maschinelle Lernsystem in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, und zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds aus den gescannten Teilbereichen der Probe trainiert. Vorteilhaft hieran ist, dass durch die gleichzeitige Optimierung des Scanmusters, d.h. welche Teilbereiche der Probe bzw. welche Teilbereiche in welcher Reihenfolge gescannt werden, und der Rekonstruktion des Gesamtbilds der Probe ein besonders optimales Scanmuster bestimmt wird, da die Weise der Rekonstruktion des Gesamtbilds und das Scanmuster sich gegenseitig beeinflussen. Zudem vorteilhaft hieran ist, dass durch die Leistungsfähigkeit des Verfahrens zum Rekonstruieren des Gesamtbilds die Bestimmung des Scanmuster beeinflusst wird. Beispielsweise kann bei einer großen Leistungsfähigkeit der Rekonstruktion des Gesamtbilds, d.h. aus bereits wenigen Daten von gescannten Teilbereichen kann ein präzises bzw. exaktes Gesamtbild der Probe rekonstruiert werden, ein Scanmuster bestimmt werden, das Teilbereiche mit einer besonders geringen Fläche und/oder mit besonders geringer Ausführungsdauer des Scans scannt. Folglich kann das hierdurch trainierte maschinelle Lernsystem besonders effizient ein Gesamtbild der Probe aus Daten von Teilbereichen der Probe erstellen.
Gemäß einer Ausführungsform des Systems ist das maschinelle Lernsystem in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Rastermikroskop gescannt werden, und zum verbesserten Rekonstruieren des Gesamtbilds der Probe aus den gescannten Teilbereichen der Probe trainiert. Vorteilhaft hieran ist, dass durch die gleichzeitige Optimierung des Scanmuster, d.h. welche Teilbereiche der Probe in welcher Reihenfolge gescannt werden, und der Rekonstruktion des Gesamtbilds der Probe ein besonders optimales Scanmuster bestimmt wird, da die Weise der Rekonstruktion des Gesamtbilds und das Scanmuster sich gegenseitig beeinflussen. Zudem vorteilhaft hieran ist, dass durch die Leistungsfähigkeit des Schritts zum Rekonstruieren des Gesamtbilds die Bestimmung des Scanmuster beeinflusst wird. Beispielsweise kann bei einer großen Leistungsfähigkeit der Rekonstruktion des Gesamtbilds, d.h. aus bereits wenigen Daten von gescannten Teilbereichen kann ein präzises bzw. exaktes Gesamtbild der Probe rekonstruiert werden, ein Scanmuster bestimmt werden, das Teilbereiche mit einer besonders geringen Fläche und/oder mit besonders geringer Ausführungsdauer des Scans scannt. Folglich kann das System bzw. das trainierte maschinelle Lernsystem besonders effizient ein Gesamtbild der Probe aus Daten von Teilbereichen der Probe erstellen.
Gemäß einer Ausführungsform des Systems ist das System ausgebildet, zunächst Teilregionen des Gesamtbilds im Wesentlichen unabhängig voneinander aus den Daten der gescannten Teilbereiche der Probe zu rekonstruieren, und anschließend die Teilbereiche zu einem rekonstruierten Gesamtbild zusammenzusetzen. Hierdurch kann in dem System die Rekonstruktion des Gesamtbilds in einem Computer parallelisiert werden bzw. sein, d.h. auf mehrere Prozessoren, verteilt werden bzw. sein. Somit kann das Gesamtbild schneller und/oder durch aufwändigere Rechnungen in der gleichen Zeit rekonstruiert werden.
Unter einem effizienten/optimalen Scanmuster bzw. effizienten/optimaler Bestimmung der Teilbereiche, die vom Rastermikroskop gescannt werden, ist insbesondere ein Scanmuster bzw. eine Bestimmung von zu scannenden Teilbereichen zu verstehen, das bzw. die bei möglichst geringer Strahlenbelastung, bei möglichst geringer Fläche der Probe, die gescannt wird, und/oder bei möglichst schneller Ausführung des Scannens ein möglichst zutreffendes Gesamtbild der Probe aus den gescannten Teilbereichen rekonstruiert. Ein möglichst zutreffendes Gesamtbild der Probe enthält im Wesentlichen keine Rekonstruktionsartefakte, weist eine besonders hohe Auflösung auf und/oder entspricht möglichst einem Bild der Probe, das durch einen vollständigen Scan der Probe gewonnen wird. Hierbei kann insbesondere ein überwachtes Lernen zum Trainieren des maschinellen Lernsystems verwendet werden. Dies bedeutet, dass ein Übersichtsbild der Probe und/oder Informationen über die Art oder den Zustand der Probe (manuell oder automatisiert) in das maschinelle Lernsystem zusammen mit einem vorgegebenen (insbesondere nicht-rekonstruierten) Gesamtbild in das maschinelle Lernsystem eingegeben werden. Das maschinelle Lernsystem wird nun darauf trainiert aus den Eingangsdaten ein Gesamtbild zu rekonstruieren, das möglichst exakt dem vorgegebenen Gesamtbild entspricht, wobei zugleich, d.h. in einem Optimierungsprozess, das Scanmuster möglichst optimal bestimmt wird und ein Rekonstruieren des Gesamtbilds der Probe aus den gescannten Teilbereichen der Probe optimiert wird.
Wie exakt bzw. zutreffend das rekonstruierte Gesamtbild einem bzw. dem tatsächlichen Gesamtbild entspricht kann auf verschiedene Weisen bestimmt werden. Beispielsweise kann der Index struktureller Ähnlichkeit (englisch structural similarity, SSIM) zwischen dem rekonstruierten Gesamtbild und einem nicht-rekonstruierten Gesamtbild (das z.B. aus einem vollständigen Scan der Probe bestimmt wurde) berechnet bzw. bestimmt werden und als Gütemaß bzw. Wert für die Exaktheit bzw. die Ähnlichkeit bzw. die Übereinstimmung zwischen dem rekonstruierten Gesamtbild und dem tatsächlichen Gesamtbild der Probe verwendet werden. Eine weitere Möglichkeit hierfür ist das Spitzen-Signal-Rausch-Verhältnis (englisch Peak signal-to-noise ratio, PSNR).
Beim Trainieren des maschinellen Lernsystems kann insbesondere eine bestimmte Eigenschaft (z.B. Scanzeit, Rekonstruktionsqualität des Gesamtbilds, Strahlenbelastung der Probe während des Scannens) unter Berücksichtigung einer anderen Eigenschaft (z.B. Strahlenbelastung der Probe während des Scannens, Rekonstruktionsqualität des Gesamtbilds, Scanzeit) optimiert werden. Z.B. wird das maschinelle Lernsystem auf eine möglichst hohe Rekonstruktionsqualität des Gesamtbilds, d.h. möglichst exakte Übereinstimmung mit einem Bild einer Probe, das durch vollständiges Scannen der Probe gewonnen wurde, bei vorgegebener maximaler Scanzeit und/oder vorgegebener maximaler Strahlenbelastung optimiert.
Beim gemeinsamen Optimieren des Bestimmens des Scanmusters bzw. der zu scannenden Teilbereiche der Probe und des Rekonstruieren des Gesamtbilds der Probe bzw. beim zugleich stattfindenden Optimieren des Bestimmens des Scanmusters und der Rekonstruktion des Gesamtbilds können insbesondere alle Parameter des Bestimmens des Scanmusters und des Rekonstruierens des Gesamtbilds der Probe im Rahmen eines End-to-End-Lernprinzips simultan bzw. zugleich trainiert werden.
Die Beeinflussung der Rekonstruktion des Gesamtbilds durch das Scanmuster bzw. des Bestimmens des Scanmusters und die Beeinflussung der Scanmusterbestimmung durch die Rekonstruktion des Gesamtbilds kann im Falle von Deep-Learning/neuronalen Netzen beispielsweise erreicht werden durch:

- Backpropagation bzw. Fehlerrückführung

Hierbei kann das Scanmuster als Zwischenrepräsentation (Zwischenschicht) interpretiert werden und es kann ein einzelnes neuronales Netz vorhanden sein bzw. entworfen werden (das sowohl die Scanmusterbestimmung als auch die Rekonstruktion des Gesamtbilds in einem einzigen neuronalen Netz umfasst), dessen Parameter mittels Backpropagation simultan und in einer gemeinsamen Loss-Funktion optimiert werden. Vorteil hierbei ist, dass der Fehler, welcher durch die Rekonstruktion des Gesamtbilds der Probe in das Netz zurückgegeben wird, auch den Teil des neuronalen Netzes, welcher für die Scanmusterbestimmung zuständig ist, erreicht und die Rekonstruktion des Gesamtbilds der Probe verbessert bzw. Rekonstruktionsfehler vermindert. Die gemeinsame Optimierung kann mittels überwachtem Lernen, unüberwachtem Lernen und/oder bestärkendem Lernen trainiert werden.

- Weight-Sharing

Hierbei kann es ein neuronales Netz für das Bestimmen des Scanmusters bzw. der zu scannenden Teilbereiche der Probe und ein neuronales Netz für die Rekonstruktion des Gesamtbilds der Probe geben. Diese beiden neuronalen Netze können sich bestimmte Parameter (Gewichte) bzw. einen Teil der Parameter (Gewicht) teilen und sich somit auch gegenseitig unterstützen/austauschen.
Eine weitere Möglichkeit des gleichzeitigen Optimierens bzw. Trainierens des maschinellen Lernsystems hinsichtlich der Scanmuster bzw. zu scannenden Teilbereiche der Probe und hinsichtlich der Rekonstruktion des Gesamtbilds der Probe ist, die gemeinsame Optimierung iterativ zu gestalten. Hierbei wird schrittweise immer ein Teil (Bestimmen des Scanmusters oder Rekonstruieren des Gesamtbilds der Probe) als gegeben angenommen und der andere Teil auf Grundlage des gegebenen Teils optimiert. Anschließend folgt der Wechsel, bei welchem der zuvor optimierte Teil als gegeben angenommen wird und der erste Teil optimiert wird. Dieser Prozess kann mehrmals wiederholt werden, insbesondere kann dieser Prozess hinreichend oft wiederholt werden, bis ein bestimmtes vorgegebenes Kriterium erreicht ist (z.B. eine vorgegebene Anzahl an Wiederholungen bzw. Iterationen, eine maximale Scanzeit, eine maximal zu scannende Fläche der Probe, eine maximale Strahlenbelastung der Probe und/oder eine Mindestrekonstruktionsqualität des Gesamtbilds der Probe und/oder räumliche bzw. zeitliche Auflösung des rekonstruierten Gesamtbilds der Probe und/oder eine Stagnation erreicht ist, d.h. bei mehreren aufeinanderfolgenden Wiederholungen bzw. Iterationen die Veränderungen unterhalb eines vorgegebenen Mindestwerts liegen). Dieses Vorgehen beschreibt eine semi-simultane Optimierung der Parameter beider Teile (Bestimmen des Scanmusters und Rekonstruieren des Gesamtbilds der Probe), die auch eine Art des zeitgleichen bzw. simultanen Optimierens zu verstehen ist, und die einem Expectation-Maximization-Algorithmus bzw. einem Estimation-Maximization-Algorithmus ähnlich ist.
Das Abschätzen der nicht-gescannten Teilbereiche der Probe kann insbesondere durch Berechnen von Schätzwerten bzw. Werten oder ähnlichem durchgeführt werden.
Einer weiteren vorliegenden Erfindung liegt die Aufgabe zu Grunde, ein Verfahren bzw. eine Vorrichtung bzw. ein System aufzuzeigen, mittels dem bzw. der für ein Mikroskop automatisiert zu erfassende Teilbereiche der Probe bestimmt werden können. Zudem kann das Gesamtbild der Probe aus den erfassten Teilbereichen der Probe rekonstruiert werden kann.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 16, ein Verfahren nach Anspruch 23, ein Computerprogrammprodukt nach Anspruch 26, ein computerlesbares Medium nach Anspruch 27, ein System nach Anspruch 28 und ein System nach Anspruch 30 gelöst.
Insbesondere wird diese Aufgabe durch ein Verfahren zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeld-Mikroskops, gelöst, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Erfassens der Teilbereiche der Probe, mittels eines maschinellen Lernsystems, wobei das maschinelle Lernsystem mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, trainiert ist; und - Erfassen der bestimmten Teilbereiche der Probe mittels des Mikroskops.
Ein Vorteil hiervon ist, dass die Teilbereiche der Probe, die vom Mikroskop erfasst werden, automatisiert mittels eines trainierten maschinellen Lernsystems bestimmt werden. Durch das trainierte maschinelle Lernsystem werden besonders effiziente Erfassungsmuster, d.h. welche Teilbereiche der Probe erfasst werden, schnell und technisch einfach bestimmt. Die besonders effizienten Erfassungsmuster können sich beispielsweise durch eine geringe Zeit, die für das Erfassen benötigt wird, durch eine besonders geringe Strahlenbelastung der Probe während des Erfassens der Teilbereiche oder ähnliche Eigenschaften auszeichnen. Es wird bei diesem Verfahren nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt.
Insbesondere wird diese Aufgabe auch durch ein Verfahren zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der erfassten Teilbereiche der Probe, insbesondere ein Verfahren gemäß dem zwei Absätze zuvor beschriebenen Verfahren, gelöst, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Erfassens der Teilbereiche der Probe; - Erfassen der Teilbereiche der Probe mittels des Mikroskops; - Eingeben der Daten der erfassten Teilbereiche in ein maschinelles Lernsystem; und - Rekonstruieren des Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe mittels des maschinellen Lernsystems, wobei nicht-erfasste Teilbereiche der Probe mittels der Daten der erfassten Teilbereiche der Probe durch das maschinelle Lernsystem abgeschätzt werden, wobei das maschinelle Lernsystem mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe trainiert ist.
Ein Vorteil hiervon ist, dass das Gesamtbild der Probe automatisiert mittels eines trainierten maschinellen Lernsystems rekonstruiert wird. Durch das trainierte maschinelle Lernsystem wird das rekonstruierte Gesamtbild schnell und technisch einfach bestimmt. Zudem wird das rekonstruierte Gesamtbild durch das maschinelle Lernsystem besonders präzise bestimmt, d.h. entspricht möglichst gut einer Gesamterfassung bzw. einer vollständigem Erfassung der Probe. Es wird bei diesem Verfahren nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt.
Insbesondere wird die Aufgabe auch durch ein Computerprogrammprodukt gelöst, das von einem Prozessor eines Computers lesbare Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, eines der obengenannten Verfahren auszuführen.
Insbesondere wird die Aufgabe auch durch ein computerlesbares Medium gelöst, auf dem das Computerprogrammprodukt gespeichert ist.
Insbesondere wird die Aufgabe auch durch ein System zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, gelöst, wobei das System ein maschinelles Lernsystem umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche der Probe und der Reihenfolge des Erfassens der Teilbereiche der Probe, mittels des maschinellen Lernsystems.
Ein Vorteil hiervon ist, dass die Teilbereiche der Probe, die vom Mikroskop erfasst werden, automatisiert mittels eines trainierten maschinellen Lernsystems bestimmt werden können. Durch das trainierte maschinelle Lernsystem werden besonders effiziente Erfassungsmuster, d.h. welche Teilbereiche der Probe erfasst werden, schnell und technisch einfach bestimmt. Die besonders effizienten Erfassungsmuster können sich beispielsweise durch eine geringe Zeit, die für das Erfassen benötigt wird, durch eine besonders geringe Strahlenbelastung der Probe während des Erfassens der Teilbereiche oder ähnliche Eigenschaften auszeichnen. Bei diesem System wird nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt.
Insbesondere wird die Aufgabe auch durch ein System zum Erfassen von Teilbereichen einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, und zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der erfassten Teilbereichen der Probe, insbesondere ein System wie zwei Absätze zuvor beschrieben, gelöst, wobei das System ein maschinelles Lernsystem umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Rekonstruieren des Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe mittels des maschinellen Lernsystems, wobei nicht-erfasste Teilbereiche der Probe mittels der Daten der erfassten Teilbereiche der Probe durch das maschinelle Lernsystem abgeschätzt werden.
Ein Vorteil hiervon ist, dass das System das Gesamtbild der Probe automatisiert mittels eines trainierten maschinellen Lernsystems rekonstruiert. Durch das trainierte maschinelle Lernsystem wird das rekonstruierte Gesamtbild schnell und technisch einfach bestimmt. Zudem wird das rekonstruierte Gesamtbild durch das maschinelle Lernsystem besonders präzise bestimmt, d.h. entspricht möglichst gut einer Gesamterfassung bzw. einer vollständiger Erfassung der Probe. Es wird bei diesem System nach dem stattgefundenen Training kein menschlicher bzw. manueller Eingriff durch einen Anwender bzw. Menschen benötigt. Ein weiterer Vorteil ist, dass Gesamtbilder rekonstruiert werden, die eine besonders hohe Qualität bzw. Exaktheit aufweisen.
Gemäß einer Ausführungsform des ersten Verfahrens zum Erfassen von Teilbereichen umfasst das Verfahren ferner folgenden Schritt: Rekonstruieren des Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe, wobei nicht-erfasste Teilbereiche der Probe mittels der Daten der erfassten Teilbereiche der Probe abgeschätzt werden. Vorteilhaft hieran ist, dass eine besonders präzise bzw. zutreffende Rekonstruktion des Gesamtbilds der Probe erreicht wird.
Gemäß einer Ausführungsform des ersten Verfahrens zum Erfassen von Teilbereichen umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems mittels bestärkendem Lernen: Eingeben eines oder mehrere Gütemaße, beispielsweise des Gesamtzeitaufwands für das Erfassen der Teilbereiche und/oder der Gesamtstrahlenbelastung der Probe beim Erfassen der Teilbereiche der Probe und/oder der Qualität des rekonstruierten Gesamtbilds der Probe, in das maschinelle Lernsystem; und Variieren der Teilbereiche der Probe, die erfasste werden, und/oder der Reihenfolge des Erfassens der Teilbereiche der Probe zum Erreichen eines möglichst optimalen Gütemaßes oder möglichst optimaler Gütemaße. Vorteilhaft hieran ist, dass das maschinelle Lernsystem schnell und technisch einfach mittels bestärkendem Lernen trainiert wird, um ein möglichst optimales Erfassungsmuster zu bestimmen. Ein optimales Erfassungsmuster kann insbesondere ein Erfassungsmuster sein, das bei niedriger Zeitdauer zum Erfassen mit möglichst geringer Strahlenbelastung der Probe beim Erfassen eine möglichst exakte bzw. präzise Rekonstruktion des Gesamtbilds der Probe ermöglicht. Insbesondere kann bei dem bestärkendem Lernen (auch Reinforcement Learning genannt) bei jedem Schritt eine Belohnung oder Bestrafung hinsichtlich des zu minimierenden bzw. zu maximierenden Gütemaßes (Zeitdauer der Erfassung, Strahlenbelastung, Qualität bzw. Exaktheit der Rekonstruktion des Gesamtbilds), insbesondere automatisiert, vergeben werden. Das Variieren der Teilbereiche kann mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, durchgeführt werden oder kann durch Simulation des Erfassens von Teilbereichen auf Grundlage eines Gesamtbilds durchgeführt werden.
Gemäß einer Ausführungsform des ersten Verfahrens zum Erfassen von Teilbereichen wird vor dem Erfassen der Teilbereiche der Probe ein Übersichtsbild der Probe in das maschinelle Lernsystem zum verbesserten Bestimmen der Teilbereiche, die von dem Mikroskop erfasst werden, eingegeben. Hierdurch kann das maschinelle Lernsystem Teilbereiche der Probe, die eine besonders hohe Informationsdichte aufweisen (z.B. Rändern von Elementen, Teilbereiche, in denen Elemente vorhanden sind etc.) bereits vor dem Bestimmen der Teilbereiche identifizieren. Somit kann ein noch effizienteres Erfassungsmuster durch das maschinelle Lernsystem bestimmt werden.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Verfahren ferner folgenden Schritt: Rekonstruieren des Gesamtbilds der Probe aus den Daten der erfassten Teilbereiche der Probe und dem Übersichtsbild. Mit anderen Worten kann das Gesamtbild auf Grundlage einer Kombination der Daten der erfassten Teilbereiche und dem Übersichtsbild rekonstruiert werden. Vorteilhaft hieran ist, dass ein besonders präzises Gesamtbild rekonstruiert werden kann. Beispielsweise kann, wenn das Übersichtsbild eine niedrige Auflösung aufweist und die erfassten Teilbereiche eine höhere Auflösung aufweisen, ein Gesamtbild mittels der erfassten Teilbereiche und des Übersichtsbilds rekonstruiert werden, das ein präziseres Abbild der Probe darstellt, als auf Grundlage der erfassten Teilbereiche alleine.
Gemäß einer Ausführungsform des ersten Verfahrens umfasst das Übersichtsbild ein rekonstruiertes Gesamtbild der Probe umfasst, insbesondere ist das Übersichtsbild ein rekonstruiertes Gesamtbild der Probe. Vorteilhaft hieran ist, dass das Verfahren iterativ angewendet werden kann. Dies bedeutet, dass nach einem ersten Durchlaufen des Bestimmens der Teilbereiche, des Erfassens der Teilbereiche und des Rekonstruierens des Gesamtbilds das rekonstruierte Gesamtbild als Übersichtsbild in das maschinelle Lernsystem eingegeben wird und erneut zu erfassende Teilbereiche bestimmt werden, die bestimmten Teilbereiche durch das Mikroskop erfasst werden und anschließend ein Gesamtbild rekonstruiert wird. Die Anzahl an Iterationen kann zwei, drei oder mehr betragen. Auf diese Weise kann ein besonders präzises bzw. zutreffendes Gesamtbild der Probe rekonstruiert werden. Beim erneuten Schritt des Rekonstruierens des Gesamtbilds kann neben den erfassten Teilbereichen auch das zuvor (bei einer vorhergehenden Iteration erzeugte) rekonstruierte Gesamtbild in die Rekonstruktion des Gesamtbilds einfließen.
Gemäß einer Ausführungsform des ersten Verfahrens zum Erfassen von Teilbereichen umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems mittels unüberwachtem Lernen: Eingeben von nicht-rekonstruierten Gesamtbildern von Proben in das maschinelle Lernsystem; und Bestimmen der Teilbereiche der Probe, die eine besonders hohe Informationsdichte aufweisen, auf Grundlage des jeweiligen nicht-rekonstruierten Gesamtbilds mittels eines Autoencoders zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden. Vorteilhaft hieran ist, dass keine erfassten Teilbereiche der Probe in das maschinelle Lernsystem zum Trainieren eingegeben werden müssen. Es werden lediglich erfasste Gesamtbilder der Probe in das maschinelle Lernsystem eingegeben, das, z.B. mittels eines Autoencoders, trainiert wird, ein möglichst effizientes Erfassungsmuster zu bestimmen. Vorteilhaft hieran ist, dass wenig bis kein externes Wissen bzw. Expertenwissen zum Trainieren des maschinellen Lernsystems benötigt wird.
Gemäß einer Ausführungsform des zweiten Verfahrens zum Erfassen von Teilbereichen umfasst das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds aus den Daten der erfassten Teilbereiche der Probe mittels überwachtem Lernen: Eingeben von Daten von erfassten Teilbereichen, insbesondere simulierten erfassten Teilbereichen, der Probe als Trainingsdaten in das maschinelle Lernsystem; und Vergleichen des mittels des maschinellen Lernsystems aus den Trainingsdaten rekonstruierten Gesamtbilds der Probe mit einem nicht-rekonstruierten Gesamtbild der Probe zum Trainieren des maschinellen Lernsystems zum verbesserten Rekonstruieren des Gesamtbilds aus den Daten der erfassten Teilbereiche der Probe. Durch dieses überwachte Lernen kann das maschinelle Lernsystem schnell und technisch einfach zum verbesserten Rekonstruieren, d.h. einem möglichst exakten bzw. präzisen Rekonstruieren des Gesamtbilds, trainiert werden.
Gemäß einer Ausführungsform des zweiten Verfahrens zum Erfassen von Teilbereichen ist oder wird das maschinelle Lernsystem in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, und zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds aus den erfassten Teilbereichen der Probe trainiert. Vorteilhaft hieran ist, dass durch die gleichzeitige Optimierung des Erfassungsmusters, d.h. welche Teilbereiche der Probe in welcher Reihenfolge erfasst werden, und der Rekonstruktion des Gesamtbilds der Probe ein besonders optimales Erfassungsmuster bestimmt wird, da die Weise der Rekonstruktion des Gesamtbilds und das Erfassungsmuster sich gegenseitig beeinflussen. Zudem vorteilhaft hieran ist, dass durch die Leistungsfähigkeit des Schritts zum Rekonstruieren des Gesamtbilds die Bestimmung des Erfassungsmusters beeinflusst wird. Beispielsweise kann bei einer großen Leistungsfähigkeit der Rekonstruktion des Gesamtbilds, d.h. aus bereits wenigen Daten von erfassten Teilbereichen kann ein präzises bzw. exaktes Gesamtbild der Probe rekonstruiert werden, ein Erfassungsmuster bestimmt werden, das Teilbereiche mit einer besonders geringen Fläche und/oder mit besonders geringer Ausführungsdauer der Erfassung erfasst. Folglich kann das System bzw. das trainierte maschinelle Lernsystem besonders effizient ein Gesamtbild der Probe aus Daten von Teilbereichen der Probe erstellen.
Gemäß einer Ausführungsform des ersten Systems zum Erfassen von Teilbereichen ist das System zum Rekonstruieren eines Gesamtbilds der Probe aus Daten der erfassten Teilbereiche der Probe ausgebildet, wobei das System zum Abschätzen nicht-erfasster Teilbereiche der Probe mittels der Daten der erfassten Teilbereiche der Probe ausgebildet ist. Ein Vorteil hiervon ist, dass Gesamtbilder rekonstruiert werden, die eine besonders hohe Qualität bzw. Exaktheit aufweisen.
Gemäß einer Ausführungsform des zweiten Systems zum Erfassen von Teilbereichen ist das maschinelle Lernsystem in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche der Probe, die von dem Mikroskop erfasst werden, und zum verbesserten Rekonstruieren des Gesamtbilds der Probe aus den erfassten Teilbereichen der Probe trainiert. Vorteilhaft hieran ist, dass durch die gleichzeitige Optimierung des Erfassungsmuster, d.h. welche Teilbereiche der Probe in welcher Reihenfolge erfasst werden, und der Rekonstruktion des Gesamtbilds der Probe ein besonders optimales Erfassungsmuster bestimmt wird, da die Weise der Rekonstruktion des Gesamtbilds und das Erfassungsmuster sich gegenseitig beeinflussen. Zudem vorteilhaft hieran ist, dass durch die Leistungsfähigkeit des Schritts zum Rekonstruieren des Gesamtbilds die Bestimmung des Erfassungsmusters beeinflusst wird. Beispielsweise kann bei einer großen Leistungsfähigkeit der Rekonstruktion des Gesamtbilds, d.h. aus bereits wenigen Daten von erfassten Teilbereichen kann ein präzises bzw. exaktes Gesamtbild der Probe rekonstruiert werden, ein Erfassungsmuster bestimmt werden, das Teilbereiche mit einer besonders geringen Fläche und/oder mit besonders geringer Ausführungsdauer der Erfassung erfasst. Folglich kann das System bzw. das trainierte maschinelle Lernsystem besonders effizient ein Gesamtbild der Probe aus Daten von Teilbereichen der Probe erstellen.
Unter einem effizienten/optimalen Erfassungsmuster bzw. effizienten/optimaler Bestimmung der Teilbereiche, die vom Mikroskop, insbesondere vom Weitfeldmikroskop, erfasst werden, ist insbesondere ein Erfassungsmuster bzw. eine Bestimmung von zu erfassenden Teilbereichen zu verstehen, das bzw. die bei möglichst geringer Strahlenbelastung, bei möglichst geringer Fläche der Probe, die erfasst wird, und/oder bei möglichst schneller Ausführung des Erfassens ein möglichst zutreffendes Gesamtbild der Probe aus den erfassten Teilbereichen rekonstruiert. Ein möglichst zutreffendes Gesamtbild der Probe enthält im Wesentlichen keine Rekonstruktionsartefakte, weist eine besonders hohe Auflösung auf und/oder entspricht möglichst einem Bild der Probe, das durch eine vollständige Erfassung der Probe gewonnen wird. Hierbei kann insbesondere ein überwachtes Lernen zum Trainieren des maschinellen Lernsystems verwendet werden. Dies bedeutet, dass ein Übersichtsbild der Probe und/oder Informationen über die Art oder den Zustand der Probe (manuell oder automatisiert) in das maschinelle Lernsystem zusammen mit einem vorgegebenen (insbesondere nicht-rekonstruierten) Gesamtbild in das maschinelle Lernsystem eingegeben werden. Das maschinelle Lernsystem wird nun darauf trainiert aus den Eingangsdaten ein Gesamtbild zu rekonstruieren, das möglichst exakt dem vorgegebenen Gesamtbild entspricht, wobei zugleich, d.h. in einem Optimierungsprozess, das Erfassungsmuster möglichst optimal bestimmt wird und ein Rekonstruieren des Gesamtbilds der Probe aus den erfassten Teilbereichen der Probe optimiert wird.
Wie exakt bzw. zutreffend das rekonstruierte Gesamtbild einem bzw. dem tatsächlichen Gesamtbild entspricht kann auf verschiedene Weisen bestimmt werden. Beispielsweise kann der Index struktureller Ähnlichkeit (englisch structural similarity, SSIM) zwischen dem rekonstruierten Gesamtbild und einem nicht-rekonstruierten Gesamtbild (das z.B. aus einer vollständiger Erfassung der Probe bestimmt wurde) berechnet bzw. bestimmt werden und als Gütemaß bzw. Wert für die Exaktheit bzw. die Ähnlichkeit bzw. die Übereinstimmung zwischen dem rekonstruierten Gesamtbild und dem tatsächlichen Gesamtbild der Probe verwendet werden. Eine weitere Möglichkeit hierfür ist das Spitzen-Signal-Rausch-Verhältnis (englisch Peak signal-to-noise ratio, PSNR).
Beim Trainieren des maschinellen Lernsystems kann insbesondere eine bestimmte Eigenschaft (z.B. Erfassungszeit, Rekonstruktionsqualität des Gesamtbilds, Strahlenbelastung der Probe während des Erfassens) unter Berücksichtigung einer anderen Eigenschaft (z.B. Strahlenbelastung der Probe während des Erfassens, Rekonstruktionsqualität des Gesamtbilds, Erfassungszeit) optimiert werden. Z.B. wird das maschinelle Lernsystem auf eine möglichst hohe Rekonstruktionsqualität des Gesamtbilds, d.h. möglichst exakte Übereinstimmung mit einem Bild einer Probe, das durch vollständiges Erfassen der Probe gewonnen wurde, bei vorgegebener maximaler Erfassungszeit und/oder vorgegebener maximaler Strahlenbelastung optimiert.
Beim gemeinsamen Optimieren des Bestimmens des Erfassungsmusters bzw. der zu erfassenden Teilbereiche der Probe und des Rekonstruieren des Gesamtbilds der Probe bzw. beim zugleich stattfindenden Optimieren des Bestimmens des Erfassungsmusters und der Rekonstruktion des Gesamtbilds können insbesondere alle Parameter des Bestimmens des Erfassungsmusters und des Rekonstruierens des Gesamtbilds der Probe im Rahmen eines End-to-End-Lernprinzips simultan bzw. zugleich trainiert werden.
Die Beeinflussung der Rekonstruktion des Gesamtbilds durch das Erfassungsmuster bzw. des Bestimmens des Erfassungsmusters und die Beeinflussung der Erfassungsmusterbestimmung durch die Rekonstruktion des Gesamtbilds kann im Falle von Deep-Learning/neuronalen Netzen beispielsweise erreicht werden durch:

- Backpropagation bzw. Fehlerrückführung

Hierbei kann das Erfassungsmuster als Zwischenrepräsentation (Zwischenschicht) interpretiert werden und es kann ein einzelnes neuronales Netz vorhanden sein bzw. entworfen werden (das sowohl die Erfassungsmusterbestimmung als auch die Rekonstruktion des Gesamtbilds in einem einzigen neuronalen Netz umfasst), dessen Parameter mittels Backpropagation simultan und in einer gemeinsamen Loss-Funktion optimiert werden. Vorteil hierbei ist, dass der Fehler, welcher durch die Rekonstruktion des Gesamtbilds der Probe in das Netz zurückgegeben wird, auch den Teil des neuronalen Netzes, welcher für die Erfassungsmusterbestimmung zuständig ist, erreicht und die Rekonstruktion des Gesamtbilds der Probe verbessert bzw. Rekonstruktionsfehler vermindert. Die gemeinsame Optimierung kann mittels überwachtem Lernen, unüberwachtem Lernen und/oder bestärkendem Lernen trainiert werden.

- Weight-Sharing

Hierbei kann es ein neuronales Netz für das Bestimmen des Erfassungsmusters bzw. der zu erfassenden Teilbereiche der Probe und ein neuronales Netz für die Rekonstruktion des Gesamtbilds der Probe geben. Diese beiden neuronalen Netze können sich bestimmte Parameter (Gewichte) bzw. einen Teil der Parameter (Gewicht) teilen und sich somit auch gegenseitig unterstützen/austauschen.
Eine weitere Möglichkeit des gleichzeitigen Optimierens bzw. Trainierens des maschinellen Lernsystems hinsichtlich der Erfassungsmuster bzw. zu erfassenden Teilbereiche der Probe und hinsichtlich der Rekonstruktion des Gesamtbilds der Probe ist, die gemeinsame Optimierung iterativ zu gestalten. Hierbei wird schrittweise immer ein Teil (Bestimmen des Erfassungsmusters oder Rekonstruieren des Gesamtbilds der Probe) als gegeben angenommen und der andere Teil auf Grundlage des gegebenen Teils optimiert. Anschließend folgt der Wechsel, bei welchem der zuvor optimierte Teil als gegeben angenommen wird und der erste Teil optimiert wird. Dieser Prozess kann mehrmals wiederholt werden, insbesondere kann dieser Prozess hinreichend oft wiederholt werden, bis ein bestimmtes vorgegebenes Kriterium erreicht ist (z.B. eine vorgegebene Anzahl an Wiederholungen bzw. Iterationen, eine maximale Erfassungszeit, eine maximal zu erfassende Fläche der Probe, eine maximale Strahlenbelastung der Probe und/oder eine Mindestrekonstruktionsqualität des Gesamtbilds der Probe und/oder räumliche bzw. zeitliche Auflösung des rekonstruierten Gesamtbilds der Probe und/oder eine Stagnation erreicht ist, d.h. bei mehreren aufeinanderfolgenden Wiederholungen bzw. Iterationen die Veränderungen unterhalb eines vorgegebenen Mindestwerts liegen). Dieses Vorgehen beschreibt eine semi-simultane Optimierung der Parameter beider Teile (Bestimmen des Erfassungsmusters und Rekonstruieren des Gesamtbilds der Probe), die auch eine Art des zeitgleichen bzw. simultanen Optimierens zu verstehen ist, und die einem Expectation-Maximization-Algorithmus bzw. einem Estimation-Maximization-Algorithmus ähnlich ist.
Das Abschätzen der nicht-erfassten Teilbereiche der Probe kann insbesondere durch Berechnen von Schätzwerten bzw. Werten oder ähnlichem durchgeführt werden.
Bevorzugte Ausführungsformen ergeben sich aus den Unteransprüchen. Nachfolgend wird die Erfindung anhand von Zeichnungen von Ausführungsbeispielen näher erläutert. Hierbei zeigen

1 eine Probe umfassend vier Elemente, wobei sich die Probe auf einem Träger befindet;
2 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems;
3 ein erstes Scanmuster der Probe aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
4 ein zweites Scanmuster der Probe aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
5 ein drittes Scanmuster der Probe aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
6 ein viertes Scanmuster der Probe aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
7 eine punktweise vollständiges Abscannen einer Probe umfassend vier Elemente, wobei sich die Probe auf einem Träger befindet, gemäß dem Stand der Technik;
8 eine schematische Darstellung einer weiteren Ausführungsform des erfindungsgemäßen Systems;
9 ein fünftes Erfassungsmuster der Probe aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
10 ein sechstes Erfassungsmuster der Probe aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens; und
11 ein siebtes Erfassungsmuster der Probe aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens.

Bei der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
1 zeigt eine Probe 1 umfassend vier Elemente 5-8, wobei sich die Probe 1 auf einem Träger befindet. Die Probe 1 kann lebende Elemente, z.B. Zellen, umfassen, wobei die vier Elemente 5-8 jeweils eine Zelle darstellen. Auch vorstellbar ist, dass die Probe 1 unbelebt ist, d.h. die Probe 1 in 1 weist z.B. vier Eisensplitter auf.
Die Probe 1 bzw. Teilbereiche 10-15 der Probe 1 wird mittels eines Rastermikroskops, z.B. einem Laser-Scan-Mikroskop (LSM) oder einem Rasterelektronenmikroskop (engl. Scanning electron microscope, SEM) abgetastet bzw. gerastert bzw. gescannt.
Die Probe 1 wird jedoch üblicherweise nicht vollständig gescannt bzw. gerastert, sondern es werden lediglich Teilbereiche 10-15 der Probe 1 mittels des Rastermikroskops gescannt. Die Teilbereiche 10-15 der Probe 1 können punktförmig oder flächig sein. Die Teilbereiche 10-15 der Probe 1 können zusammenhängend sein oder sie können beabstandet zueinander sein.
Vorstellbar ist auch, dass die Probe 1 in drei Raumdimensionen gescannt wird. Hierbei kann die Probe 1 in einer oder mehreren Raumdimensionen nicht vollständig gescannt, sondern nur teilweise bzw. in Teilbereichen der Probe 1 gescannt werden. Auch ist denkbar, dass eine Probe 1 in zwei Raumdimensionen über die Zeit, d.h. mehrmals zu verschiedenen Zeitpunkten oder zeitlich kontinuierlich, gescannt wird. Teilbereiche hierbei können Teilbereiche in einer oder zwei Raumdimensionen sein, und/ooder die Probe 1 wird in der Zeitdimension nur in Teilbereichen, d.h. zu bestimmten Zeitpunkten oder zu bestimmten Zeitperioden, gescannt. Somit findet beispielsweise kein kontinuierliches Scannen der Probe 1 statt, so dass die Probe 1 in zeitlicher Hinsicht nur in Teilbereichen gescannt wird. Diese Zeitpunkte bzw. Zeitperioden werden von dem trainierten maschinellen Lernsystem bestimmt.
Gleiches gilt für ein vierdimensionales Scannen der Probe 1, in drei Raumdimensionen und in der Zeitdimension. Auch hierbei kann die Probe in einer oder mehreren der Dimensionen nur in Teilbereichen abgetastet bzw. gescannt werden. Beispielsweise wird die Probe 1 in zeitlicher Dimension nicht kontinuierlich oder quasi-kontinuierlich gescannt, sondern nur zu von dem maschinellen Lernsystem bestimmten Zeitpunkten bzw. Zeitperioden.
Die Daten 25 der von dem Rastermikroskop gescannten Teilbereiche 10-15 der Probe 1 werden anschließend verwendet, um aus diesen ein Gesamtbild 40 der Probe 1 zu rekonstruieren. Beim Rekonstruieren des Gesamtbilds 40 der Probe 1 werden die nicht-gescannten Teilbereiche 10-15 der Probe 1 aus den gescannten Teilbereichen 10-15 abgeschätzt bzw. berechnet. Somit wird aus den gescannten Teilbereichen 10-15 der Probe 1 auf die nicht-gescannten Teilbereiche 10-15 der Probe 1 geschlossen (sogenanntes compressed sensing).
Durch dieses compressed sensing kann in besonders kurzer Zeit ein Gesamtbild 40 der Probe 1 erstellt werden, da nicht die gesamte Probe 1 bzw. der gesamte Träger abgescannt wird, sondern nur ein Teil bzw. Teilbereiche hiervon.
2 zeigt eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems 20. Das System 20 umfasst ein trainiertes maschinelles Lernsystem 30, das zum Bestimmen der Teilbereiche 10-15 der Probe 1, die gescannt werden, bestimmt und aus den Daten 25 der gescannten Teilbereiche 10-15 ein Gesamtbild 40 der Probe 1 rekonstruiert.
Die Teilbereiche 10-15 der Probe 1, die gescannt werden, d.h. das Scanmuster, werden mittels eines maschinellen Lernsystems 30 bestimmt. Auch die Reihenfolge der Teilbereiche 10-15, die gescannt werden, wird von dem maschinellen Lernsystem 30 bestimmt.
Das maschinelle Lernsystem 30 kann durch bestärkendes Lernen bzw. verstärkendes Lernen (Reinforcement Learning), überwachtes Lernen und/oder unüberwachtem Lernen trainiert sein oder werden, um die Teilbereiche 10-15 der Probe 1, die gescannt werden, möglichst optimal zu bestimmen. Die optimale Bestimmung der zu scannenden Teilbereiche 10-15 kann mit dem Ziel einer möglichst geringen Zeit, die für das Scannen der Teilbereiche 10-15 benötigt wird, einer möglichst geringen Strahlenbelastung der Probe 1, einer möglichst guten Rekonstruktion etc. durchgeführt werden. D.h. die genannten Eigenschaften sind jeweils die zu optimierende Größe.
Bei einem bestärkendem Lernen zum verbesserten Bestimmen bzw. möglichst optimalen Bestimmen der zu scannenden Teilbereiche 10-15 der Probe 1 werden von einem menschlichen Experten ein oder mehrere Gütemaße in das maschinelle Lernsystem 30 eingegeben. Zudem wird in das maschinelle Lernsystem 30 eingegeben, dass bei jedem Schritt der Durchführung der Bestimmung der zu scannenden Teilbereiche 10-15 durch das maschinelle Lernsystem eine Belohnung und/oder eine Bestrafung vergeben werden und wie hoch die Belohnung bzw. Bestrafung ist. Beispielsweise braucht der Scan eines größeren Teilbereichs 10-15 länger als der Scan eines kleineren Teilbereichs 10-15 der Probe 1, so dass bei letzterem ein Zeitmalus, d.h. eine Bestrafung, wobei die Höhe der Bestrafung des Schritts abhängig von der Fläche des Teilbereichs 10-15, hinzugefügt wird. Als weiteres Beispiel kann bei Bestrahlung einer größeren Fläche, da dies die Strahlenbelastung der Probe 1 erhöht, eine Bestrafung hinzugefügt werden. Auch bei längerer Bestrahlung kann eine Bestrafung hinzugefügt werden. Auch die Rekonstruktionsqualität des rekonstruierten Gesamtbilds 40, d.h. wie gut dieses rekonstruierte Gesamtbild 40 mit einem nicht-rekonstruierten Gesamtbild 40, das z.B. durch vollständige Rasterung bzw. einem vollständigen Scan der Probe 1 erstellt wurde, übereinstimmt, kann ein Gütemaß sein.
Durch simuliertes oder tatsächliches Scannen mittels eine Rastermikroskops versucht das maschinelle Lernsystem 30 auf Grundlage von Trainingsdaten von Proben 1 jeweils ein optimales Scanmuster zu bestimmen, d.h. ein Scanmuster, bei dem das Gütemaß möglichst gering (z.B. möglichst geringe Zeit) oder möglichst hoch (z.B. möglichst hohe Rekonstruktionsqualität) ist. Hierbei wirkt ein vorgegebener Wert einer zweiten Größe z.B. die benötigte Zeit oder die maximale Gesamtfläche, die die zu scannenden Teilbereiche 10-15 insgesamt aufweisen dürfen, als begrenzender Faktor, da ansonsten z.B. die gesamte Probe 1 gescannt wird, da dann die Rekonstruktionsqualität am größten bzw. am besten ist.
Möglich ist auch, dass bereits grob abgerasterte Proben 1 bzw. grob gescannte Proben 1 als Trainingsdaten in das maschinelle Lernsystem 30 eingegeben werden und das maschinelle Lernsystem 30 ein möglichst effizientes Scanmuster bestimmen soll.
Eine weitere Möglichkeit, das maschinelle Lernsystem 30 zum verbesserten Bestimmen der zu scannenden Teilbereiche 10-15 der Probe 1 sowie derer Reihenfolge zu trainieren, ist überwachtes Lernen. Hierbei wird von einem Menschen bzw. erfahrenen Anwender eine Trainingsmenge {(x_1, y₁), (x₂, y₂), (x₃, y₃),..}, wobei x_n Informationen über die Probe 1 beinhaltet und das dazugehörige y_n das vom menschlichen Experten jeweils zugeordnete Scanmuster bzw. die zu scannenden Teilbereiche 10-15 und deren Reihenfolge darstellen, vorgegeben.
Das Scanmuster, das von dem Experten vorgegeben wird, kann aus einer fest vorgegeben Auswahl an Scanmustern entstammen (Klassifikationsproblem) oder z.B. als Binärbild angegeben sein.
x kann z.B. ein Übersichtsbild der Probe 1 (z.B. durch eine Übersichtskamera oder einen schnellen, groben Scan der Probe 1 erstellt), Angaben über die Art und/oder Zustand der Probe 1 (belebt, unbelebt etc.), wobei diese Angaben manuell in das maschinelle Lernsystem 30 eingegeben werden können oder automatisiert bestimmt wurden, Art und Zustand des Rastermikroskops (z.B. die Hardwareausstattung) und/oder Informationen über den Verwendungszweck des rekonstruierten Gesamtbilds 40 der Probe 1, d.h. welche Bildeigenschaften des Gesamtbilds 40 relevant sind, umfassen.
Das maschinelle Lernsystem 30 lernt aus den Trainingsdaten bzw. der Trainingsmenge eine Abbildung von x_n nach y_n, um anschließend für unbekannte x ein Scanmuster bzw. die zu scannenden Teilbereiche 10-15 einer (mehr oder minder unbekannten) Probe 1 derart zu bestimmen, dass das maschinelle Lernsystem 30 x möglichst gut auf das tatsächliche y abbildet.
Nach diesem überwachten Lernen ist das maschinelle Lernsystem 30 trainiert, um bei einer unbekannten Probe 1 ein möglichst gutes bzw. effizientes Scanmuster, d.h. welche Teilbereiche 10-15 der Probe 1 in welcher Reihenfolge gescannt werden, zu bestimmen.
Eine dritte Möglichkeit des Trainierens des maschinellen Lernsystems 30 ist das unüberwachte Lernen. Hierbei werden nur Gesamtbilder 40 der Probe 1, insbesondere nicht-rekonstruierte Gesamtbilder 40 der Probe 1, als Trainingsdaten in das maschinelle Lernsystem 30 eingegeben. Beispielsweise mittels Autoencoder wird das maschinelle Lernsystem 30 auf den Gesamtbildern 40 trainiert. Aus dem sogenannten Bottleneck des Autoencoders, insbesondere der dünnsten Schicht eines Deep Autoencoders, kann das maschinelle Lernsystem 30 schließen, welche Teilbereiche 10-15 des Gesamtbilds 40 der Probe 1 und somit welche Teilbereiche 10-15 der Probe 1 selbst besonders wichtig sind bzw. eine besonders hohe Informationsdichte (z.B. einen Rand eines Elements 5-8 der Probe 1 beinhaltet) aufweisen. Hieraus leitet das maschinelle Lernsystem 30 ab, welches Scanmuster besonders optimal bzw. effizient ist. Insbesondere lernt das maschinelle Lernsystem 30 die Teilbereiche 10-15 der Probe 1 zu bestimmen, die eine hohe Informationsdichte aufweisen. Bei unbekannten Proben bestimmt das maschinelle Lernsystem 30 somit die Teilbereiche 10-15 der Probe 1, die besonders hilfreich bei der Rekonstruktion des Gesamtbilds 40 der Probe 1 sind, da diese Teilbereiche 10-15 eine besonders hohe Informationsdichte aufweisen (z.B. einen Rand eines Elements 5-8 der Probe 1). Trainingsziel hierbei ist somit, Teilbereiche 10-15 mit möglichst hoher Informationsdichte zu bestimmen.
Das maschinelle Lernsystem 30 wird auf eine dieser Weisen mittels Trainingsdaten trainiert. Anschließend bestimmt das maschinelle Lernsystem 30, wenn eine Probe 1 zu scannen ist, welche Teilbereiche 10-15 der Probe 1 in welcher Reihenfolge von dem Rastermikroskop gescannt werden. Hierbei können Informationen über die Probe 1, z.B. wie viele Elemente 5-8 die Probe 1 umfasst, wie groß die Elemente 5-8 der Probe 1 sind, ob sich die Elemente 5-8 der Probe 1 bewegen etc., und/oder über das Rastermikroskop, z.B. welche Strahlenbelastung das Rastermikroskop verursacht, wie lange das Scannen eines Teilbereichs 10-15 einer vorgegebenen Fläche dauert etc., und/oder über den Zweck, für den das erstellte Gesamtbild 40, benötigt wird, z.B. ob das Gesamtbild 40 zum Erkennen von Details der Elemente 5-8 der Probe 1 benötigt wird, ob das Gesamtbild 40 zum Verfolgen von Bewegungen von Elementen 5-8 der Probe 1 benötigt wird, ob das Gesamtbild 40 zum Bestimmen der Anzahl der Elemente 5-8 der Probe 1 benötigt wird, etc., in das maschinelle Lernsystem 30 eingegeben werden.
Das Bestimmen der Teilbereiche kann Teilbereiche in einer der drei Raumdimension und/oder Teilbereiche in der Zeitdimension (d.h. Zeitpunkte und/oder Zeitperioden) umfassen. Diese Teilbereiche werden jeweils von dem maschinellen Lernsystem bestimmt.
Bei jedem der drei angegebenen Trainingsarten des maschinellen Lernsystems 30 kann sogenanntes Deep Learning angewandt bzw. verwendet werden. Insbesondere kann beim bestärkenden Lernen des maschinellen Trainingssystems sogenanntes Deep-Q-Learning verwendet werden. Beim überwachten Lernen kann insbesondere ein oder mehrere sogenannte Convolutional Neural Networks (CNNs) verwendet werden. Beim unüberwachten Lernen kann insbesondere ein sogenannter Deep Autoencoder verwendet werden.
Die Güte des Scanmusters bzw. der zu scannenden Teilbereiche 10-15 der Probe 1, die von dem maschinellen Lernsystem 30 bestimmt werden, kann z.B. auch die Rekonstruktionsqualität, d.h. die Qualität des rekonstruierten Gesamtbilds 40, umfassen. Beispielsweise wird das rekonstruierte Gesamtbild 40 der Probe 1 von einem Menschen angeschaut bzw. analysiert, ob es eine gewünschte Auflösung der Elemente 5-8 der Probe 1 aufweist und/oder ob es frei von Rekonstruktionsartefakten ist. Alternativ oder zusätzlich kann, wenn das rekonstruierte Gesamtbild 40 zum Verfolgen des Orts von Elementen 5-8 der Probe 1 über die Zeit verwendet wird, geprüft werden, ob das Gesamtbild 40 eine derart hohe Qualität bzw. Auflösung aufweist, dass die Verfolgung des Orts der Elemente 5-8 ohne weiteres möglich ist.
Das Gesamtbild 40 kann auch abhängig davon gescannt und/oder rekonstruiert werden, ob bzw. wie es danach manuell oder automatisiert weiterverarbeitet bzw. nachverarbeitet wird. Wenn die Nachverarbeitung bestimmte Bedingungen an das Gesamtbild 40 stellt, z.B. eine bestimmte Auflösung (in zeitlicher und/oder räumlicher Hinsicht) benötigt, kann das maschinelle Lernsystem die zu scannenden Teilbereiche entsprechend bestimmen und/oder das Gesamtbild entsprechend rekonstruieren.
U.a. folgende Informationen können in das maschinelle Lernsystem 30 zum Trainieren des maschinellen Lernsystem und/oder zum Bestimmen der zu scannenden Teilbereiche und/oder zum Rekonstruieren des Gesamtbilds der Probe aus den gescannten Teilbereichen eingegeben werden, entweder manuell von einem Menschen oder automatisiert von weiteren Vorrichtungen:

- Bauform, Gerätespezifikation, technische Möglichkeiten des verwendeten Rastermikroskops, beispielsweise die Aufnahmegeschwindigkeit eines Scanmusters abhängig von den Hardwarekomponenten des Rastermikroskops (bei Laser-Scanning-Mikroskopen sind Sinusbewegungen üblicherweise besonders schnell ausführbar).
- Informationen über die Probe 1, z.B. ob die Elemente 5-8 der Probe 1 regelmäßig oder unregelmäßig angeordnet sind, ob die Probe 1 einen bestimmten biologischen Zelltyp aufweist (dann kann ein Scanmuster mit der typischen Dichte der Probe 1 gewählt werden, das der Position und Größe der entsprechenden Zellen entspricht) und/oder Informationen über ortsabhängige/lokale Muster der Probe 1 (hierdurch kann Zeit beim Scannen der Probe 1 gespart werden sowie der Hintergrund der Probe 1 besonders gut unterdrückt werden).

- Verwendungszweck der Probe 1, z.B. ob das Gesamtbild 40 der Probe 1 zum Navigieren und/oder Orientieren verwendet wird (dann kann ein schnelles detailarmes Gesamtbild 40 bevorzugt werden), ob Elemente 5-8 der Probe 1 über die Zeit verfolgt und/oder gezählt bzw. beobachtet werden sollen (dann können Gesamtbilder 40 mit geringen Details der Elemente 5-8 bevorzugt werden), ob nur bestimmte Bereiche der Probe 1 interessant sind, etc.

Das Scanmuster bzw. die zu scannenden Teilbereiche 10-15 der Probe 1, die von dem maschinellen Lernsystem 30 bestimmt werden, können u.a. regulär (z.B. Sinusform, Punktform, Streifenform, Schleifenform), stochastisch (z.B. Punkte, Streifen, Trajektorien) und/oder adaptiv (z.B. Suchen und Verfeinern, wobei basierend auf den Daten 25 der bereits gescannten Teilbereiche 10-15 der Probe 1 und/oder aus dem bereits rekonstruierten Teil des Gesamtbilds 40 der Probe 1 die weiter zu scannenden Teilbereiche 10-15 bestimmt werden) sein.
Aus den Daten 25, die das Rastermikroskop von bzw. aus den gescannten Teilbereichen 10-15 der Probe 1 empfängt, wird das Gesamtbild 40 der Probe 1 mittels eines maschinellen Lernsystems 30 rekonstruiert. Das Gesamtbild 40 der Probe 1 entspricht dem Bild, das das Rastermikroskop empfangen bzw. erzeugen würde, wenn die Probe 1 komplett bzw. im Wesentlichen zu 100% gescannt wird.
Das maschinelle Lernsystem 30 zum Rekonstruieren des Gesamtbilds 40 der Probe 1 kann dasselbe maschinelle Lernsystem 30 sein, das zum Bestimmen der zu scannenden Teilbereiche 10-15 der Probe 1 verwendet wurde.
Das maschinelle Lernsystem 30 kann zum Rekonstruieren des Gesamtbilds 40 der Probe 1 mittels überwachtem Lernen, unüberwachtem Lernen und/oder Reinforcement Learning trainiert werden bzw. sein.
Beim Rekonstruieren des Gesamtbilds 40 mittels des maschinellen Lernsystems 30 können ein Übersichtsbild der Probe 1 und/oder Informationen über die Struktur bzw. das Muster der Probe 1 in das maschinelle Lernsystem 30 eingegeben werden.
Beim überwachten Lernen zum verbesserten Rekonstruieren des Gesamtbilds 40 der Probe 1 aus gescannten Teilbereichen 10-15 der Probe 1 werden Trainingsdaten in Form von Daten 25 von gescannten Teilbereichen 10-15 der Probe 1 in das maschinelle Lernsystem 30 eingegeben. Die gescannten Teilbereiche 10-15 können simulierte Daten 25 sein, die auf Grundlage eines nicht-rekonstruierten Gesamtbilds 40 erzeugt werden, oder echte Aufnahmedaten eines Rastermikroskops sein. Zudem wird ein vollständiges Bild bzw. ein Gesamtbild 40 in das maschinelle Lernsystem 30 eingegeben. Das maschinelle Lernsystem 30 lernt anhand der Trainingsdaten, wie aus den Daten 25 der Teilbereiche 10-15 der Probe 1 ein möglichst optimales Gesamtbild 40 der Probe 1 rekonstruiert werden kann, da das nicht-rekonstruierte Gesamtbild 40 als Ziel bzw. Ideal ebenfalls in das maschinelle Lernsystem 30 eingegeben wird. Ein möglichst optimales Gesamtbild 40 der Probe 1 weist keine Rekonstruktionsartefakte auf, d.h. keine rekonstruierten Elemente bzw. Teilelemente der Probe 1 an Stellen, an denen nicht tatsächlich ein Element der Probe 1 vorhanden ist, weist eine möglichst hohe Auflösung auf und entspricht im Wesentlichen einem Gesamtbild 40 der Probe 1, das durch vollständigen Scan der Probe erstellt wird.
Die Modelle zum Rekonstruieren des Gesamtbilds 40, die von dem maschinellen Lernsystem 30 verwendet werden, können generisch sein (d.h. auf vermischten Daten 25 von Teilbereichen 10-15 trainiert werden bzw. sein) oder auf speziellen Daten 25 trainiert sein bzw. werden, z.B. auf konkreten Proben 1 und/oder Probenarten und/oder Mikroskoptypen und/oder Verwendungszwecken des Gesamtbilds 40 etc.
Die beim Trainieren des maschinellen Lernsystem 30 zur verbesserten Rekonstruktion verwendeten Verfahren können insbesondere klassische Verfahren, wie z.B. Dictionary-Learning, Hauptkomponentenanalyse (PCA), und/oder Deep-Learning-Verfahren, wie z.B. Bild-auf-Bild-Netzwerke, bei denen die Daten 25 der gescannten Teilbereiche 10-15 direkt auf das rekonstruierte Gesamtbild 40 abgebildet werden, oder Decoder Netzwerke für ein eindimensionales Signal, welches als Eingabe die Daten 25 der gescannten Teilbereiche 10-15 entlang der Scannertrajektorie bekommt und das eindimensionale Signal auf das nicht-rekonstruierte Gesamtbild 40 abbildet, sein.
Möglich ist, dass das maschinelle Lernsystem 30 das Gesamtbild 40 direkt rekonstruiert, oder dass Teilregionen des Gesamtbilds 40 unabhängig voneinander rekonstruiert werden und anschließend das Gesamtbild 40 aus den Teilregionen zusammengesetzt wird. Dies erlaubt eine Parallelisierung der Rekonstruktion des Gesamtbilds 40.
Möglich ist auch, dass die Optimierung des Scanmusters, d.h. welche Teilbereiche 10-15 der Probe 1 in welche Reihenfolge diese gescannt werden, nicht unabhängig von der Rekonstruktion des Gesamtbilds 40 aus den gescannten Teilbereichen 10-15 durchgeführt wird, sondern dies in einem Vorgang, d.h. jeweils voneinander abhängig, durchgeführt wird. Dies bedeutet, dass ein maschinelles Lernsystem 30 in einem Vorgang bzw. Prozess gleichzeitig darauf trainiert ist bzw. wird, die Teilbereiche 10-15, die gescannt werden, möglichst effizient zu bestimmen und die Rekonstruktion des Gesamtbilds 40 aus den gescannten Teilbereichen 10-15 möglichst effizient durchzuführen. Die Bestimmung des Scanmusters wird hierbei durch die Leistungsfähigkeit bzw. Qualität der Rekonstruktion des Gesamtbilds 40 beeinflusst wird.
Die Optimierung der Bestimmung des Scanmusters hängt somit von der Rekonstruktion des Gesamtbilds 40 aus den gescannten Teilbereichen 10-15 der Probe 1 ab und die Optimierung der Rekonstruktion des Gesamtbilds 40 hängt von dem Bestimmen des Scanmusters ab.
Hierbei können alle drei zuvor genannten Arten des Trainings des maschinellen Lernsystems 30 eingesetzt werden (überwachtes Lernen, unüberwachtes Lernen, bestärkendes Lernen).
Insbesondere kann das maschinelle Lernsystem 30 beim gleichzeitigen Optimieren der Teilbereiche 10-15 und der Rekonstruktion des Gesamtbilds 40 trainiert werden, indem lediglich jeweils nicht-rekonstruierte Gesamtbilder 40 und ein zu optimierendes Gütemaß eingegeben werden und das maschinelle Lernsystem 30 das optimale Scanmuster unter Berücksichtigung der Rekonstruktion des Gesamtbilds 40 und umgekehrt bestimmt. Hierdurch wird das Ergebnis des maschinellen Lernsystems 30 gegenüber separaten Lernprozessen bzw. separaten Optimierungen, einmal für das Bestimmen der Teilbereiche 10-15 und einmal für die Rekonstruktion des Gesamtbilds 40 der Probe 1 aus den gescannten Teilbereichen 10-15, verbessert. Dies bedeutet insbesondere, dass gegenüber der voneinander unabhängigen Bestimmen der Teilbereiche 10-15 der Probe 1 und des Rekonstruieren des Gesamtbilds 40 bei einem gemeinsamen Bestimmen der Teilbereiche 10-15 und der Rekonstruktion des Gesamtbilds 40 z.B. weniger Scanzeit benötigt wird, eine geringe Fläche gescannt werden muss, eine geringere Strahlenbelastung der Probe vorhanden ist und/oder ein exakteres Gesamtbild 40 der Probe erstellt werden kann.
Das maschinelle Lernsystem 30 kann z.B. auf einem Computer softwaremäßig implementiert sein bzw. werden. Insbesondere kann das maschinelle Lernsystem 30 auf einer Grafikkarte ausgeführt werden bzw. implementiert sein.
3-6 zeigen verschiedene Scanmuster bzw. Teilbereiche 10-15 der Probe 1, die von dem Rastermikroskop gescannt werden, wobei die Scanmuster bzw. Teilbereiche 10-15 von dem maschinellen Lernsystem 30 bestimmt bzw. berechnet wurden.
3 zeigt ein erstes Scanmuster der Probe 1 aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens. Bei diesem Scanmuster wird nur ein Teilbereich 10-15 der Probe 1 bzw. des Trägers gescannt. Die Teilbereiche 10-15 sind zusammenhängend. Die Probe 1 wird in miteinander verbundenen zueinander beabstandeten Linien abgefahren. Durch das maschinelle Lernsystem 30 wird beispielsweise ein solches Scanmuster bestimmt.
4 zeigt ein zweites Scanmuster der Probe 1 aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens. Die schwarzen Vierecke zeigen die Teilbereiche 10-15 der Probe 1, die vom maschinellen Lernsystem 30 bestimmt wurden, von dem Rastermikroskop gescannt bzw. abgetastet zu werden. Durch das maschinelle Lernsystem 30 wird beispielsweise ein solches Scanmuster bestimmt.
5 zeigt ein drittes Scanmuster der Probe 1 aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens. In 4 wird ein adaptives Scanmuster gezeigt, wobei das adaptive Scanmuster linienförmig ist und bei einem Wechsel vom Hintergrund zu einem Element 5-8, das Element 5-8, insbesondere dessen Ränder, näher untersucht, indem die Linie des Rastermusters bzw. Scanmusters mehrfach über den Rand des Elements 5-8 hin- und herfährt. Durch das trainierte maschinelle Lernsystem 30 wird beispielsweise ein solches Scanmuster bestimmt.
6 zeigt ein viertes Scanmuster der Probe 1 aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens. Das maschinelle Lernsystem 30 hat bestimmt, dass es am effizientesten ist (hinsichtlich des Scanvorgangs und/oder hinsichtlich der Rekonstruktion des Gesamtbilds 40 der Probe 1), die Probe 1 bzw. den Träger mit der Probe 1 in sinusförmigen Linien als Scanmuster abzufahren.
8 zeigt eine schematische Darstellung einer weiteren Ausführungsform des erfindungsgemäßen Systems 60 zum Erfassen von Teilbereichen 50-55 mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops.
Das System 60 umfasst ein trainiertes maschinelles Lernsystem 30, das zum Bestimmen der Teilbereiche 50-55 der Probe 1, die erfasst werden, ausgebildet ist. Zudem ist es möglich, dass das System 60 zusätzlich aus den Daten 65 der erfassten Teilbereiche 50-55 ein Gesamtbild 40 der Probe 1 rekonstruiert.
Die Teilbereiche 50-55 der Probe 1, die erfasst werden, d.h. das Erfassungsmuster, werden mittels eines maschinellen Lernsystems 30 bestimmt. Auch die Reihenfolge der Teilbereiche 50-55, die erfasst werden, wird von dem maschinellen Lernsystem 30 bestimmt.
Die Teilbereiche 50-55 werden mittels eines Weitfeldmikroskops erfasst. Ein Weitfeldmikroskop rastert nicht bzw. scannt nicht einzelne Punkte der Probe 1 (wie ein Rastermikroskop) ab. Bei dem Weitfeldmikroskop werden Teilbereiche 50-55 jeweils beleuchtet bzw. bestrahlt und der jeweilige Teilbereich 50-55 von dem Weitfeldmikroskop erfasst. Typischerweise wird jedoch nicht die Probe 1 als Ganze beleuchtet bzw. bestrahlt, sondern nur Teilbereiche 50-55 der Probe 1.
Das Verfahren zum Erfassen von Teilbereichen 50-55 der Probe 1 mittels eines Weitfeldmikroskops kann ähnlich wie das oben beschriebene Verfahren zum Erfassen von Teilbereichen 50-55 der Probe 1 mittels eines Rastermikroskops ausgestaltet sein. Der Unterschied ist, dass kein Scannen von Teilbereichen 50-55 stattfindet, sondern mittels eines Weitfeldmikroskops Teilbereiche 50-55 der Probe 1 erfasst bzw. aufgenommen werden.
Es ist auch möglich, dass ein Gesamtbild 40 der Probe 1 in niedriger Auflösung erfasst wird, anschließend von dem maschinellen Lernsystem 30 bestimmte Teilbereiche 50-55 mit hoher Auflösung erfasst werden und schließlich ein hochauflösendes Gesamtbild 40 der Probe 1 aus den erfassten Teilbereichen 50-55 und dem Gesamtbild 40 mittels des maschinellen Lernsystems 30 rekonstruiert wird. Die Rekonstruktion kann mittels des maschinellen Lernsystems 30 durchgeführt werden.
9 zeigt ein fünftes Erfassungsmuster der Probe 1 aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens.
Hierbei werden nur Teilbereiche 50-55 der Probe 1 mittels des Weitfeldmikroskops erfasst. Das maschinelle Lernsystem 30 bestimmt, welche Teilbereiche 50-55 der Probe 1 und in welcher Reihenfolge diese erfasst werden. Aus den erfassten Teilbereichen 50-55 der Probe 1 wird ein Gesamtbild 40 der Probe 1 rekonstruiert. Die Rekonstruktion kann mittels des maschinellen Lernsystems 30 durchgeführt werden.
10 zeigt ein sechstes Erfassungsmuster der Probe 1 aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens.
Hier wird zuerst ein schnelles Übersichtsbild (das beispielsweise mittels eines Rastermikroskops, insbesondere eines Laser-Scanning-Mikroskops, oder mittels einer Übersichtskamera oder mittels eines Weitfeldmikroskops aufgenommen wurde) in das maschinelle Lernsystem 30 eingegeben. Das Übersichtsbild kann einen niedrigen Detailgrad bzw. eine niedrige Auflösung aufweisen. Auf Basis des Übersichtsbilds bestimmt das maschinelle Lernsystem 30 die zu erfassenden Teilbereiche 50-55 der Probe 1. Anschließend werden die bestimmten Teilbereiche 50-55 der Probe 1 erfasst.
Die vom Mikroskop erfassten Teilbereiche 50-55 weisen dann jeweils eine höhere Auflösung (als das Übersichtsbild) auf. Alternativ oder zusätzlich kann das Übersichtsbild mit einem anderen Farbstoff aufgenommen sein als die später erfassten Teilbereiche 50-55. Die erfassten Teilbereiche 50-55 bilden das Gesamtbild 40, welches nicht zwingend rekonstruiert wurde, sondern im einfachsten Fall nur aus den erfassten Teilbereichen 50-55 zusammengesetzt wird. In 10 werden alle relevanten Informationen von Elementen der Probe 1 durch die vom Mikroskop erfassten Teilbereiche 50-55 erfasst. Nur die vom maschinellen Lernsystem 30 bestimmten relevanten Teilbereiche 50-55 der Probe 1 werden mit hohem Detailgrad erfasst.
11 zeigt ein siebtes Erfassungsmuster der Probe 1 aus 1 gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens.
Der nächste zu erfassende Teilbereich 50-55 der Probe 1 mittels des Weitfeldmikroskops kann von dem maschinellen Lernsystem 30 auf Grundlage der erfassten Informationen des unmittelbar zuvor aufgenommen Teilbereichs 50-55 oder der unmittelbar zuvor aufgenommenen Teilbereiche 50-55 bestimmt werden. Dies ist besonders geeignet für ein bestärkendes Lernverfahren, welches aus bereits durchgeführten Erfassungen von Teilbereichen 50-55 und daraus resultierenden Ergebnissen (erfasste Teilbereiche 50-55) den nächsten zu erfassenden Teilbereich 50-55 bestimmt.
Beispielsweise kann hierbei ein Rand eines Elements der Probe 1 durch die erfassten Teilbereiche 50-55 erkannt bzw. abgetastet werden. Die Pfeile in 10 zeigen die Reihenfolge der Erfassung der Teilbereiche 50-55 durch das Weitfeldmikroskop an. Die Bereiche bzw. der Rand des Elements der Probe 1 zwischen den erfassten Teilbereichen 50-55 kann mittels des maschinellen Lernsystems 30 rekonstruiert werden. Es ist auch möglich, dass aus den erfassten Teilbereichen 50-55 das Gesamtbild 40 der Probe 1 rekonstruiert wird.
Es ist möglich, dass zunächst Teilregionen des Gesamtbilds 40 im Wesentlichen unabhängig voneinander aus den Daten 65 der erfassten Teilbereiche 50-55 der Probe 1 rekonstruiert werden, und anschließend die Teilregionen zu einem rekonstruierten Gesamtbild 40 zusammengesetzt werden.
Das System bzw. das Verfahren kann derart ausgebildet sein, dass beim Rekonstruieren des Gesamtbilds neben den erfassten Teilbereichen auch das Übersichtsbild berücksichtigt wird. Die nicht erfassten Teilbereiche der Probe können somit auf Grundlage der erfassten Teilbereiche und auf Grundlage des Übersichtsbilds abgeschätzt werden.
Es ist möglich, dass das Verfahren iterativ durchgeführt. Hierbei kann das zuvor rekonstruierte Gesamtbild als Übersichtsbild für einen erneuten Durchlauf des Verfahrens verwendet werden. Dies kann auch wiederholt werden. Dies bedeutet, dass das Verfahren mehr als zweimal durchlaufen wird. Das System kann somit auch dazu ausgebildet sein, das Verfahren mehrmals iterativ durchzuführen, wobei das rekonstruierte Gesamtbild in einem Durchlauf des Verfahrens als Übersichtsbild im nächsten Durchlauf des Verfahrens verwendet bzw. eingegeben wird.
Bezugszeichenliste

1,1': Probe
5-8, 5'-8': Elemente
10-15, 10': gescannte Teilbereiche der Probe
20: System zum Scannen von Teilbereichen einer Probe mittels eines Rastermikroskops
25: Daten der gescannten Teilbereiche
30: maschinelles Lernsystem
40: rekonstruiertes Gesamtbild
50-55: erfasste Teilbereiche der Probe
60: System zum Erfassen von Teilbereichen einer Probe mittels eines Weitfeldmikroskops
65: Daten der erfassten Teilbereiche

Claims

Verfahren zum Scannen von Teilbereichen (10-15) einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche (10-15) der Probe und der Reihenfolge des Scannens der Teilbereiche (10-15) der Probe, mittels eines maschinellen Lernsystems (30), wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, trainiert ist; - Scannen der bestimmten Teilbereiche (10-15) der Probe mittels des Rastermikroskops; und - Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe, wobei nicht-gescannte Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe abgeschätzt werden.
Verfahren nach Anspruch 1, wobei das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems (30) mittels bestärkendem Lernen umfasst: Eingeben eines oder mehrere Gütemaße, beispielsweise des Gesamtzeitaufwands für das Scannen der Teilbereiche (10-15) und/oder der Gesamtstrahlenbelastung der Probe beim Scannen der Teilbereiche (10-15) der Probe und/oder der Qualität des rekonstruierten Gesamtbilds (40) der Probe, in das maschinelle Lernsystem (30); und Variieren der Teilbereiche (10-15) der Probe, die gescannt werden, und/oder der Reihenfolge des Scannens der Teilbereiche (10-15) der Probe zum Erreichen eines möglichst optimalen Gütemaßes oder möglichst optimaler Gütemaße.
Verfahren nach Anspruch 1 oder 2, ferner folgenden Schritt umfassend: Eingeben von Informationen über die Probe, z.B. die Anzahl der Elemente (5-8) der Probe, die Größe der Elemente (5-8) der Probe und/oder die Art der Probe, und/oder über das Rastermikroskop und/oder über den Nutzungszweck des rekonstruierten Gesamtbilds (40) in das maschinelle Lernsystem (30) zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei vor dem Scannen der Teilbereiche (10-15) der Probe ein Übersichtsbild der Probe in das maschinelle Lernsystem (30) zum verbesserten Bestimmen der Teilbereiche (10-15), die von dem Rastermikroskop gescannt werden, eingegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems (30) mittels unüberwachtem Lernen umfasst: Eingeben von nicht-rekonstruierten Gesamtbildern (40) von Proben in das maschinelle Lernsystem (30); und Bestimmen der Teilbereiche (10-15) der Probe, die eine besonders hohe Informationsdichte aufweisen, auf Grundlage des jeweiligen nicht-rekonstruierten Gesamtbilds (40) mittels eines Autoencoders zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden.
Verfahren zum Scannen von Teilbereichen (10-15) einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe, insbesondere nach einem der vorhergehenden Ansprüche, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche (10-15) der Probe und der Reihenfolge des Scannens der Teilbereiche (10-15) der Probe; - Scannen der Teilbereiche (10-15) der Probe mittels des Rastermikroskops; - Eingeben der Daten (25) der gescannten Teilbereiche (10-15) in ein maschinelles Lernsystem (30); und - Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe mittels des maschinellen Lernsystems (30), wobei nicht-gescannte Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe durch das maschinelle Lernsystem (30) abgeschätzt werden, wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe trainiert ist.
Verfahren nach Anspruch 6, wobei das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems (30) zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe mittels überwachtem Lernen umfasst: Eingeben von Daten (25) von gescannten Teilbereichen (10-15), insbesondere simulierten gescannten Teilbereichen (10-15), der Probe als Trainingsdaten in das maschinelle Lernsystem (30); und Vergleichen des mittels des maschinellen Lernsystems (30) aus den Trainingsdaten rekonstruierten Gesamtbilds (40) der Probe mit einem nicht-rekonstruierten Gesamtbild (40) der Probe zum Trainieren des maschinellen Lernsystems (30) zum verbesserten Rekonstruieren des Gesamtbilds (40) aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe.
Verfahren nach Anspruch 6 oder 7, wobei zunächst Teilregionen des Gesamtbilds (40) im Wesentlichen unabhängig voneinander aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe rekonstruiert werden, und anschließend die Teilbereiche (10-15) zu einem rekonstruierten Gesamtbild (40) zusammengesetzt werden.
Verfahren nach einem der vorhergehenden Ansprüche, insbesondere nach einem der Ansprüche 6-8, wobei das maschinelle Lernsystem (30) in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, und zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) aus den gescannten Teilbereichen (10-15) der Probe trainiert ist oder wird.
Computerprogrammprodukt, das von einem Prozessor eines Computers lesbare Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Computerlesbares Medium, auf dem das Computerprogrammprodukt nach Anspruch 10 gespeichert ist.
System (20) zum Scannen von Teilbereichen (10-15) einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe, wobei das System (20) zum Abschätzen nicht-gescannter Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe ausgebildet ist, wobei das System (20) ein maschinelles Lernsystem (30) umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, insbesondere der Teilbereiche (10-15) der Probe und der Reihenfolge des Scannens der Teilbereiche (10-15) der Probe, mittels des maschinellen Lernsystems (30).
System (20) zum Scannen von Teilbereichen (10-15) einer Probe mittels eines Rastermikroskops, insbesondere mittels eines Laser-Scanning-Mikroskops oder mittels eines Rasterelektronenmikroskops, und zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25) der gescannten Teilbereichen (10-15) der Probe, insbesondere nach Anspruch 12, wobei das System (20) ein maschinelles Lernsystem (30) umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe mittels des maschinellen Lernsystems (30), wobei nicht-gescannte Teilbereiche (10-15) der Probe mittels der Daten (25) der gescannten Teilbereiche (10-15) der Probe durch das maschinelle Lernsystem (30) abgeschätzt werden.
System (20) nach Anspruch 12 oder 13, wobei das maschinelle Lernsystem (30) in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche (10-15) der Probe, die von dem Rastermikroskop gescannt werden, und zum verbesserten Rekonstruieren des Gesamtbilds (40) der Probe aus den gescannten Teilbereichen (10-15) der Probe trainiert ist.
System (20) nach einem der Ansprüche 12-14, wobei das System (20) ausgebildet ist, zunächst Teilregionen des Gesamtbilds (40) im Wesentlichen unabhängig voneinander aus den Daten (25) der gescannten Teilbereiche (10-15) der Probe zu rekonstruieren, und anschließend die Teilbereiche (10-15) zu einem rekonstruierten Gesamtbild (40) zusammenzusetzen.
Verfahren zum Erfassen von Teilbereichen (10-15, 50-55) einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeld-Mikroskops, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche (10-15, 50-55) der Probe und der Reihenfolge des Erfassens der Teilbereiche (10-15, 50-55) der Probe, mittels eines maschinellen Lernsystems (30), wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, trainiert ist; und - Erfassen der bestimmten Teilbereiche (10-15, 50-55) der Probe mittels des Mikroskops.
Verfahren nach Anspruch 16, wobei das Verfahren ferner folgenden Schritt umfasst:-Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe, wobei nicht-erfasste Teilbereiche (10-15, 50-55) der Probe mittels der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe abgeschätzt werden.
Verfahren nach Anspruch 16 oder 17, wobei das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems (30) mittels bestärkendem Lernen umfasst: Eingeben eines oder mehrere Gütemaße, beispielsweise des Gesamtzeitaufwands für das Erfassen der Teilbereiche (10-15, 50-55) und/oder der Gesamtstrahlenbelastung der Probe beim Erfassen der Teilbereiche (10-15, 50-55) der Probe und/oder der Qualität des rekonstruierten Gesamtbilds (40) der Probe, in das maschinelle Lernsystem (30); und Variieren der Teilbereiche (10-15, 50-55) der Probe, die erfasst werden, und/oder der Reihenfolge des Erfassens der Teilbereiche (10-15, 50-55) der Probe zum Erreichen eines möglichst optimalen Gütemaßes oder möglichst optimaler Gütemaße.
Verfahren nach einem der Ansprüche 16-18, wobei vor dem Erfassen der Teilbereiche (10-15, 50-55) der Probe ein Übersichtsbild der Probe in das maschinelle Lernsystem (30) zum verbesserten Bestimmen der Teilbereiche (10-15, 50-55), die von dem Mikroskop erfasst werden, eingegeben wird.
Verfahren nach Anspruch 19, wobei das Verfahren ferner folgenden Schritt umfasst: Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe und dem Übersichtsbild.
Verfahren nach Anspruch 19 oder 20, wobei das Übersichtsbild ein rekonstruiertes Gesamtbild der Probe umfasst, insbesondere ein rekonstruiertes Gesamtbild der Probe ist.
Verfahren nach einem der Ansprüche 16-21, wobei das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems (30) mittels unüberwachtem Lernen umfasst: Eingeben von nicht-rekonstruierten Gesamtbildern (40) von Proben in das maschinelle Lernsystem (30); und Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die eine besonders hohe Informationsdichte aufweisen, auf Grundlage des jeweiligen nicht-rekonstruierten Gesamtbilds (40) mittels eines Autoencoders zum verbesserten Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden.
Verfahren zum Erfassen von Teilbereichen (10-15, 50-55) einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, und zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe, insbesondere nach einem der Ansprüche 16-22, wobei das Verfahren folgende Schritte umfasst: - Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche (10-15, 50-55) der Probe und der Reihenfolge des Erfassens der Teilbereiche (10-15, 50-55) der Probe; - Erfassen der Teilbereiche (10-15, 50-55) der Probe mittels des Mikroskops; - Eingeben der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) in ein maschinelles Lernsystem (30); und - Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe mittels des maschinellen Lernsystems (30), wobei nicht-erfasste Teilbereiche (10-15, 50-55) der Probe mittels der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe durch das maschinelle Lernsystem (30) abgeschätzt werden, wobei das maschinelle Lernsystem (30) mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe trainiert ist.
Verfahren nach Anspruch 23, wobei das Verfahren ferner folgende Schritte zum Trainieren des maschinellen Lernsystems (30) zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe mittels überwachtem Lernen umfasst: Eingeben von Daten (25, 65) von erfassten Teilbereichen (10-15, 50-55), insbesondere simulierten erfassten Teilbereichen (10-15, 50-55), der Probe als Trainingsdaten in das maschinelle Lernsystem (30); und Vergleichen des mittels des maschinellen Lernsystems (30) aus den Trainingsdaten rekonstruierten Gesamtbilds (40) der Probe mit einem nicht-rekonstruierten Gesamtbild (40) der Probe zum Trainieren des maschinellen Lernsystems (30) zum verbesserten Rekonstruieren des Gesamtbilds (40) aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe.
Verfahren nach einem der Ansprüche 16-24, insbesondere nach Anspruch 23 oder 24, wobei das maschinelle Lernsystem (30) in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, und zum verbesserten Rekonstruieren des rekonstruierten Gesamtbilds (40) aus den erfassten Teilbereichen (10-15, 50-55) der Probe trainiert ist oder wird.
Computerprogrammprodukt, das von einem Prozessor eines Computers lesbare Instruktionen aufweist, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, das Verfahren nach einem der Ansprüche 16-25 auszuführen.
Computerlesbares Medium, auf dem das Computerprogrammprodukt nach Anspruch 26 gespeichert ist.
System (20, 60) zum Erfassen von Teilbereichen (10-15, 50-55) einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, wobei das System (20, 60) ein maschinelles Lernsystem (30) umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, insbesondere der Teilbereiche (10-15, 50-55) der Probe und der Reihenfolge des Erfassens der Teilbereiche (10-15, 50-55) der Probe, mittels des maschinellen Lernsystems (30).
System (20, 60) nach Anspruch 28, wobei das System (20, 60) zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25, 65) der erfassten Teilbereichen (10-15, 50-55) der Probe ausgebildet ist, wobei das System (20, 60) zum Abschätzen nicht-erfasster Teilbereiche (10-15, 50-55) der Probe mittels der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe ausgebildet ist.
System (20, 60) zum Erfassen von Teilbereichen (10-15, 50-55) einer Probe mittels eines Mikroskops, insbesondere mittels eines Weitfeldmikroskops, und zum Rekonstruieren eines Gesamtbilds (40) der Probe aus Daten (25, 65) der erfassten Teilbereichen (10-15, 50-55) der Probe, insbesondere nach Anspruch 28 oder Anspruch 29, wobei das System (20, 60) ein maschinelles Lernsystem (30) umfasst, das mittels überwachtem Lernen, unüberwachtem Lernen, insbesondere auf Grundlage eines Autoencoders, und/oder bestärkendem Lernen darauf trainiert ist, folgendes auszuführen: - Rekonstruieren des Gesamtbilds (40) der Probe aus den Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe mittels des maschinellen Lernsystems (30), wobei nicht-erfasste Teilbereiche (10-15, 50-55) der Probe mittels der Daten (25, 65) der erfassten Teilbereiche (10-15, 50-55) der Probe durch das maschinelle Lernsystem (30) abgeschätzt werden.
System (20, 60) nach einem der Ansprüche 28-30, wobei das maschinelle Lernsystem (30) in einem Optimierungsvorgang zugleich zum verbesserten Bestimmen der Teilbereiche (10-15, 50-55) der Probe, die von dem Mikroskop erfasst werden, und zum verbesserten Rekonstruieren des Gesamtbilds (40) der Probe aus den erfassten Teilbereichen (10-15, 50-55) der Probe trainiert ist.