-
Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Darstellen mindestens eines digitalen mikroskopischen Bildes, wobei das mikroskopische Bild eine sehr hohe Auflösung haben kann. Im Weiteren betrifft die Erfindung ein Mikroskop mit einer Bildaufnahmeeinheit, einer Bildverarbeitungseinheit und einer Bildanzeigeeinheit, wobei das Mikroskop die Aufnahme von mikroskopischen Bildern mit einer sehr hohen Auflösung erlaubt. Das Mikroskop ist beispielsweise durch eine teilchenoptische mikroskopische Vorrichtung in Form eines Rasterelektronenmikroskops oder eines Ionenmikroskops gebildet. Einen weiteren Gegenstand der Erfindung bildet ein Computerprogrammprodukt, welches eine Sequenz von Steuerbefehlen umfasst.
-
Die
US 2014/0225902 A1 zeigt einen Bildpyramidenprozessor und ein Verfahren zur Bildverarbeitung mit mehreren Auflösungen. Der Bildpyramidenprozessor umfasst einen Ebenenmultiplexer, welcher dazu konfiguriert ist, ein einzelnes Verarbeitungselement zum Verarbeiten mehrerer Ebenen einer Bildpyramide in einer einzelnen Arbeitseinheit zu verwenden. Der Bildpyramidenprozessor umfasst zudem eine Pufferpyramide mit einem Speicher, welcher zum Speichern der jeweiligen Zwischenergebnisse der einzelnen Arbeitseinheit verwendet werden kann.
-
Aus der
WO 2019/091570 A1 ist eine Vorrichtung zum zeitaufgelösten Mikroskopieren einer Probe bekannt, welche einen Probenhalter, ein Mikroskop mit einer Datenaufnahmeeinheit zum Aufnehmen von Daten aus einem von dem Mikroskop definierten Aufnahmebereich, eine Einstelleinheit zum veränderlichen Einstellen einer Relativlage zwischen dem Aufnahmebereich und dem Probenhalter und eine Steuereinrichtung zum Ansteuern der Einstelleinheit und der Datenaufnahmeeinheit umfasst. Zum Aufnehmen eines Referenzdatensatzes werden wiederholt abwechselnd Daten aufgenommen und die Relativlage zwischen dem Aufnahmebereich und dem Probenhalter verändert. Ein entsprechender Verschiebungsvektor kann iterativ bestimmt werden, was in verschiedenen Auflösungsstufen einer Bildpyramide vorgenommen werden kann.
-
Die
EP 2 362 344 A1 lehrt eine Informationsverarbeitungsvorrichtung, welche eine Anzeigevorrichtung veranlasst, ein erstes Bild eines Beobachtungszielobjektes in einem Anzeigebereich anzuzeigen. In Reaktion auf eine Anforderung zum Ändern des Anzeigebereiches ändert die Informationsverarbeitungsvorrichtung den Anzeigebereich mit einer ersten Geschwindigkeit und bewirkt, dass der Anzeigebereich ein zweites Bild anzeigt. In Reaktion auf eine Aufforderung, die Änderung des Anzeigebereiches zu beenden, ändert die Informationsverarbeitungsvorrichtung den Anzeigebereich mit einer Verzögerungsgeschwindigkeit und veranlasst den Anzeigebereich, ein drittes Bild anzuzeigen. Hierfür wird eine Bildpyramidenstruktur verwendet.
-
Die
US 2004/0167806 A1 zeigt ein Verfahren zum Betrachten von virtuellen Objektträgern, bei denen es sich um große Bilder mit Dateigrößen von bis zu 4 GB handelt und die vor einer Komprimierung bis zu 100 GB Rohbilddaten enthalten. Ein Serversystem ruft einen komprimierten Block von Bilddaten ab, welcher Bilddaten mit einer Auflösung nahe der angeforderten Auflösung enthält, und sendet den Datenblock an einen Client. Der Client skaliert die Bilddaten und präsentiert das Bild mit der gewünschten Auflösung.
-
Die
EP 1 784 763 B1 zeigt ein Verfahren zum Erfassen von Bilddaten von einem Lineararray-basierten Objektträger-Scanner Es wird eine Mehrzahl von Bildstreifen zu einem einzelnen zusammenhängenden Grundlinienbild kombiniert. Die Bilddaten werden in einer Bildpyramide organisiert.
-
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, zeilenweise aufgenommene hochaufgelöste mikroskopische Bilder bereits während ihrer Aufnahme mit einem verringerten Aufwand in verschiedenen Auflösungen darstellen zu können.
-
Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1, durch ein Computerprogrammprodukt gemäß dem beigefügten nebengeordneten Anspruch 10 sowie durch ein Mikroskop gemäß dem beigefügten nebengeordneten Anspruch 11.
-
Das erfindungsgemäße Verfahren dient zum Darstellen mindestens eines mikroskopischen Bildes. Das mikroskopische Bild wird bevorzugt mit einem lichtoptischen Mikroskop oder alternativ bevorzugt mit einer teilchenoptischen mikroskopischen Vorrichtung in Form eines Rasterelektronenmikroskops (REM) oder eines Ionenmikroskops aufgenommen. Das mikroskopische Bild ist bevorzugt digital und weist bevorzugt eine sehr hohe Auflösung auf. Die Auflösung ist somit eine Eigenschaft des mikroskopischen Bildes und stellt eine Bildauflösung dar. Die Auflösung des mikroskopischen Bildes kann insbesondere in Bildpunkten angegeben werden, beispielsweise durch die Anzahl der Spalten und die Anzahl der Zeilen der Bildpunkte. Somit ist die Auflösung des mikroskopischen Bildes hoch, wenn die die Anzahl der Bildpunkte groß ist. Daher weist ein betreffendes Bild eine höhere Auflösung als ein anderes Bild auf, wenn das betreffende Bild mehr Bildpunkte als das andere Bild umfasst. Entsprechend weist ein betreffendes Bild eine kleinere Auflösung als ein anderes Bild auf, wenn das betreffende Bild weniger Bildpunkte als das andere Bild umfasst. Bei der Auflösung des mikroskopischen Bildes handelt es sich nicht um die optische Auflösung des Mikroskops, welche als derjenige Abstand definiert ist, den zwei Strukturen mindestens haben müssen, um nach der optischen Abbildung noch als getrennte Bildstrukturen wahrgenommen zu werden.
-
Ein Nutzer des Mikroskops kann einen Ausschnitt des mikroskopischen Bildes auswählen, welcher dargestellt werden soll. Somit wählt der Nutzer auch eine Auflösung der Darstellung. Bevorzugt handelt es sich um mehrere mikroskopische Bilder, d. h. um eine mikroskopische Bildfolge bzw. um ein mikroskopisches Video, insbesondere um ein mikroskopisches Live-Video.
-
In einem Schritt des erfindungsgemäßen Verfahrens wird zumindest ein erstes mikroskopisches Bild einer Probe aufgenommen. Das erste mikroskopische Bild ist durch eine Matrix an Bildpunkten gebildet und wird zeilenweise aufgenommen. Es erfolgt somit eine zeilenweise Abtastung, wie sie beispielsweise bei einem Elektronenmikroskop oder einem Laser-Scanning-Mikroskop realisiert wird. Die Bildpunkte werden nacheinander ermittelt. Die Bildpunkte werden bevorzugt einzeln nacheinander ermittelt. Die Aufnahme des ersten mikroskopischen Bildes erfolgt somit bildpunktweise.
-
Erfindungsgemäß wird eine Bildpyramide aus dem ersten mikroskopischen Bild bestimmt, bereits während das erste mikroskopische Bild noch aufgenommen wird. Die Bildpyramide wird aus zumindest zwei Bildebenen mit abnehmenden Auflösungen der Bildebenen gebildet. Bei den Auflösungen der Bildebenen handelt es sich jeweils um eine Bildauflösung, wie sie oben beschrieben ist und die insbesondere in Bildpunkten angegeben wird. Da die Auflösungen der Bildebenen in der Richtung nach oben zur Spitze der Pyramide abnehmend sind, weist die Bildpyramide von unten nach oben Bildebene für Bildebene geringer werdende Anzahlen an Bildpunkten auf, sodass die oberste Bildebene die geringste Auflösung aufweist. Die Bildpyramide wird bevorzugt aus mindestens vier Bildebenen mit abnehmenden Auflösungen gebildet. Die Anzahl der Bildebenen mit abnehmenden Auflösungen ist bevorzugt so zu wählen, dass die letzte Bildebene, d. h. die oberste Bildebene eine Auflösung aufweist, welche einer Auflösung einer Anzeige zum Anzeigen des mikroskopischen Bildes gleicht bzw. nahekommt, sodass die oberste Bildebene einen zu erzielenden minimalen Zoomfaktor realisiert. Das aufzunehmende erste mikroskopische Bild bildet eine erste der Bildebenen, welche die unterste Bildebene der Bildpyramide darstellt. Ein Bestimmen von Bildpunkten einer zweiten der Bildebenen erfolgt jeweils dadurch, dass ein erstes Filter auf mehrere der zuletzt ermittelten Bildpunkte der ersten Bildebene und mehrere zu diesen Bildpunkten benachbarte Bildpunkte der ersten Bildebene angewendet wird. Bei diesen benachbarten Bildpunkten kann es sich um bereits aufgenommene und/oder um noch nicht aufgenommene Bildpunkte handeln. Durch das Anwenden des ersten Filters wird die Anzahl der Bildpunkte reduziert, sodass die jeweils folgende höhere Bildebene eine geringere Auflösung aufweist.
-
Das Bestimmen der Bildpyramide aus dem ersten mikroskopischen Bild erfolgt bereits während der Aufnahme des ersten mikroskopischen Bildes. Das Bestimmen der Bildpyramide aus dem ersten mikroskopischen Bild erfolgt bevorzugt bereits während der Aufnahme einer Zeile der Bildpunkte des ersten mikroskopischen Bildes, sodass die Bildpyramide bereits bestimmt wird, während die übrigen Bildpunkte der jeweiligen Zeile noch aufgenommen werden.
-
In Abhängigkeit davon, welche Auswahl der Nutzer für eine Anzeige des mikroskopischen Bildes getroffen hat, wird erfindungsgemäß zumindest ein Ausschnitt einer der Bildebenen der zumindest teilweise bestimmten Bildpyramide angezeigt. Dies erfolgt bevorzugt bereits während der Aufnahme des ersten mikroskopischen Bildes und während der Bestimmung der Bildpyramide, sodass das erste mikroskopische Bild noch nicht vollständig aufgenommen sein muss und die Bildpyramide noch nicht vollständig bestimmt sein muss, sondern nur den vom Nutzer gewählten Ausschnitt enthalten muss.
-
Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass das erste Filter jeweils nur auf einen kleinen Bereich des aufgenommenen bzw. noch weiter aufzunehmenden ersten mikroskopische Bildes angewendet werden muss, sodass dessen Anwendung wenig aufwändig und schnell erfolgen kann, um das erste mikroskopische Bild bzw. den bereits aufgenommenen Teil des ersten mikroskopischen Bildes entsprechend der Auswahl des Nutzers verzögerungsarm anzeigen zu können. Jedenfalls muss zum Zeitpunkt des Anzeigens des vom Nutzer gewählten Ausschnittes des ersten mikroskopischen Bildes das erste mikroskopische Bild noch nicht vollständig aufgenommen sein und die Bildpyramide noch nicht vollständig bestimmt worden sein, da bereits die teilweise bestimmte Bildpyramide zum Anzeigen verwendet werden kann. Hierdurch sind dem Nutzer ein Schwenken und ein Zoomen ermöglicht, um die Auswahl des Ausschnittes zu erleichtern.
-
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens werden, nachdem einer der Bildpunkte des zweiten Bildebene ermittelt wurde, mehrere zu diesem Bildpunkt benachbarte Bildpunkte der zweiten Bildebene jeweils durch ein Anwenden des ersten Filters auf einen der zuletzt ermittelten Bildpunkte der ersten Bildebene und zu diesem Bildpunkt benachbarte Bildpunkte bestimmt. Dies führt dazu, dass einige der zuvor bereits ermittelten Bildpunkte der zweiten Bildebene erneut ermittelt, d. h. aktualisiert werden. Dies liegt darin begründet, dass ein Bildpunkt, welcher in der ersten Bildebene gerade ermittelt wurde, durch die Wirkung des ersten Filters mehrere Bildpunkte aus einem Bereich der zweiten Bildebene beeinflusst. Zu diesem Bereich der zweiten Bildebene können auch Bildpunkte gehören, welche bereits zuvor ermittelt wurden.
-
Das erfindungsgemäße Verfahren wird bevorzugt zeilenweise durchgeführt. Daher werden bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens, nachdem eine der Zeilen der Matrix der Bildpunkte des ersten Bildes bzw. der ersten Bildebene ermittelt wurde, Bildpunkte von mehreren benachbarten der Zeilen der zweiten Bildebene durch mehrfaches Anwenden des ersten Filters bestimmt. Eine Zeile der Bildpunkte, welche in der ersten Bildebene gerade ermittelt wurde, beeinflusst durch die Wirkung des ersten Filters mehrere Zeilen der Bildpunkte der zweiten Bildebene. Zu diesen Zeilen der zweiten Bildebene können auch Zeilen gehören, deren Bildpunkte bereits zuvor ermittelt wurden.
-
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens wird das erste Filter jeweils auf die mehreren der zuletzt ermittelten Bildpunkte des ersten Bildebene und auf mehrere diese Bildpunkte umgebende noch zu ermittelnde Bildpunkte der ersten Bildebene angewendet. Die noch zu ermittelnden Bildpunkte sind jeweils mit einem Anfangswert vordefiniert. Der Anfangswert entspricht bevorzugt einem schwarzen Bildpunkt. Der Anfangswert kann aber auch einem grauen, weißen oder anderen Bildpunkt entsprechen.
-
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens wird das erste Filter jeweils auf eine die mehreren der zuletzt ermittelten Bildpunkte umfassende Submatrix der Bildpunkte der ersten Bildebene angewendet. Diese Submatrix ist bevorzugt rechteckig oder quadratisch. Diese Submatrix weist bevorzugt zwischen drei und zehn Spalten und zwischen drei und zehn Zeilen auf. Diese Submatrix weist besonders bevorzugt zwischen drei und sieben Spalten und zwischen drei und sieben Zeilen auf.
-
Die Bildpyramide wird bevorzugt aus mindestens drei der Bildebenen mit abnehmenden Auflösungen gebildet. Entsprechend umfasst das Verfahren bevorzugt einen weiteren Schritt, in welchem Bildpunkte einer dritten der Bildebenen bestimmt werden. Dieses Bestimmen erfolgt jeweils dadurch, dass ein zweites Filter auf mehrere der zuletzt bestimmten Bildpunkte der zweiten Bildebene und mehrere zu diesen Bildpunkten benachbarte Bildpunkte der zweiten Bildebene angewendet wird. Das Anwenden des zweiten Filters auf die zweite Bildebene erfolgt bevorzugt in gleicher Weise wie das Anwenden des ersten Filters auf die erste Bildebene, sodass die oben für das Anwenden des ersten Filters angegebenen bevorzugten Merkmale entsprechend auch für das Anwenden des zweiten Filters gelten.
-
Die Bildpyramide wird bevorzugt aus mehr als drei der Bildebenen mit abnehmenden Auflösungen gebildet. Entsprechend umfasst das Verfahren weiterer Schritte, in welchen Bildpunkte mindestens einer weiteren der Bildebenen bestimmt werden. Dieses Bestimmen erfolgt jeweils dadurch, dass ein weiteres Filter auf mehrere der zuletzt bestimmten Bildpunkte der jeweils zuvor ermittelten Bildebene, d. h. der jeweils tieferen Bildebene, und mehrere zu diesen Bildpunkten benachbarte Bildpunkte der jeweils zuvor ermittelten Bildebene angewendet wird. Das Anwenden des weiteren Filters auf die jeweils zuvor ermittelte Bildebene erfolgt bevorzugt in gleicher Weise wie das Anwenden des ersten Filters auf die erste Bildebene, sodass die oben für das Anwenden des ersten Filters angegebenen bevorzugten Merkmale entsprechend auch für das Anwenden des weiteren Filters gelten.
-
Das erfindungsgemäße Verfahren ist insbesondere auch für zeitveränderliche Proben geeignet. Daher wird bevorzugt nicht lediglich das erste mikroskopische Bild sondern mindestens ein zweites mikroskopisches Bild der Probe aufgenommen, nachdem das erste mikroskopische Bild aufgenommen wurde. Das zweite mikroskopische Bild wird wie das erste mikroskopische Bild durch eine Matrix an Bildpunkten gebildet und zeilenweise aufgenommen, wobei die Bildpunkte nacheinander ermittelt werden. Die Aufnahme des zweiten mikroskopischen Bildes erfolgt somit bildpunktweise. Die Bildpyramide wird laufend aktualisiert, während das zweite mikroskopische Bild noch aufgenommen wird. Die ermittelten Bildpunkte des aufzunehmenden zweiten mikroskopischen Bildes ersetzen jeweils nach ihrer Ermittlung den entsprechenden Bildpunkt der ersten Bildebene. Das Aktualisieren von zumindest einigen der Bildpunkte der zweiten Bildebene erfolgt jeweils dadurch, dass das erste Filter auf mehrere der zuletzt ersetzten Bildpunkte der ersten Bildebene und mehrere zu diesen Bildpunkten benachbarte Bildpunkte der ersten Bildebene angewendet wird. Der aktualisierte Bildpunkt ersetzt den entsprechenden Bildpunkt der zweiten Bildebene. Bei den zu den zuletzt ersetzten Bildpunkten benachbarten Bildpunkten kann es sich um Bildpunkte handeln, welche noch nicht ersetzt wurden, sodass sie aus dem ersten mikroskopischen Bild stammen. Die Anzeige wird ebenfalls aktualisiert. Daher erfolgt ein Anzeigen des gewählten Ausschnittes der jeweiligen der Bildebenen der zumindest teilweise aktualisierten Bildpyramide.
-
Es ist ein besonderer Vorteil des erfindungsgemäßen Verfahrens, dass nicht lediglich das erste mikroskopische Bild sondern auch das zweite mikroskopische Bild entsprechend der Auswahl des Nutzers verzögerungsarm angezeigt werden kann. Die wenig aufwändige und schnelle Anwendung des ersten Filters erlaubt eine verzögerungsarme Aktualisierung der Bildpyramide.
-
Die Struktur der Bildpyramide bleibt bei der Aufnahme des zweiten mikroskopischen Bildes bevorzugt erhalten, sodass die für die Bildpyramide des ersten mikroskopischen Bildes angegebenen Merkmale bevorzugt auch für die Aufnahme des zweiten mikroskopischen Bildes gegeben sind.
-
Zumeist weisen das erste mikroskopische Bild und das zweite mikroskopische Bild nur wenige Unterschiede auf. Oft betreffen die Veränderungen nur einen oder wenige kleine Bereiche der mikroskopischen Bilder. Eine überwiegende Mehrheit der Bildpunkte des zweiten mikroskopischen Bildes hat sich gegenüber dem ersten mikroskopischen Bild nicht geändert.
-
Daher wird bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens eine Suche nach Änderungsbereichen durchgeführt. In den Änderungsbereichen unterscheiden sich das erste mikroskopische Bild und das zweite mikroskopische Bild, wobei zum Erkennen der Veränderungen ein Schwellenwert angewendet werden kann. Der Änderungsbereich bzw. die Änderungsbereiche in ihrer Gesamtheit stellen eine Teilmenge des zweiten mikroskopischen Bildes dar. Außerhalb der Änderungsbereiche ist ein Aktualisieren der Bildpyramide nicht erforderlich. Dies spart Rechenaufwand und minimiert die zu einer Anzeige zu übertragenden Daten. Das Aktualisieren von zumindest einigen der Bildpunkte der zweiten Bildebene erfolgt ausschließlich in dem mindestens einen Änderungsbereich. Innerhalb des mindestens einen Änderungsbereiches erfolgt das Aktualisieren der Bildpunkte der zweiten Bildebene jeweils dadurch, dass das erste Filter auf mehrere der zuletzt ersetzten Bildpunkte der ersten Bildebene und mehrere zu diesen Bildpunkten benachbarte Bildpunkte der ersten Bildebene angewendet wird.
-
Der mindestens eine Änderungsbereich wird bevorzugt rechteckig oder quadratisch gewählt.
-
Bevorzugt werden nicht lediglich das erste und zweite mikroskopische Bild sondern auch weitere mikroskopische Bilder aufgenommen. Die Aufnahme der weiteren mikroskopischen Bilder erfolgt entsprechend wie die Aufnahme des zweiten mikroskopischen Bildes. Ebenso erfolgen die Schritte des Aktualisierens der Bildpyramide und des Anzeigens des gewählten Ausschnittes entsprechend wie beim zweiten mikroskopischen Bild. Die mehreren mikroskopischen Bilder stellen bevorzugt ein mikroskopisches Video, insbesondere eine mikroskopisches Live-Video dar.
-
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfasst das erste Filter ein Tiefpassfilter. In gleicher Weise umfassen das zweite Filter und ggf. die weiteren Filter bevorzugt jeweils ein Tiefpassfilter. Grundsätzlich kann aber auf das Tiefpassfilter verzichtet werden.
-
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfasst das erste Filter ein Tiefpassfilter und ein Dezimierungsfilter zur Reduktion der Auflösung. In gleicher Weise umfassen das zweite Filter und ggf. die weiteren Filter bevorzugt jeweils ein Tiefpassfilter und ein Dezimierungsfilter zur Reduktion der Auflösung. Bei weiteren bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens umfasst das erste Filter ein Dezimierungsfilter zur Reduktion der Auflösung, jedoch kein Tiefpassfilter. In gleicher Weise umfassen das zweite Filter und ggf. die weiteren Filter bevorzugt jeweils ein Dezimierungsfilter zur Reduktion der Auflösung, jedoch kein Tiefpassfilter.
-
Das Tiefpassfilter bzw. die Tiefpassfilter sind bevorzugt jeweils durch eine Faltungsmatrix gebildet. Die Faltungsmatrix umfasst bevorzugt zwischen drei und zehn Spalten und zwischen drei und zehn Zeilen. Die Faltungsmatrix umfasst bevorzugt zwischen drei und sieben Spalten und zwischen drei und sieben Zeilen.
-
Das erste Filter, ggf. das zweite Filter und ggf. die weiteren Filter umfassen alternativ oder ergänzend bevorzugt jeweils ein Gauß-Filter, ein Filter zur gewichteten Mittelung und/oder ein Filter für eine mit dem Abstand gewichtete Mittelung.
-
Das erste Filter und das zweite Filter sowie die ggf. weiteren Filter sind bevorzugt gleich.
-
Das erfindungsgemäße Verfahren ist für mikroskopische Bilder mit sehr hohen Auflösungen geeignet. Entsprechend weist die Matrix des ersten mikroskopischen Bildes bevorzugt mindestens 10.000 Spalten und 10.000 Zeilen auf. Die Matrix des ersten mikroskopischen Bildes weist weiter bevorzugt mindestens 32.000 Spalten und 32.000 Zeilen auf. Dies gilt ebenso für die Matrix des zweiten mikroskopischen Bildes und die Matrizen der ggf. weiteren mikroskopischen Bilder.
-
Die Matrix des ersten mikroskopischen Bildes ist bevorzugt quadratisch. Dies gilt ebenso für die Matrix des zweiten mikroskopischen Bildes und die Matrizen der ggf. weiteren mikroskopischen Bilder.
-
Die Matrix des ersten mikroskopischen Bildes und die Matrix des zweiten mikroskopischen Bildes sowie die Matrizen der ggf. weiteren mikroskopischen Bilder sind bevorzugt gleich groß, d. h. sie haben eine gleiche Anzahl an Spalten und eine gleiche Anzahl an Zeilen.
-
Bei dem erfindungsgemäßen Verfahren erfolgt bevorzugt ein Anzeigen zumindest eines Ausschnittes einer anderen der Bildebenen der Bildpyramide, wenn der Nutzer eine Auflösung eines anzuzeigenden Bildes ändert. Die anzuzeigende Bildebene wird entsprechend des vom Nutzer ausgewählten Ausschnittes gewählt.
-
Das erfindungsgemäße Computerprogrammprodukt umfasst eine Sequenz von Steuerbefehlen, mit der eine teilchenoptische Vorrichtung dazu veranlasst wird, das erfindungsgemäße Verfahren zum Darstellen eines mikroskopischen Bildes auszuführen. Die teilchenoptische Vorrichtung wird durch die Sequenz von Steuerbefehlen bevorzugt dazu veranlasst, eine der beschriebenen bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens auszuführen. Das Computerprogrammprodukt ist insbesondere durch Software bzw. durch ein Computerprogramm gebildet.
-
Bei dem erfindungsgemäßen Mikroskop handelt es sich bevorzugt um ein lichtoptisches Mikroskop oder alternativ bevorzugt um eine teilchenoptische mikroskopische Vorrichtung. In der teilchenoptischen mikroskopischen Vorrichtung werden geladene Teilchen zur Mikroskopie verwendet. Die teilchenoptische mikroskopische Vorrichtung ist bevorzugt ein Teilchenstrahlmikroskop und ist bevorzugt durch ein Rasterelektronenmikroskop (REM) oder durch ein Ionenmikroskop gebildet. Das Mikroskop umfasst eine Bildaufnahmeeinheit, eine Bildverarbeitungseinheit und eine Bildanzeigeeinheit. Die Bildaufnahmeeinheit ist bevorzugt für eine zeilenweise Abtastung ausgebildet. Die Bildaufnahmeeinheit ist bevorzugt für eine teilchenoptische Mikroskopie, insbesondere für eine Elektronen-Mikroskopie, besonders bevorzugt für eine Scanning-Elektronen-Mikroskopie (Scanning Electron Microscope, SEM) ausgebildet. Die Bildaufnahmeeinheit ist alternativ bevorzugt für eine Laser-Scanning-Mikroskopie ausgebildet. Die Bildaufnahmeeinheit kann grundsätzlich auch für andere Verfahren der Mikroskopie ausgebildet sein. Die Bildverarbeitungseinheit ist ggf. gemeinsam mit der Bildanzeigeeinheit zur Ausführung des erfindungsgemäßen Verfahrens konfiguriert. Die Bildverarbeitungseinheit ist ggf. gemeinsam mit der Bildanzeigeeinheit bevorzugt zur Ausführung einer der beschriebenen bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens konfiguriert.
-
Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung, unter Bezugnahme auf die Zeichnung. Es zeigen:
- 1: eine Prinzipdarstellung von drei Bildebenen einer Bildpyramide, welche nach einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens zu bestimmen ist;
- 2: ein Prinzip einer Bildung einer Bildpyramide nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens;
- 3: ein Anzeigen eines Ausschnittes eines mikroskopischen Bildes nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens;
- 4: ein Anzeigen eines weiteren Ausschnittes des mikroskopischen Bildes nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens;
- 5: ein Anzeigen eines weiteren Ausschnittes des mikroskopischen Bildes nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens; und
- 6: eine bevorzugte Ausführungsform eines erfindungsgemäßen Mikroskops in Form eines Rasterelektronenmikroskops.
-
1 zeigt eine Prinzipdarstellung von drei Bildebenen einer Bildpyramide, welche nach einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens zu bestimmen ist. Ein aufgenommenes erstes mikroskopisches Bild bildet eine erste Bildebene 01. Aus der ersten Bildebene 01 wird eine zweite Bildebene 02 bestimmt. Aus der zweiten Bildebene 02 wird eine dritte Bildebene 03 bestimmt.
-
Nach der Aufnahme eines zweiten mikroskopischen Bildes bildet dieses die erste Bildebene 01. Im Vergleich zu dem ersten mikroskopischen Bild weist das zweite mikroskopische Bild nur in einem Änderungsbereich 04 Veränderungen auf. Erfindungsgemäß werden die Veränderungen sofort in die jeweiligen Änderungsbereiche 04 der zweiten Bildebene 02 und der dritten Bildebene 03 propagiert. Dadurch ist gewährleistet, dass sich die Bildpyramide jederzeit in einem konsistenten Zustand befindet.
-
2 zeigt ein Prinzip einer Bildung einer Bildpyramide nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. Es sind wiederum die ersten drei Bildebenen 01, 02, 03 sowie eine vierte Bildebene 06 dargestellt. Die Bildebenen 01, 02, 03, 06 bestehen jeweils aus Zeilen 07 von Bildpunkten, wobei nur wenige der Zeilen 07 dargestellt sind. Die erste Bildebene 01 hat eine Auflösung von beispielhaft 32.000 mal 32.000 Bildpunkten. Die zweite Bildebene 02 hat eine Auflösung von beispielhaft 16.000 mal 16.000 Bildpunkten. Die dritte Bildebene 03 hat eine Auflösung von beispielhaft 8.000 mal 8.000 Bildpunkten. Die vierte Bildebene 06 hat eine Auflösung von beispielhaft 4.000 mal 4.000 Bildpunkten.
-
Beispielhaft umfasst die erste Bildebene 01 nur eine Zeile 08, in welcher zwischen dem ersten mikroskopischen Bild und dem zweiten mikroskopischen Bild Veränderungen aufgetreten sind. Die Zeile 08 mit den Veränderungen ist gepunktet dargestellt. Diese Veränderungen in der Zeile 08 wirken sich jedoch bei Anwendung des erfindungsgemäß zu verwendenden Filters (nicht dargestellt) auf beispielhaft drei Zeilen 09 der zweiten Bildebene 02 aus. Die drei beeinflussten Zeilen 09 der zweiten Bildebene 02 sind gestrichelt dargestellt. Das Filter (nicht dargestellt) ist auf die dargestellten fünf Zeilen 07 der ersten Bildebene 01 anzuwenden, sodass auch unveränderte der Zeilen 07 durch das Anwenden des Filters erneut berücksichtigt werden.
-
Die Veränderungen in den drei Zeilen 09 der zweiten Bildebene 02 wirken sich bei Anwendung des erfindungsgemäß zu verwendenden Filters (nicht dargestellt) auf beispielhaft vier Zeilen 11 der dritten Bildebene 03 aus. Die vier beeinflussten Zeilen 11 der dritten Bildebene 03 sind gestrichelt dargestellt. Das Filter (nicht dargestellt) ist auf die dargestellten sieben Zeilen 07 der zweiten Bildebene 02 anzuwenden, sodass auch unveränderte der Zeilen 07 durch das Anwenden des Filters erneut berücksichtigt werden.
-
Die Veränderungen in den vier Zeilen 11 der dritten Bildebene 03 wirken sich bei Anwendung des erfindungsgemäß zu verwendenden Filters (nicht dargestellt) auf beispielhaft vier Zeilen 12 der vierten Bildebene 04 aus. Die vier beeinflussten Zeilen 12 der vierten Bildebene 04 sind gestrichelt dargestellt. Das Filter (nicht dargestellt) ist auf die dargestellten acht Zeilen 07 der dritten Bildebene 03 anzuwenden, sodass auch unveränderte der Zeilen 07 durch das Anwenden des Filters berücksichtigt werden.
-
3 veranschaulicht ein Anzeigen eines Ausschnittes eines mikroskopischen Bildes nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. Es sind wiederum die vier Bildebenen 01, 02, 03, 06 dargestellt. In dem gezeigten Beispiel hat der Nutzer einen minimalen Zoom gewählt, sodass er das gesamte mikroskopische Bild, jedoch in einer kleinen Auflösung betrachtet. Der minimale Zoom beträgt beispielhaft 5 %. Das erfindungsgemäße Verfahren sieht vor, den Inhalt der obersten Bildebene, d. h. der vierten Bildebene 06 zum Anzeigen zu bringen. Daher wird ein vollständiger Ausschnitt 13 der vierten Bildebene 06 auf einem Monitor 14 angezeigt.
-
4 veranschaulicht ein Anzeigen eines weiteren Ausschnittes des mikroskopischen Bildes nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. In dem gezeigten Beispiel hat der Nutzer einen mittleren Zoom gewählt, sodass er einen mittelgroßen Ausschnitt des mikroskopischen Bildes mit einer mittleren Auflösung betrachtet. Der mittlere Zoom beträgt beispielhaft 25 %. Das erfindungsgemäße Verfahren sieht vor, einen Inhalt der zweituntersten Bildebene, d. h. der zweiten Bildebene 02 zum Anzeigen zu bringen. Daher wird ein Ausschnitt 16 der zweiten Bildebene 02 auf dem Monitor 14 angezeigt, wobei der Ausschnitt 16 aufgrund der gewählten Auflösung nicht vollständig angezeigt werden kann.
-
5 veranschaulicht ein Anzeigen eines weiteren Ausschnittes des mikroskopischen Bildes nach einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. In dem gezeigten Beispiel hat der Nutzer einen maximalen Zoom gewählt, sodass er einen kleinen Ausschnitt des mikroskopischen Bildes mit einer maximalen Auflösung betrachtet. Der maximale Zoom beträgt 100 %. Das erfindungsgemäße Verfahren sieht vor, einen Inhalt der untersten Bildebene, d. h. der ersten Bildebene 01 zum Anzeigen zu bringen. Daher wird ein Ausschnitt 17 der ersten Bildebene 01 auf dem Monitor 14 angezeigt, wobei der Ausschnitt 17 aufgrund der gewählten Auflösung nicht vollständig angezeigt werden kann.
-
6 zeigt eine bevorzugte Ausführungsform eines erfindungsgemäßen Mikroskops in Form eines Rasterelektronenmikroskops (REM). Das Rasterelektronenmikroskop ist ein Beispiel für eine teilchenoptische Vorrichtung 101, die geeignet ist, das erfindungsgemäße Verfahren auszuführen. Die Ausführung der Erfindung ist jedoch nicht auf Rasterelektronenmikroskope beschränkt, sondern kann auch mit anderen Mikroskopen, u. a. mit lichtoptischen oder teilchenoptischen Vorrichtungen, wie beispielsweise mit Ionenmikroskopen ausgeführt werden.
-
Die teilchenoptische Vorrichtung 101 verfügt über eine Elektronenquelle 104, die sich in einer elektronenoptischen Säule 103 befindet und die einen Primärteilchenstrahl, in diesem Fall einen Primärelektronenstrahl, erzeugen kann. Der Primärteilchenstrahl ist ein Strahl geladener Teilchen, im vorliegenden Beispiel ein Elektronenstrahl.
-
Die Probe 113 befindet sich auf einem Probentisch 114 innerhalb einer Probenkammer 102, die zur Aufnahme einer Probe ausgebildet ist und in der Vakuumbedingungen herrschen. Der Probentisch 114 ist so ausgebildet, dass er in mehreren Richtungen verfahrbar ist, vorzugsweise wenigstens in den drei zueinander senkrecht stehenden Raumrichtungen x, y und z senkrecht und parallel zur optischen Achse 106 der elektronenoptischen Säule 103.
-
Der Primärteilchenstrahl ist auf die Probe 113 gerichtet, wird entlang der optischen Achse 106 der elektronenoptischen Säule 103 beschleunigt, durch Linsensysteme 105, 107 gebündelt und durch wenigstens eine Aperturblende 108 beschnitten. Außerdem umfasst die elektronenoptische Säule 103 ein Ablenksystem 109, mit dessen Hilfe der Primärteilchenstrahl in definierter Weise, zum Beispiel zeilenweise über die Probenoberfläche geführt werden kann, was als „Rastern“, „Scannen“ oder „Abtasten“ bezeichnet wird.
-
Wenn Teilchen des Primärteilchenstrahls auf die Oberfläche der Probe 113 auftreffen, werden aufgrund von Wechselwirkungen zwischen den auftreffenden Teilchen und dem Probenmaterial Wechselwirkungsprodukte, beispielsweise Sekundärelektronen (SE), frei gesetzt, die mit Hilfe eines Detektors detektiert werden können. Zu diesem Zweck umfasst die teilchenoptische Vorrichtung mindestens einen ersten Detektor 110. Aus den mit dem Detektor 110 detektierten Signalen kann über eine Auswerte- und Steuereinheit 111 ein Bild der Probe erzeugt werden.
-
Da der Primärteilchenstrahl schrittweise über die Probenoberfläche geführt wird, werden verschiedene Orte auf der Probe bestrahlt, so dass am jeweils bestrahlten Ort Wechselwirkungsprodukte emittiert werden. Durch die Detektion der Wechselwirkungsprodukte erhält man Bildinformationen vom jeweiligen Probenort, wobei die Bildinformation als Bildpunkt (pixel) dargestellt werden kann.
-
Der Primärteilchenstrahl kann beispielsweise zeilenförmig über die Probe gerastert werden (line scan). Das bedeutet, dass der Primärteilchenstrahl entlang einer einzelnen Zeile über die Probenoberfläche geführt wird. Nach Erreichen des Zeilenendes wird der Primärteilchenstrahl an die Anfangsposition der nächsten Zeile gelenkt und der Primärteilchenstrahl rastert anschließend entlang dieser nächsten Zeile.
-
Die teilchenoptische Vorrichtung ist nicht auf Elektronenmikroskope beschränkt, sondern kann auch als Ionenmikroskop ausgebildet sein, beispielsweise als FIB (focused ion beam)-System. Hierbei tastet ein Strahl fokussierter Ionen (FIB) die Probenoberfläche ab. Durch Detektion der durch die Wechselwirkung von Ionenstrahl und Probenmaterial frei gesetzten Wechselwirkungsprodukte kann ein Bild der Probe erzeugt werden.
-
Die Auswerte- und Steuereinheit 111 der teilchenoptischen Vorrichtung ist dazu eingerichtet, eine Folge von Steuerbefehlen ausführen, die in einem Computerprogrammprodukt umfasst sind. Durch die Ausführung der Steuerbefehle wird die teilchenoptische Vorrichtung 101 dazu veranlasst, das erfindungsgemäße Verfahren auszuführen.
-
Bezugszeichenliste
-
- 01
- erste Bildebene
- 02
- zweite Bildebene
- 03
- dritte Bildebene
- 04
- Änderungsbereich
- 05
- -
- 06
- vierte Bildebene
- 07
- Zeilen
- 08
- Zeile mit Veränderungen
- 09
- beeinflusste Zeilen
- 10
- -
- 11
- beeinflusste Zeilen
- 12
- beeinflusste Zeilen
- 13
- vollständiger Ausschnitt
- 14
- Monitor
- 15
- -
- 16
- Ausschnitt
- 17
- Ausschnitt
- 101
- teilchenoptische Vorrichtung
- 102
- Probenkammer
- 103
- elektronenoptische Säule
- 104
- Elektronenquelle
- 105
- erstes Linsensystem
- 106
- optische Achse der Elektronensäule
- 107
- zweites Linsensystem
- 108
- Aperturblende
- 109
- Ablenksystem
- 110
- Detektor
- 111
- Auswerte- und Steuereinheit
- 112
- -
- 113
- Probe
- 114
- Probentisch
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2014/0225902 A1 [0002]
- WO 2019/091570 A1 [0003]
- EP 2362344 A1 [0004]
- US 2004/0167806 A1 [0005]
- EP 1784763 B1 [0006]
