DE102020118500A1

DE102020118500A1 - Mikroskop und Verfahren zum Generieren eines aus mehreren mikroskopischen Teilbildern zusammengesetzten Bildes

Info

Publication number: DE102020118500A1
Application number: DE102020118500.6A
Authority: DE
Inventors: Gerhard Möller
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2020-07-14
Filing date: 2020-07-14
Publication date: 2022-01-20
Also published as: CN113933984A; CN113933984B

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Generieren eines aus mehreren mikroskopischen Teilbildern zusammengesetzten Bildes (09) einer Probe. Gemäß diesem Verfahren wird ein Übersichtsbild der Probe aufgenommen. Weiterhin wird eine erste Gruppe von mikroskopischen Teilbildern der Probe aufgenommen. Die Teilbilder der ersten Gruppe weisen gleiche Auflösungen auf. Es wird eine Position der ersten Gruppe der Teilbilder innerhalb des Übersichtsbildes erfasst. Die Teilbilder der ersten Gruppe werden zu einem ersten Gruppenbild (02) zusammengefügt. Weiterhin wird eine zweite Gruppe von mikroskopischen Teilbildern der Probe aufgenommen. Die Teilbilder der zweiten Gruppe weisen gleiche Auflösungen auf. Es wird eine Position der zweiten Gruppe der Teilbilder innerhalb des Übersichtsbildes erfasst. Die Teilbilder der zweiten Gruppe werden zu einem zweiten Gruppenbild (03) zusammengefügt. Es erfolgt ein Zusammenfügen mindestens des ersten Gruppenbildes (02) und des zweiten Gruppenbildes (03) zu einem zusammengesetzten Bild (09) der Probe entsprechend der erfassten Positionen der ersten und zweiten Gruppe der Teilbilder. Im Weiteren betrifft die Erfindung ein Mikroskop.

Description

Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Generieren eines aus mehreren mikroskopischen Teilbildern zusammengesetzten Bildes einer Probe. Die mikroskopischen Teilbilder der Probe werden aufgenommen, um beispielsweise durch ein Stitching zusammengeführt zu werden, sodass ein hochaufgelöstes mikroskopisches Bild der Probe erhalten wird, welches zumindest einen größeren Teil der Probe abbildet. Im Weiteren betrifft die Erfindung ein hierfür geeignetes Mikroskop.
Die DE 100 05 852 C2 zeigt ein Verfahren zur Herstellung von Höhenbildern technischer Oberflächen in mikroskopischer Auflösung. Nach der Vermessung eines Probenbereichs wird die Probe in einer Ebene X/Y senkrecht zur optischen Achse des Messmikroskops verfahren, sodass ein benachbarter Probenbereich vermessen werden kann und durch elektronisches Aneinandersetzen, d. h. durch ein Stitching der Messergebnisse der jeweils benachbarten Bereiche ein zusammengesetztes Bild der Probenflächenstruktur erhalten wird.
Die EP 3 156 967 B1 lehrt ein Verfahren zur Erstellung einer Mikroskopiepanoramadarstellung, bei welchem eine erste und eine zweite Mikroskopieaufnahme unter Berücksichtigung einer Veränderungsinformation zusammengefügt werden. Hierfür wird ein Bewegungsvektor, welcher die laterale Verschiebung in x- und/oder y-Richtung beschreibt, ermittelt.
Aus der EP 2 596 472 B1 ist ein Verfahren zur Erzeugung einer Mosaikaufnahme einer Probe auf einem Objektträger bekannt. Es werden Versatzvektoren zwischen Paaren sich gegenseitig überlappender Teilbilder durch Ähnlichkeitsanalyse der sich überlappenden Teilbilder ermittelt. Ein Optimierungsproblem zur Auffindung eines optimalen Satzes von Aufnahmepositionsvariablen für die Teilbilder zur Minimierung eines Maßes für eine Abweichung zwischen den Versatzvektoren der Paare sich gegenseitig überlappender Teilbilder einerseits und Differenzen der Aufnahmepositionsvariablen der Paare sich gegenseitig überlappender Teilbilder andererseits soll unter Einhaltung einer Nebenbedingung für die Aufnahmepositionsvariablen gelöst werden.
Die DE 10 2013 006 994 A1 lehrt ein Verfahren zur Optimierung eines Arbeitsablaufes in einem Digitalmikroskop. Das Digitalmikroskop umfasst mindestens einen Überwachungssensor zur Beobachtung einer Probe, eines Probentisches, einer Optikeinheit oder eines Benutzers sowie eine Überwachungseinheit. Es werden Beobachtungsdaten des Überwachungssensors erfasst und in der Überwachungseinheit automatisch analysiert und ausgewertet, um Steuerdaten zu erzeugen und diese zur Steuerung des Arbeitsablaufes des Digitalmikroskops zu verwenden. Ein Überblicksbild oder Gesamtbild kann durch Aneinanderfügen, d. h. durch ein Stitching vieler mikroskopischer Aufnahmen erzeugt werden.
Die DE 10 2018 104 704 A1 zeigt ein Verfahren zum Verändern einer Vergrößerung eines digitalen Mikroskops, welches mindestens zwei automatisch wechselbare Objektive mit unterschiedlichen Abbildungsmaßstäben aufweist, von denen jeweils ein Objektiv ausgewählt wird. Eine Vergrößerung eines durch das Mikroskop ausgegebenen Bildes wird kontinuierlich verändert, wofür ein kontinuierliches Verändern einer Vergrößerung eines mit dem gewählten Objektiv aufgenommenen und mit einem Bildwandler gewandelten Bildes durch eine digitale Bildverarbeitung erfolgt. Ein Mikroskoptisch kann beispielsweise in eine y-Richtung verschoben werden. Dabei werden auf dem Verschiebeweg des Mikroskoptisches sensoräquivalente Bildfelder in einer Sensorbildebene aufgenommen und per Stitching zusammengefügt.
Die DE 10 2017 101 188 A1 betrifft ein Verfahren zum Mikroskopieren einer Probe mit einem Mikroskop. Ein Sichtfeld des Mikroskops ist durch Auswahl eines Abschnittes eines Bildsensors veränderbar. Bei einem Schritt des Verfahrens wird ein initiales Bild zumindest eines Teilbereiches der Probe mit dem Mikroskop aufgenommen, wofür ein erstes Sichtfeld am Mikroskop gewählt wird. Das initiale Bild wird analysiert, um zumindest zwei sich unterscheidende teilbereichsabbildende Sichtfelder zu ermitteln, wobei durch jedes der teilbereichsabbildenden Sichtfelder ein Teilbereich des initialen Bildes abgebildet wird. Es werden Bilder der Teilbereiche der Probe für jedes der ermittelten teilbereichsabbildenden Sichtfelder aufgenommen.
Die WO 2017/196885 A1 zeigt ein Verfahren zum Erzeugen eines Farbbildes mit hoher Farbtreue und hoher Auflösung, gemäß welchem mehrere bei einer einzelnen Wellenlänge aufgenommenen holographischen Bilder mit einigen farbkalibrierten Bildern verschmolzen werden. Die farbkalibrierten Bilder wurden mit einem Mikroskop mit einer geringen Vergrößerung unter Verwendung eines auf Wavelet-Transformation basierenden Kolorierungsverfahrens aufgenommen. Eine diskrete Wavelet-Transformation (DWT) wird verwendet, um ein finales Bild zu erzeugen, welches die Komponenten mit niedriger Auflösung aus den farbkalibrierten Bilder und die hochauflösenden Komponenten aus den hochauflösenden einfarbigen holographischen Bildern zusammenführt.
Das Generieren eines aus vielen mikroskopischen Teilbildern zusammengesetzten Bildes, beispielsweise eines aus mehr als 1.000 mikroskopischen Teilbildern zusammengesetzten Bildes ist problematisch, da dies in vielen Fällen die zur Verfügung stehende Rechenleistung überfordert oder die zur Verfügung stehende Software hierfür nicht geeignet ist und weiterentwickelt werden müsste. Es weiteres Problem der bekannten Lösungen besteht darin, dass wenn es bei der Aufnahme eines Bildes zu einem Fehler kommt, sämtliche zuvor aufgenommenen Bilder erneut aufgenommen werden müssen, was bei einer großen Anzahl an Bildern besonders aufwändig ist. Auch kann es während der Aufnahme von sehr vielen mikroskopischen Teilbildern notwendig werden, die Fokuseinstellungen zu korrigieren; beispielsweise bei einer schräg liegenden Probe. Die Aufnahme von sehr vielen mikroskopischen Teilbildern mit gleichen hohen Auflösungen führt zu erheblichen Datenmengen, die nicht immer notwendig sind, wenn beispielsweise bestimmte Bereiche der Probe nicht mit der hohen Auflösung mikroskopiert werden müssen. Das Gleiche gilt für den Fall, dass nur einige Bereiche der Probe gemäß einem erweiterten Aufnahmemodus, beispielsweise als dreidimensionale Bilder oder als Bilder mit einer erweiterten Schärfentiefe aufgenommen werden sollen.
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, ein aus vielen mikroskopischen Teilbildern zusammengesetztes Bild aufwandsarm generieren zu können.
Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 sowie durch ein Mikroskop gemäß dem beigefügten nebengeordneten Anspruch 10.
Das erfindungsgemäße Verfahren dient zum Generieren eines aus mehreren mikroskopischen Teilbildern zusammengesetzten mikroskopischen Bildes einer Probe. Das zusammengesetzte mikroskopische Bild bildet zumindest einen großen Teil der Probe ab. Das zusammengesetzte mikroskopische Bild kann beispielsweise die gesamte Probe abbilden. Bei dem zusammengesetzten mikroskopischen Bild kann es sich auch um ein Panoramabild der Probe handeln.
In einem Schritt des Verfahrens wird ein Übersichtsbild der Probe mit einem Mikroskop aufgenommen. Das Übersichtsbild bildet zumindest einen größeren Teil der Probe ab. Das Übersichtsbild kann beispielsweise die gesamte Probe abbilden. Das Übersichtsbild weist eine vergleichsweise geringe Auflösung auf. Das Übersichtsbild bildet insbesondere denjenigen Teil der Probe in einer vergleichsweise geringen Auflösung ab, welcher durch das zu generierende zusammengesetzte mikroskopische Bild in einer höheren Auflösung abgebildet werden soll.
In einem weiteren Schritt des Verfahrens wird eine erste Gruppe von mikroskopischen Teilbildern der Probe aufgenommen. Die mikroskopischen Teilbilder der ersten Gruppe weisen gleiche Auflösungen auf, welche insbesondere höher als die Auflösung des Übersichtsbildes sind. Die mikroskopischen Teilbilder bilden jeweils einen Bruchteil dessen ab, was das Übersichtsbild abbildet. Die mikroskopischen Teilbilder können auch als Kacheln bezeichnet werden. Es wird eine Position der ersten Gruppe der mikroskopischen Teilbilder innerhalb des Übersichtsbildes erfasst. Es handelt sich somit um eine relative Position der ersten Gruppe der mikroskopischen Teilbilder in Bezug auf das Übersichtsbild.
In einem weiteren Schritt des Verfahrens werden die mikroskopischen Teilbilder der ersten Gruppe zu einem ersten Gruppenbild zusammengefügt, was beispielsweise durch ein Stitching erfolgen kann. Da die Position der ersten Gruppe der mikroskopischen Teilbilder innerhalb des Übersichtsbildes erfasst wurde, ist auch die Position des ersten Gruppenbildes in Bezug auf das Übersichtsbild bekannt.
In einem weiteren Schritt des Verfahrens wird eine zweite Gruppe von mikroskopischen Teilbildern der Probe aufgenommen. Die mikroskopischen Teilbilder der zweiten Gruppe weisen gleiche Auflösungen auf, welche sich bevorzugt von den gleichen Auflösungen der mikroskopischen Teilbilder der ersten Gruppe der mikroskopischen Teilbilder unterscheiden und welche insbesondere höher als die Auflösung des Übersichtsbildes sind. Die mikroskopischen Teilbilder bilden jeweils einen Bruchteil dessen ab, was das Übersichtsbild abbildet. Die mikroskopischen Teilbilder können auch als Kacheln bezeichnet werden. Es wird eine Position der zweiten Gruppe der mikroskopischen Teilbilder innerhalb des Übersichtsbildes erfasst. Es handelt sich somit um eine relative Position der zweiten Gruppe der mikroskopischen Teilbilder in Bezug auf das Übersichtsbild.
In einem weiteren Schritt des Verfahrens werden die mikroskopischen Teilbilder der zweiten Gruppe zu einem zweiten Gruppenbild zusammengefügt, was beispielsweise durch ein Stitching erfolgen kann. Da die Position der zweiten Gruppe der mikroskopischen Teilbilder innerhalb des Übersichtsbildes erfasst wurde, ist auch die Position des zweiten Gruppenbildes in Bezug auf das Übersichtsbild bekannt.
In einem weiteren Schritt des Verfahrens erfolgt ein Zusammenfügen zumindest des ersten Gruppenbildes und des zweiten Gruppenbildes sowie gegebenenfalls weiterer Gruppenbilder und/oder anderer Bildelemente zu einem zusammengesetzten Bild der Probe entsprechend der erfassten Position der ersten Gruppe der mikroskopischen Teilbilder und der erfassten Position der zweiten Gruppe der mikroskopischen Teilbilder. Das Zusammenfügen der Gruppenbilder kann auch als Virtual Scanning bezeichnet werden, da dies zum gleichen Ergebnis wie ein großflächiges Scannen der Probe führt. Bevorzugt erfolgt in einem weiteren Schritt eine Glättung von Überlappungsbereichen der Gruppenbilder durch ein Stitching, sodass sichtbare Sprünge zwischen den Gruppenbildern vermieden werden.
Ein besonderer Vorteil des Verfahrens besteht darin, dass es aufwandsarm durchführbar ist, da das Zusammenfügen der Teilbilder auf zwei Hierarchieebenen erfolgt, da die Teilbilder zunächst zu Gruppenbildern zusammengefügt werden, wofür die bereits verfügbare Hard- und Software genutzt werden kann. Das Zusammenfügen der Gruppenbilder erfolgt aufwandsarm durch Nutzung der erfassten Positionen der Gruppen. Das Zusammenfügen der Teilbilder auf zwei Hierarchieebenen erlaubt es zudem, die Teilbilder mit unterschiedlichen Auflösungen aufzunehmen, sodass nur die relevanten Teile der Probe mit einer sehr hohen Auflösung mikroskopiert werden müssen. Auch kann für jede Gruppe der Teilbilder eine erneute Fokussierung vorgenommen werden, was beispielsweise bei schräg liegenden Proben von Vorteil ist und Schärfesprünge vermeidet.
Bevorzugte Ausführungsformen des Verfahrens umfassen Schritte betreffend eine dritte Gruppe von mikroskopischen Teilbildern der Probe. Es wird eine dritte Gruppe von mikroskopischen Teilbildern der Probe aufgenommen. Die mikroskopischen Teilbilder der dritten Gruppe weisen gleiche Auflösungen auf, welche sich bevorzugt von den gleichen Auflösungen der mikroskopischen Teilbilder der ersten Gruppe der mikroskopischen Teilbilder und von den gleichen Auflösungen der mikroskopischen Teilbilder der zweiten Gruppe der mikroskopischen Teilbilder unterscheiden und welche insbesondere höher als die Auflösung des Übersichtsbildes sind. Die mikroskopischen Teilbilder bilden jeweils einen Bruchteil dessen ab, was das Übersichtsbild abbildet. Die mikroskopischen Teilbilder können auch als Kacheln bezeichnet werden. Es wird eine Position der dritten Gruppe der mikroskopischen Teilbilder innerhalb des Übersichtsbildes erfasst. Es handelt sich somit um eine relative Position der dritten Gruppe der mikroskopischen Teilbilder in Bezug auf das Übersichtsbild. In einem weiteren Schritt des Verfahrens werden die mikroskopischen Teilbilder der dritten Gruppe zu einem dritten Gruppenbild zusammengefügt, was beispielsweise durch ein Stitching erfolgen kann. Da die Position der dritten Gruppe der mikroskopischen Teilbilder innerhalb des Übersichtsbildes erfasst wurde, ist auch die Position des dritten Gruppenbildes in Bezug auf das Übersichtsbild bekannt. Das erste Gruppenbild und das zweite Gruppenbild werden gemeinsam mit dem dritten Gruppenbild zu dem zusammengesetzten Bild der Probe entsprechend der erfassten Position der ersten Gruppe der mikroskopischen Teilbilder, der erfassten Position der zweiten Gruppe der mikroskopischen Teilbilder und der erfassten Position der dritten Gruppe der mikroskopischen Teilbilder zusammengefügt.
Das Verfahren ist nicht auf die drei Gruppen von mikroskopischen Teilbildern der Probe beschränkt. Daher umfassen bevorzugte Ausführungsformen des Verfahrens Schritte betreffend eine oder mehrere weitere Gruppen von mikroskopischen Teilbildern der Probe. Es werden daher eine oder mehrere weitere Gruppe von mikroskopischen Teilbildern der Probe aufgenommen. Die mikroskopischen Teilbilder der einen oder mehreren weiteren Gruppe weisen gleiche Auflösungen auf, welche sich bevorzugt von den gleichen Auflösungen der mikroskopischen Teilbilder der übrigen Gruppen der mikroskopischen Teilbilder unterscheiden und welche insbesondere höher als die Auflösung des Übersichtsbildes sind. Die mikroskopischen Teilbilder können auch als Kacheln bezeichnet werden. Es wird jeweils eine Position der einen oder mehreren weiteren Gruppe der mikroskopischen Teilbilder innerhalb des Übersichtsbildes erfasst. Es handelt sich somit jeweils um eine relative Position der jeweiligen weiteren Gruppe der mikroskopischen Teilbilder in Bezug auf das Übersichtsbild. In einem weiteren Schritt des Verfahrens werden die mikroskopischen Teilbilder der einen oder mehreren weiteren Gruppe zu jeweils einem weiteren Gruppenbild zusammengefügt, was beispielsweise durch ein Stitching erfolgen kann. Da die Position der jeweiligen weiteren Gruppe der mikroskopischen Teilbilder innerhalb des Übersichtsbildes erfasst wurde, ist auch die Position des jeweiligen weiteren Gruppenbildes in Bezug auf das Übersichtsbild bekannt. Das erste Gruppenbild, das zweite Gruppenbild und das dritte Gruppenbild werden gemeinsam mit dem einen oder den mehreren weiteren Gruppenbildern zu dem zusammengesetzten Bild der Probe entsprechend der erfassten Position der ersten Gruppe der mikroskopischen Teilbilder, der erfassten Position der zweiten Gruppe der mikroskopischen Teilbilder, der erfassten Position der dritten Gruppe der mikroskopischen Teilbilder und der erfassten Position der weiteren Gruppe der mikroskopischen Teilbilder bzw. den erfassten Positionen der weiteren Gruppen der mikroskopischen Teilbilder zusammengefügt.
Die Anzahl der Gruppen der mikroskopischen Teilbilder, welche der Anzahl der Gruppenbilder gleicht, beträgt bevorzugt mindestens drei und weiter bevorzugt mindestens zehn.
Das Verfahren ist nicht auf solche Gruppen von mikroskopischen Teilbildern der Probe beschränkt, welche unterschiedliche Auflösungen der jeweiligen Teilbilder aufweisen. So können beispielsweise neben der ersten Gruppe bzw. der zweiten Gruppe auch zwei Gruppen von Teilbildern aufgenommen und jeweils zu einem Gruppenbild zusammengefügt werden, wobei sich die Auflösungen der Teilbilder der einen Gruppe nicht von den Auflösungen der Teilbilder der anderen Gruppe unterscheiden.
Bei bevorzugten Ausführungsformen des Verfahrens weisen die Teilbilder sämtlicher der Gruppen in ihrer Gesamtheit ein gleiches Sichtfeld wie das Übersichtsbild auf. Somit bilden die Teilbilder sämtlicher der Gruppen in ihrer Gesamtheit einen gleichen Abschnitt der Probe wie das Übersichtsbild ab. Dies gilt gleichfalls für das erzeugte zusammengesetzte Bild der Probe. Das zusammengesetzte Bild der Probe weist bevorzugt ein gleiches Sichtfeld wie das Übersichtsbild auf. Somit bildet das zusammengesetzte Bild einen gleichen Abschnitt der Probe wie das Übersichtsbild ab. Insoweit stellt das zusammengesetzte Bild eine Verbesserung des Übersichtsbildes dar, wobei die Verbesserung durch höhere Auflösungen aber auch durch eine erhöhte Schärfentiefe oder eine dreidimensionale Information gebildet sein kann. Das Übersichtsbild stellt somit eine Voransicht des zusammengesetzten Bildes dar, welche bereits verfügbar ist, bevor die vielen Teilbilder mit höheren Auflösungen aufgenommen und verarbeitet werden.
Bei alternativ bevorzugten Ausführungsformen des Verfahrens weisen die Teilbilder sämtlicher der Gruppen in ihrer Gesamtheit ein kleineres Sichtfeld als das Übersichtsbild auf. Somit bilden die Teilbilder sämtlicher der Gruppen in ihrer Gesamtheit einen kleineren Abschnitt der Probe als das Übersichtsbild ab. Dies gilt gleichfalls für das erzeugte zusammengesetzte Bild der Probe. Das zusammengesetzte Bild der Probe weist bevorzugt ein kleineres Sichtfeld als das Übersichtsbild auf. Somit bildet das zusammengesetzte Bild einen kleineren Abschnitt der Probe als das Übersichtsbild ab. Insoweit stellt das zusammengesetzte Bild eine Verbesserung des Übersichtsbildes dar, wobei die Verbesserung durch höhere Auflösungen aber auch durch eine erhöhte Schärfentiefe oder eine dreidimensionale Information gebildet sein kann. Das Übersichtsbild stellt somit eine Voransicht des zusammengesetzten Bildes dar, welche bereits verfügbar ist, bevor die vielen Teilbilder mit höheren Auflösungen aufgenommen und verarbeitet werden.
Das Erfassen der Position der jeweiligen Gruppe der mikroskopischen Teilbilder innerhalb des Übersichtsbildes erfolgt bevorzugt dadurch, dass zunächst die Positionen der der mikroskopischen Teilbilder der jeweiligen Gruppe innerhalb des Übersichtsbildes erfasst werden, was bevorzugt jeweils während der Aufnahme des jeweiligen mikroskopischen Teilbildes erfolgt. Daraufhin wird aus den Positionen der mikroskopischen Teilbilder der jeweiligen Gruppe die Position der jeweiligen Gruppe bestimmt.
Das Zusammenfügen der mikroskopischen Teilbilder der einzelnen Gruppen zu dem jeweiligen Gruppenbild kann gemäß den aus dem Stand der Technik bekannten Verfahren erfolgen, sodass vorhandene Hard- bzw. Software genutzt werden kann. Hierfür erfolgt bevorzugt ein Bestimmen von Überlappungsbereichen zwischen jeweils zwei der Teilbilder. Die Teilbilder werden entsprechend den so bestimmten Überlappungsbereichen zusammengefügt. Diese Art des Stitching wird auch als Texture-Stitching bezeichnet. Alternativ bevorzugt erfolgt ein Erfassen jeweils einer Position des jeweiligen Teilbildes in Bezug zur Probe, insbesondere während das Teilbild aufgenommen wird. Die Teilbilder werden entsprechend der erfassten Positionen zusammengefügt. Diese Positionen werden bevorzugt in Form von Tischkoordinaten gemessen, welche auf einen Probentisch bezogen sind.
Bei bevorzugten Ausführungsformen des Verfahrens weisen die mikroskopischen Teilbilder der ersten Gruppe gleiche Bildgrößen auf. Die mikroskopischen Teilbilder der zweiten Gruppe weisen ebenso gleiche Bildgrößen auf, welche sich jedoch von den gleichen Bildgrößen der mikroskopischen Teilbilder der ersten Gruppe unterscheiden. Es ist nämlich ein Vorteil des Verfahrens, dass die Teilbilder der verschiedenen Gruppen nicht nur mit unterschiedlichen Bildauflösungen, sondern auch in verschiedenen Größen aufgenommen werden können. Die Größen der Teilbilder, d. h. die Bildgrößen der Teilbilder sind bevorzugt definiert jeweils durch eine Bildpunktanzahl, insbesondere durch eine Bildhöhe und eine Bildbreite in Bildpunkten. Die Bildhöhen und die Bildbreiten der mikroskopischen Teilbilder betragen bevorzugt jeweils mindestens 1.000 Bildpunkte. Insofern die dritte Gruppe und ggf. weitere Gruppen der mikroskopischen Teilbilder aufgenommen werden, so weisen die mikroskopischen Teilbilder der jeweiligen Gruppe bevorzugt gleiche Größen auf, wobei sich die Größen zwischen den Gruppen unterscheiden.
Die Gruppenbilder weisen bevorzugt unterschiedliche Größen auf. Die Größen der Gruppenbilder, d. h. die Bildgrößen der Gruppenbilder sind bevorzugt definiert jeweils durch eine Bildpunktanzahl, insbesondere durch eine Bildhöhe und eine Bildbreite in Bildpunkten. Die Bildhöhen und die Bildbreiten der Gruppenbilder betragen bevorzugt jeweils mindestens 10.000 Bildpunkte.
Die mikroskopischen Teilbilder der jeweiligen Gruppen sind bevorzugt jeweils zusammenhängend, sodass sie einen zusammenhängenden Bereich der Probe abbilden. Dieser zusammenhängende Bereich ist bevorzugt rechteckförmig. Die Teilbilder der jeweiligen Gruppen sind bevorzugt matrixartig angeordnet. Somit bilden die matrixartig angeordneten mikroskopischen Teilbilder der einzelnen Gruppen jeweils eine Matrix. Die Matrizen weisen Spalten und Zeilen auf, wobei die Spalten und die Zeilen jeweils eine Länge aufweisen, welche bevorzugt zwischen ein und zehn Teilbilder beträgt. Jede der Gruppen umfasst bevorzugt zwischen 3 und 100 der mikroskopischen Teilbilder.
Bei bevorzugten Ausführungsformen des Verfahrens sind die mikroskopischen Teilbilder der einzelnen Gruppen, die Gruppenbilder, das Übersichtsbild und das zusammengesetzte mikroskopische Bild jeweils rechteckförmig.
Das zusammengesetzte Bild weist eine Bildgröße auf, welche bevorzugt durch eine Bildpunktanzahl definiert ist; insbesondere durch eine Bildhöhe und eine Bildbreite in Bildpunkten. Die Bildhöhe und die Bildbreite des zusammengesetzten Bildes betragen bevorzugt jeweils mindestens 20.000 Bildpunkte und weiter bevorzugt mindestens 30.000 Bildpunkte.
Die Summe der Teilbilder aller Gruppen beträgt bevorzugt mindestens 100 Teilbilder; weiter bevorzugt mindestens 300 Teilbilder; weiter bevorzugt mindestens 500 Teilbilder und nochmals weiter bevorzugt mindestens 1.000 Teilbilder.
Es ist möglich, die Teilbilder nicht lediglich als gewöhnliche zweidimensionale Bilder, sondern als Bilder mit einer erweiterten Schärfentiefe oder als dreidimensionale Bilder aufzunehmen. Die erweiterte Schärfentiefe wird auch als Extended Depth of Field (EDoF oder EDF) bezeichnet. Um ein mikroskopisches Teilbild mit einer erweiterten Schärfentiefe oder dreidimensional aufzunehmen, ist es gegebenenfalls notwendig, mehrere Bildebenen mit verschiedenen Fokuspositionen oder aus verschiedenen Perspektiven aufzunehmen und zu dem jeweiligen mikroskopischen Teilbild zu verarbeiten. Bevorzugt werden die Gruppen der mikroskopischen Teilbilder jeweils gemäß einem Aufnahmemodus aufgenommen, welcher aus einer folgende Aufnahmemodi umfassenden Gruppe ausgewählt ist: zweidimensionale Bildaufnahme, dreidimensionale Bildaufnahme und Bildaufnahme mit einer erweiterten Schärfentiefe. Bevorzugt werden die Gruppen der Teilbilder gemäß unterschiedlichen Aufnahmemodi aufgenommen, da es ein Vorteil des Verfahrens ist, dass nicht alle Gruppen gemäß demselben Aufnahmemodus aufgenommen werden müssen. Beispielsweise kann die erste Gruppe der mikroskopischen Teilbilder als zweidimensionale Bilder aufgenommen werden, während die zweite Gruppe der mikroskopischen Teilbilder als dreidimensionale Bilder aufgenommen wird.
Das erfindungsgemäße Mikroskop ist bevorzugt digital und umfasst zunächst ein Objektiv zum vergrößerten optischen Abbilden einer Probe. Das Objektiv umfasst optische Komponenten zum vergrößerten optischen Abbilden der Probe. Die optischen Komponenten sind insbesondere durch optische Linsen und ggf. auch durch eine oder mehrere Spiegel, Blenden und Filter gebildet. Das Mikroskop umfasst bevorzugt weiterhin einen Zoom und eine Tubuslinse.
Das Mikroskop umfasst weiterhin einen Bildsensor zum Wandeln des von dem Objektiv unmittelbar oder mittelbar auf den Bildsensor abgebildeten Bildes in ein elektrisches Signal.
Das Mikroskop umfasst weiterhin eine elektronische Bildverarbeitungseinheit zum Verarbeiten des vom Bildsensor erzeugten elektrischen Signals. Die Bildverarbeitungseinheit ist zur Ausführung des oben beschriebenen Verfahrens konfiguriert. Die Bildverarbeitungseinheit ist bevorzugt zur Ausführung bevorzugter Ausführungsformen des oben beschriebenen Verfahrens konfiguriert. Im Übrigen weist das Mikroskop bevorzugt auch Merkmale auf, die im Zusammenhang mit dem oben beschriebenen Verfahren und dessen bevorzugten Ausführungsformen angegeben sind.
Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung einer bevorzugten Ausführungsform der Erfindung, unter Bezugnahme auf die Zeichnung. Es zeigen:

1: ein Übersichtsbild und drei Gruppenbilder, welche gemäß einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens erzeugt wurden; und
2: ein Bild, welches gemäß der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens aus den in 1 gezeigten Gruppenbildern zusammengesetzt wurde.

1 zeigt ein Übersichtsbild 01, ein erstes Gruppenbild 02, ein zweites Gruppenbild 03 und ein drittes Gruppenbild 04, welche beispielhaft gemäß einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens mit einem Mikroskop erzeugt wurden. Bei dem Übersichtsbild 01 handelt es sich um ein mikroskopisches Bild, welches eine vergleichsweise geringe Auflösung aufweist, jedoch mit einem großen Sichtfeld aufgenommen wurde und daher eine zu mikroskopierende Probe (nicht gezeigt) vollständig oder weitestgehend vollständig abbildet. Nachdem das Übersichtsbild 01 aufgenommen wurde, wurden gruppenweise viele mikroskopische Teilbilder 06 aufgenommen, welche jeweils eine höhere Auflösung als das Übersichtsbild 01 aufweisen. Die mikroskopischen Teilbilder 06 bilden in ihrer Gesamtheit das gleiche Sichtfeld wie das Übersichtsbild 01 ab. Eine erste Gruppe der mikroskopischen Teilbilder 06 umfasst beispielhaft 3 mal 3 der mikroskopischen Teilbilder 06, welche in einer ersten Auflösung aufgenommen wurden und zu dem ersten Gruppenbild 02 zusammengefügt werden. Hierfür wurden Überlappungsbereiche 07 zwischen den mikroskopischen Teilbildern 06 ermittelt, wodurch die Lage der mikroskopischen Teilbilder 06 zueinander bekannt ist. Die mikroskopischen Teilbilder 06 der ersten Gruppe wurden beispielhaft als gewöhnliche zweidimensionale Bilder aufgenommen. Eine zweite Gruppe der mikroskopischen Teilbilder 06 umfasst beispielhaft 4 mal 4 der mikroskopischen Teilbilder 06, welche in einer von der ersten Auflösung verschiedenen zweiten Auflösung aufgenommen wurden und welche zu dem zweiten Gruppenbild 03 zusammengefügt werden. Auch hierfür wurden wiederum die Überlappungsbereiche 07 zwischen den mikroskopischen Teilbildern 06 ermittelt. Die mikroskopischen Teilbilder 06 der zweiten Gruppe wurden beispielhaft als gewöhnliche zweidimensionale Bilder aufgenommen. Eine dritte Gruppe der mikroskopischen Teilbilder 06 umfasst beispielhaft 1 mal 3 der mikroskopischen Teilbilder 06, welche in einer von der ersten und zweiten Auflösung verschiedenen dritten Auflösung aufgenommen wurden und welche zu dem dritten Gruppenbild 04 zusammengefügt werden. Auch hierfür wurden wiederum die Überlappungsbereiche 07 zwischen den Teilbildern 06 ermittelt. Die mikroskopischen Teilbilder 06 der dritten Gruppe wurden beispielhaft als dreidimensionale Bilder aufgenommen. Das Zusammenfügen zum ersten Gruppenbild 02, zum zweiten Gruppenbild 03 und zum dritten Gruppenbild 04 erfolgt somit gemäß bekannten Verfahren und mit üblichen Bildmengen, sodass verfügbare Hard- und Software genutzt werden kann. Diese Hard- und Software muss nicht weiterentwickelt oder erweitert werden. Das Zusammenfügen der mikroskopischen Teilbilder 06 zu den Gruppenbildern 02, 03, 04 wird auch als Stitching bezeichnet.
Beim Aufnehmen der mikroskopischen Teilbilder 06 der drei Gruppen wurden deren Positionen in Bezug auf das Übersichtsbild 01 in Form von Koordinaten aufgezeichnet. Somit liegt auch für jedes der drei Gruppenbilder 02, 03, 04 dessen Position in Bezug auf das Übersichtsbild 01 in Form von Koordinaten vor.
2 zeigt ein zusammengesetztes Bild 09, welches gemäß der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens aus den in 1 gezeigten drei Gruppenbildern 02, 03, 04 zusammengesetzt wurde. Für dieses Zusammensetzen werden die für jedes der drei Gruppenbilder 02, 03, 04 vorliegenden Koordinaten, welche dessen Position in Bezug auf das Übersichtsbild 01 (gezeigt in 1) beschreiben, genutzt. Da für das Zusammenfügen der drei Gruppenbilder 02, 03, 04 zu dem zusammengesetzten Bild 09 keine Überlappungsbereiche oder ähnliches gesucht werden muss, kann dieses Zusammenfügen aufwandsarm erfolgen. Da sich die drei Gruppenbilder 02, 03, 04 in ihrer Auflösung und hinsichtlich ihrer zwei- bzw. dreidimensionalen Aufnahme unterscheiden, weist das zusammengesetzte Bild 09 unterschiedliche Auflösungen sowie beispielhaft neben zweidimensionalen Inhalten auch dreidimensionale Inhalte auf.
Bezugszeichenliste

01: Übersichtsbild
02: erstes Gruppenbild
03: zweites Gruppenbild
04: drittes Gruppenbild
05: -
06: mikroskopisches Teilbild
07: Überlappungsbereich
08: -
09: zusammengesetztes Bild

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10005852 C2 [0002]
EP 3156967 B1 [0003]
EP 2596472 B1 [0004]
DE 102013006994 A1 [0005]
DE 102018104704 A1 [0006]
DE 102017101188 A1 [0007]
WO 2017/196885 A1 [0008]

Claims

Verfahren zum Generieren eines aus mehreren mikroskopischen Teilbildern (06) zusammengesetzten Bildes (09) einer Probe; folgende Schritte umfassend: - Aufnehmen eines Übersichtsbildes (01) der Probe; - Aufnehmen einer ersten Gruppe von mikroskopischen Teilbildern (06) der Probe, wobei die mikroskopischen Teilbilder (06) der ersten Gruppe gleiche Auflösungen aufweisen, und wobei eine Position der ersten Gruppe der mikroskopischen Teilbilder (06) innerhalb des Übersichtsbildes (01) erfasst wird; - Zusammenfügen der mikroskopischen Teilbilder (06) der ersten Gruppe zu einem ersten Gruppenbild (02); - Aufnehmen einer zweiten Gruppe von mikroskopischen Teilbildern (06) der Probe, wobei die mikroskopischen Teilbilder (06) der zweiten Gruppe gleiche Auflösungen aufweisen, und wobei eine Position der zweiten Gruppe der mikroskopischen Teilbilder (06) innerhalb des Übersichtsbildes (01) erfasst wird; - Zusammenfügen der mikroskopischen Teilbilder (06) der zweiten Gruppe zu einem zweiten Gruppenbild (03); und - Zusammenfügen mindestens des ersten Gruppenbildes (02) und des zweiten Gruppenbildes (03) zu einem zusammengesetzten Bild (09) der Probe entsprechend der erfassten Position der ersten Gruppe der mikroskopischen Teilbilder (06) und der erfassten Position der zweiten Gruppe der mikroskopischen Teilbilder (06).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass es folgende weitere Schritte umfasst: - Aufnehmen einer dritten Gruppe von mikroskopischen Teilbildern (06) der Probe, wobei die mikroskopischen Teilbilder (06) der dritten Gruppe gleiche Auflösungen aufweisen, und wobei eine Position der dritten Gruppe der mikroskopischen Teilbilder (06) innerhalb des Übersichtsbildes (01) erfasst wird; - Zusammenfügen der mikroskopischen Teilbilder (06) der dritten Gruppe zu einem dritten Gruppenbild (04); - Zusammenfügen des ersten Gruppenbildes (02), des zweiten Gruppenbildes (03) und des dritten Gruppenbildes (04) zu einem zusammengesetzten Bild (09) der Probe entsprechend der erfassten Position der ersten Gruppe der mikroskopischen Teilbilder (06), der erfassten Position der zweiten Gruppe der mikroskopischen Teilbilder (06) und der erfassten Position der dritten Gruppe der mikroskopischen Teilbilder (06).
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass sich die gleichen Auflösungen der mikroskopischen Teilbilder (06) der zweiten Gruppe von den gleichen Auflösungen der mikroskopischen Teilbilder (06) der ersten Gruppe unterscheiden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Schritt des Zusammenfügens der mikroskopischen Teilbilder (06) der einzelnen Gruppen zu dem jeweiligen Gruppenbild (02; 03; 04) folgende Teilschritte umfasst: - Bestimmen von Überlappungsbereichen (07) zwischen jeweils zwei der mikroskopischen Teilbilder (06); und - Zusammenfügen der mikroskopischen Teilbilder (06) entsprechend den bestimmten Überlappungsbereichen (07).
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Schritt des Zusammenfügens der mikroskopischen Teilbilder (06) der einzelnen Gruppen zu dem jeweiligen Gruppenbild (02; 03; 04) folgende Teilschritte umfasst: - Erfassen jeweils einer Position des jeweiligen mikroskopischen Teilbildes (06) in Bezug zur Probe; und - Zusammenfügen der mikroskopischen Teilbilder (06) entsprechend der erfassten Positionen.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die mikroskopischen Teilbilder (06) der ersten Gruppe gleiche Bildgrößen aufweisen, und dass die mikroskopischen Teilbilder (06) der zweiten Gruppe gleiche Bildgrößen aufweisen, welche sich von den gleichen Bildgrößen der mikroskopischen Teilbilder (06) der ersten Gruppe unterscheiden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die mikroskopischen Teilbilder (06) der jeweiligen Gruppen matrixartig angeordnet sind, wobei die matrixartig angeordneten Teilbilder (06) Matrizen bilden, welche Spalten und Zeilen aufweisen, wobei die Spalten und die Zeilen jeweils eine Länge aufweisen, welche zwischen ein und zehn Teilbilder (06) beträgt.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Summe der mikroskopischen Teilbilder (06) aller Gruppen mindestens 100 beträgt.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Gruppen der mikroskopischen Teilbilder (06) jeweils gemäß einem Aufnahmemodus aufgenommen werden, welcher aus einer folgende Aufnahmemodi umfassenden Gruppe ausgewählt ist: zweidimensionale Bildaufnahme, dreidimensionale Bildaufnahme und Bildaufnahme mit einer erweiterten Schärfentiefe; wobei die Gruppen der mikroskopischen Teilbilder (06) gemäß unterschiedlichen Aufnahmemodi aufgenommen werden.
Mikroskop zum Mikroskopieren einer Probe; umfassend: - ein Objektiv zum vergrößerten optischen Abbilden der Probe; - einen Bildsensor zum Wandeln des abgebildeten Bildes in ein elektrisches Signal; und - eine elektronische Bildverarbeitungseinheit, welche zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 9 konfiguriert ist.