DE102020210592A1

DE102020210592A1 - Verfahren und Mikroskop zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines Probenträgers

Info

Publication number: DE102020210592A1
Application number: DE102020210592.8A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2020-08-20
Filing date: 2020-08-20
Publication date: 2022-02-24
Also published as: CN114170129A

Abstract

Es wird ein Verfahren zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines Probenträgers (2) mit einer Probe (4) in einem Mikroskop (1) offenbart. In einem ersten Schritt (S1) werden zwei erste Übersichtsrohbilder des Probenträgers (2) aus einer ersten Perspektive aufgenommen, wobei jedes Übersichtsrohbild mit einem individuellen Beleuchtungszustand aufgenommen wird. In einem zweiten Schritt (S2) werden zwei zweite Übersichtsrohbilder des Probenträgers (2) aus einer anderen, zweiten Perspektive aufgenommen, wobei auch jedes zweite Übersichtsrohbild mit einem individuellen Beleuchtungszustand aufgenommen wird. In einem dritten Schritt (S3) wird die artefaktreduzierte Übersichtsaufnahme erzeugt, indem die Übersichtsrohbilder kombiniert werden, wobei Artefakte von Strukturen, die nicht der Probe (4) zuzuordnen sind, entfernt werden.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines Probenträgers in einem Mikroskop. Es werden Übersichtsrohbilder des Probenträgers, auf dem sich eine Probe befindet, aufgenommen, wobei die Übersichtsrohbilder Artefakte von Strukturen aufweisen, die nicht der Probe zuzuordnen sind.
Weiter betrifft die Erfindung ein Mikroskop zum Abbilden eines in einem Probenvolumen anzuordnenden Probenträgers mit einer Probe und zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme. Das Mikroskop weist eine Detektionseinrichtung auf, die eine Kamera mit einem Bildfeld, in dem sich das Probenvolumen befindet, aufweist. Zudem weist das Mikroskop eine Beleuchtungseinrichtung auf, die aus mehreren Beleuchtungselementen besteht und das Probenvolumen im Durchlicht beleuchtet. Weiter weist das Mikroskop eine Verarbeitungseinrichtung auf, die die Beleuchtungseinrichtung ansteuert und die Detektionseinrichtung ansteuert und ausliest, um Übersichtsrohbilder, die Artefakte von Strukturen aufweisen, die nicht der Probe zuzuordnen sind, aufzunehmen.
Aus der DE 10 2017 111 718 A1 ist ein Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes bekannt. Es wird ein Probenträger im Durchlicht mit einem zweidimensionalen Beleuchtungsmuster beleuchtet, wobei mindestens zwei Übersichtsrohbilder erstellt werden. Diese Übersichtsrohbilder werden entweder mit unterschiedlichen lateralen Verschiebestellungen des Probenträgers gegenüber dem Beleuchtungsmuster oder mit unterschiedlichen Beleuchtungsmustern aufgenommen. Anschließend werden die Übersichtsrohbilder zu einem Übersichtskontrastbild zusammengefügt.
In den Übersichtsrohbildern ist in der Regel nur die Ebene von Interesse, in der die Probe liegt. Durch die Probe ist folglich eine Probenebene definiert, z.B. durch eine flächige Probe oder eine Fokalebene des Mikroskops innerhalb der Probe. In dieser Probenebene ist allerdings in den meisten Fällen nicht nur die Probe enthalten, sondern auch Strukturen, die nicht der Probe zuzuordnen sind. Solche Strukturen erstrecken sich in der Regel axial, das heißt über die Probenebene hinaus in weitere Ebenen. Die Teile der Strukturen, die sich über die Probenebene hinaus erstrecken, verursachen Artefakte. Sie sind in der Übersichtsaufnahme störend, da sie die Sichtbarkeit der Probe einschränken können, wenn sie Bereiche der Probe überdecken. Störende Strukturen können in zwei Arten unterteilt werden. Zum einen können sie sich auf dem Probenträger befinden. Beispiele sind die Seitenwände oder Deckel von Probengefäßen, wie etwa bei Chamberslides, Multiwell-Platten oder Petrischalen. Zum anderen können sich die störenden Strukturen nicht auf dem Probenträger befinden, sondern sind Elemente des Bildaufnahmeprozesses. Beispiele sind Beleuchtungseinheiten, Strukturen am Stativ oder Objekte im umgebenden Raum.
Es soll ein Verfahren und ein Mikroskop zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines Probenträgers in einem Mikroskop bereitgestellt werden.
Die Erfindung ist in den unabhängigen Ansprüchen definiert. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben. Die bevorzugten Ausführungsformen gelten auf dieselbe Weise für das Verfahren und die Vorrichtung.
Es wird ein Verfahren zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines Probenträgers mit einer Probe in einem Mikroskop bereitgestellt. Weiter wird ein Mikroskop zum Erzeugen der artefaktreduzierten Übersichtsaufnahme bereitgestellt.
Im Verfahren werden in einem ersten Schritt zwei erste Übersichtsrohbilder des Probenträgers mit Probe, aus einer ersten Perspektive aufgenommen, wobei jedes Übersichtsrohbild mit einem individuellen Beleuchtungszustand aufgenommen wird.
Die individuellen Beleuchtungszustände bei der Aufnahme der ersten Übersichtsrohbilder können auf unterschiedliche Arten realisiert werden. Zur Erzeugung der individuellen Beleuchtungszustände wird auf die DE 10 2017 111 718 A1 verwiesen, die diesbezüglich hier vollumfänglich eingebunden wird.
In einer bevorzugten Ausführungsform werden die individuellen Beleuchtungszustände durch zeitlich unterschiedliche Beleuchtungen realisiert. Dabei wird jedes der zwei ersten Übersichtsrohbilder mit individuellen Belichtungszeiten oder individueller Beleuchtung bei gleicher Belichtungszeit aufgenommen. In Ausführungsformen können die individuellen Beleuchtungszustände auch durch räumlich unterschiedliche Beleuchtung realisiert werden.
Bevorzugt werden zur Erzeugung der individuellen Beleuchtungszustände bei der Aufnahme jedes ersten Übersichtsrohbildes in der Beleuchtungseinrichtung individuelle Beleuchtungsmuster geschaltet, so dass der Probenträger bei der Aufnahme der zwei ersten Übersichtsrohbildes individuell beleuchtet wird. Hierfür ist grundsätzlich eine Vielzahl an Beleuchtungsmustern geeignet. Besonders bevorzugt wird eine zweidimensionale, arrayförmige Beleuchtung verwendet. Bei der Aufnahme der zwei ersten Übersichtsrohbilder werden die einzelnen Beleuchtungselemente der Beleuchtungseinrichtung einzeln oder gruppenweise eingeschaltet, um so für jedes erste Übersichtsrohbild einen individuellen Beleuchtungszustand zu erzeugen. Dabei muss stets ein Teil der einzelnen Beleuchtungselemente eingeschaltet sein. Es ist auch möglich, dass einige der einzelnen Beleuchtungselemente Licht einer anderen Farbe oder Polarisation abstrahlen. Ist dies der Fall, können die ersten Übersichtsrohbilder gleichzeitig aufgenommen werden. Dann werden die Beleuchtungszustände gleichzeitig realisiert, da der Probenträger mit unterschiedlichen Farben und/oder Polarisationen aus unterschiedlichen Winkeln beleuchtet wird. Zur Beleuchtung werden bevorzugt LED, OLED, Enden von Lichtleitfasern, Elemente eines DMD oder sonstige Lichtmodulatoren verwendet.
Eine weitere Möglichkeit der Erzeugung der individuellen Beleuchtungszustände besteht in einer Verschiebung des im Probenvolumen angeordneten Probenträgers relativ zur Beleuchtungseinrichtung. Dabei handelt es sich z.B. um eine laterale Verschiebung senkrecht zu einer optischen Achse der Abbildung. Es ist aber auch eine relative Verschiebung entlang der optischen Achse möglich. Die Relativverschiebung kann durch eine Verschiebung des Probenträgers oder der Beleuchtungseinrichtung oder beider realisiert werden.
Das Mikroskop realisiert die Aufnahme der zwei ersten Übersichtsrohbilder mit einer Detektionseinrichtung, die mindestens eine Kamera aufweist, und einer Verarbeitungseinrichtung, welche die Detektionseinrichtung ansteuert und ausliest. Die Kamera weist ein Bildfeld auf, in dem sich das Probenvolumen befindet. In diesem Probenvolumen ist der Probenträger mit der Probe angeordnet. Weiter weist das Mikroskop eine Beleuchtungseinrichtung auf, die aus mehreren Beleuchtungselementen besteht und das Probenvolumen im Durchlicht beleuchtet. Die Verarbeitungseinrichtung ist so konfiguriert, dass sie die Detektionseinrichtung ansteuert und ausliest, um die ersten Übersichtsbilder aus der ersten Perspektive mit den individuellen Beleuchtungszuständen aufzunehmen.
Die Kommunikation zwischen Detektionseinrichtung und Verarbeitungseinrichtung bzw. der Beleuchtungseinrichtung und der Verarbeitungseinrichtung kann dabei sowohl über elektrische Leitungen, als auch über Funk oder Ähnliches realisiert werden.
Die Artefakte von Strukturen, die nicht der Probe zuzuordnen sind, werden für die Übersichtsaufnahme teilweise oder ganz entfernt. Zunächst werden dazu zwei zweite Übersichtsrohbilder des Probenträgers mit der Probe aus einer anderen, zweiten Perspektive aufgenommen. Dabei wird wiederum jedes zweite Übersichtsrohbild mit einem individuellen Beleuchtungszustand aufgenommen. Die individuellen Beleuchtungszustände können dieselben oder andere sein, als bei den zwei ersten Beleuchtungszuständen.
Die individuellen Beleuchtungszustände der zweiten Übersichtsrohbilder werden bevorzugt auf dieselbe Weise wie die individuellen Beleuchtungszustände in den ersten Übersichtsrohbildern erzeugt. Wesentlich ist es bei der Aufnahme der zweiten Übersichtsrohbilder aber, dass sie nicht mehr aus der ersten Perspektive erzeugt werden, sondern aus der anderen, zweiten Perspektive. Folglich werden sowohl aus der ersten Perspektive als auch aus der zweiten Perspektive zwei Übersichtsrohbilder mit sich unterscheidenden Beleuchtungszuständen aufgenommen, sodass insgesamt vier verschiedene Übersichtsrohbilder entstehen.
Analog zu den ersten Übersichtsrohbildern sind auch in den zweiten Übersichtsrohbildern Strukturen enthalten, die nicht der Probe zuzuordnen sind, wie sie bereits erläutert wurden.
Der Perspektivwechsel von der ersten in die zweite Perspektive kann durch eine Relativverschiebung eines Probentisches relativ zur Detektionseinrichtung, beispielsweise mittels einer Relativverstelleinrichtung, erfolgen. Ist eine Relativverstelleinrichtung vorgesehen, kann sie einen verstellbaren Probentisch aufweisen oder die Detektionseinrichtung oder beide verstellen. Die Größe der relativen Verschiebung des Probentisches und die damit verbundene relative Verschiebung der Probenebene zu der Ebene, in der sich Artefakte der Strukturen befinden, die nicht der Probe zuzuordnen sind, kann in Ausführungsformen einstellbar sein und zum Beispiel abhängig von der zu entfernenden Struktur gewählt werden. Befinden sich die artefakterzeugenden Strukturen auf dem Probenträger, sollte die Verschiebung so gewählt werden, dass sich die Struktur nach dem Perspektivwechsel um ein vorbestimmtes Maß verändert hat. Ist die Struktur periodisch, wie z.B. bei einem periodischen Beleuchtungsarray, so sollte die Verschiebung bevorzugt eine halbe Periode betragen, da dann die Artefakte besonders leicht herausgemittelt werden können.
In Ausführungsformen werden die zwei Perspektiven durch zwei, in der Detektionseinrichtung vorgesehene Kameras erzeugt. Dann werden die ersten Übersichtsrohbilder aus der ersten Perspektiven mit der ersten Kamera aufgenommen, die mit ihrem Bildfeld auf das Probenvolumen gerichtet ist und die zweiten Übersichtsrohbilder werden aus der anderen, zweiten Perspektive mit einer zweiten Kamera aufgenommen, deren Bildfeld ebenfalls auf das Probenvolumen gerichtet ist, wobei die zweite Kamera mit ihrem Bildfeld von einer anderen Position aus einem anderen Winkel seitlich auf das Probenvolumen blickt. Auch dadurch wird die Probenebene gegenüber den Artefakten verschoben. Bevorzugt werden die Übersichtsrohbilder aus den Perspektiven zu einem Beleuchtungszustand gleichzeitig aufgenommen und dann der Beleuchtungszustand für die nächste, gleichzeitige Aufnahme geändert.
Die Detektionseinrichtung kann bevorzugt sowohl eine telezentrische Kamera, wie beispielsweise das Mikroskop selbst, als auch nicht-telezentrische Kameras, wie beispielsweise eine Webcam oder eine Übersichtskamera verwenden, die von der Seite auf das Probenvolumen blicken. Da sich bei telezentrischen Aufnahmen nur eine Fokalebene relativ zur Probe verändert, wenn eine axiale Verschiebung des Probenträgers ausgeführt wird, können in diesem Fall nur störende Strukturen teilweise oder ganz entfernt werden, welche sich nicht auf dem Probenträger befinden.
In Ausführungsformen kann zusätzlich zu der Aufnahme der Übersichtsrohbilder mit mehreren Kameras der Probenträger relativ zur Detektionseinrichtung verschoben werden. Auch können die einzelnen Kameras der Detektionseinrichtung zueinander verschoben werden. Bei diesen Ausführungsformen handelt es sich um eine Kombination aus Verschiebung mittels Relativverstelleinrichtung und Detektionseinrichtung mit mehreren Kameras, wodurch weitere Perspektiven erzeugt werden können. Zudem kann der Unterschied zwischen den Perspektiven durch eine zusätzliche Verschiebung vergrößert werden.
Nach Aufnahme der Übersichtsrohbilder aus den verschiedenen Perspektiven wird die artefaktreduzierte Übersichtsaufnahme erzeugt, indem die Übersichtsrohbilder kombiniert werden, wobei Artefakte der Strukturen, die nicht der Probe zuzuordnen sind, entfernt werden. Im Mikroskop ist dies durch die Verarbeitungseinrichtung realisiert.
Bevorzugt werden die Übersichtsrohbilder hinsichtlich Strukturen, die sich in der Probenebene befinden, zueinander registriert. Darunter wird verstanden, dass die Übersichtsrohbilder so relativverschoben werden, dass Probenstrukturen oder andere vorbestimmte Strukturen in allen Übersichtsrohbildern an derselben Stelle liegen. Geeignete Strukturen können z.B. Bestandteile der Probe selbst oder Strukturen, die nicht der Probe zuzuordnen sind, wie beispielsweise der Probenträger, Deckel, o.ä., sofern sie sich in der Probenebene befinden, sein. Dadurch werden sie unabhängig von der Perspektive, wohingegen Strukturen, die außerhalb der Probenebene liegen und die Artefakte erzeugen würden, nach der Registrierung in den Übersichtsrohbildern an lateral verschiedenen Stellen erscheinen - je nachdem ob und wie stark sie über oder unter der Registrierung verwendeten Probenebenen liegen. Nach der Registrierung können Artefakte sehr einfach abgeschwächt oder entfernt werden. Es wird ein klarer Kontrast zwischen Probenebene und Hintergrundartefakten erzeugt.
Die Registrierung der Übersichtsrohbilder erfolgt entweder bildbasiert oder aus dem Wissen über die Relativverschiebung und/oder die Lage der Kamerapositionen. Erfolgt die Registrierung bildbasiert, können gängige Verfahren zur Bildregistrierung eingesetzt werden. Die Relativverschiebung kann auf eine entsprechende Bildverschiebung abgebildet werden, wenn die genaue Position der Kamera bekannt ist. Dann können die Übersichtsrohbilder ohne Betrachtung der Bildinhalte registriert werden. Ist es möglich, die Relativverschiebung auf eine entsprechende Bildverschiebung abzubilden, ist diese Methode der bildbasierten Registrierung aufgrund der größeren Robustheit vorzuziehen.
Die Kombination der Übersichtsrohbilder nach der Registrierung kann auf unterschiedliche Weisen erfolgen. Kombinationsmöglichkeiten sind beispielsweise ein Mitteln der Übersichtsrohbilder, eine Rangordnungsprojektion über einzelne Pixel der Übersichtsrohbilder, eine Identifizierung und Entfernung von Abweichungen von Intensitäten der registrierten Pixel, als auch deren Verhältnis zu benachbarten Intensitätsabweichungen. Bevorzugt wird die artefaktreduzierte Übersichtsaufnahme noch nachbearbeitet, zum Beispiel im Kontrast mit üblichen Mitteln verbessert.
Bevorzugt werden vor der Kombination der Übersichtsrohbilder zur artefaktreduzierten Übersichtsaufnahme aus den ersten Übersichtsrohbildern ein erstes Zwischenbild und aus den zweiten Übersichtsrohbildern ein zweites Zwischenbild erzeugt. Dazu können die ersten Übersichtsrohbilder mit einer ersten Bildbearbeitungsmethode zum ersten Zwischenbild kombiniert werden und die zweiten Übersichtsrohbilder mit einer anderen, zweiten Bildbearbeitungsmethode zum zweiten Zwischenbild kombiniert werden. So kann beispielsweise mit den ersten Übersichtsrohbildern eine Min-Projektion und mit den zweiten Übersichtsrohbildern eine Max-Projektion durchgeführt werden.
Selbstverständlich ist im Verfahren die Aufnahme der Übersichtsrohbilder aus der ersten oder zweiten Perspektive nicht auf genau zwei erste Übersichtsrohbilder beschränkt; es können auch drei oder mehr erste Übersichtsrohbilder, jeweils mit individuellen Beleuchtungszuständen, aufgenommen werden. Es muss also nicht zwingend genau zwei Beleuchtungszustände geben. Die Zahl der Übersichtsrohbilder ist in dieser Beschreibung rein beispielhaft gewählt. Aus jeder Perspektive können auch drei, vier, oder mehr Übersichtsrohbilder mit individuellen Beleuchtungszuständen aufgenommen werden. Selbstverständlich können auch mehr als zwei verschiedene Perspektiven verwendet werden, z.B. drei, vier, fünf oder mehr. Selbiges gilt natürlich nicht nur für das Verfahren, sondern auch für das Mikroskop.
Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung beispielhalber noch näher erläutert. In der Zeichnung zeigt:

1 eine Vorrichtung zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme in einem Mikroskop,
2 eine weitere Vorrichtung zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme in einem Mikroskop,
3 ein Schema zur Verarbeitung von Übersichtsrohbildern zu einer artefaktreduzierten Übersichtsaufnahme,
4 ein weiteres Schema zur Verarbeitung von Übersichtsrohbildern zu einer artefaktreduzierten Übersichtsaufnahme,
5 ein Ablaufdiagramm des Verfahrens zur Erzeugung einer artefaktreduzierten Übersichtsaufnahme eines Probenträges in einem Mikroskop und
6A-D eine Registrierung von Übersichtsrohbildern aus einer ersten und einer zweiten Perspektive.

In 1 ist eine Vorrichtung zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines in einem Probenvolumen 3 angeordneten Probenträgers 2, auf dem sich eine Probe 4 befindet, in einem Mikroskop 1 dargestellt. Das Mikroskop 1 erfasst entlang einer optischen Achse OA mit einem Objektiv (nicht separat gezeigt) das Probenvolumen 3. Der Probenträger 2 befindet sich auf einem Probentisch 6. Das Probenvolumen 3, und damit auch der Probenträger 2, wird im Durchlicht mit einer Beleuchtungseinrichtung 5 mit einzelnen Beleuchtungselementen 7 beleuchtet. Auf das Probenvolumen 3 mit dem Probenträger 2 und der darauf befindlichen Probe 4 ist eine ein Bildfeld 8 aufweisende Kamera 10 gerichtet, welche Bestandteil einer Detektionseinrichtung ist. Im Bildfeld 8 der Kamera 10 wird der Probenträger 2 mit der Probe 4 innerhalb des Probevolumens 3 relativ zur Kamera 10 verschoben. Diese Verschiebung wird im Ausführungsbeispiel der 1 durch einen mit dem Probentisch 6 verbundenen Antrieb 12 realisiert, welcher den Probentisch 6 und damit das Probenvolumen 3, in dem sich der Probenträger 2 mit der Probe 4 befindet, von einer ersten Position 14 in eine zweite Position 16 verschoben. Der Antrieb 12 dient folglich im Ausführungsbeispiel als Relativverstelleinheit. Die Kamera 10 ist über elektrische Leitungen 18 mit einer Verarbeitungseinrichtung 20 verbunden. Die Verarbeitungseinrichtung 20 ist wiederum über elektrische Leitungen 18 mit einer Abbildungsvorrichtung 22 verbunden.
Befindet sich der Probentisch 6 in dem sich darauf befindlichen Probenträger 2 in der ersten Position 14, nimmt die Kamera 10 , angesteuert von der Verarbeitungseinrichtung 20, zwei erste Übersichtsrohbilder aus einer ersten Perspektive mit individuellen Beleuchtungszuständen auf und übermittelt diese über die elektrischen Leitungen 18 an die Verarbeitungseinrichtung 20.
Die individuellen Beleuchtungszustände können zum einen durch zeitlich unterschiedliche Beleuchtungen mit der Beleuchtungseinrichtung 5 realisiert werden. Dabei wird jedes individuelle der ersten Übersichtrohbilder mit unterschiedlichen Belichtungszeiten oder unterschiedlicher Beleuchtung bei gleicher Belichtungszeit aufgenommen. Weiter können die individuellen Beleuchtungszustände durch räumlich unterschiedliche Beleuchtung mit der Beleuchtungseinrichtung 5 erzeugt werden. Dabei wird beispielsweise für jedes erste Übersichtsrohbild ein individuelles Beleuchtungsmuster geschaltet, so dass das Probenvolumen bei der Aufnahme jedes ersten Übersichtsrohbildes von der Beleuchtungseinrichtung 5 individuell beleuchtet wird. Möglichkeiten bei der Beleuchtung des Probenvolumens 3 mit der Beleuchtungseinrichtung 5 wurden bereits erläutert.
Es ist stets ein Teil der einzelnen Beleuchtungselemente 7 eingeschalten. Es ist möglich, dass ein Teil der Beleuchtungselemente 7 Licht einer anderen Farbe oder Polarisation abstrahlt. Strahlt die Beleuchtungseinrichtung 5 mit einzelnen Beleuchtungselementen 7 Licht einer individuellen Farbe oder Polarisation ab, ist es möglich, mit der Verarbeitungseinrichtung 20 über die Kamera 10 mehrere erste Übersichtsrohbilder gleichzeitig aufzunehmen, da durch die Beleuchtungseinrichtung 5 mehrere individuelle Beleuchtungszustände gleichzeitig realisiert werden (das Probenvolumen 3 wird aus unterschiedlichen Winkeln mit unterschiedlichen Farben und/oder Polarisation beleuchtet). Eine weitere Möglichkeit der räumlich unterschiedlichen Beleuchtung des Probenvolumens 3 mit der Beleuchtungseinrichtung 5 und damit der Erzeugung von individuellen Beleuchtungszuständen besteht in der Verschiebung des Probenträgers 2 relativ zur Beleuchtungseinrichtung 5.
Es werden zwei erste Übersichtsrohbilder mit den beschriebenen individuellen Beleuchtungszuständen aufgenommen, wobei die Übersichtrohbilder Strukturen enthalten, die nicht der Probe 4 zuzuordnen sind. Bei derartigen Strukturen kann es sich beispielsweise um Strukturen handeln, die sich auf dem Probenträger 2 befinden, wie beispielsweise Seitenwände oder Deckel von Probengefäßen, es kann sich aber auch um Elemente des Bildaufnahmeprozesses, wie beispielsweise Beleuchtungseinheiten, Strukturen am Stativ oder Objekte im umgebenden Raum handeln. Sofern sich diese Strukturen nicht in der Probenebene befinden, werden sie in der Übersichtsaufnahme als störend empfunden, da sie die Sichtbarkeit der Probe 4 einschränken können, indem sie Bereiche der Probe 4 überdecken. Diese Artefakte sollten in der artefaktreduzierten Übersichtsaufnahme entfernt werden.
Dazu wird gemäß 1 mittels des Antriebs 12, welcher als Relativverstelleinrichtung dient, der Probentisch 6 und damit das Probenvolumen 3, in dem sich der Probenträger 2 mit der Probe 4 befindet, von der ersten Position 14 in die zweite Position 16 verschoben. Die Position der Kamera 10 bleibt unverändert. Durch die andere Perspektive wird die Probenebene gegenüber einer Ebene, in der sich die artefakterzeugenden Strukturen befinden, verschoben. Befindet sich der Probentisch 6 mit dem Probenvolumen 3 in der zweiten Position 16, wird die Kamera 10 von der Verarbeitungseinrichtung 20 angesteuert und nimmt zwei zweite Übersichtsrohbilder aus der zweiten Perspektive auf. Auch diese zweiten Übersichtsrohbilder werden mit individuellen Beleuchtungszuständen aufgenommen. Auch in den zweiten Übersichtsrohbildern sind Artefakte enthalten, sie verändern sich allerdings relativ zu den Strukturen in der Probenebene befinden, wenn die Probenebenen der einzelnen Übersichtsrohbilder in der Probenebene zueinander registriert werden.
Die 6A-6D stellen eben diese Veränderung der Artefakte in den einzelnen Übersichtsrohbildern, wenn die Probenebene mit den einzelnen Übersichtsrohbildern zueinander registriert werden, schematisch dar. 6A zeigt die sich auf dem Probenträger 2 in der Probenebene PE befindliche Probe 4 bei der Betrachtung durch das Objektiv O des Mikroskops 1. Oberhalb und unterhalb der Probe 4 sind artefakterzeugende Strukturen 9 in einer ersten, höherliegenden Strukturebene SE1 und einer zweiten, tieferliegenden Strukturebene SE2 angeordnet. Zum besseren Verständnis wird davon ausgegangen, dass es sich durchgängig um sehr dünne Strukturen handelt, die sich nur in einer Ebene PE, SE1 oder SE2 befinden. 6B zeigt die Betrachtung des Probenträgers 2 aus der ersten Perspektive P1. Analog zeigt die 6C die Betrachtung aus der zweiten Perspektive P2. Man sieht deutlich, dass sich die Strukturen in den Ebenen SE1 und SE2 gegenüber der Probenebene PE in den Perspektiven P1 und P2 seitlich verschieben und zwar für P1 und P2 unterschiedlich.
Werden die Bilder hinsichtlich der Probenebene PE zueinander registriert, entsteht ein Bild gemäß 6D. Die Strukturen in der Probenebene PE liegen in allen Bildern, wenn sie zueinander registriert werden, an derselben Stelle, wogegen die artefakterzeugenden Strukturen 9 in ihrer jeweiligen Strukturebene SE1, SE2 bei der Betrachtung aus unterschiedlichen Perspektiven P1, P2 verschoben sind und dadurch nicht immer an derselben Position liegen. Folglich kann nach der Registrierung durch Bildbearbeitung einfach dafür gesorgt werden, dass die Probe 4 in der Probenebene PE verstärkt und die Strukturen 9 abgeschwächt werden.
Dadurch werden bei der Kombination der Übersichtsrohbilder zur artefaktreduzierten Übersichtsaufnahme durch die Verarbeitungseinrichtung 20, die Artefakte abgeschwächt oder ganz entfernt. Dies wird bevorzugt mittels Bildbearbeitungsmethoden, welche noch genauer erläutert werden, umgesetzt.
2 zeigt eine weitere Ausführungsform der Vorrichtung zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme des Probenvolumens 3 im Mikroskop 1. Elemente die strukturell oder funktionell denen der 1 entsprechen tragen dieselben Bezugszeichen. Zusätzlich zur Ausführungsform der 1 sind auf das Probevolumen 3 mit dem darin befindlichen Probenträger 2 eine zweite Kamera 19 mit einem zweiten Bildfeld 17 sowie eine dritte Kamera 23 mit einem dritten Bildfeld 24 gerichtet. Die zweite Kamera 19 ist ebenso wie die dritte Kamera 23 mit der Verarbeitungseinrichtung 20 verbunden.
Die Detektionseinrichtung umfasst somit hier drei Kameras, die alle von der Verarbeitungseinrichtung 20 angesteuert und ausgelesen werden. Die erste Kamera 10 nimmt die ersten zwei Übersichtsrohbilder mit individuellen Beleuchtungszuständen aus der ersten Perspektive auf. Die zweite Kamera 19 erfasst mit ihrem zweiten Bildfeld 17 ebenfalls das Probenvolumen 3, allerdings aus der anderen, zweiten Perspektive. Analoges gilt für die dritte Kamera 23 und ihr drittes Bildfeld 24. Alternativ zu verschiedenen Kameras 10, 19, 23 kann als Detektionseinrichtung eine Kamera 10 mit verschiedenen z.B. motorisch einstellbaren Kamerapositionen verwendet werden. Mit der Vorrichtung gemäß 2 werden analog zu der Vorrichtung gemäß 1 mehrere Übersichtsrohbilder aus mehreren Perspektiven aufgenommen, jeweils wieder mit individuellen Beleuchtungszuständen wie anhand 1 erläutert. Die Verarbeitung der Übersichtsrohbilder erfolgt auf dieselbe Art und Weise wie bei der Ausführungsform der 1 und wird nachfolgend noch genauer erläutert.
Die Übersichtsrohbilder können in beiden Ausführungsbeispielen (1 und 2) sowohl mit einer telezentrischen, wie beispielsweise dem Mikroskop, als auch mit einer nicht-telezentrischen Kamera, wie beispielsweise einer Webcam oder einer Übersichtskamera, die von der Seite auf die Probe 4 blicken oder einer Kombination (2), aufgenommen werden. Da sich bei telezentrischen Aufnahmen jedoch nur die Fokalebene relativ zur Probe 4 verändert, wenn eine axiale Verschiebung des Probenträgers 2 ausgeführt wird, können in diesem Fall nur störende Hintergrundstrukturen entfernt werden, also nur Strukturen die sich nicht auf dem Probenträger 2 selbst befinden.
Im Anschluss an die Bildaufnahme werden die Übersichtsrohbilder von der Verarbeitungseinrichtung 20 zueinander registriert (vgl. 6D) und mit Bildbearbeitungsmethoden weiterverarbeitet. Die Registrierung der Übersichtsrohbilder erfolgt dabei entweder bildbasiert oder aus oder Wissen über die Relativverschiebung (Verschiebung des Probentisches 6 und/oder die Lage der Kamerapositionen). Dabei ist zu beachten, dass nur die Probenebene registriert wird.
Um die registrierten Übersichtsrohbilder zur artefaktreduzierten Übersichtsaufnahme zu kombinieren, kommen verschiedene Kombinationsmöglichkeiten in Frage, z.B. Mitteln der Übersichtsrohbilder, eine Rangordnungsprojektion über einzelne Pixel der Übersichtsrohbilder, eine Identifizierung und Entfernung von Abweichungen von der Intensitäten der registrierten Pixel, als auch deren Verhältnis zu benachbarten Intensitätsabweichung.
Die 3 und 4 zeigen Kombinationsmöglichkeiten der Übersichtsrohbilder zur artefaktreduzierten Übersichtsaufnahme mit Hilfe von Bildbearbeitungsmethoden. Gemäß 3 werden zwei Übersichtsrohbilder URP1B1 und URP1B2 aus der ersten Perspektive P1 mit individuellen Beleuchtungszuständen (B1, B2) aufgenommen und anschließend zu einem Zwischenbild ZP1 verarbeitet. Analog werden aus der anderen, zweiten Perspektive zwei Übersichtsrohbilder URP2B1 und URP2B2 mit individuellen Beleuchtungszuständen (B1, B2) aufgenommen und zu einem weiteren Zwischenbild ZP2 verarbeitet. Anschließend werden die Zwischenbilder ZP1 und ZP2 zur artefaktreduzierten Übersichtsaufnahme UA kombiniert. Da die Übersichtsrohbilder vor der Kombination zur Übersichtsaufnahme zunächst zu Zwischenbildern kombiniert werden, kann bei der Erzeugung der Zwischenbilder eine andere Bildbearbeitungsmethode verwendet werden, als bei der Kombination der Zwischenbilder zur Übersichtsaufnahme. So kann beispielsweise zur Erzeugung der Zwischenbilder aus den ersten bzw. zweiten Übersichtsrohbildern eine Max-Projektion und zur Erzeugung der artefaktreduzierten Übersichtsaufnahme aus den Zwischenbildern eine Min-Projektion ausgeführt werden.
4 zeigt eine weitere Kombinationsmöglichkeit der Übersichtsrohbilder zur artefaktreduzierten Übersichtsaufnahme. Gemäß 4 werden ebenfalls vier Übersichtsrohbilder URP1B1, URP1B2, URP2B1 und URP2B2 aufgenommen, wobei die ersten Übersichtsrohbilder aus der ersten Perspektive P1 mit individuellen Beleuchtungszuständen (B1, B2) und die zweiten Übersichtsrohbilder aus der anderen, zweiten Perspektive P2 mit individuellen Beleuchtungszuständen (B1, B2) aufgenommen werden. Diese vier Übersichtsrohbilder werden dann direkt zur artefaktreduzierten Übersichtsaufnahme UA kombiniert.
5 zeigt ein Ablaufdiagramm des Verfahrens zum Erzeugen artefaktreduzierten Übersichtsaufnahme des Probenträgers 2 im Mikroskop 1. In einem ersten Schritt S1 werden die zwei ersten Übersichtsrohbilder des Probenträgers 2 aus der ersten Perspektive aufgenommen, wobei jedes erste Übersichtsrohbild mit einem individuellen Beleuchtungszustand aufgenommen wird. In einem zweiten Schritt S2 werden die zwei zweiten Übersichtsrohbilder des Probenträgers 2 aus der anderen, zweiten Perspektive aufgenommen, wobei jedes zweite Übersichtsrohbild mit einem individuellen Beleuchtungszustand aufgenommen wird. Der Perspektivwechsel von der ersten in die zweite Perspektive kann dabei gemäß 1 mittels einer Verschiebung des Probenträgers relativ zur Detektionsoptik von einer ersten Position 14 in eine zweite Position 16 realisiert werden, oder gemäß 2 durch die Bildaufnahme mit mehreren Kameras 10, 19, 23 aus unterschiedlichen Perspektiven, oder die Verwendung einer Kamera mit verschiedenen z.B. motorisch einstellbaren Kamerapositionen.
Im einem Schritt S3 werden die Übersichtsrohbilder zur artefaktreduzierten Übersichtsaufnahme kombiniert, wobei Artefakte von Strukturen, die nicht der Probe zuzuordnen sind, entfernt werden.
Bezugszeichenliste

1: Mikroskop
2: Probenträger
3: Probenvolumen
4: Probe
5: Beleuchtungseinrichtung
6: Probentisch
7: Beleuchtungselement
8: Bildfeld
9: Artefakt
10: Kamera
12: Antrieb
14: erste Position
16: zweite Position
17: zweites Bildfeld
18: elektrische Leitungen
19: zweite Kamera
20: Verarbeitungseinrichtung
22: Abbildungsvorrichtung
23: dritte Kamera
24: drittes Bildfeld
O: Objektiv
OA: optische Achse
S1: Schritt 1
S2: Schritt 2
S3: Schritt 3
UA: Übersichtsaufnahme
UR: Übersichtsrohbild
Z: Zwischenbild

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017111718 A1 [0003, 0009]

Claims

Verfahren zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines Probenträgers (2), auf dem sich eine Probe (4) befindet, in einem Mikroskop (1), bei dem a) zwei erste Übersichtsrohbilder des Probenträgers (2), aus einer ersten Perspektive aufgenommen werden, wobei jedes erste Übersichtsrohbild mit einem individuellen Beleuchtungszustand aufgenommen wird, dadurch gekennzeichnet, dass b) zwei zweite Übersichtsrohbilder des Probenträgers (2) aus einer anderen, zweiten Perspektive aufgenommen werden, wobei jedes zweite Übersichtsrohbild mit einem individuellen Beleuchtungszustand aufgenommen wird, und c) die artefaktreduzierte Übersichtsaufnahme erzeugt wird, indem die Übersichtsrohbilder kombiniert werden, wobei Artefakte von Strukturen, die nicht der Probe (4) zuzuordnen sind, entfernt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass von der ersten Perspektive in die zweite Perspektive durch eine Relativverschiebung der Probe (4) zu einer Detektionseinrichtung gewechselt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die ersten Übersichtsrohbilder aus der ersten Perspektive mit einer ersten Kamera und die zweiten Übersichtsrohbilder aus der zweiten Perspektive mit einer zweiten Kamera aufgenommen werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die individuellen Beleuchtungszustände der ersten und der zweiten Übersichtsrohbilder durch zeitlich unterschiedliche Beleuchtungen, Beleuchtung mit unterschiedlichen Beleuchtungsmustern und/oder eine laterale Relativverschiebung des Probenträgers erzeugt werden.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass die Übersichtsrohbilder hinsichtlich Strukturen, die in einer vorbestimmten oder wählbaren Probenebene liegen, in Schritt c) zueinander registriert werden.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass die Übersichtsrohbilder aus der ersten und/oder der zweiten Perspektive mit einer telezentrischen Kamera (10, 19, 23) aufgenommen werden.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass die Übersichtsrohbilder aus der ersten und/oder der zweiten Perspektive mit einer nicht-telezentrischen Kamera (10, 19, 23), insbesondere dem Mikroskop, aufgenommen werden.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass die Übersichtsrohbilder in Schritt c) gemittelt werden.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass mit den Übersichtsrohbildern in Schritt c) eine Rangordnungsprojektion über einzelne Bildpunkte, z.B. eine Min-Projektion, eine Median-Projektion oder eine Max-Projektion, durchgeführt wird.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass vor der Kombination der Übersichtsrohbilder aus den ersten Übersichtsrohbildern ein erstes Zwischenbild und aus den zweiten Übersichtsrohbildern ein zweites Zwischenbild erzeugt wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass jedes Zwischenbild mit einer individuellen Bildverarbeitungsmethode erzeugt wird.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass die artefaktreduzierte Übersichtsaufnahme durch die Verwendung einer einzigen Bildverarbeitungsmethode aus allen Übersichtsrohbildern erzeugt wird.
Mikroskop zum Abbilden eines in einem Probenvolumen (3) anzuordnenden Probenträgers (2) mit einer Probe (4) und zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme, mit: - einer Detektionseinrichtung, die mindestens eine Kamera (10, 19, 23) mit einem Bildfeld (8, 17, 24), in dem sich das Probenvolumen (3) befindet, aufweist, - einer Beleuchtungseinrichtung (5), die aus mehreren Beleuchtungselementen (7) besteht und das Probenvolumen (3) im Durchlicht beleuchtet, und - einer Verarbeitungseinrichtung, welche die Beleuchtungseinrichtung (5) ansteuert und die Detektionseinrichtung ansteuert und ausliest, dadurch gekennzeichnet, dass - die Verarbeitungseinrichtung (20) die Detektionseinrichtung ansteuert und ausliest, um zwei erste Übersichtsrohbilder des Probenvolumens (3) aus einer ersten Perspektive und zwei zweite Übersichtsrohbilder des Probenvolumens (3) aus einer anderen, zweiten Perspektive aufzunehmen, wobei sie jedes erste und jedes zweite Übersichtsrohbild mit einem individuellen Beleuchtungszustand aufnimmt, und - die Verarbeitungseinrichtung (20) so konfiguriert ist, dass sie die artefaktreduzierte Übersichtsaufnahme erzeugt, indem sie die Übersichtsrohbilder kombiniert, wobei die Verarbeitungseinrichtung (20) Artefakte von Strukturen, die nicht der Probe (4) zuzuordnen sind, entfernt.
Mikroskop nach Anspruch 13, dadurch gekennzeichnet, dass eine Relatiwerstelleinrichtung vorgesehen ist, die die Detektionseinrichtung von der ersten in die zweite Perspektive durch Relativverschiebung des Probenvolumens (3) zur Detektionseinrichtung wechselt.
Mikroskop nach Anspruch 14, dadurch gekennzeichnet, dass die Relatiwerstelleinrichtung einen verstellbaren Probentisch (6) aufweist.
Mikroskop nach einem der Ansprüche 14 oder 15, dadurch gekennzeichnet, dass die Relativverstelleinrichtung die Detektionseinrichtung verstellt.
Mikroskop nach Anspruch 13, dadurch gekennzeichnet, dass in der Detektionseinrichtung eine erste Kamera zur Aufnahme der ersten Übersichtsrohbilder aus der ersten Perspektive und eine zweite Kamera zur Aufnahme der zweiten Übersichtsrohbilder aus der anderen, zweiten Perspektive vorgesehen sind.
Mikroskop nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass die Verarbeitungseinrichtung (20) so konfiguriert ist, dass sie die Beleuchtungseinrichtung ansteuert, um die individuellen Beleuchtungszustände der ersten und der zweiten Übersichtsrohbilder durch zeitlich unterschiedliche Beleuchtungen, Beleuchtung mit unterschiedlichen Beleuchtungsmustern und/oder eine laterale Relativverschiebung des Probenträgers (2) zu erzeugen.
Mikroskop nach einem der Ansprüche 13 bis 18, dadurch gekennzeichnet, dass die Verarbeitungseinrichtung (20) so konfiguriert ist, dass sie bei der Kombination die Übersichtsrohbilder hinsichtlich Strukturen, die in einer vorbestimmten Probenebene liegen, zueinander registriert.
Mikroskop nach einem der Ansprüche 13 bis 19, dadurch gekennzeichnet, dass die Detektionsoptik eine telezentrische Kamera (10, 19, 23) aufweist.
Mikroskop nach einem der Ansprüche 13 bis 20, dadurch gekennzeichnet, dass die Detektionsoptik einen nicht-telezentrischen Strahlengang des Mikroskops, aufweist.
Mikroskop nach einem der Ansprüche 13 bis 21, dadurch gekennzeichnet, dass die Verarbeitungseinrichtung (20) so konfiguriert ist, dass sie zur Erzeugung der artefaktreduzierten Übersichtsaufnahme die Übersichtsrohbilder mittelt.
Mikroskop nach einem der Ansprüche 13 bis 22, dadurch gekennzeichnet, dass die Verarbeitungseinrichtung (20) so konfiguriert ist, dass sie zur Erzeugung der artefaktreduzierten Übersichtsaufnahme mit den Übersichtsrohbildern eine Rangordnungsprojektion über einzelne Bildpunkte, z.B. eine Min-Projektion, eine Median-Projektion oder eine Max-Projektion durchführt.
Mikroskop nach einem der Ansprüche 13 bis 23, dadurch gekennzeichnet, dass die Verarbeitungseinrichtung (20) so konfiguriert ist, dass sie vor der Kombination der Übersichtsrohbilder zur artefaktreduzierten Übersichtsaufnahme, ein erstes Zwischenbild aus den ersten Übersichtsrohbildern und ein zweites Zwischenbild aus den zweiten Übersichtsrohbildern erzeugt.
Mikroskop nach einem der Ansprüche 13 bis 24, dadurch gekennzeichnet, dass die Verarbeitungseinrichtung (20) so konfiguriert ist, dass sie jedes Zwischenbild mit einer individuellen Bildbearbeitungsmethode erzeugt.
Mikroskop nach einem der Ansprüche 13 bis 25, dadurch gekennzeichnet, dass die Verarbeitungseinrichtung (20) so konfiguriert ist, dass sie die artefaktreduzierte Übersichtsaufnahme durch die Verwendung einer einzigen Bildbearbeitungsmethode in allen Übersichtsrohbildern erzeugt.