-
Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Mikroskopieren einer Probe, wobei im Ergebnis Bilder mit erweiterter Schärfentiefe oder dreidimensionale Bilder der Probe dargestellt werden. Im Weiteren betrifft die Erfindung ein Mikroskop mit einem Objektiv zum optischen Abbilden einer Probe.
-
Die
DE 10 2014 006 717 A1 beschreibt ein Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes in einem Digitalmikroskop. Bei diesem Verfahren wird für jeweils eine Fokusposition ein Bild aufgenommen und mit der zugehörigen Fokusposition in einem Bildstapel abgelegt. Aus den aufgenommenen Bildern des Bildstapels wird ein Bild mit einer erweiterten Schärfentiefe (Enhanced Depth of Field), ein so genanntes EDoF-Bild berechnet. Während des Berechnungsprozesses des EDoF-Bildes wird eine Anzahl an Pixeldefekten detektiert, welche durch Interpolation mit benachbarten Pixeln korrigiert wird. Das korrigierte EDoF-Bild wird zur Berechnung einer Höhenkarte oder eines 3D-Modells des Objektes verwendet.
-
Die
US 2014/0185462 A1 zeigt ein Mikroskop mit einem ersten motorisierten Antrieb in die z-Richtung zur Positionierung einer ein Objektiv und eine Kamera umfassenden Einheit und mit einem zweiten motorisierten Antrieb in die z-Richtung zur Positionierung eines Objekttisches zur Aufnahme einer Probe.
-
Durch den ersten motorisierten Antrieb wird die Aufnahme von Bildern mit einer erweiterten Schärfentiefe ermöglicht.
-
Aus der
US 8,581,996 B2 ist eine Bildaufnahmevorrichtung bekannt, mit welcher große Bereiche einer Probe aufgenommen und digitalisiert werden können und Bilder mit einer erweiterten Schärfentiefe ausgeben werden können. Die Bildaufnahmevorrichtung umfasst einen beweglichen Objekttisch zur Aufnahme der Probe und eine Einheit zur Veränderung der Fokusposition. Im Weiteren umfasst die Bildaufnahmevorrichtung u. a. eine Kamera und eine Einheit zur Generierung der Bilder mit einer erweiterten Schärfentiefe. Bei den Bildern mit erweiterter Schärfentiefe handelt es sich um omnifokale Bilder.
-
Die
US 2015/0185465 A1 lehrt ein digitales Mikroskop zur Aufnahme und Erzeugung von Bildern mit einer erweiterten Schärfentiefe. Das Mikroskop ist dazu ausgebildet, eine Positionierung in die z-Richtung, eine Bildaufnahme und eine Bildverarbeitung zur Erzeugung der Bilder mit erweiterter Schärfentiefe asynchron und parallel auszuführen, um die Bilder mit erweiterter Schärfentiefe schneller aufnehmen und erzeugen zu können.
-
Aus der
US 7,345,816 B2 ist ein optisches Mikroskop bekannt, welches einen Spiegel mit einer steuerbar veränderlichen reflektierenden Oberfläche umfasst. Durch eine Veränderung der Oberfläche des Spiegels können Bilder aus unterschiedlichen fokalen Positionen aufgenommen werden.
-
Die
US 7,269,344 B2 zeigt eine optische Vorrichtung mit einem abbildenden optischen System, welches verformbare Spiegel und eine digitale Zoom-Funktion besitzt. Hierdurch soll die elektronische Vergrößerung bei hoher Bildschärfe veränderbar sein.
-
Zur Erzeugung von makroskopischen und mikroskopischen Bildern, welche eine erweiterte Schärfentiefe (EDoF - Extended Depth of Field) besitzen, kann ein als MALS-Modul bezeichnetes Spiegel-Array-Linsensystem verwendet werden. MALS steht für Mirror Array Lens System. Details dieses Systems sind beispielsweise in der
WO 2005/119331 A1 oder
WO 2007/134264 A2 offenbart. Das Produkt umfasst u. a. eine LED-Ringbeleuchtung, eine Koaxialbeleuchtung, eine Durchlichtbeleuchtung, einen Kreuztisch, Objektive mit 5-, 10-, 20- und 50-facher Vergrößerung und eine schnelle automatische Fokussierung. Die Fokussierung kann mit einer Frequenz von bis zu 10 kHz verändert werden.
-
Digitale Mikroskope der Typen VHX2000 und VHX5000 des Herstellers Keyence erlauben die Aufnahme von mikroskopischen Bildern mit einer erweiterten Schärfentiefe. Das digitale Mikroskop vom Typ VHX5000 des Herstellers Keyence erlaubt die Aufnahme einer Topologie einer Probe mit einer Höhe von etwa 138 µm durch einen Bildstapel mit 12 Bildern in einer Dauer von etwa 9 Sekunden.
-
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, das Navigieren über eine Probe beim Mikrokopieren der Probe mit dem Ziel der Darstellung von Bildern mit erweiterter Schärfentiefe oder von dreidimensionalen Bilder der Probe schnell und ergonomisch vornehmen zu können.
-
Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 sowie durch ein Mikroskop gemäß dem beigefügten nebengeordneten Anspruch 10.
-
Das erfindungsgemäße Verfahren dient zum Mikroskopieren einer Probe mit einem Mikroskop; insbesondere mit einem digitalen Mikroskop. Das digitale Mikroskop umfasst bevorzugt ein Objektiv und einen Bildsensor zum Wandeln eines von dem Objektiv auf den Bildsensor unmittelbar oder mittelbar abgebildeten Bildes.
-
In einem Schritt des Verfahrens werden mikroskopische Einzelbilder von unterschiedlichen Bereichen der Probe aufgenommen, während ein Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe durch einen Bediener oder automatisch hinwegbewegt wird. Der Bediener kann eine Bewegung in einer xy-Ebene oder in XZ-/YZ-Ebenen vornehmen, um mehr von der Probe zu sehen, oder um eine andere xyz-Position der Probe zu sehen, oder um die Probe in einem anderen Kontrast zu sehen. Der flächig ausgedehnte Aufnahmebereich des Mikroskops wird durch ein probenseitiges Sichtfeld des Mikroskops bestimmt. Die Probe kann aufgrund ihrer Größe nicht in ihrer Gesamtheit in einem einzigen Moment durch den Aufnahmebereich des Mikroskops erfasst werden. Das durch den Bediener oder automatisch vorgenommene Bewegen des Aufnahmebereiches über die Probe dient zum Erkunden der Probe und kann als ein Navigieren über die Probe aufgefasst werden. Dieses Navigieren erfolgt in lateraler Richtung, d. h. senkrecht zur optischen Achse des Mikroskops in eine x- und in eine y-Richtung. Dieses Navigieren kann aber auch in die Tiefe, d. h. in Richtung der optischen Achse, nämlich in eine z-Richtung erfolgen. Beim Bewegen des Aufnahmebereiches des Mikroskops über die unterschiedlichen Bereiche der Probe werden das Mikroskop und die Probe relativ zueinander bewegt. Es werden insbesondere ein Objektiv des Mikroskops und die Probe relativ zueinander bewegt. Bevorzugt wird ein Objekttisch des Mikroskops bewegt, um die auf dem Objekttisch angeordnete Probe relativ zum Mikroskop zu bewegen. Durch das Navigieren sollen Strukturen der Probe grob aufgenommen werden. Wie beim natürlichen Sehen, wenn die Augen schnell bewegt werden, ist die Auflösung in axialer und auch lateraler Richtung nicht maßgebend. Je schneller die Bewegung beim Navigieren ist, desto gröber werden einzelne Subvolumina der Probe abgetastet. Bevorzugt wird die Auflösung an die Geschwindigkeit der Navigation angepasst. Bevorzugt werden die laterale und axiale Auflösung so angepasst, dass in den mikroskopischen Einzelbildern keine Artefakte vorhanden sind. Wenn die Geschwindigkeit der Navigation sinkt, wird bevorzugt die Auflösung erhöht, was einem natürlichen Sehprozess entspricht.
-
Die mikroskopischen Einzelbilder des jeweiligen der Bereiche der Probe werden mit mehreren unterschiedlichen Fokuspositionen aufgenommen. Somit werden für jeden der während des Bewegens mikroskopierten Bereiche jeweils mehrere der Einzelbilder aufgenommen, die sich hinsichtlich ihrer zur Aufnahme eingestellten Fokuspositionen unterscheiden. Die Aufnahmen der mikroskopischen Einzelbilder eines jeden dieser Bereiche erfolgen mit unterschiedlichen Fokuspositionen, sodass Einzelheiten des jeweiligen Bereiches in zumindest einem der mikroskopischen Einzelbilder scharf abgebildet werden. Die unterschiedlichen Fokuspositionen sind besonders bevorzugt durch unterschiedliche Ansteuerungen eines Mikrosystems mit beweglichen Spiegeln bewirkt. Die unterschiedlichen Fokuspositionen sind alternativ bevorzugt durch unterschiedliche Ansteuerungen einer verformbaren optischen Linse oder eines mechanischen, piezoelektrischen oder hybriden Aktuators zur Positionierung eines fokussierenden optischen Elementes bewirkt. Die unterschiedlichen Fokuspositionen sind alternativ bevorzugt durch unterschiedliche Maße eines Abstandes zwischen der Probe und dem Objektiv des Mikroskops gebildet. Alternativ kann eine Position eines fokussierenden optischen Elementes in einer Zwischenbildebene oder einer hinteren Zwischenfokusebene verändert werden. Der Abstand zwischen der Probe und dem Objektiv des Mikroskops kann auch als z-Koordinate beschrieben werden. Die mikroskopischen Einzelbilder eines jeden der während des Bewegens des Aufnahmebereiches mikroskopierten Bereiche der Probe bilden einen Stapel. Die Bilder eines jeden der Stapel unterscheiden sich in der z-Koordinate ihrer Aufnahme, sodass sie auch als z-Stapel oder z-Stack bezeichnet werden können.
-
In einem weiteren Schritt des Verfahrens erfolgt ein Bestimmen von Bildern mit erweiterter Schärfentiefe oder von dreidimensionalen Bildern für jeden der Bereiche der Probe aus den mit den mit mehreren Fokuspositionen aufgenommenen mikroskopischen Einzelbildern des jeweiligen Bereiches der Probe. Die Bilder mit erweiterter Schärfentiefe werden auch als Enhanced-Depth-of-Field-Bilder bzw. als EDoF-Bilder bezeichnet. Die mikroskopischen Einzelbilder eines jeden der während des Bewegens mikroskopierten Bereiche der Probe werden somit jeweils zu einem mikroskopischen Bild mit erweiterter Schärfentiefe verarbeitet. Hierzu werden, soweit dies möglich ist, nur scharf abgebildete Einzelheiten aus den einzelnen aufgenommenen mikroskopischen Einzelbildern verwendet, um daraus das mikroskopische Bild mit erweiterter Schärfentiefe zu berechnen. Das zu berechnende mikroskopische Bild bildet die Probe mit erweiterter Schärfentiefe ab. Alternativ werden die mikroskopischen Einzelbilder eines jeden der während des Bewegens mikroskopierten Bereiche jeweils zu einem dreidimensionalen Bild des jeweiligen Bereiches der Probe verarbeitet. Die dreidimensionalen Bilder umfassen für jeden Punkt im Raum Informationen über den jeweiligen Bereich der darzustellenden Probe. Beispielsweise können in einem orthogonalen Koordinatensystem mit x-, y- und z-Achse für jeden Punkt im Raum Intensitätswerte und oder Farbwerte angegeben werden. Es können dreidimensionale Bilder bestimmt werden, in denen beispielsweise für jedes Paar von x- und y-Koordinaten nur ein z-Wert bekannt ist. Dies ist beispielsweise der Fall, wenn nur die Form der Oberfläche eines dreidimensionalen Körpers bekannt ist. Es können auch zu den x- und y-Koordinaten eines Punktes als dritte Dimension Intensitätswerte gewählt werden. Diese und weitere Fälle, welche die Darstellung von Bildern mit einer dreidimensionalen Illusion ermöglichen, werden auch als pseudo-dreidimensionale oder als 2,5-dimensionale Bilder bezeichnet und stellen dreidimensionale Bilder im Sinne der Erfindung dar.
-
In einem weiteren Schritt erfolgt ein Darstellen der Bilder mit erweiterter Schärfentiefe bzw. der dreidimensionalen Bilder, sodass der Bediener diese Bilder visuell wahrnehmen kann. Dieses Darstellen erfolgt bevorzugt synchron zu dem Bewegen des Aufnahmebereiches über die Bereiche der Probe in dem Sinne, dass zwischen dem Bewegen des Aufnahmebereiches über die Bereiche der Probe und dem Darstellen der einzelnen Bereiche der Probe nur eine den Bediener nicht störende Verzögerung auftritt. Diese Verzögerung kann aufgrund der notwendigen Berechnungen zum Bestimmen der Bilder mit erweiterter Schärfentiefe bzw. der dreidimensionalen Bilder nicht Null sein, jedoch ist sie bevorzugt so klein, dass sie der Bediener nicht wahrnimmt oder zumindest den Bediener nicht stört. Bei sehr großen Geschwindigkeiten der Navigation können die notwendigen Berechnungen zum Bestimmen der Bilder mit erweiterter Schärfentiefe bzw. der dreidimensionalen Bilder kurzzeitig ausgesetzt werden, da die Auflösung nicht mehr visuell wahrgenommen wird. Die Berechnung eines 3D-Modells für die dreidimensionalen Bilder kann mit einer Verzögerung vorgenommen werden, wenn wieder eine ausreichende Rechenleistung zur Verfügung steht. Das Darstellen der Bilder mit erweiterter Schärfentiefe bzw. der dreidimensionalen Bilder erfolgt mit einer Bildrate, welche bevorzugt größer mindestens 10 Bilder/s und weiter bevorzugt mindestens 25 Bilder/s beträgt.
-
Erfindungsgemäß werden, sobald die Bewegung des Aufnahmebereiches des Mikroskops über einem der Bereiche der Probe gestoppt wird, weitere mikroskopische Einzelbilder dieses Bereiches der Probe mit unterschiedlichen Fokuspositionen aufgenommen. Somit werden für diesen Bereich, über welchem der Aufnahmebereich ruht, mehr Einzelbilder mit unterschiedlichen Fokuspositionen aufgenommen als für diejenigen Bereiche der Probe, über welche der Aufnahmebereich hinwegbewegt wurde. Die weiteren aufgenommenen Einzelbilder werden zum Erhöhen einer axialen und/oder lateralen Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes verwendet. Die erhöhte axiale Auflösung ist durch eine erhöhte Auflösung in der Tiefe, d. h. in die z-Richtung gebildet, was einer kleineren Voxelgröße entspricht. Die erhöhte laterale Auflösung ist durch eine Erhöhung der Auflösung in lateraler Richtung, d. h. in die x- und/oder y-Richtung gebildet, was feineren Bildpunkten entspricht. Die Erhöhung der Auflösung führt jedenfalls zu einer Erhöhung der Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes. Die erhöhte Qualität kann beispielsweise durch einen vergrößerten Dynamikumfang, durch eine Reduktion von Reflexionen oder durch eine Verbesserung der Farbwidergabe charakterisiert sein.
-
Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass der Bediener während des Navigierens über die Probe die Bilder mit erweiterter Schärfentiefe bzw. die dreidimensionalen Bilder mit einer Bildrate und einer unmerklichen Verzögerung dargestellt bekommt, sodass er ergonomisch und zielgerichtet über die Probe navigieren kann, wofür die Auflösung und Qualität dieser Bilder gegebenenfalls beschränkt bleibt. Kommt der Bediener beim Navigieren zur Ruhe, um sich den aktuell dargestellten Bereich im Detail anzuschauen, so kommt es automatisch zur Verbesserung der Auflösung und Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes. Selbstverständlich kann der Bediener nach einer solchen Phase des Ruhens des Navigierens das Bewegen des Aufnahmebereiches wiederaufnehmen, was gegebenenfalls wieder zur Verringerung der Auflösung und Qualität der nachfolgenden Bilder mit erweiterter Schärfentiefe bzw. der nachfolgenden dreidimensionalen Bilder führt, da die Anzahl der mikroskopischen Einzelbilder mit unterschiedlichen Fokuspositionen für die einzelnen Bereiche wieder sinkt.
-
Die Anzahl der Bilder während einer Navigation kann vordefiniert und konstant sein oder kann dynamisch ausgewählt werden in Abhängigkeit von der Geschwindigkeit der durch den Bediener vorgenommenen Bewegung über die Probe. Diese Geschwindigkeit wird bevorzugt auf der Basis der Inhalte der aufgenommenen Einzelbilder abgeschätzt oder mit einem Sensor gemessen. Der Sensor kann beispielsweise durch einen Positionssensor eines Objekttisches oder durch eine Überblickskamera für das Mikroskop oder für die Probe gebildet sein.
-
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens werden die unterschiedlichen Fokuspositionen durch ein Verändern des Abstandes zwischen der Probe und dem Objektiv des Mikroskops oder durch ein Verändern der Fokusposition entlang einer räumlichen Ausdehnung der Probe erzielt. Das Verändern der Fokusposition erfolgt beispielsweise bevorzugt durch ein Ansteuern eines Mikrosystems mit beweglichen Spiegeln oder durch ein Verformen einer verformbaren optischen Linse des Objektivs. Die Fokusposition muss im Verlaufe der Aufnahme eines der Einzelbilder nicht konstant sein, sondern kann insbesondere laufend geändert werden, sodass beispielsweise ein Aktuator zum Verändern der Höhe eines die Probe tragenden Objekttisches zwischen den Aufnahmen der Einzelbilder nicht angehalten werden muss.
-
Zum Aufnehmen der mikroskopischen Einzelbilder mit unterschiedlichen Fokuspositionen wird bevorzugt ein Aktuator an einem aktiven optischen Element des Mikroskops gestellt. Der mechanische Aktuator kann beispielsweise dazu ausgebildet sein, das aktive optische Element, welches durch eine flexible Linse, eine durch mechanische Schwingungen steuerbare Linse, eine flüssige Linse oder eine diffraktive Linse zur Messung einer Tiefeninformation der Probe gebildet sein kann, zu verformen bzw. zu verschieben. Bevorzugt ist der Aktuator durch ein Mikrosystem zum mechanischen Bewegen von Mikrospiegeln und/oder Mikrolinsen gebildet. Bei dem Aktuator handelt es sich bevorzugt um einen Fokusaktuator und/oder um einen Aberrationsaktuator. Der Aktuator wird bevorzugt mit einer Frequenz von mindestens 1 kHz und weiter bevorzugt von mindestens 10 kHz betrieben.
-
In einer vorteilhaften Ausführungsform ist der optische Aktuator als ein Mikrosystem mit mechanisch beweglichen Mikrospiegeln zur Aufnahme einer erweiterten Schärfentiefe ausgebildet. In dieser Ausführungsform kann beispielsweise das oben beschriebene „MALS-Modul“ als optischer Aktuator Verwendung finden. Ein MALS-Modul kann beispielsweise als Fresnel-Linse ausgebildet sein, wie dies beispielsweise in der
WO 2005/119331 A1 beschrieben ist. Diese Fresnel-Linse wird aus einer Vielzahl von Mikrospiegeln gebildet. Durch eine Veränderung der Lage der Mikrospiegel kann auf sehr schnelle Weise die Brennweite der Fresnel-Linse verändert werden. Diese schnelle Veränderung der Brennweite erlaubt eine sehr schnelle Einstellung der abzubildenden Fokusebene, d. h. der anzuwählenden Fokusposition. So wird es ermöglicht, in kurzer Zeit eine Vielzahl von Aufnahmen in benachbarten Fokusebenen, d. h. mit unterschiedlichen Fokuspositionen aufzunehmen.
-
Bei bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens werden die unterschiedlichen Bereiche der Probe jeweils mit einer vorgegebenen Anzahl an unterschiedlichen Fokuspositionen aufgenommen, während der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe hinwegbewegt wird. Diese Anzahl ist kleiner als die Anzahl der Fokuspositionen, mit denen die mikroskopischen Einzelbilder des Bereiches, an welchem die Bewegung des Aufnahmebereiches des Mikroskops ruht, aufgenommen werden.
-
Bei bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens werden, während der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe hinwegbewegt wird, die unterschiedlichen Bereiche jeweils mit der vorgegebenen Anzahl an unterschiedlichen Fokuspositionen aufgenommen, solang die mit dem Mikroskop erzielte Bildrate bei der Darstellung der Bilder mit erweiterter Schärfentiefe bzw. der dreidimensionalen Bilder mindestens eine festgelegte Mindestbildrate beträgt. Die Mindestbildrate beträgt bevorzugt 10 Bilder/s und weiter bevorzugt 25 Bilder/s, wobei es sich bei den Bildern um die Bilder mit erweiterter Schärfentiefe bzw. um die dreidimensionalen Bilder handelt. Wird der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe sehr schnell hinwegbewegt, so wird die vorgegebene Anzahl an unterschiedlichen Fokuspositionen nicht für jeden der Bereiche erzielt, jedoch sinkt die Bildrate nicht unter die Mindestbildrate. Somit werden die Bilder mit erweiterter Schärfentiefe bzw. die dreidimensionalen Bilder mit einer verringerten Auflösung, insbesondere mit verringerter Auflösung in die z-Richtung bzw. mit unscharfen Bereichen erzeugt, aber die Darstellung kommt nicht zum Stocken. Bei dieser Ausführungsform ist gewährleistet, dass der Bediener eine kontinuierliche Darstellung der Bilder mit einer nur unmerklichen Verzögerung erhält, sodass er ergonomisch und zielgerichtet über die Probe navigieren kann.
-
Bevorzugt wird die Auflösung des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes durch die weiteren Einzelbilder proportional zu der seit dem Stoppen der Bewegung des Aufnahmebereiches vergangenen Zeitdauer erhöht.
-
Bei bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens werden, sobald die Bewegung des Aufnahmebereiches des Mikroskops über einem der Bereiche der Probe gestoppt wird, so viele der Einzelbilder dieses Bereiches der Probe mit unterschiedlichen Fokuspositionen aufgenommen, bis ein vorab festgelegtes Qualitätsniveau für dieses Bild mit erweiterter Schärfentiefe bzw. für dieses dreidimensionale Bild erreicht ist. Das vorab festgelegte Qualitätsniveau kann durch eine Auflösung und/oder durch ein Schärfemaß definiert sein. Ruht der Bediener bei seiner Navigation sehr lange über dem betreffenden Bereich, so wird bei dieser Ausführungsform die Qualität nicht auf ein unnötig hohes Maß erhöht.
-
Bei bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens werden die Fokuspositionen der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen Einzelbilder zufällig gewählt. Bei weiteren bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens werden die Fokuspositionen der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen Einzelbilder für eine gleichmäßige Verfeinerung der zuvor gewählten Fokuspositionen gewählt. So werden Fokuspositionen gewählt, die zwischen den Fokuspositionen der zuvor aufgenommenen Einzelbilder liegen.
-
Bei bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens werden die Fokuspositionen der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen Einzelbilder ausgehend von einer Analyse der jeweils zuvor aufgenommenen Einzelbilder dieses Bereiches gewählt. In dieser Analyse werden bevorzugt Schärfe und/oder Ortspektren in dem Bereich oder in Subbereichen des Bereiches ermittelt. Ausgehend von der ermittelten Schärfe und/oder den ermittelten Ortspektren wird eine Vorhersage getroffen, welche weiteren Fokuspositionen zu Einzelbildern führen können, welche zur Verbesserung der Auflösung und Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes führen. Die genannten Subbereiche können innerhalb eines einzigen Einzelbildes oder überlappend über mehrere der Einzelbilder hinweg gewählt werden.
-
Bei bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens werden die Fokuspositionen der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen Einzelbilder innerhalb eines von den zuvor gewählten Fokuspositionen aufgespannten Intervalls gewählt. Somit kommt es zur Verfeinerung innerhalb dieses Intervalls. Bei alternativ bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens werden die Fokuspositionen von zumindest mehreren der weiteren nach dem Stoppen der Bewegung des Aufnahmebereiches aufgenommenen Einzelbilder außerhalb eines von den zuvor gewählten Fokuspositionen aufgespannten Intervalls gewählt. Somit wird das Ausmaß der Aufnahmen in der Tiefe erweitert, was beispielsweise mehreren EDoF-Bildern entspricht, sodass ein erweitertes EDoF-Bild bestimmt werden kann.
-
Bei bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens wird das Stoppen der Bewegung des Aufnahmebereiches des Mikroskops über die Bereiche der Probe dadurch erkannt, dass die Inhalte in den zuletzt aufgenommenen Einzelbildern eine gleiche örtliche Position aufweisen. Das Stoppen der Bewegung des Aufnahmebereiches des Mikroskops über die Bereiche der Probe kann aber auch beispielsweise dadurch erkannt werden, dass eine Ansteuerung eines Objekttisches des Mikroskops den Objekttisch zum Anhalten veranlassen soll. Das Erkennen des Stoppens der Bewegung des Aufnahmebereiches des Mikroskops über die Bereiche der Probe erfolgt bevorzugt unter Einhaltung einer Entprellzeit, sodass sehr kurze Unterbrechungen der Bewegung des Aufnahmebereiches über einem der Bereiche der Probe noch nicht zur Aufnahme der weiteren mikroskopischen Einzelbilder dieses Bereiches führen.
-
Bei weiteren bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens wird, während der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe hinwegbewegt wird, eine Öffnung einer Blende verändert, um die Schärfentiefe der aufzunehmenden mikroskopischen Einzelbilder zu erhöhen und um die Anzahl der Einzelbilder der einzelnen Bereiche zu verringern. Die Blende befindet sich im Strahlengang des Mikroskops. Die Öffnung der Blende wird insbesondere verkleinert, um die Schärfentiefe der aufzunehmenden Einzelbilder zu erhöhen. Entsprechend verringern sich die Anzahl der aufzunehmenden mikroskopischen Einzelbilder der einzelnen Bereiche und eine laterale Auflösung der Bereiche, sodass bevorzugt Bildpunkte der mikroskopischen Einzelbilder zu Bildpunktgruppen zusammengefasst werden, was auch als Binning bezeichnet wird. Hierdurch kann die Bildrate bei hohen Geschwindigkeiten des Bewegens des Aufnahmebereiches nicht unter einem minimalen Wert der Bildrate sinken, wodurch die Bewegung des Aufnahmebereiches in großen Ausmaßen in der lateralen Richtung und auch in der Tiefe ausgeführt werden kann, jedoch ein gleichzeitiges Sinken der Auflösung in die drei Raumrichtungen in Kauf genommen wird.
-
Bei weiteren bevorzugten Ausführungsformen des erfindungsmäßen Verfahrens wird eine Korrektur einer Neigung, welche die Probe gegenüber dem Mikroskop aufweist, vorgenommen. Diese Korrektur erfolgt, während der Aufnahmebereich des Mikroskops über die unterschiedlichen Bereiche der Probe lateral hinwegbewegt wird. Hierzu erfolgt bevorzugt eine Analyse der Einzelbilder mit unterschiedlichen Fokuspositionen, um eine Ausrichtung und/oder einen Ort einzelner Kacheln des jeweiligen Bereiches zu ermitteln. Bei dieser Analyse wird bevorzugt die Schärfe in den Einzelbildern ermittelt. Bevorzugt werden die weiteren Fokuspositionen entsprechend der Analyse der Einzelbilder gewählt, sodass die Korrektur der Neigung schnell und genau vorgenommen werden kann. Bevorzugt wird eine Vorhersage getroffen, welche weiteren Fokuspositionen zu Einzelbildern führen können, welche eine Verbesserung der Auflösung des dargestellten Bildes mit erweiterter Schärfentiefe oder eine Verbesserung der Auflösung des dargestellten dreidimensionalen Bildes bewirken.
-
Das erfindungsgemäße Mikroskop ist bevorzugt digital und umfasst zunächst ein Objektiv zum vergrößerten optischen Abbilden einer Probe in einer Bildebene. Das Objektiv umfasst optische Komponenten zum vergrößerten optischen Abbilden der Probe in der Bildebene. Die optischen Komponenten sind insbesondere durch optische Linsen und ggf. auch durch eine oder mehrere Spiegel, Blenden und Filter gebildet.
-
Das Mikroskop umfasst bevorzugt weiterhin einen Bildsensor zum Wandeln des von dem Objektiv unmittelbar oder mittelbar auf den Bildsensor abgebildeten Bildes in ein elektrisches Signal.
-
Das erfindungsgemäße Mikroskop umfasst mindestens einen Aktuator zum Verändern einer Fokusposition des Mikroskops. Der Aktuator ist bei einfachen Ausführungsformen bevorzugt dazu ausgebildet, einen Abstand zwischen einer Probe und dem Objektiv zu verändern. Hierfür umfasst der Aktuator bevorzugt einen Elektromotor zum Verfahren eines die Probe tragenden Objekttisches oder zum Verfahren des Objektivs. Der Aktuator ist bevorzugt dazu ausgebildet, eine Brennweite des Objektivs zu verändern. Der Aktuator dient bevorzugt zum Betätigen eines aktiven optischen Elementes, mit welchem die Fokussierung verstellbar ist. Besonders bevorzugt ist der Aktuator des aktiven optischen Elementes durch ein Mikrosystem zum mechanischen Bewegen von Mikrospiegeln und/oder Mikrolinsen gebildet. Die Mikrospiegel bilden bevorzugt eine Linse, insbesondere eine Fresnel-Linse aus. Durch eine Veränderung der Lage der Mikrospiegel kann auf sehr schnelle Weise die Brennweite der Fresnel-Linse verändert werden. Diese schnelle Veränderung der Brennweite erlaubt eine sehr schnelle Einstellung der Fokusposition. Alternativ bevorzugt ist der Aktuator zum Verformen einer verformbaren optischen Linse ausgebildet.
-
Das erfindungsgemäße Mikroskop umfasst weiterhin eine Steuer- und Bildeinheit, welche zum Steuern des Aktuators, zum Aufnehmen von mikroskopischen Einzelbildern und zum Bestimmen und Darstellen von Bildern mit erweiterter Schärfentiefe oder von dreidimensionalen Bildern dient. Die Steuer- und Bildeinheit ist zur Ausführung des erfindungsgemäßen Verfahrens konfiguriert. Bevorzugt ist die Steuer- und Bildeinheit zur Ausführung einer der beschriebenen bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens konfiguriert. Im Übrigen weist das erfindungsgemäße Mikroskop bevorzugt auch Merkmale auf, die im Zusammenhang mit dem erfindungsgemäßen Verfahren und dessen bevorzugten Ausführungsformen angegeben sind.
-
Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung, unter Bezugnahme auf die Zeichnung. Es zeigen:
- 1: eine Darstellung von Aufnahmen mit mehreren Fokuspositionen in einer ersten Phase einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens;
- 2: eine Darstellung von Aufnahmen mit weiteren Fokuspositionen in einer zweiten Phase der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens;
- 3: eine Darstellung von Aufnahmen mit weiteren Fokuspositionen in einer dritten Phase der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens; und
- 4: eine grafische Benutzeroberfläche zur Durchführung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens.
-
1 zeigt symbolisch eine Darstellung von mikroskopischen Aufnahmen in einer ersten Phase einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens. In dieser ersten Phase bewegt ein Bediener eine beispielhaft dargestellte Probe 01 relativ zu einem Mikroskop (nicht gezeigt), um verschiedene Bereiche der Probe 01 zu erkunden, was auch als ein Navigieren über die Probe 01 bezeichnet werden kann, sodass die erste Phase auch als Navigationsphase bezeichnet werden kann. In dieser Navigationsphase des erfindungsgemäßen Verfahrens werden jeweils mehrere mikroskopische Einzelbilder der einzelnen erkundeten Bereiche der Probe 01 mit mehreren äquidistanten Fokuspositionen 02 aufgenommen, wobei die Fokuspositionen 02 durch gestrichelte Linien verbildlicht sind. Die aufgenommenen mikroskopischen Einzelbilder der einzelnen Bereiche der Probe 01 werden dazu genutzt, ein Bild mit erweiterter Schärfentiefe oder ein dreidimensionales Bild des jeweiligen Bereiches der Probe 01 zu berechnen. Die Anzahl der Fokuspositionen 02 ist in der Navigationsphase gering gehalten, sodass für jeden der Bereiche der Probe 01 ein Bild mit erweiterter Schärfentiefe bzw. ein dreidimensionales Bild in einer kurzen Zeitdauer berechnet und dargestellt werden kann, wodurch der Bediener ein kontinuierliches Bewegtbild während seiner Navigation erhält. Die gering gehaltene Anzahl der Fokuspositionen 02 kann dazu führen, dass nicht alle Bereiche des jeweiligen Bildes mit erweiterter Schärfentiefe bzw. des jeweiligen dreidimensionalen Bildes scharf sind und/oder die Auflösung in der Tiefe gering ist.
-
2 zeigt eine Darstellung von Aufnahmen mit weiteren Fokuspositionen 02 in einer zweiten Phase der bereits in 1 veranschaulichten Ausführungsform des erfindungsgemäßen Verfahrens. Diese zweiten Phase ist dadurch gekennzeichnet, dass der Bediener die Bewegung der Probe 01 relativ zu dem Mikroskop (nicht gezeigt) unterbrochen oder eingestellt hat, sodass die Probe 01 in Bezug auf das Mikroskop (nicht gezeigt) eine Ruheposition erlangt hat. Diese zweite Phase kann insbesondere dazu dienen, dass sich der Bediener den aktuell mikroskopierten Bereich der Probe 01 näher anschauen kann. In dieser zweiten Phase erfolgt erfindungsgemäß eine Verbesserung der Auflösung und Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes. Somit stellt die zweite Phase einen Beginn einer Bildverbesserungsphase dar. In der Bildverbesserungsphase werden weitere mikroskopische Einzelbilder des aktuell mikroskopierten Bereiches der Probe 01 mit weiteren unterschiedlichen Fokuspositionen 02 aufgenommen, sodass die Anzahl der Fokuspositionen 02 im Vergleich zu der in 1 veranschaulichten Navigationsphase erhöht wird. Die weiteren Fokuspositionen 02 werden so gewählt, dass auf eine gleichmäßige Verfeinerung der zuvor gewählten Fokuspositionen 02 abgezielt wird. Alternativ können die weiteren Fokuspositionen 02 auch zufällig oder im Ergebnis einer Analyse der zuvor aufgenommenen mikroskopischen Einzelbilder gewählt werden. Die mit den weiteren Fokuspositionen 02 aufgenommenen mikroskopischen Einzelbilder werden dazu verwendet, die Auflösung und die Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes zu erhöhen.
-
3 zeigt eine Darstellung von Aufnahmen mit weiteren Fokuspositionen 02 in einer dritten Phase der bereits in 1 und 2 veranschaulichten Ausführungsform des erfindungsgemäßen Verfahrens. Diese dritte Phase stellt eine Fortsetzung der mit der zweiten Phase begonnenen Bildverbesserungsphase dar. In der dritten Phase ruht die Probe 01 in Bezug auf das Mikroskop (nicht gezeigt) für eine weitere Zeitdauer. In dieser dritten Phase wird das Verbessern der Auflösung und Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes fortgesetzt. Es werden weitere mikroskopische Einzelbilder des aktuell mikroskopierten Bereiches der Probe 01 mit weiteren unterschiedlichen Fokuspositionen 02 aufgenommen, sodass die Anzahl der Fokuspositionen 02 im Vergleich zu der in 2 veranschaulichten zweiten Phase noch weiter erhöht wird. Die mit den weiteren Fokuspositionen 02 aufgenommenen mikroskopischen Einzelbilder werden weiterhin dazu verwendet, die Auflösung und die Qualität des aktuell dargestellten Bildes mit erweiterter Schärfentiefe bzw. des aktuell dargestellten dreidimensionalen Bildes zu erhöhen.
-
4 zeigt eine grafische Benutzeroberfläche zur Durchführung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. Die grafische Benutzeroberfläche ermöglicht die Wahl von Parametern für verschiedene Modi beim Mikroskopieren mit einem Mikroskop. In einem Modus „Autofokus“ werden automatisch fokussierte mikroskopische Bilder erzeugt. Der Modus „Navigation“ bezieht sich auf die Navigation während Bilder mit erweiterter Schärfentiefe oder dreidimensionale Bilder erzeugt werden. Der Modus „Dokumentation“ bezieht sich auf eine Aufzeichnung, während Bilder mit erweiterter Schärfentiefe oder dreidimensionale Bilder erzeugt werden. Für jeden der Modi kann der Bediener in einem Eingabefeld „Start“ vorgeben, wie viele z-Positionen zu Beginn gewählt werden. Für jeden der Modi kann der Bediener in einem Eingabefeld „Ende“ vorgeben, wie viele z-Positionen am Ende gewählt werden. Für jeden der Modi kann der Bediener in einem Eingabefeld „Schritt“ vorgeben, wie fein die Schrittweite sein soll, indem er die Anzahl der Schritte für diese Schrittweite vorgibt. Alternativ kann die grafische Benutzeroberfläche auch dazu konfiguriert sein, dass der Bediener diese Vorgaben in einer absoluten Form in einer metrischen Einheit eingeben kann. Der Bediener bestätigt seine Eingaben durch Betätigen einer entsprechenden Schaltfläche „Anwenden“. Über eine Schaltfläche „Algorithmus“ gelangt der Bediener zu einer Auswahl eines Algorithmus zum Inkrementieren und eines Typs der Inkremente der Fokuspositionen am Ende der Bewegungsänderung.
-
Bezugszeichenliste
-
- 01
- Probe
- 02
- Fokusposition
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014006717 A1 [0002]
- US 2014/0185462 A1 [0003]
- US 8581996 B2 [0005]
- US 2015/0185465 A1 [0006]
- US 7345816 B2 [0007]
- US 7269344 B2 [0008]
- WO 2005/119331 A1 [0009, 0023]
- WO 2007/134264 A2 [0009]
