DE102019119310A1

DE102019119310A1 - Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe

Info

Publication number: DE102019119310A1
Application number: DE102019119310.9A
Authority: DE
Inventors: Alexander GAIDUK; Yauheni Novikau
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2019-07-17
Filing date: 2019-07-17
Publication date: 2021-01-21
Also published as: CN112241065B; CN112241065A

Abstract

Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe mithilfe eines Mikroskops. Eine Fokusposition des Mikroskops ist dadurch manuell veränderbar, dass ein Abstand zwischen mindestens einer Linse des Mikroskops und einer aufzunehmenden Probe manuell veränderbar ist. In einem Schritt des Verfahrens wird erkannt, ob ein Nutzer des Mikroskops die Fokusposition gemäß einer periodischen Funktion (01) manuell verändert. Es werden mehrere mikroskopische Einzelbilder einer Probe mit unterschiedlichen Fokuspositionen aufgenommen, nachdem erkannt wurde, dass der Nutzer die Fokusposition gemäß der periodischen Funktion (01) verändert. Die mehreren mikroskopischen Einzelbilder werden zu einem mikroskopischen Bild mit einer erweiterten Schärfentiefe verarbeitet. Im Weiteren betrifft die Erfindung ein Mikroskop mit mindestens einer optischen Linse zum Abbilden einer zu mikroskopierenden Probe.

Description

Die vorliegende Erfindung betrifft zunächst ein Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe mithilfe eines Mikroskops. Im Weiteren betrifft die Erfindung ein Mikroskop mit mindestens einer optischen Linse zum Abbilden einer zu mikroskopierenden Probe.
Die DE 10 2014 006 717 A1 beschreibt ein Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes in einem Digitalmikroskop. Bei diesem Verfahren wird für jeweils eine Fokusposition ein Bild aufgenommen und mit der zugehörigen Fokusposition in einem Bildstapel abgelegt. Aus den aufgenommenen Bildern des Bildstapels wird ein Bild mit einer erweiterten Schärfentiefe (Enhanced Depth of Field), ein so genanntes EDoF-Bild berechnet.
Die US 2015/0185462 A1 zeigt ein Mikroskop mit einem ersten motorisierten Antrieb in die z-Richtung zur Positionierung einer ein Objektiv und eine Kamera umfassenden Einheit und mit einem zweiten motorisierten Antrieb in die z-Richtung zur Positionierung eines Objekttisches zur Aufnahme einer Probe. Durch den ersten motorisierten Antrieb soll die Aufnahme von Bildern mit einer erweiterten Schärfentiefe ermöglicht werden.
Aus der US 8,581,996 B2 ist eine Bildaufnahmevorrichtung bekannt, mit welcher große Bereiche einer Probe aufgenommen und digitalisiert werden können und Bilder mit einer erweiterten Schärfentiefe ausgegeben werden können. Die Bildaufnahmevorrichtung umfasst einen beweglichen Objekttisch zur Aufnahme der Probe und eine Einheit zur Veränderung der Fokusposition.
Die US 2015/0185465 A1 lehrt ein digitales Mikroskop zur Aufnahme und Erzeugung von Bildern mit einer erweiterten Schärfentiefe. Das Mikroskop ist dazu ausgebildet, eine Positionierung in die z-Richtung, eine Bildaufnahme und eine Bildverarbeitung zur Erzeugung der Bilder mit erweiterter Schärfentiefe asynchron und parallel auszuführen.
Die digitalen Mikroskope der Typen „VHX2000“ und „VHX5000“ des Herstellers Keyence erlauben die Aufnahme von mikroskopischen Bildern mit einer erweiterten Schärfentiefe.
Das Mikroskop vom Typ „SmartZoom5“ des Herstellers Carl Zeiss Microscopy GmbH erlaubt die mikroskopische Aufnahme einer Probe mit einer Höhe von 10 mm durch einen Bildstapel mit etwa 60 Bildern in etwa 25 Sekunden, wobei eine darauffolgende Berechnung eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe etwa 19 Sekunden in Anspruch nimmt.
Die DE 10 2017 123 511 A1 zeigt ein Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe mithilfe eines Mikroskops. Es werden mehrere mikroskopische Einzelbilder einer Probe mit unterschiedlichen Fokuspositionen aufgenommen. Die mikroskopischen Einzelbilder werden zu einem mikroskopischen Bild mit einer erweiterten Schärfentiefe verarbeitet. Die Fokusposition wird während der Aufnahmen von zumindest einigen der mikroskopischen Einzelbilder mit einer veränderlichen Geschwindigkeit oder einer veränderlichen Beschleunigung kontinuierlich verändert.
Das Unternehmen Carl Zeiss Microscopy GmbH bietet eine modular aufgebaute Bildaufnahme-, Bildverarbeitungs- und Bildanalyse-Software für die digitale Mikroskopie unter der Bezeichnung „ZEN“ an. Diese Software umfasst ein Modul zur Erweiterung der Schärfentiefe unter Nutzung von Mikroskopen, bei welchen die Fokusposition lediglich manuell veränderbar ist. In diesem Modul kann eine Auswahl aus verschiedenen zu erzielenden Qualitäten, aus verschiedenen Erfassungs- und Interpolationsverfahren und aus verschiedenen auslösenden Ereignissen erfolgen. Die auslösenden Ereignisse können zeitlich äquidistant oder die Betätigung einer Taste durch den Nutzer sein. Der Nutzer erhält aber keine Rückmeldung darüber, wie geeignet seine Auswahl der Parameter ist.
Das Unternehmen Media Cybernetics, Inc. bietet eine Bildverarbeitungssoftware unter der Bezeichnung „Image-Pro Plus“ an. Diese Software umfasst ein Modul „Live Tiling and Live EDF“, mit welchem u. a. eine Erweiterung der Schärfentiefe für Bildaufnahmegeräte ermöglicht wird, bei denen die Fokusposition lediglich manuell veränderbar ist. In diesem Modul kann eine Auswahl aus verschiedenen Verarbeitungsverfahren und aus unterschiedlichen Anzeigemodi erfolgen. Der Prozess ist durch den Nutzer manuell zu starten und zu beenden. Der Nutzer erhält eine einfache Rückmeldung in Form eines ermittelten Bildes mit erweiterter Schärfentiefe.
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, den Nutzer eines Mikroskops bei der auf einer manuellen Veränderung der Fokusposition basierenden Gewinnung eines Bildes mit einer erweiterten Schärfentiefe zu unterstützen. Hierdurch soll insbesondere die Gewinnung eines Bildes mit einer erweiterten Schärfentiefe in Realzeit mit einem Mikroskop mit einer nur manuell veränderbaren Fokusposition möglich sein.
Die genannte Aufgabe wird gelöst durch ein Verfahren gemäß dem beigefügten Anspruch 1 sowie durch ein Mikroskop gemäß dem beigefügten nebengeordneten Anspruch 10.
Das erfindungsgemäße Verfahren dient zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe (Enhanced Depth of Field - EDoF), welches auch als EDoF-Bild bezeichnet wird. Hierzu dient ein Mikroskop, bei welchem es sich insbesondere um ein digitales Mikroskop handelt. Das Mikroskop umfasst bevorzugt ein Objektiv und einen Bildsensor zum Wandeln eines von dem Objektiv auf den Bildsensor unmittelbar oder mittelbar abgebildeten Bildes.
Eine Fokusposition des Mikroskops ist manuell veränderbar. Somit kann ein Nutzer des Mikroskops die Fokusposition durch Bedienen eines Bedienelementes manuell verändern. Die Fokusposition wird synchron zum Bedienen des Bedienelementes verändert. Das Bedienelement ist bevorzugt durch ein drehbares Bedienrad gebildet. Bevorzugt ist bei dem Mikroskop die Fokusposition manuell, aber nicht automatisiert veränderbar.
Durch die manuelle Veränderung der Fokusposition werden unterschiedlichen Fokuspositionen des Mikroskops bewirkt. Die Fokusposition des Mikroskops ist dadurch manuell veränderbar, dass ein Abstand zwischen mindestens einer Linse des Mikroskops und einer aufzunehmenden Probe manuell veränderbar ist. Somit sind die unterschiedlichen Fokuspositionen durch unterschiedliche Maße des Abstandes zwischen der zu mikroskopierenden Probe und der mindestens einen Linse des Mikroskops gebildet. Dieser Abstand kann auch als z-Koordinate beschrieben werden. Durch das Verändern der Fokusposition wird ein Wert der z-Koordinate verändert.
In einem Schritt des Verfahrens wird erkannt, ob ein Nutzer des Mikroskops die Fokusposition gemäß einer periodischen Funktion manuell verändert, d. h. ob der Nutzer den Abstand zwischen der mindestens einen Linse des Mikroskops und der aufzunehmenden Probe manuell verändert. Selbstverständlich kann durch eine manuelle Veränderung der Fokusposition die periodische Funktion der Veränderung, wie beispielsweise eine Sinusfunktion, nicht exakt erzielt werden, sodass das Erkennen, ob der Nutzer die Fokusposition gemäß einer periodischen Funktion manuell verändert, grundsätzlich unter Anwendung einer Fehlertoleranz erfolgt. Somit wird die periodische Funktion der Veränderung auch dann erkannt, wenn die Veränderung lediglich quasiperiodisch oder nur fast periodisch erfolgt. Das Erkennen, ob der Nutzer die Fokusposition gemäß einer periodischen Funktion manuell verändert, kann beispielsweise mithilfe eines Sensors oder durch Bildverarbeitung von aufgenommenen Bildern erfolgen. Bei dem Sensor handelt es sich bevorzugt um einen Position-, Beschleunigungs- oder Bildsensor, welcher bevorzugt in einem Gehäuse des Mikroskops eingebaut ist oder an ein rotierbares Bedienelement des Mikroskops angebaut ist. Bei dem Sensor kann es sich um eine bestimmungsgemäße Komponente des Mikroskops oder um eine Ergänzungskomponente für das Mikroskop handeln, welche an das Bedienelement angepasst und bevorzugt mit einem Computer verbunden ist. Bei dem Verändern der Fokusposition gemäß der periodischen Funktion werden die unterschiedlichen Fokuspositionen, welche innerhalb eines durch eine Amplitude der periodischen Funktion bestimmten Intervalls liegen, mehrfach durchlaufen. Das manuelle Verändern der Fokusposition gemäß der periodischen Funktion erfolgt bevorzugt dadurch, dass der Nutzer das Bedienelement, insbesondere das Bedienrad, hin- und herdreht. Das periodische manuelle Verändern der Fokusposition erfolgt mit einer Periodendauer, welche bevorzugt kleiner als 4 s und besonders bevorzugt kleiner als 2 s ist. Da die Fokusposition manuell gemäß der periodischen Funktion verändert wird, wird auch während der einzelnen Aufnahmen der mehreren mikroskopischen Einzelbilder die Fokusposition kontinuierlich verändert.
Zuvor wird der Nutzer bevorzugt aufgefordert, die Fokusposition gemäß einer periodischen Funktion manuell zu verändern, oder es wird bevorzugt eine Eingabe des Nutzers abgewartet, dass der Nutzer beabsichtigt, die Fokusposition gemäß einer periodischen Funktion manuell zu verändern, um mikroskopische Einzelbilder aufnehmen zu lassen, aus denen ein mikroskopisches Bild mit einer erweiterten Schärfentiefe erzeugt wird.
Nachdem erkannt wurde, dass der Nutzer die Fokusposition gemäß der periodischen Funktion verändert, werden mehrere mikroskopische Einzelbilder der Probe mit unterschiedlichen Fokuspositionen aufgenommen, während der Nutzer die Fokusposition gemäß der periodischen Funktion ändert. Da die Aufnahmen der mikroskopischen Einzelbilder mit unterschiedlichen Fokuspositionen erfolgen, werden die einzelnen Bereiche der Probe bevorzugt jeweils in zumindest einem der mikroskopischen Einzelbilder scharf abgebildet. Die mikroskopischen Einzelbilder bilden einen Stapel. Die Einzelbilder des Stapels unterscheiden sich in der z-Koordinate ihrer Aufnahme, sodass sie auch als z-Stapel oder z-Stack bezeichnet werden können.
In einem weiteren Schritt des erfindungsgemäßen Verfahrens werden die aufgenommenen mehreren mikroskopischen Einzelbilder zu einem mikroskopischen Bild mit einer erweiterten Schärfentiefe verarbeitet. Hierzu werden, soweit dies möglich ist, nur scharf abgebildete Bereiche aus den einzelnen aufgenommenen mikroskopischen Einzelbildern verwendet, um daraus das mikroskopische Bild mit einer erweiterten Schärfentiefe zu berechnen. Das zu berechnende mikroskopische Bild bildet die Probe mit einer erweiterten Schärfentiefe ab.
Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass es die schnelle Erzeugung eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe unter Nutzung eines Mikroskops erlaubt, bei welchem die Fokusposition lediglich manuell aber nicht automatisch verändert werden kann. Die Erzeugung eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe unter Nutzung eines Mikroskops, bei welchem die Fokusposition lediglich manuell verändert werden kann, kann gemäß dem Stand der Technik dadurch erfolgen, dass der Nutzer zeitaufwändig bestimmte Fokuspositionen einstellt. Bei dem erfindungsgemäßen Verfahren verändert der Nutzer die Fokusposition innerhalb eines Intervalls periodisch, ohne eine bestimmte Fokusposition zu wählen und in dieser verharren zu müssen, sodass er diese Veränderung sehr schnell vornehmen kann. Erfindungsgemäß wird diese periodische Veränderung automatisch erkannt und es werden mikroskopische Einzelbilder der Probe mit unterschiedlichen Fokuspositionen aufgenommen, aus denen das mikroskopische Bild mit erweiterter Schärfentiefe berechnet wird.
Das erfindungsgemäße manuelle Verändern der Fokusposition erfolgt über eine Dauer hinweg, welche bevorzugt deutlich kleiner als eine Dauer ist, welche gemäß dem Stand der Technik notwendig ist, dass der Nutzer bestimmte Fokuspositionen einstellt, in diesen verharrt und jeweils ein mikroskopisches Einzelbild aufgenommen wird, und schließlich aus den mikroskopischen Einzelbildern ein Bild mit einer erweiterten Schärfentiefe erzeugt wird. Das erfindungsgemäße manuelle Verändern der Fokusposition erfolgt über eine Dauer hinweg, welche bevorzugt mindestens fünf Mal kleiner und weiter bevorzugt mindestens zehn Mal kleiner als die beschriebene Dauer gemäß dem Stand der Technik ist.
Bei dem Mikroskop ist der Abstand zwischen der mindestens einen Linse des Mikroskops und der aufzunehmenden Probe manuell veränderbar. Diese Linse bildet bevorzugt eine Komponente des Objektivs des Mikroskops, wobei das Objektiv bevorzugt weitere Linsen umfasst. Bevorzugt ist ein Abstand zwischen dem gesamten Objektiv und der Probe veränderbar. Die Fokusposition wird entsprechend bevorzugt durch ein manuelles Verändern eines Abstandes zwischen der Probe und dem Objektiv des Mikroskops manuell verändert. Somit erfolgt ein Erkennen, ob der Nutzer des Mikroskops den Abstand zwischen der Probe und dem Objektiv gemäß der periodischen Funktion manuell verändert.
Alternativ bevorzugt ist das Mikroskop für eine Innenfokussierung ausgebildet. Entsprechend bildet die mindestens eine Linse eine Komponente des Objektivs des Mikroskops, wobei der Abstand zwischen der mindestens einen Linse und der aufzunehmenden Probe innerhalb des Objektivs manuell verändert wird.
Eine Aufnahmezeit für die Aufnahme eines einzelnen der mikroskopischen Einzelbilder beträgt bevorzugt weniger als 10 ms; besonders bevorzugt weniger als 4 ms, weiter bevorzugt zwischen 1 ms und 4 ms. Die Aufnahmerate beträgt bevorzugt mindestens 60 Hz und weiter bevorzugt mindestens 200 Hz.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens erfolgt der Schritt des Verarbeitens der mehreren, mindestens zwei mikroskopischen Einzelbilder zu einem mikroskopischen Bild mit einer erweiterten Schärfentiefe beginnend mit den einzelnen Aufnahmen der mikroskopischen Einzelbilder, auch während andere der mikroskopischen Einzelbilder noch aufgenommen werden. Somit werden die einzelnen mikroskopischen Einzelbilder bereits beginnend während ihrer Aufnahme jeweils verarbeitet und auch währenddessen weitere der mikroskopischen Einzelbilder noch aufgenommen werden und/oder die Fokusposition verändert wird. Somit werden der Verfahrensschritt des Aufnehmens der mikroskopischen Einzelbilder und der Verfahrensschritt des Verarbeitens der mikroskopischen Einzelbilder zu einem mikroskopischen Bild mit einer erweiterten Schärfentiefe zumindest zeitweise gleichzeitig durchgeführt, wobei der Verfahrensschritt des Verarbeitens der mikroskopischen Einzelbilder zu einem mikroskopischen Bild mit einer erweiterten Schärfentiefe länger als der Verfahrensschritt des Aufnehmens der mikroskopischen Einzelbilder dauern kann. Die mikroskopischen Einzelbilder können neben den mikroskopischen Einzelbildern, die mit unterschiedlichen Fokuspositionen aufgenommen wurden, auch einige Einzelbilder umfassen, welche mit einer gleichen Fokusposition aufgenommen wurden.
Bei diesen Ausführungsformen werden die mehreren mikroskopischen Einzelbilder während ihrer Aufnahmen laufend zu dem mikroskopischen Bild mit einer erweiterten Schärfentiefe verarbeitet, sodass die Schärfentiefe des mikroskopischen Bild mit erweiterter Schärfentiefe laufend zunimmt. Somit verändert sich das mikroskopische Bild mit erweiterter Schärfentiefe, bis alle mikroskopischen Einzelbilder aufgenommen und verarbeitet wurden. Insoweit verändert sich das mikroskopische Bild mit erweiterter Schärfentiefe während seiner Erzeugung. Das entstehende Bild mit erweiterter Schärfentiefe wird bevorzugt permanent angezeigt, während der Nutzer des Mikroskops die Fokusposition gemäß der periodischen Funktion manuell verändert. Somit bekommt der Nutzer eine Rückmeldung in Form des entstehenden Bildes mit erweiterter Schärfentiefe, woraus der Nutzer auf die Eignung der durch ihn bewirkten manuellen Veränderung der Fokusposition gemäß der periodischen Funktion für die Erzeugung des mikroskopischen Bild mit erweiterter Schärfentiefe schließen kann.
Das erzeugte mikroskopische Bild mit erweiterter Schärfentiefe wird bevorzugt gespeichert. Das erzeugte mikroskopische Bild mit erweiterter Schärfentiefe wird bevorzugt gespeichert, nachdem eine vorab definierte erweiterte Schärfentiefe erreicht wurde. Das erzeugte mikroskopische Bild mit erweiterter Schärfentiefe wird bevorzugt gespeichert, nachdem das permanent erzeugte mikroskopische Bild mit erweiterter Schärfentiefe eine vorab definierte Qualität erreicht hat. Das erzeugte mikroskopische Bild mit erweiterter Schärfentiefe wird alternativ bevorzugt gespeichert, nachdem eine Eingabe des Nutzers zum Speichern, beispielsweise die Betätigung einer Funktionstaste oder eines Auslösers oder das Erteilen eines Sprachkommandos, erkannt wurde.
Bei weiteren bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens wird ein Eignungswert ausgegeben, welcher die Eignung der erkannten durch den Nutzer manuell vorgenommenen Veränderung der Fokusposition gemäß der periodischen Funktion für die Erzeugung des mikroskopischen Bild mit einer erweiterten Schärfentiefe beschreibt. Der Eignungswert wird bevorzugt angezeigt; beispielsweise als ein Zahlenwert oder in einer Skale. Der Eignungswert wird bevorzugt permanent angezeigt, insbesondere in Realzeit, während der Nutzer die Fokusposition gemäß der periodischen Funktion manuell verändert. Währenddessen kann sich der Eignungswert ändern.
Der Eignungswert ist beispielhaft bevorzugt davon abhängig, wie klein eine Differenz zwischen einer Frequenz der periodischen Funktion der erkannten manuellen Veränderung der Fokusposition und einer Maximalfrequenz ist. Die Maximalfrequenz definiert, mit welcher maximalen Rate die mikroskopischen Einzelbilder aufgenommen werden können, um das Bild mit einer erweiterten Schärfentiefe bestimmen zu können, was von dem verwendeten Mikroskop und der zu mikroskopierenden Probe abhängig ist. Die Maximalfrequenz ist bevorzugt gebildet durch den Kehrwert des Produktes aus der Aufnahmezeit für ein einzelnes der mikroskopischen Einzelbilder und der Anzahl der mikroskopischen Einzelbilder, die für das mikroskopische Bild mit erweiterter Schärfentiefe aufzunehmen sind.
Der Eignungswert ist bevorzugt auch davon abhängig, wie konstant die Frequenz der periodischen Funktion der erkannten manuellen Veränderung der Fokusposition ist. Je konstanter diese Frequenz ist, desto genauer kann das Bild mit erweiterter Schärfentiefe bestimmt werden. Bevorzugt werden zeitliche Intervalle ermittelt, in denen die Frequenz der periodischen Funktion der erkannten manuellen Veränderung der Fokusposition eine größere Konstanz als in anderen zeitlichen Intervallen aufweist. Bevorzugt werden nur die in den ermittelten zeitlichen Intervallen aufgenommenen mikroskopischen Einzelbilder zur Bestimmung des Bildes mit erweiterter Schärfentiefe verwendet.
Der Eignungswert ist bevorzugt auch davon abhängig, inwieweit eine Amplitude der periodischen Funktion der erkannten manuellen Veränderung der Fokusposition zur Erweiterung der Schärfentiefe des mikroskopischen Bildes mit erweiterter Schärfentiefe geeignet ist.
Wenn die Frequenz der periodischen Funktion der erkannten manuellen Veränderung der Fokusposition bei einer zumindest weitgehenden konstanten Amplitude groß gewählt wird, können einige der aufgenommenen mikroskopischen Einzelbilder redundant sein. Jedoch sind die redundanten mikroskopischen Einzelbilder der Erzeugung des mikroskopischen Bildes mit einer erweiterten Schärfentiefe zuträglich, da sie die Qualität dieses mikroskopischen Bildes mit einer erweiterten Schärfentiefe verbessern können.
Wenn die Frequenz der periodischen Funktion der erkannten manuellen Veränderung der Fokusposition bei einer zumindest weitgehenden konstanten Amplitude zu groß gewählt wird, sinkt die Qualität des mikroskopischen Bildes mit einer erweiterten Schärfentiefe.
Die Aufnahmezeit für ein einzelnes der mikroskopischen Einzelbilder ist abhängig von dem verwendeten Mikroskop; insbesondere von dem Bildwandler des Mikroskops. Die Aufnahmezeit für ein einzelnes der mikroskopischen Einzelbilder ist verknüpft mit der durch das Mikroskop bedingten maximalen Rate, mit welcher die mikroskopischen Einzelbilder aufgenommen werden können.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens werden dem Nutzer eine minimale Frequenz und/oder eine maximale Frequenz vorgegeben, mit welcher er die manuelle Veränderung der Fokusposition vorzunehmen hat. Die maximale Frequenz ist bevorzugt u. a. abhängig davon, mit welcher maximalen Rate die mikroskopischen Einzelbilder aufgenommen werden können, um das Bild mit einer erweiterten Schärfentiefe bestimmen zu können, was von dem verwendeten Mikroskop und der zu mikroskopierenden Probe abhängig ist. Die minimale Frequenz ist bevorzugt u. a. von auftretenden lateralen Bewegungen der Probe oder eigenen Bewegungen der Probe abhängig, welche es erfordern, dass die manuellen Veränderungen der Fokusposition ausreichend schnell erfolgen, um das mindestens eine Bild mit einer erweiterter Schärfentiefe zu bestimmen. Eine optimale Frequenz liegt zwischen der minimalen Frequenz und der maximalen Frequenz. Es wird bevorzugt laufend angezeigt, wie groß eine Differenz zwischen der aktuellen Frequenz der periodischen Funktion der erkannten manuellen Veränderung der Fokusposition und der optimalen Frequenz ist.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens wird ein Graph der periodischen Funktion der erkannten manuellen Veränderung der Fokusposition laufend angezeigt, sodass der Nutzer erkennen kann, wie genau er die Fokusposition gemäß der periodischen Funktion manuell verändert. Der Graph wird bevorzugt in Realzeit angezeigt. Bevorzugt wird zudem angezeigt, ob die Periodizität der erkannten manuellen Veränderung der Fokusposition ausreichend ist, um die mehreren mikroskopischen Einzelbilder mit unterschiedlichen Fokuspositionen aufzunehmen und um diese zu dem mikroskopischen Bild mit einer erweiterten Schärfentiefe zu verarbeiten.
Bei bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens wird eine Amplitude der periodischen Funktion der manuellen Veränderung der Fokusposition vorgegeben, um eine optimale Erweiterung der Schärfentiefe des mikroskopischen Bildes mit erweiterter Schärfentiefe zu ermöglichen. Der Nutzer hat zu versuchen, diese Amplitude bei seiner manuellen Veränderung der Fokusposition zu erzielen. Die vorgegebene Amplitude wird bevorzugt grafisch angezeigt.
Das Erkennen, ob der Nutzer des Mikroskops die Fokusposition gemäß der periodischen Funktion manuell verändert, erfolgt bevorzugt unter Verwendung eines Sensors. Der Sensor kann beispielsweise auf einer kapazitiven, induktiven, magnetischen oder optischen Messung beruhen. Der Sensor kann in das Mikroskop integriert sein und zur Ausgabe eines kodierten Abstandes, insbesondere eines kodierten z-Wertes ausgebildet sein. Der Sensor kann auch als eine zusätzliche Komponente des Mikroskops ausgebildet sein; bevorzugt in Form einer Kamera zur Aufnahme der Stellung der Linse bzw. des Objektivs oder des Bedienelementes, mit welchem die Fokusposition des Mikroskops manuell veränderbar ist.
Mit dem Sensor ist bevorzugt der Abstand zwischen der mindestens einen Linse des Mikroskops und der aufzunehmenden Probe messbar. Mit dem Sensor ist bevorzugt der Abstand zwischen dem Objektiv des Mikroskops und der aufzunehmenden Probe messbar. Mit dem Sensor ist alternativ bevorzugt die Stellung des Bedienelementes, insbesondere des drehbaren Bedienrades, messbar, mit welchem die Fokusposition des Mikroskops manuell veränderbar ist. Der Sensor ist bevorzugt als ein Zusatzmodul für das Mikroskop ausgebildet.
Das Erkennen, ob der Nutzer des Mikroskops die Fokusposition gemäß der periodischen Funktion manuell verändert, erfolgt alternativ bevorzugt durch eine Bildverarbeitung von mikroskopischen Einzelbildern, welche mit dem Mikroskop aufgenommen werden. Bei der Bildverarbeitung erfolgt bevorzugt eine Analyse der mikroskopischen Einzelbilder. Dabei werden bevorzugt Qualitätsparameter ermittelt. Die Qualitätsparameter umfassen bevorzugt Qualitätsparameter für Schärfe und/oder Kontrast; beispielsweise für die drei RGB-Werte oder für einen einzelnen Kanal.
Das erfindungsgemäße Mikroskop ist bevorzugt digital ausgebildet und umfasst zunächst mindestens eine optische Linse zum vergrößerten optischen Abbilden einer Probe in einer Bildebene. Die mindestens eine optische Linse ist bevorzugt durch eine Komponente eines Objektivs des Mikroskops gebildet. Eine Fokusposition des Mikroskops ist dadurch manuell veränderbar, dass ein Abstand zwischen der mindestens einen Linse und der aufzunehmenden Probe manuell veränderbar ist. Die Fokusposition des Mikroskops ist bevorzugt lediglich manuell, aber nicht automatisiert veränderbar. Das Mikroskop weist bevorzugt keinen Antrieb zum Verändern der Fokusposition auf.
Das Mikroskop umfasst bevorzugt weiterhin einen Bildsensor zum Wandeln des von der Linse unmittelbar oder mittelbar auf den Bildsensor abgebildeten Bildes in ein elektrisches Signal.
Das erfindungsgemäße Mikroskop umfasst weiterhin eine Bildverarbeitungseinheit, welche zumindest zum Verarbeiten von mikroskopischen Einzelbildern dient. Die Bildverarbeitungseinheit ist zur Ausführung des erfindungsgemäßen Verfahrens konfiguriert. Bevorzugt ist die Bildverarbeitungseinheit zur Ausführung einer der beschriebenen bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens konfiguriert. Im Übrigen weist das erfindungsgemäße Mikroskop bevorzugt auch Merkmale auf, die im Zusammenhang mit dem erfindungsgemäßen Verfahren und dessen bevorzugten Ausführungsformen angegeben sind.
Die Bildverarbeitungseinheit ist bevorzugt durch einen FPGA, durch ein GPU-Modul, durch einen PC, durch einen Mini-PC oder durch einen Laptop gebildet.
Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung, unter Bezugnahme auf die Zeichnung. Es zeigen:

1: ein Diagramm einer erfindungsgemäß erkannten manuellen Veränderung einer Fokusposition eines Mikroskops;
2: ein Diagramm einer weiteren erfindungsgemäß erkannten manuellen Veränderung der Fokusposition des Mikroskops;
3: eine graphische Benutzeroberfläche eines erfindungsgemäßen Mikroskops; und
4: eine Erweiterung der in 3 gezeigten graphischen Benutzeroberfläche.

1 zeigt ein Diagramm einer manuellen Veränderung einer Fokusposition eines Mikroskops, welche gemäß einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens erkannt wurde. Auf einer Achse Z des Diagramms ist die Fokusposition, welche als ein Abstand in z-Richtung zwischen einer Linse (nicht gezeigt) des Mikroskops und einer aufzunehmenden Probe (nicht gezeigt) gemessen wird, aufgetragen. Auf einer Achse t des Diagramms ist die Zeit aufgetragen. Ein Nutzer des Mikroskops hat die Fokusposition periodisch gemäß einer Sinusfunktion geändert, sodass ein sinusförmiger Funktionsverlauf 01 erkannt wurde, was beispielsweise mit einem Sensor (nicht gezeigt) am Mikroskop erfolgen kann. Im Diagramm sind weiterhin Aufnahmezeitpunkte 02 dargestellt, in denen mikroskopische Einzelbildet mit der zu dem jeweiligen Aufnahmezeitpunkt 02 gegebenen Fokusposition Z aufgenommen werden. Eine Zeit t₁ beträgt beispielhaft 1 s.
2 zeigt ein weiteres Diagramm einer manuellen Veränderung der Fokusposition des Mikroskops, welche gemäß der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens erkannt wurde. Dieses Diagramm gleicht zunächst dem in 1 gezeigten Diagramm. Im Unterschied zu dem in 1 gezeigten Diagramm wurde ein dreieckförmiger Funktionsverlauf 03 erkannt, da der Nutzer des Mikroskops die Fokusposition mit einem konstanten Betrag der Geschwindigkeit und abrupten Wechseln der Richtung periodisch änderte.
3 zeigt eine graphische Benutzeroberfläche einer bevorzugten Ausführungsform eines erfindungsgemäßen Mikroskops zur Durchführung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. Die graphische Benutzeroberfläche erlaubt die Auswahl der zu erzielenden Qualität eines zu generierenden Bildes mit einer erweiterten Schärfentiefe ausgehend von den aufgenommenen mikroskopischen Einzelbildern mit unterschiedlichen Fokuspositionen, wobei die Qualität in den Stufen „gering“, „mittel“ und „hoch“ gewählt werden kann. Die graphische Benutzeroberfläche erlaubt zudem die Auswahl eines anzuwendenden Verarbeitungsverfahrens, welches zwischen „Mono“, „Stereo“ und „nicht-telezentrisch“ gewählt werden kann. Auf diese Weise kann beispielsweise unter Verwendung des Verarbeitungsverfahrens „Mono“ ein Bild mit erweiterter Schärfentiefe oder ein dreidimensionales Bild unter der Annahme eines monokularen optischen Systems bestimmt werden. Bei Auswahl des Verarbeitungsverfahrens „Stereo“ kann ein dreidimensionales Bild für ein Stereovisualisierungsgerät, wie Okulare, Virtual-Reality-Brille, dreidimensionale Anzeigen usw., bestimmt werden. Bei Auswahl des Verarbeitungsverfahrens „nicht-telezentrisch“, d. h. bei Verwendung einer nichttelezentrischen Optik kann eine digitale Korrektur der Telezentrizität von Bildern vor der Bestimmung des Bildes mit erweiterter Schärfentiefe oder des dreidimensionalen Bildes durchgeführt werden.
In der graphischen Benutzeroberfläche wird in einer Skale ein Eignungswert angezeigt, welcher quantitativ angibt, inwieweit die vom Nutzer manuell vorgenommene periodische Änderung der Fokusposition geeignet ist, das Bild mit einer erweiterten Schärfentiefe zu erzeugen, d. h. eine manuelle Erweiterung der Schärfentiefe vorzunehmen. Die quantitative Skale reicht von „gering“ bis „hoch“.
Die graphische Benutzeroberfläche erlaubt zudem die Auswahl eines Verfahrens, welches zur Erkennung der manuellen periodischen Veränderung der Fokusposition angewendet wird. Hierfür stehen die Verfahren „Periodische Bewegung“, „Schnelles auf und ab“, „Zeitintervalle“ und „Tastendruck (F12)“ zur Verfügung.
Die graphische Benutzeroberfläche erlaubt zudem die Auswahl eines Modus, gemäß welchem der Start der Erkennung der manuellen periodischen Veränderung der Fokusposition ausgelöst werden soll. Hierfür stehen als Alternativen „Zeit“, „Sensor“ und „Bildveränderung“ zur Verfügung.
Die graphische Benutzeroberfläche erlaubt zudem die Auswahl eines Modus, gemäß welchem der Stopp der Erkennung der manuellen periodischen Veränderung der Fokusposition ausgelöst werden soll. Hierfür stehen als Alternativen „Zeit“, „Sensor“ und „Bildqualität“ zur Verfügung.
4 zeigt eine Erweiterung der in 3 gezeigten graphischen Benutzeroberfläche. Diese Erweiterung dient alternativ oder ergänzend dazu, dass der Nutzer erkennen kann, wie genau er die manuelle Veränderung der Fokusposition gemäß einer periodischen Funktion vornimmt. Hierzu wird die erkannte periodische Funktion in ihrem zeitlichen Verlauf als Diagramm angezeigt. Weiterhin wird eine Bewertung der Periodizität der erkannten periodischen Funktion der manuellen Veränderung der Fokusposition, d. h. der Periodizität der Bewegung, ausgegeben. Die Bewertung kann als „schlecht“ oder als „gut“ ausgegeben werden.
Bezugszeichenliste

01: sinusförmiger Funktionsverlauf
02: Aufnahmezeitpunkt
03: dreieckförmiger Funktionsverlauf

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014006717 A1 [0002]
US 2015/0185462 A1 [0003]
US 8581996 B2 [0004]
US 2015/0185465 A1 [0005]
DE 102017123511 A1 [0008]

Claims

Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe mithilfe eines Mikroskops; wobei eine Fokusposition des Mikroskops dadurch manuell veränderbar ist, dass ein Abstand zwischen mindestens einer Linse des Mikroskops und einer aufzunehmenden Probe manuell veränderbar ist; und wobei das Verfahren folgende Schritte umfasst: - Erkennen, ob ein Nutzer des Mikroskops die Fokusposition gemäß einer periodischen Funktion (01; 03) manuell verändert; - Aufnehmen mehrerer mikroskopischer Einzelbilder einer Probe mit unterschiedlichen Fokuspositionen, nachdem erkannt wurde, dass der Nutzer die Fokusposition gemäß der periodischen Funktion (01; 03) verändert; und - Verarbeiten der mehreren mikroskopischen Einzelbilder zu einem mikroskopischen Bild mit einer erweiterten Schärfentiefe.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fokusposition durch ein manuelles Verändern eines Abstandes zwischen der Probe und einem die mindestens eine Linse umfassenden Objektiv des Mikroskops verändert wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Fokusposition durch ein Bedienen eines mechanischen Bedienelementes manuell verändert wird, wobei durch das Bedienen des mechanischen Bedienelementes der Abstand zwischen der mindestens einen Linse des Mikroskops und der aufzunehmenden Probe veränderbar ist.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Schritt des Verarbeitens der mehreren mikroskopischen Einzelbilder zu einem mikroskopischen Bild mit einer erweiterten Schärfentiefe beginnend mit den einzelnen Aufnahmen der mikroskopischen Einzelbilder erfolgt, während weitere der mikroskopischen Einzelbilder noch aufgenommen werden, wobei das entstehende Bild mit einer erweiterten Schärfentiefe permanent angezeigt wird, während der Nutzer des Mikroskops die Fokusposition gemäß der periodischen Funktion (01; 03) manuell verändert.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein Eignungswert ausgegeben wird, welcher die Eignung der erkannten durch den Nutzer manuell vorgenommenen Veränderung der Fokusposition für die Erzeugung des mikroskopischen Bild mit einer erweiterten Schärfentiefe beschreibt.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Eignungswert davon abhängig ist, wie konstant eine Frequenz der periodischen Funktion (01; 03) der erkannten manuellen Veränderung der Fokusposition ist.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass der Eignungswert davon abhängig ist, inwieweit eine Amplitude der periodischen Funktion (01; 03) der erkannten manuellen Veränderung der Fokusposition zur Erweiterung der Schärfentiefe des mikroskopischen Bildes mit erweiterter Schärfentiefe geeignet ist.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass ein Graph der periodischen Funktion (01; 03) der erkannten manuellen Veränderung der Fokusposition laufend angezeigt wird.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das Erkennen, ob der Nutzer des Mikroskops die Fokusposition gemäß der periodischen Funktion (01; 03) manuell verändert, unter Verwendung eines Positionssensors erfolgt.
Mikroskop; umfassend: - mindestens eine optische Linse zum Abbilden einer zu mikroskopierenden Probe, wobei eine Fokusposition des Mikroskops dadurch manuell veränderbar ist, dass ein Abstand zwischen der Linse und der aufzunehmenden Probe manuell veränderbar ist; und - eine Bildverarbeitungseinheit zum Verarbeiten von mikroskopischen Einzelbildern, welche zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 9 ausgebildet ist.