-
Die Erfindung betrifft ein Verfahren zum Bestimmen einer Manipulationsposition eines Mikroskops für eine Manipulation im probennahen Bereich, sowie ein Mikroskop und ein Computerprogramm zur Bestimmung einer solchen Manipulationsposition.
-
Hintergrund
-
Das Auffinden einer Probe bildet in der Mikroskopie häufig ein Problem, insbesondere für kleine Phasenobjekte. Daher wird versucht, mithilfe von kalibrierten Übersichtsbildern eine schnellere Orientierung beim Auffinden der Probe oder eines interessierenden Probenbereiches und mithin einen schnelleren Beginn von Experimenten zu ermöglichen. Dazu wird nach dem Positionieren einer Probe mittels einer Übersichtskamera, die separat vorgesehen oder in einem Objektivrevolver des Mikroskops angeordnet sein kann, ein Übersichtsbild aufgenommen und mit der Position der Probe beziehungsweise des Tisches verknüpft (Kalibrierung).
-
Viele Experimente erfordern zudem eine Manipulation im Bereich rund um die Probe, wie beispielsweise das Aufbringen eines Immersionsmittels. Dazu wird eine Lösung benötigt, wie ein Benutzer diese Manipulation im probennahen Raum vornehmen kann, ohne die Probe vom Tisch zu entnehmen und so gegebenenfalls eine für die Navigation bezüglich der Probe wichtige Zuordnung zwischen dem Übersichtbild und der Probe zu verlieren.
-
Aufgabe der Erfindung
-
Es ist daher die Aufgabe der Erfindung, eine Lösung vorzuschlagen, wie eine Manipulation im probennahen Bereich ermöglicht werden kann, ohne die Probe relativ zu dem sie haltenden Haltrahmen beziehungsweise relativ zum Tisch des Mikroskops zu bewegen, wobei stets die Zugänglichkeit des zu manipulierenden Objektes für einen Benutzer gewährleistet wird.
-
Die Aufgabe der Erfindung wird gelöst durch ein Verfahren nach Anspruch 1, ein Mikroskop nach Anspruch 14 und ein Computerprogramm nach Anspruch 15. Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen.
-
Lösung
-
Ein erfindungsgemäßes Verfahren zur Bestimmung eines Manipulationsposition eines Mikroskops für eine Manipulation im probennahen Bereich umfasst wenigstens die folgenden Schritte:
- - Aufnehmen eines Übersichtsbildes, in dem ein Probenträger und/oder eine Probenträgerumgebung zumindest teilweise sichtbar ist,
- - Auswerten des Übersichtsbildes durch eine Bildanalyse, um mindestens einen geeigneten Bereich, in dem eine Manipulation im probennahen Bereich erfolgen kann, zu lokalisieren,
- - wenn mindestens ein geeigneter Bereich lokalisiert wurde:
- ◯ Bestimmen einer Manipulationsposition innerhalb des mindestens einen geeigneten Bereiches,
- o Bestimmen einer Verfahrbewegung eines Objektives und/oder eines Tisches des Mikroskops, wobei die Verfahrbewegung eine Bewegung des Objektivs und/oder des Tisches zu einer Position, an die Manipulation erfolgen soll, angibt,
- o Verfahren des Objektivs und/oder des Tisches des Mikroskops basierend auf der zuvor bestimmten Verfahrbewegung,
- o Ausführen der Manipulation im probennahen Bereich nach dem Verfahren des Objektivs und/oder des Tisches des Mikroskops.
-
Dabei soll unter einer Manipulationsposition eine Relativpositionierung beweglicher beziehungsweise verfahrbarer Elemente des Mikroskops zueinander und/oder zu dem Mikroskop und seinen feststehenden Komponenten verstanden werden, so dass an einem Ort innerhalb dieser Relativpositionierung mindestens eine der nachfolgend noch erläuterten Manipulationen ausgeführt werden kann. Es handelt sich dabei also nicht im eine Position an beziehungsweise in einem zu manipulierenden Objekt, sondern dessen Anordnung relativ zu dem Mikroskop beziehungsweise zu anderen bewegbaren Mikroskopkomponenten, so dass ein Benutzer die gewünschte Manipulation möglichst einfach und komfortabel ausführen kann.
-
Dazu soll, falls erforderlich, eine Positionierung einer oder mehrerer verfahrbarer Komponenten vorgenommen werden.
-
Ein probennaher Bereich kann dabei sowohl einen Bereich der Probe selbst, aber auch einen Haltrahmen, einen Tisch, ein Objektiv und dergleichen betreffen, also Komponenten, die üblicherweise in der unmittelbaren Umgebung der Probe zu finden sind.
-
Manipulieren kann ein Hinzufügen von Material, ein Entfernen von Material, ein Verstellen einer Komponente und dergleichen sein. Es zielt darauf ab, in der Umgebung der Probe und/oder an der Probe eine Veränderung vorzunehmen. Konkrete Anwendungsfälle werden mit Bezug zu den bevorzugten Ausgestaltungen erläutert.
-
In einem ersten Schritt wird dazu ein Übersichtsbild aufgenommen, in dem ein Probenträger und/oder eine Probenträgerumgebung zumindest teilweise sichtbar ist. Dieses Übersichtsbild kann mittels einer separaten Aufnahmeeinrichtung, die beispielsweise in Form einer Kamera am Stativ des Mikroskops angeordnet ist, aufgenommen werden, oder auch mittels der eigentlichen Mikroskopkamera. Ein Übersichtsbild zeigt dabei im Vergleich zu mikroskopischen Bildern auch Probengefäßwände oder Ränder des Probenträgers und erlaubt somit den Überblick über eine Probe in Bezug zu ihrer unmittelbaren Umgebung. Es kann sowohl ein Rohbild, als auch ein weiterverarbeitetes Bild sein, insbesondere auch ein Ausschnitt eines aufgenommenen Bildes.
-
Das Übersichtsbild soll für das erfindungsgemäße Verfahren einen Probenträger und/oder eine Probenträgerumgebung zumindest teilweise zeigen, das heißt, die Probe wurde entsprechend auf einem Probenträger gleich welcher Art präpariert und auf beziehungsweise in einem Probenträger angeordnet. Ein Probenträger kann eine oder mehrere Proben beherbergen. Er kann mit einer Trägerplatte und einem oder mehreren Deckgläsern gebildet sein, aber auch als Kammerobjektträger, als Petrischale oder als Mikrotiterplatte ausgeführt sein. Dieser Probenträger ist zum Zeitpunkt der Aufnahme des Übersichtsbildes auf dem Tisch des Mikroskops positioniert, so dass die Position der Probe beziehungsweise des Probenträgers relativ zu dem Tisch erfasst und zugeordnet werden kann. Dies wird als Kalibrierung bezeichnet.
-
Das Übersichtsbild wird in einem nächsten Schritt mittels einer Bildanalyse ausgewertet, um mindestens einen Bereich zu finden, an dem eine Manipulation im probennahen Bereich erfolgen kann. Es wird also mindestens ein Ort innerhalb des Übersichtsbildes gesucht, an dem eine ausreichende Zugänglichkeit für eine Manipulation sowie ausreichend Raum zu ihrer Durchführung vorhanden sind. Im einfachsten Fall kann dies ein freier Bereich sein, es kann aber auch eine Öffnung, eine Durchführung oder dergleichen darunter fallen, durch die hindurch eine Manipulation erfolgen kann. Dieser mindestens eine Bereich muss nicht bereits in der im Übersichtsbild vorliegenden Positionierung des Mikroskopkomponenten die Manipulation erlauben, sondern dient vielmehr als Ausgangspunkt für die folgenden Schritte. Es versteht sich von selbst, das zur Bestimmung des mindestens einen geeigneten Bereiches vorab bekannt sein sollte, welche Manipulation vorgenommen werden soll, da die Art der Manipulation verschiedenartige Anforderung hinsichtlich Geometrie und Erreichbarkeit der mindestens einen geeigneten Bereiches und der darin liegenden Manipulationsposition stellen.
-
Für die Bildanalyse selbst können klassische Bildanalyseverfahren wie das Vermessen, das Zählen von Objekten, das Inspizieren des Bildes und/oder das Auslesen codierter Informationen zur Anwendung kommen. In bevorzugten Ausgestaltung können auch moderne Verfahren der Bildanalyse, insbesondere die Bildanalyse mittels Verfahren des maschinellen Lernens verwendet werden. Diese werden als optionale Ausgestaltung nachfolgend noch näher ausgeführt.
-
Ist nun mindestens ein geeigneter Bereich für eine probennahe Manipulation gefunden, wird die konkrete Manipulationsposition innerhalb des mindestens einen Bereiches bestimmt. Dies umfasst den geeigneten Ort beziehungsweise die günstigste Position innerhalb des mindestens einen geeigneten Bereiches, also die genaue Position in diesem Bereich, aber auch die Anordnung beziehungsweise Positionierung der Mikroskopkomponenten, insbesondere der bewegbaren Mikroskopkomponenten zueinander.
-
Um nun die genaue Position und/oder die Anordnung der Mikroskopkomponenten zueinander zu bestimmen, muss deren genaue Lage bestimmt beziehungsweise berücksichtigt werden. Im Fall der zu bestimmenden Position, an der die Manipulation erfolgen soll, beispielsweise in Form des geometrischen Schwerpunktes des geeigneten Bereiches. Dies kann durch klassische Algorithmen und/oder geometrische Berechnungen erfolgen. Die Position der Mikroskopkomponenten sollte aus dem Mikroskopiesystem heraus bekannt sein oder durch dieses bestimmt werden können oder ebenfalls aus dem Übersichtsbild bestimmt werden.
-
Nun kann eine Verfahrbewegung des Mikroskoptisches und/oder des Objektives des Mikroskops bestimmt werden, um den Tisch und/oder das Objektiv derart zu bewegen, dass sie an den für die Manipulationsposition ermittelten Ort bewegt werden können. Dabei kann wahlweise eine Bewegung nur des Tisches mit der darauf befindlichen Probe, nur des Objektivs oder beider erforderlich sein, um die Manipulationsposition zu erreichen. Die zu bestimmende Verfahrbewegung beinhaltet eine Richtung der erforderlichen Bewegungen und/oder eine Weglänge für die zu bewegende(n) Komponente(n). Sie kann auch eine Bewegung umfassen, die das Objektiv und/oder der Tisch zunächst voneinander entfernt, um genug Abstand zwischen ihnen zu gewinnen und eine kollisionsfreie Verfahrbewegung zu ermöglichen. Die Verfahrbewegung kann dabei in X-Richtung, Y-Richtung und/oder Z-Richtung erfolgen, wobei die X-Richtung und die Y-Richtung eine Ebene gleich der Probenebene oder zumindest annähernd parallel dazu aufspannen und die Z-Richtung dazu senkrecht ausgerichtet ist.
-
Ist die Verfahrbewegung bekannt, wird der Tisch und/oder das Objektiv an die vorbestimmten Position bewegt, und zwar um das durch die vorbestimmte Verfahrbewegung vorgegebene Maß und/oder die vorgegebene Richtung. Danach kann die gewünschte Manipulation im probennahen Bereich vorgenommen werden. Sofern gewünscht oder erforderlich, können die bewegten Komponenten danach in die Beobachtungsposition bewegt werden.
-
Ist keine Verfahrbewegung erforderlich, weil die Manipulationsposition bereits in der vorliegenden Konfiguration des Mikroskopiesystems besteht, kann dieser Schritt entfallen und dem Benutzer signalisiert werden, dass er seine Manipulation vornehmen kann.
-
In entsprechender Weise umfasst ein Mikroskopiesystem zur Bestimmung einer Manipulationsposition eines Mikroskops für eine Manipulation im probennahen Bereich ein Mikroskop, das zum Aufnehmen eines Übersichtsbildes eingerichtet ist, wobei in dem Übersichtsbild ein Probenträger und/oder eine Probenträgerumgebung zumindest teilweise sichtbar ist. Wie bereits ausgeführt, kann die Aufnahme mittels einer separaten Übersichtskamera oder einer sowieso im Mikroskop vorhanden Kamera erfolgen. Das Mikroskop kann insbesondere ein Lichtmikroskop, ein Röntgenmikroskop, ein Elektronenmikroskop, ein Makroskop oder auch ein anders gestaltetes vergrößerndes Bildaufnahmegerät sein, das dazu eingerichtet ist, Bilder (Mikroskopbilder) aufzunehmen.
-
Zudem umfasst das Mikroskopiesystem eine Recheneinrichtung, die ausgebildet und vorgesehen ist, das Übersichtsbild mittels Bildanalyse auszuwerten, um mindestens einen für eine Manipulation geeigneten Bereich zu lokalisieren, eine Manipulationsposition innerhalb des mindestens einen geeigneten Bereiches und eine Verfahrbewegung zu bestimmen, wobei die Verfahrbewegung die Bewegung des Objektivs und/oder des Tisches des Mikroskops zum Erreichen der Manipulationsposition beinhaltet.
-
Die Recheneinrichtung kann als Teil des Mikroskops oder als eigene Einrichtung vorgesehen sein. Sie kann in der Umgebung des Mikroskops oder an einem beliebigen anderen Ort angeordnet sein. Wesentlich ist die Datenkommunikation zwischen dem Mikroskop und der Recheneinrichtung, die drahtlos oder drahtgebunden erfolgen kann. Die Recheneinheit kann durch eine beliebige geeignete Kombination aus Elektronik und Software gebildet sein und insbesondere einen Computer, einen Server, ein cloud-basiertes Rechensystem oder einen oder mehrere Mikro- oder Grafikprozessoren umfassen. Sie kann zudem auch zur Steuerung der Mikroskopkamera, der Bildaufnahme, der Probentischsteuerung und/oder der Steuerung anderer Mikroskopkomponenten eingerichtet sein.
-
Ein Computerprogramm zur Bestimmung einer Manipulationsposition eines Mikroskops für eine Manipulation im probennahen Bereich umfasst Befehle, die bei Ausführung des Programms durch einen Computer oder ein Mikroskopiesystem die Ausführung des erfindungsgemäßen Verfahrens bewirken. Insbesondere umfasst das Computerprogramm die folgenden Schritte: Erhalten eines Übersichtsbildes, in dem ein Probenträger und/oder eine Probenträgerumgebung zumindest teilweise sichtbar ist, Auswerten des Übersichtsbildes mittels einer Bildanalyse, um mindestens einen geeigneten Bereich, in dem eine Manipulation im probennahen Bereich erfolgen kann, zu lokalisieren, Bestimmen einer Manipulationsposition innerhalb des mindestens einen geeigneten Bereiches, und Bestimmen einer Verfahrbewegung eines Objektives und/oder eines Tisches des Mikroskops, wobei die Verfahrbewegung eine Bewegung des Objektivs und/oder des Tisches zu einer Position, an die Manipulation erfolgen soll, angibt.
-
Optionale Ausgestaltungen
-
In einer ersten optionalen Ausgestaltung des erfindungsgemäßen Verfahrens umfasst eine Manipulation im probennahen Bereich das Aufbringen eines Immersionsmediums, eine Reinigung einer Frontlinse an einem Objektiv, eine Modifikation eines Objektivs, die Verstellung eines DIC-Schiebers, das Anbringen oder Entfernen einer Wechselkomponente, das Reinigen einer Oberfläche, eine Beschriftung des Probenträgers und/oder das Anbringen eines Markers.
-
Das Aufbringen eines Immersionsmediums kann dabei sowohl eine Erstimmersion, also ein erstes Aufbringen eines Immersionsmittels sein, aber auch eine Reimmersion, also ein Wiederaufbringen von Immersionsmittel. Das Immersionsmittel kann, je nach Ausgestaltung des Mikroskops als aufrechtes oder inverses Mikroskop, auf die Probe oder auf das Objektiv aufgebracht werden. Dazu kann der Tisch mit der Probe und/oder das Objektiv derart zur der Manipulationsposition verfahren beziehungsweise bewegt werden, dass eine komfortable und ungestörte Zufuhr des Immersionsmittels ermöglicht wird.
-
Wird in dem Mikroskop eine Verschmutzung der Frontlinse erkannt, kann eine Reinigung erforderlich werden, die zum Beispiel durch ein Spülen mit dem Immersionsmittel bewirkt werden kann. Die dafür erforderliche Manipulationsposition kann dabei mit der beim Aufbringen des Immersionsmittels entsprechen oder auch von ihr abweichen.
-
Eine weitere Manipulation kann eine Modifikation des Objektivs des Mikroskops sein. Eine solche Modifikation kann dabei exemplarisch in der Veränderung von Korrekturringeinstellungen bestehen, aber auch in der Einstellung der Immersion bei Multiimmersionsobjektiven. in bevorzugter Weise wird dazu das Objektiv an eine Position bewegt, an der ein Benutzer möglichst einfachen Zugang zu dem Objektiv hat, ohne dabei andere Komponenten im Umfeld oder gar die Probe versehentlich zu verstellen oder zu verschieben.
-
Ferner kann das Anbringen oder Entfernen von Wechselkomponenten im Umfeld der Probe eine solche Manipulation sein, da das Anbringen oder Entfernen der Wechselkomponente die vorherige Probenanordnung und -ausrichtung berücksichtigen muss.
-
Wie bereits erwähnt, kann ein Übersichtsbild mittels einer Kamera und eines Spiegels aufgenommen werden. Dieser Spiegel kann gegebenenfalls verschmutzen, so dass seine Reinigung erforderlich wird. Auch andere Oberflächen im Umfeld der Probe können einer Reinigung bedürfen, um eine Beeinflussung der Beobachtungsergebnisse zu vermeiden.
-
Auch das Verstellen eines DIC-Schiebers zur Betrachtung von Phasenobjekten, also das Einbringen in oder das Entfernen aus dem Strahlengang zählt zu den Manipulationen im probennahen Bereich, ebenso wie das Aufbringen einer Beschriftung auf den Probenträger oder das Anbringen von Markern zur Navigation auf der Probe.
-
In einer anderen Ausgestaltung des Verfahrens ist vorgesehen, dass die Bildanalyse durch ein Maschinenlernmodell eines Computerprogramms erfolgt, das im Übersichtsbild den mindestens einen für eine Manipulation im probennahen Bereich geeigneten Bereich lokalisiert.
-
Das Maschinenlernmodell ist ein System, das mittels Algorithmen aus einer eingegebenen Menge von Trainingsdaten ein statistisches Modell erzeugt, das erkannte Kategorien und Zusammenhänge aus den Trainingsdaten abbildet. Im vorliegenden Verfahren sind die Trainingsdaten Übersichtsbilder, in denen zumindest teilweise Probenträger und/oder Probenträgerumgebungen enthalten sind. Anhand dieser Trainings-Übersichtsbilder lernt das Maschinenlernmodell, ob und wo ein Probenträger beziehungsweise Probenträgerumgebung, insbesondere auch Elemente der Probenträgerumgebung vorhanden sind. Ebenso lernt es daraus, wo sich freie Bereiche befinden, also wo kein Probenträger beziehungsweise wo keine Probenträgerumgebung vorhanden ist. Diese freien Bereiche sind sehr wahrscheinlich für eine Manipulation im probennahen Bereich geeignet.
-
Die Probenträgerumgebung kann durch eine Anzahl von Elementen gekennzeichnet sein, zu denen beispielsweise Halterahmen oder Halterahmenteile, Stege des Halterahmens und dergleichen gehören können. Halterahmen weisen teilweise bewegbare Stege auf, die an die Geometrie des Probenträgers anzupassen sind, so dass der Probenträger zwischen ihnen gehalten wird. Durch die Kenntnis der Probenträgerumgebung und ihrer Lage wird gegebenenfalls auch ein Rückschluss auf die Lage der Probe und darum befindlicher freier Bereiche ermöglicht.
-
Das Maschinenlernmodell kann mindestens ein neuronales Netz, insbesondere mindestens ein neuronales Netz des so genannten Deep Learning (DL) enthalten, weiter bevorzugt mindestens ein faltendes neuronales Netz (englisch: convolutional neuronal network, CNN). Es können auch mehrere neuronale Netze vorgesehen sein, die nacheinander einzelne Verarbeitungsschritte ausführen, bei denen also die Ausgaben des einen Netzes die Eingangswerte eines anderen Netzes bilden. Bei der Verwendung mehrerer zusammenwirkender neuronaler Netze in einem Maschinenlernmodell können die einzelnen neuronalen Netze jeweils auch als ein Maschinenlernmodell oder als Submodell bezeichnet werden.
-
Das neuronale Netz oder die neuronalen Netze können durch überwachtes Lernen, unüberwachtes Lernen, teilüberwachtes Lernen oder bestärkendes Lernen trainiert sein. Ein unüberwachtes Lernen eignet sich insbesondere zur Segmentierung. Ein überwachtes Lernen kann beispielsweise zur Klassifikation genutzt werden, wobei die Trainings-Übersichtsbilder mit Klassenbezeichnungen oder Zieldaten versehen sind. Beispielsweise kann eine Klasse den Probenträger und mehrere andere Klassen verschiedene Halterahmen, Halterahmenteile oder Wechselkomponenten bezeichnen. Bei einem teilüberwachten Lernen ist nur ein Teil der Trainingsbilder annotiert, beispielsweise ist eine bekannte Klassifikation nur bei einem Teil der Trainingsbilder eingetragen.
-
Ist mindestens ein freier und mithin für eine probennahe Manipulation geeigneter Bereich gefunden, muss wie bereits ausgeführt seine genaue Lage bestimmt werden. Dies kann wahlweise durch das oder ein Maschinenlernmodell, oder wie schon erläutert, durch klassische Algorithmen ohne Maschinenlernmodelle erfolgen.
-
Der Vorteil der Verwendung eines Maschinenlernmodells liegt vor allem in dessen Robustheit, da es kleinere Veränderungen oder Störungen im Übersichtsbild in der Regel kompensieren kann, so dass diese nicht zu Fehlern führen. Zudem können neue Elemente der Probenträgerumgebung oder eine generelle Umgestaltung der Probenträgerumgebung durch einen neuen Trainingsdurchgang einfach ergänzt werden. Im Vergleich dazu ist der Aufwand, der bei der klassischen Bildanalyse betrieben werden muss, um derartige Störungen und/oder Veränderungen zu kompensieren, sehr hoch, da die Veränderungen gegebenenfalls die Erkennung bekannter Elemente und Umgebungen beeinflusst.
-
Alternativ oder zusätzlich kann die Bestimmung der Manipulationsposition durch ein Maschinenlernmodell eines Computerprogramms erfolgen, das in einem als geeignet beurteilten Bereich die Manipulationsposition ermittelt. Hier wird also ein Maschinenlernmodell dahingehend trainiert, dass es anhand des zuvor auf klassischem Weg oder durch ein Maschinenlernmodell bestimmten geeigneten Bereichs zur Durchführung einer Manipulation im probennahen Bereich die eigentliche Manipulationsposition bestimmt. Dieses Modell kann, wie es bezüglich des Modells zum Bestimmen des mindestens einen geeigneten Bereiches ausgeführt wurde, mindestens ein neuronales Netz, insbesondere mindestens ein neuronales Netz des Deep Learning, und weiter bevorzugt mindestens ein faltendes neuronales Netz enthalten. Auch hier können mehrere neuronale Netze zusammenwirken und mittels der zuvor erläuterten Methoden angelernt werden.
-
Für das Training zum Bestimmung der Manipulationsposition mittels Maschinenlernmodell können Informationen wie geometrische Randbedingungen und Zusammenhänge, eine geometrische Beschreibung des zuvor bestimmten geeigneten Bereiches und dergleichen und/oder Trainings-Übersichtsbilder, in denen bereits mindestens ein geeigneter Bereich lokalisiert ist, für das Training verwendet werden. Durch das Training erlernt das Maschinenlernmodell, wo innerhalb des zuvor bestimmten geeigneten Bereichs für die Manipulation im probennahen Bereich geeignete Orte sind und von welchen Randbedingungen sie abhängen. Dazu zählt unter anderem der verfügbare Raum um eine potenzielle Manipulationsposition, aber auch seine Erreichbarkeit für einen Benutzer mit seinen Handhabungsmitteln beziehungsweise im Falle einer Automatisierung für die Komponenten, die an der Manipulation mitwirken.
-
Das Maschinenlernmodell zur Bestimmung des mindestens einen geeigneten Bereiches für eine Manipulation im probennahen Bereich und das Maschinenlernmodell zur Bestimmung der Manipulationsposition können als separate Maschinenlernmodelle ausgebildet sein, in einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens kann jedoch auch ein gemeinsames Maschinenlernmodell eines Computerprogramms vorgesehen sein, das derart trainiert ist, dass es aus einem Übersichtsbild eine Verfahrbewegung bestimmt. Dieser Vorgang wird im Allgemeinen als End-to-End-Learning bezeichnet und insbesondere durch Deep Learning-Modelle verwirklicht. Das gemeinsame Maschinenlernmodell kann beispielsweise zwei Submodelle aufweisen, die den zuvor erläuterten Maschinenlernmodellen entsprechen. Es kann aber auch als ein einziges Maschinenlernmodell mit einem oder mehreren neuronalen, insbesondere faltenden neuronalen Netzen ausgeführt sein, die zur Erfüllung der Aufgabe zusammenwirken.
-
Es kann vorgesehen sein, dass das Maschinenlernmodell die Lokalisierung mindestens eines für eine Manipulation geeigneten Bereiches und/oder die Bestimmung der Manipulationsposition in einer der folgenden Weisen durchführt:
- - mit Hilfe einer Segmentierung, in welcher im Übersichtsbild markiert wird, welche Bereiche für eine Manipulation im probennahen Bereich geeignet sind,
- - mit Hilfe einer Klassifizierung oder semantischen Segmentierung, wobei zwischen geeigneten und nicht geeigneten Bereichen für eine Manipulation im probennahen Bereich unterschieden wird,
- - mit Hilfe einer Detektion geeigneter und nicht geeigneter Bereiche,
- - mit Hilfe einer Klassifikation, in welcher ein Objektivtyp, ein Tischtyp, ein Halterahmentyp und/oder ein Probenträgertyp identifiziert wird, wobei jeweils geometrische Positionen hinterlegt sind, mittels derer die Verfahrbewegung bestimmt wird.
-
Das jeweilige Maschinenlernmodell, also wahlweise das Maschinenlernmodell zur Lokalisierung eines geeigneten Bereiches, das Maschinenlernmodell zur Bestimmung der Manipulationsposition oder das gemeinsame Maschinenlernmodell können das Übersichtsbild mit verschiedenen Methoden auswerten. Je nach Ausgestaltung mit einem oder mehreren oder einem gemeinsamen Maschinenlernmodell(en) kann jedes davon seine Aufgabe mit einer oder mehreren der hier aufgezählten Methoden lösen.
-
Eine erste Variante besteht darin, dass eine Segmentierung erfolgt, durch die im Übersichtsbild oder einem Ausschnitt davon markiert wird, welche Bildbereiche für eine Manipulation im probennahen Bereich geeignet sind. Die übrigen Bildbereiche können als ungeeignete Bereiche gekennzeichnet werden oder darin gezeigte Objekte dem Probenträger, der Probe und/oder der Probenträgerumgebung zugeordnet werden. Als Ausgabe dieser Auswertung kann als Bild erfolgen, in dem verschiedene Pixelwerte verschiedene Bereiche oder Segmente kennzeichnen. Alternativ kann eine Segmentierungsausgabe auch durch eine Vektorgrafik oder Objektpositionsanagen erfolgen.
-
In einer zweiten Variante kann eine Klassifizierung oder eine semantische Segmentierung verwendet werden, um zwischen geeigneten und nicht geeigneten Bereichen für eine Manipulation im probennahen Bereich zu unterscheiden. Der Probenträger und die Probenträgerumgebung beziehungsweise die Komponenten der Probenträgerumgebung werden unter anderem durch ihre Relativposition zueinander und ihre Geometrie im Übersichtsbild charakterisiert. Zur Beurteilung, ob ein Bereich für eine Manipulation im probennahen Bereich geeignet ist oder nicht, muss also nicht nur deren Lage, sondern auch ihr Typ bestimmt werden. Dies hat Auswirkungen auf die Manipulationsposition und die später zu bestimmende Verfahrbewegung, die sich in Abhängigkeit von der Lage und dem Typ von Probenträger, Probenträgerumgebung und deren Komponenten unterscheiden kann.
-
Die Klassifizierung kann zudem dazu genutzt werden, den Probenträger und/oder die Komponenten der Probenträgerumgebung zu identifizieren. Damit ist nicht mehr nur deren Vorhandensein und/oder Position bekannt, sondern auch der konkrete Typ. Im Training des jeweiligen Maschinenlernmodells sind die zu erkennenden mit verschiedenen Typen der möglicherweise vorkommenden Komponenten in den Trainingsbildern vorhanden. Als Typ kann jeweils ein bestimmtes Modell oder eine Gruppe ähnlicher Modelle einer Komponente aufgefasst werden. Zu jedem Typ sind dann geometrische Daten und gegebenenfalls Kontextinformationen hinterlegt, so dass diese bei der Bestimmung der Verfahrbewegung verwendet werden können.
-
Klassifiziert beziehungsweise semantisch segmentiert werden können beispielsweise Objektivtyp, ein Tischtyp, ein Halterahmentyp und/oder ein Probenträgertyp. Die hinterlegten geometrischen Daten können unter anderem Zielpositionen enthalten, an denen das erkannte Objekt beziehungsweise der zugehörige Typ üblicherweise positioniert ist, gegebenenfalls auch in Relation zu anderen Komponenten und Objekten.
-
Aus den so ermittelten Informationen lässt sich nun unterscheiden, wo ein Bereich für die Manipulation geeignet ist und wo nicht, aber auch ob beispielsweise durch eine Verfahrbewegung einer Komponente oder mehrerer Komponenten oder auch des Probenträgers mitsamt dem Tisch eine Manipulationsposition einstellbar ist, so dass in der Folge die Verfahrbewegung bestimmt werden kann.
-
Schließlich kann die Bewertung geeigneter und ungeeigneter Bereiche auch mittels einer Detektion vorgegebener Elemente des Übersichtsbildes, also von Probenträger und/oder Probenträgerumgebung, erfolgen. Dabei können Umrisse, Kanten, Ecken, Befestigungsmittel oder Markierungen von Probe, Probenträger und/oder Probenträgerumgebung detektiert werden. Markierungen können Beschriftungen oder Aufkleber umfassen.
-
Aus der Bestimmung geeigneter und ungeeigneter Bereiche für die Manipulation im probennahen Bereich sowie der Bestimmung einzelner Komponenten in der Umgebung lassen sich Lageverhältnisse zueinander ableiten beziehungsweise können derartige Lageverhältnisse auch vorab bekannt sein. Weiter können daraus auch Zwangspunkte und/oder Grenzbereiche für die Verfahrbewegung resultieren, die in ihrer Bestimmung einbezogen werden sollten. Durch solche Zusammenhänge wird es auch möglich, auf die Probenträgerumgebung außerhalb des Übersichtsbildes beziehungsweise auf Bereiches des Probenträgers außerhalb des Übersichtsbildes zu schließen und diese Rückschlüsse ebenfalls in die Bestimmung der Verfahrbewegung einzubeziehen.
-
Bei der Auswertung des Übersichtsbildes wird erfindungsgemäß nach mindestens einem für eine Manipulation im probennahen Bereich geeigneten Bereich gesucht. Werden nun zwei oder mehrere solcher geeigneten Bereich lokalisiert, muss eine Auswahl des Bereiches erfolgen, in dem die Manipulation erfolgen soll. Dies kann beispielsweise dadurch erfolgen, dass der Bereich mit der größten Fläche in Manipulationsebene, dem größten Durchmesser oder dem größten Rauminhalt ausgewählt wird. Die lokalisierten Bereiche werden also hinsichtlich ihres Flächeninhalts in der Manipulationsebene, also der Ebene in der die Manipulation im probennahen Bereich erfolgen soll, ihres Durchmessers oder ihres Volumens verglichen. Der Bereich, der dabei in dem geprüften Kriterium das Maximum bildet, wird als der am besten geeignete Bereich ausgewählt.
-
In einer Alternative dazu werden einem Benutzer die lokalisierten Bereiche angezeigt, so dass er deren Zugänglichkeit einzeln bewerten kann. Anhand dieser Bewertungen kann ein am besten zugänglicher Bereich ausgewählt werden. Die Bewertung der angezeigten Bereiche kann zudem hinterlegt werden, um sie für vergleichbare Anwendungsfälle heranzuziehen. Die Interaktion mit dem Benutzer kann über eine dem Mikroskopiesystem eigene Recheneinheit oder eine damit verbundene Recheneinheit und insbesondere mithilfe von deren Anzeigeeinrichtungen erfolgen.
-
In einer weiteren Alternative können die lokalisierten Bereiche dem Nutzer auch zur Auswahl angezeigt werden, und er wählt direkt denjenigen Bereich aus, in dem er die Manipulation vornehmen möchte. Dabei gibt er in diesem Fall keine Bewertung der Zugänglichkeit ab, sondern wählt direkt den jeweiligen Bereich aus. Dabei kann er auch individuelle, das heißt subjektive Kriterien einbeziehen, beispielsweise persönliche Bewegungseinschränkungen oder wenn er die Manipulation so ausführen möchte, dass ein Zuschauer diese auch einsehen kann.
-
Die Bewertung mehrerer geeigneter Bereiche kann aber auch durch ein Maschinenlernmodell eines Computerprogramms erfolgen. Dies kann das Maschinenlernmodell zur Bestimmung des mindestens einen geeigneten Bereiches, das zur Bestimmung der Manipulationsposition oder das gemeinsame Maschinenlernmodell sein. Es kann aber auch ein eigenes Maschinenlernmodell ausschließlich für die Bewertung der lokalisierten Bereiche für die probennahe Manipulation sein. Basis für die Bewertung im Trainingsprozess können geometrische Randbedingungen sein, aber optional auch die Berücksichtigung von Benutzer- und/oder Kontextinformationen, wie sie nachfolgend noch erläutert werden. Die Bewertung kann auch im Rahmen eines Lifelong Learning erfolgen, bei dem das jeweilige Maschinenmodell die Bewertung anhand der Auswahl durch einen Benutzer erlernt.
-
Eine bevorzugte Ausgestaltung des erfindungsgemäßen Verfahrens beinhaltet, dass zum Lokalisieren mindestens eines geeigneten Bereiches, zur Bewertung mehrerer lokalisierter Bereiche und/oder zur Bestimmung der Manipulationsposition eine oder mehrere der folgenden Kontextinformationen
- - das Vorhandensein oder Fehlen von Wechselkomponenten des Mikroskops,
- - die Art und Größe von Wechselkomponenten des Mikroskops,
- - das Vorhandensein oder Fehlen eines Inkubators,
- - die Art des Stativs,
- - die Art eines Immersionsmediums,
- - die Art des Manipulationswerkzeuges,
- - Art und Parameter der Beobachtungsaufgabe,
- - die Beschaffenheit des Arbeitsplatzes,
- - die Beleuchtungsverhältnisse am Arbeitsplatz,
- - die untersuchte Probenart,
- - ein mikroskopisches Bild aus dem Experiment,
- - Art und Beschaffenheit des Tisches,
und/oder der folgenden Benutzerinformationen - - die Händigkeit eines Benutzers,
- - eine ermittelte Präferenz eines Benutzers,
- - eine vorherige Korrektur und/oder Auswahl eines Benutzers bezüglich einer bestimmten Verfahrbewegung
berücksichtigt werden. Damit soll die Lokalisierung des mindestens einen geeigneten Bereiches, die Bewertung bei mehreren geeigneten Bereichen und/oder zur Bestimmung der Manipulationsposition zusätzliche Kriterien einbeziehen, um ihre Ergebnisse zu optimieren und an veränderliche Bedingungen anzupassen.
-
Orte und Anzahl geeigneter Bereiche für eine probennahe Manipulation können in Abhängigkeit von verschiedenen Wechselkomponenten variieren, da die Größe, die Position und ihr Vorhandensein beziehungsweise Fehlen die verfügbaren Flächen beziehungsweise Räume für eine Manipulation begrenzen oder zumindest bereichsweise unmöglich machen. Dazu können beispielsweise geometrische Daten aus den Konstruktionsdaten der jeweiligen Wechselkomponente herangezogen werden. Zu den Wechselkomponenten können nicht abschließend Wechselobjektive, Probenhalter, Beleuchtungsmodule, Polarisationsfilter, Linsen, Gitter, benutzerspezifische Anbauten, Filtereinschübe zählen. Gleiches gilt für die Art Stativs, Art und Beschaffenheit des Tisches und das Vorhandensein oder Fehlen eines Inkubators, wodurch beispielsweise die Beweglichkeit und die zurücklegbaren Wege des Tisches beeinflusst werden. Eine ebenso bedeutende Rolle kann das Manipulationswerkzeug spielen, da seine Größe und Form Auswirkungen darauf hat, ob eine Manipulationsposition erreichbar ist und ob die Manipulation dort sicher und korrekt ausgeführt werden kann. Ein solches Manipulationswerkzeug kann beispielsweise ein Immersionswerkzeug sein. Im Zuge dessen ist es auch sinnvoll, die Art des Immersionsmediums zu berücksichtigen, die Einfluss auf die Art seines Aufbringens hat.
-
Auch die Beschaffenheit des Arbeitsplatzes und/oder die Beleuchtungsverhältnisse am Arbeitsplatz können die Manipulation im probennahen Bereich beeinflussen. Unter Beschaffenheit des Arbeitsplatzes sind dabei vorrangig, jedoch nur beispielhaft die Platzverhältnisse und die Zugänglichkeit im Umfeld des Mikroskops zu verstehen, von denen abhängig sein kann, ob ein Benutzer eine Manipulationsposition erreichen kann. Möglicherweise kann es sich so auch ergeben, dass durch ein Herantreten von einer anderen, von der Beobachtungsposition verschiedenen Richtung eine Erreichbarkeit der Manipulationsposition vereinfacht wird. Die Lichtverhältnisse am Arbeitsplatz wirken dahingehend, dass die durch sie hervorgerufene Schattenbildung die Einsehbarkeit einer Manipulationsposition beeinträchtigt werden kann. Auch eine geringe Beleuchtung führt zu schlechterer Sichtbarkeit, während eine sehr starke Beleuchtung zu ungewollten Reflektionen und Blenderscheinungen führen kann.
-
Vorteilhafterweise können die Art der untersuchten Probe sowie Art und Parameter des durchzuführenden Experiments als Kontextinformationen herangezogen werden, da durch sie geometrische und organisatorische Abhängigkeiten und Vorgaben entstehen. Diese können die Vornahme einer Manipulation im probennahen Bereich einschränken. Zu den Parametern zählen beispielsweise die Dauer des Experiments, erforderliche Temperaturen, erforderliche Beleuchtungsverhältnisse während der Beobachtung und dergleichen.
-
Auch ein mikroskopisches Bild aus dem Experiment, also eine Aufnahme die nach dem Erstellen des Übersichtsbildes aufgenommen wurde, kann Kontextinformationen bereitstellen, beispielsweise Relevanzbereiche der Probe, die Brauchbarkeit einzelner Bereiche der Probe, Verunreinigungen auf dem Probenträger oder die genaue Position eines interessierenden Bereiches der Probe.
-
Weitere Kontextinformationen sind möglich und können alternativ oder zusätzlich in die Lokalisierung des mindestens einen geeigneten Bereiches, die Bewertung bei mehreren geeigneten Bereichen und/oder zur Bestimmung der Manipulationsposition einbezogen werden.
-
Neben den Kontextinformationen, die personenunabhängig sind, können Benutzerinformationen berücksichtigt werden. Dies sollen Informationen sein, die sich auf den Benutzer, der gerade mit dem Mikroskop interagiert, beziehen. Dazu zählt unter anderem, ob er Rechtshänder oder Linkshänder ist. In Abhängigkeit davon wird der Benutzer nämlich die Zugänglichkeit zu der Manipulationsposition unterscheiden beziehungsweise nicht wahrnehmen können, um eine korrekte und sichere Manipulation vornehmen können. An dieser Stelle können auch zuvor durch den jeweiligen Benutzer eingegebene Bewertungen, eine Auswahl sowie Veränderungen und Korrekturen, die er nach der Bestimmung der Manipulationsposition und/oder nach Abschluss der Verfahrbewegung vorgenommen hat, in die neuerliche Lokalisierung des mindestens einen geeigneten Bereiches, die Bewertung bei mehreren geeigneten Bereichen und/oder zur Bestimmung der Manipulationsposition einfließen. Diese müssen dazu natürlich zuvor erfasst und hinterlegt worden sein. Die Erfassung kann dabei zum Beispiel in Form einer Abfrage erfolgen. Im einfachsten Fall kann auch einfach die zuletzt erfolgte Korrektur des Benutzers aus dessen letzter Interaktion übernommen werden. Es kann aber auch ein sogenanntes Lifelong Learning vorgesehen werden, bei dem das jeweilige Maschinenmodell oder die jeweiligen Maschinenlernmodelle die benutzerspezifischen Informationen erlernt. Dieses Lifelong Learning kann alternativ oder zusätzlich auch für die Kontextinformationen vorgesehen sein. So lässt beispielsweise auch die Vorliebe eines Benutzers für spezielle Systemaufbauten erfassen und einbeziehen.
-
Die Verwendung von Kontextinformationen und/oder Benutzerinformationen kann die Lokalisierung des mindestens einen geeigneten Bereiches, die Auswahl des am besten von mehreren geeigneten Bereiches und/oder die Bestimmung der Manipulationsposition verbessern und auch zur Vermeidung von Kollisionen oder erschwerter Zugänglichkeiten beitragen. Die Implementierung kann vorzugsweise durch ein Optimierungsverfahren geschehen. Dabei werden Geometrie und Lage der geeigneten Bereiche, die positionsabhängige Handhabbarkeit beziehungsweise Zugänglichkeit und dergleichen in einer Kostenfunktion abgebildet, die zur Lokalisierung des mindestens einen geeigneten Bereiches, die Bewertung bei mehreren geeigneten Bereichen und/oder zur Bestimmung der Manipulationsposition minimiert wird.
-
Anhand der in dem erfindungsgemäßen Verfahren bestimmten Verfahrbewegung sollen die zu bewegenden Komponenten, also der Tisch und/oder das Objektiv des Mikroskops bewegt werden. Dies kann basierend auf der bestimmten Verfahrbewegung und bei Vorhandensein einer entsprechenden Motorisierung der Komponenten automatisch erfolgen. Sind derartige Verfahreinrichtungen nicht vorhanden, kann die erforderliche Verfahrbewegung einem Benutzer auch angezeigt werden, so dass er den Tisch und/oder das Objektiv manuell in Weglänge und Richtung verstellen kann. Optional kann danach jeweils ein neues Übersichtsbild aufgenommen werden, um die erfolgte Bewegung mit der zuvor bestimmten erforderlichen Bewegung abzugleichen und gegebenenfalls Korrekturen zu ermöglichen beziehungsweise vorzuschlagen.
-
Neben dem Verfahren des Objektivs und/oder des Tisches kann es erforderlich werden, motorisierte Komponenten, die mit der Probe in Kontakt zu bringen sind oder sich bereits mit der Probe in Kontakt befinden, zu verfahren, um eine gewünschte Manipulation im probennahen Bereich zu ermöglichen. Dazu muss auch für diese Komponenten eine Verfahrbewegung bestimmt werden, die im Anschluss automatisiert ausgeführt werden kann. Die Bestimmung der Verfahrbewegung selbst erfolgt in Analogie zu der Bestimmung der Verfahrbewegung für das Objektiv und/oder den Tisch. Beispielhaft seien als derartige Komponenten bewegte Elektroden, Manipulationsnadeln und Haltenadeln genannt. Gegebenenfalls kann eine Abstimmung der Verfahrbewegung der motorisierten Komponenten, die mit der Probe in Kontakt stehen oder gebracht werden sollen, in Abstimmung mit der Bewegung des Tisches und/oder des Objektivs erforderlich sein, so dass die Verfahrbewegungen untereinander auf eine mögliche Kollision geprüft werden.
-
Daher kann es von Vorteil sein, vor dem Verfahren des Objektivs des Mikroskops, des Tisches des Mikroskops und/oder motorisierter Komponenten die mit der Probe in Kontakt zu bringen sind oder sich bereits mit der Probe in Kontakt befinden die resultierende Position des Objektivs, Tisches und/oder der motorisierten Komponenten mit hinterlegten erlaubten Positionsbereichen zu vergleichen und eine Warnung auszugegeben, wenn die resultierende Position des Objektivs, des Tisches und/oder der motorisierten Komponenten außerhalb des erlaubten Positionsbereichs liegt. Dies kann unabhängig davon geschehen, ob die Verfahrbewegung automatisch oder manuell ausgeführt wird.
-
Die erlaubte Position beziehungsweise der erlaubte Positionsbereich wird beispielsweise durch mögliche Kollisionen der Mikroskopkomponenten beschränkt. Dazu werden die Geometrie und Position der vorhandenen Komponenten im Umfeld der bewegbaren Komponenten verwendet. Auch die Bewegung mehrerer Komponenten zum Erreichen einer Manipulationsposition kann zu Einschränkungen der Bewegungswege und damit der erlaubten Bereiche führen. Liegt die resultierende Position des Objektivs und/oder des Tisches außerhalb der jeweils erlaubten Bereiche, kann eine Warnung ausgegeben werden, so dass dem Benutzer das Vornehmen manueller Änderungen möglich wird. Diese Änderungen kann unter anderem in der Neuanordnung des Probenträgers sein, die allerdings eine Neukalibrierung und einen Neustart des Verfahrens erfordert. Ebenso kann das Entnehmen von Wechselkomponenten während des Verfahrens und dem Vornehmen der Manipulation eine solche manuelle Veränderung sein.
-
Ist die Verfahrbewegung ausgeführt, erfolgt die gewünschte Manipulation im probennahen Bereich. Die Manipulation kann vorzugsweise als automatische Manipulation erfolgen und insbesondere eine automatische Immersion sein. In Abhängigkeit von der vorzunehmenden Manipulation müssen dazu entsprechende Automatisierungsmittel vorhanden sein, die eine Manipulation ohne Eingriff des Benutzers vornehmen. Im Falle der Immersion ist dies eine Autoimmersionseinrichtung, die nach dem Abschluss der Verfahrbewegung angesteuert wird, um das Immersionsmittel aufzubringen.
-
Wird während des erfindungsgemäßen Verfahrens kein Bereich gefunden, der für eine probennahe Manipulation geeignet ist, muss diese Information an einen Benutzer übermittelt werden. Dies kann beispielsweise mittels eine Warnhinweises erfolgen, bei dem visuell und/oder akustisch die Warnung übermittelt wird. So kann auf einer Anzeigeeinrichtung des Mikroskopiesystems oder einer damit verbundenen Recheneinheit ein Warnhinweis angezeigt werden und/oder es kann ein Warnton ertönen.
-
Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar. Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann das Mikroskopiesystem auch zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein. Insbesondere kann die Recheneinrichtung dazu eingerichtet sein, die beschriebenen Verfahrensvarianten durchzuführen und Steuerbefehle zur Ausführung von beschriebenen Verfahrensschritten auszugeben. Zudem kann die Recheneinrichtung das beschriebene Computerprogramm umfassen. Varianten des erfindungsgemäßen Computerprogramms ergeben sich dadurch, dass das Computerprogramm Befehle zur Ausführung der beschriebenen Verfahrensvarianten umfasst.
-
Figurenliste
-
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:
- 1 eine Prinzipskizze eines inversen Mikroskops mit einer Übersichtskamera, und
- 2 eine schematische Darstellung des Ablaufs des erfindungsgemäßen Verfahrens in einer beispielhaften Ausgestaltung.
-
1 zeigt schematisch ein Ausführungsbeispiel eines Mikroskops 1 gemäß der Erfindung. Das Mikroskop 1 umfasst eine Lichtquelle 12 und einen Kondensor 11 zum Beleuchten einer in einem Probenträger 6 angeordneten Probe 7, die auf einem Probentisch 5 positioniert wird.
-
Von der Probe 7 ausgehendes Detektionslicht wird entlang einer optischen Achse 13 mit einem Objektiv 4 zum Aufnehmen eines Probenbildes zu einer Kamera 8 geleitet. Das Objektiv kann in einem Objektivrevolver 3 gehalten sein (nicht gezeigt).
-
An dem Mikroskopstativ 2 wird eine Übersichtskamera 9 gehalten, mit welcher ein Übersichtsbild 30 der Probe 7 aufgenommen werden kann. In einer alternativen Ausgestaltung kann auch vorgesehen sein, dass die Übersichtskamera 9 da Übersichtsbild 30 über einen Spiegel (nicht gezeigt) aufnimmt.
-
Eine Recheneinrichtung 20 ist dazu eingerichtet, ein aufgenommenes Mikroskopbild (das heißt ein Probenbild oder Übersichtsbild) zu verarbeiten, unter anderem um aus dem Übersichtsbild 30 eine Manipulationsposition für eine Manipulation im probennahem Bereich zu bestimmen und hieraus eine Verfahrbewegung 60 zu derselben.
-
Die Recheneinrichtung 20 ist dabei dazu eingerichtet, die in Bezug auf die 2 beschriebenen Schritte durchzuführen, wie nachfolgend ausgeführt wird.
-
Die Recheneinrichtung 20 kann auch in einem anderen Mikroskop verwendet werden, welches im Unterschied zum dargestellten Mikroskop beispielsweise nach einem anderen Messprinzip arbeitet oder ein Scan- oder Elektronenmikroskop ist. Auch in anderen Geräten als Mikroskopen kann zur Bildanalyse eine wie hier beschriebene Recheneinrichtung vorgesehen sein.
-
In 2 ist schematisch ein Ablauf des erfindungsgemäßen Verfahrens dargestellt. Mittels Pfeilen wird die Ablaufrichtung angezeigt. In dieser lediglich beispielhaften Ausgestaltung soll eine Manipulationsposition 50 gefunden werden, an der mit einem Immersionswerkzeug 54 ein Immersionsmittel 52 auf die Frontlinse des Objektivs 4 aufgebracht werden kann. Um diese einzustellen, können der Tisch 5 des Mikroskops 1 und/oder dessen Objektiv 4 verfahren werden.
-
In 2a ist ein Probenträger 6 mit einer Probe 7 auf einem Probentisch 5 eingelegt. Mit einer Übersichtskamera 9, die beispielsweise in einem Objektivrevolver 3 (nicht gezeigt) des Mikroskops 1 angeordnet sein kann, wird ein Übersichtsbild 30 aufgenommen (2b). Das Übersichtsbild 30 zeigt dabei den Tisch 5, den Probenträger 6 und die Probe 7 in einer Druntersicht. Demnach sind Probenträger 6 und Probenträgerumgebung zumindest teilweise in dem Übersichtsbild 30 sichtbar.
-
Es folgt eine Bildanalyse, um zu bestimmen, ob und gegebenenfalls wo es geeignete Bereiche 40 gibt, an denen eine Immersion erfolgen kann. Da das Immersionsmittel 52 auf das Objektiv 4 aufgebracht werden muss, wird ein Bereich 40 gesucht, in dem ein Benutzer 56 ein Immersionswerkzeug 54 zu dem Objektiv 4 führen und das Immersionsmittel 52 aufbringen kann. Alternativ ist ein solcher Bereich 40 zu finden, um automatische ein Immersionsmittel 52 mit einer Autoimmersionseinrichtung (nicht gezeigt) aufzubringen.
-
Die Bildanalyse bezüglich dem Finden mindestens eines geeigneten Bereiches 40 erfolgt mittels einem Maschinenlernmodell, das so trainiert ist, dass es mittels Segmentierung des Übersichtsbildes 30 Bereiche, in denen sich der Probenträger 6, der Tisch 5 oder andere Objekte befinden, also belegte Bereiche, und freie Bereiche, in den sich keine Objekte befinden oder die durch die Bewegung beweglicher Objekte frei gemacht werden können, unterscheidet. Diese freien Bereiche sind die für eine Manipulation im probennahen Bereich, in diesem Beispiel also eine Immersion, geeignete Bereiche 40. Das Maschinenlernmodell weist in dieser beispielhaften Ausgestaltung ein faltendes neuronales Netz auf, dass zur Lokalisierung mindestens eines geeigneten Bereiches 40 vorgesehen ist und mit Trainings-Übersichtsbildern trainiert ist, die zumindest teilweise Probenträger 6 und/oder Probenträgerumgebungen enthalten.
-
Aus 2c wird ersichtlich, dass links und rechts des Probenträgers 6 freie Bereiche zwischen Probenträger 6 und Tisch 5 bestehen. Jedoch ist nur ein Bereich 40 als geeignet bezeichnet. Dies liegt darin begründet, dass der geeignete Bereich 40 anhand der durchzuführenden Manipulation (hier: Immersion) und unter Berücksichtigung möglicher geometrische Abhängigkeiten, Kontextinformationen wie dem Vorhandensein von Wechselkomponenten, Tischtyp und Probenträgertyp, sowie unter Beachtung erlaubter Positionsbereiche bestimmt wird. Die erlaubten Positionsbereiche beschreiben die Orte, zu denen ein bewegbares Objekt wie ein Tisch 5 oder ein Objektiv 4 bewegt werden kann, ohne dass es zu Kollisionen untereinander und/oder mit anderen Objekten oder Mikroskopkomponenten kommt. Sie enthalten vorzugsweise typabhängigen geometrische Abhängigkeiten, die zur Festlegung der erlaubten Bereiche herangezogen werden.
-
In Zusammenschau der verschiedenen Einflussgrößen wäre der Bereich links vom Probenträger 6 zu schmal und beispielsweise für einen Rechtshänder auch schwer zugänglich. Er ist daher nicht geeignet und wird demnach auch nicht als geeigneter Bereich 40 gekennzeichnet.
-
Im vorliegenden beispielhaften Fall ist nur ein geeigneter Bereich 40 vorhanden. Wären hingegen mehrere geeignete Bereiche 40 ermittelt worden, müsste entweder eine Auswahl des bevorzugten Bereiches oder eine Bewertung der einzelnen Bereiche 40 durch den Benutzer 56 erfolgen. Alternativ könnte eine Bewertung durch das Maschinenlernmodell, dass die geeigneten Bereiche 40 lokalisiert hat, erfolgen. Für eine solche Bewertung ist neben den zuvor schon genannten Kontextinformationen auch eine Berücksichtigung von Benutzerinformationen, die beispielsweise die Händigkeit des Benutzers 56 oder seine bevorzugten Zugangswege zu einer Manipulationsposition 50 umfassen, hilfreich.
-
Ebenfalls ist im Übersichtsbild 30 in 2c eine Manipulationsposition 50 gekennzeichnet. Diese liegt exemplarisch in der Mitte des als geeignet beurteilten Bereichs 40. Die Bestimmung der Manipulationsposition 50 in dem geeigneten Bereich 40 kann durch Bestimmung des Mittelpunkts oder des Flächenschwerpunktes erfolgen, es kann jedoch auch ein weiteres Maschinenlernmodell vorgesehen sein, dass auf Basis der Ausgabe des ersten Maschinenlernmodells, mit dem der geeignete Bereich 40 bestimmt wurde, in diesem Bereich 40 die Manipulationsposition 50 unter Berücksichtigung von Kontext- und Benutzerinformationen, geometrischen Randbedingungen (erlaubte Bereiche) und dergleichen ermittelt. Alternativ dazu kann die Bestimmung der Manipulationsposition 50 auch in einem gemeinsamen Maschinenlernmodell mit den geeigneten Bereichen 40 bestimmt werden.
-
Neben dem Auffinden der geeigneten Bereiche 40 und/oder der Manipulationsposition 50 soll der Aufwand zum Einstellen der Manipulationsposition 50 möglichst gering gehalten werden, d.h. die Anzahl der zu bewegenden Komponenten Tisch 5 und/oder Objektiv 4 sollte so gering wie möglich und die Verfahrwege möglichst kurz sein, um die Dauer bis zum Erreichen der Manipulationsposition 50 gering zu halten. Dazu wurde eine Kostenfunktion implementiert, die die Geometrie und Lage geeigneter Bereiche 40, die positionsabhängige Handhabbarkeit beziehungsweise Zugänglichkeit und dergleichen in einer Kostenfunktion abbildet und die zur Bewertung der geeigneten Bereiche 40 und/oder zur Bestimmung der Manipulationsposition 50 minimiert wird. In der Folge kann es sich ergeben, dass nur der Tisch 5 oder nur das Objektiv 4 bewegt werden soll, um die Manipulationsposition 50 einzustellen.
-
Nachdem nun die Manipulationsposition 50 bekannt ist, muss die Verfahrbewegung 60 bestimmt werden, um zumindest den Tisch 5 und das Objektiv 4 so in eine Relativposition zueinander zu bringen, das am Ort der Manipulationsposition 50 auch tatsächlich die Immersion aufgebracht werden kann. Mittels der bereits ausgeführten Kostenfunktion wurde vorab bestimmt, dass nur das Objektiv 4 bewegt werden muss. Nun wird bestimmt, wie weit und in welche Richtung das Objektiv 4 verfahren werden muss. Dies kann auch eine Bewegung umfassen, die das Objektiv 4 zunächst nach unten verfährt, um genug Abstand von dem Tisch 5 zu gewinnen und eine kollisionsfreie Verfahrbewegung zu ermöglichen.
-
Im vorliegenden Fall wird die Verfahrbewegung 60 des Objektivs 4 automatisch ausgeführt und das Objektiv an die Manipulationsposition 50 verfahren (2d). Ist die Verfahrbewegung 60 abgeschlossen, kann der Benutzer 56 mit dem Immersionswerkzeug 54 das Immersionsmittel 52 auf die Frontlinse des Objektivs 4 aufbringen. Nachfolgend kann da Objektiv zunächst in horizontaler Richtung (X-Y-Richtung) zur der gewünschten Beobachtungsposition verfahren und anschließend in vertikaler Richtung (Z-Richtung) an die Probe herangefahren werden.
-
Bezugszeichenliste
-
- 1
- Mikroskop
- 2
- Stativ
- 3
- Objektivrevolver
- 4
- Mikroskopobjektiv
- 5
- Probentisch
- 6
- Probenträger
- 7
- Probe
- 8
- Mikroskopkamera
- 9
- Übersichtskamera
- 10
- Sichtfeld der Übersichtskamera
- 11
- Kondensor
- 12
- Lichtquelle
- 13
- optische Achse
- 20
- Recheneinrichtung
- 30
- Übersichtsbild
- 40
- geeigneter Bereich
- 50
- Manipulationsposition
- 52
- Immersionsmittel
- 54
- Immersionswerkzeug
- 56
- Benutzer
- 60
- Verfahrbewegung
- 80
- Computerprogramm der Erfindung
- 100
- Mikroskopiesystem der Erfindung
