DE102018133188A1

DE102018133188A1 - Abstandbestimmung einer probenebene in einem mikroskopsystem

Info

Publication number: DE102018133188A1
Application number: DE102018133188.6A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2018-12-20
Filing date: 2018-12-20
Publication date: 2020-06-25
Also published as: US20200200531A1; US11754392B2; JP7118042B2; JP2020101799A; CN111352227B; CN111352227A

Abstract

Es wird ein Abstandsbestimmungssystem für ein Mikroskopsystem zur Grobfokuseinstellung vorgestellt. Das Abstandsbestimmungssystem weist einen Probentisch mit einer Auflagefläche zur Aufnahme eines Probenträgers auf, der entlang mindestens einer Ausdehnungsrichtung einer Probenebene verschiebbar ist, eine Übersichtskamera mit einem nicht-telezentrischen Objektiv zum Erzeugen von digitalen Bildern, das auf den Probentisch gerichtet ist und eine Auswertungseinheit, welche aufweist: ein Speichersystem zum Speichern von mindestens zwei aufgenommenen digitalen Bildern des Probentisches unter unterschiedlichen Blickwinkeln, ein trainiertes Machine-Learning-basiertes System zur Erkennung von korrespondierenden Strukturen eines in den Probentisch eingelegten Probenträgers in den zwei aufgenommenen digitalen Bildern und eine Abstandsbestimmungseinheit, die angepasst ist zur Bestimmung des Abstandes eines Referenzpunktes des Probenträgers zu einem Referenzpunkt der Übersichtskamera basierend auf den unterschiedlichen Blickwinkeln auf den Probentisch, eines Pixelabstandes der zwei aufgenommenen digitalen Bilder zueinander mittels der darin enthaltenen zugeordneten korrespondierenden Strukturen.

Description

Gebiet der Erfindung
Die Erfindung bezieht sich im Allgemeinen auf ein Mikroskopsystem und insbesondere auf ein Abstandsbestimmungssystem für ein Mikroskopsystem zur Grobfokuseinstellung, ein entsprechendes Verfahren sowie ein Computerprogramm-Produkt.
Technischer Hintergrund
Moderne Hochleistungsmikroskope werden in immer mehr Industriezweigen zur Analyse von kleinen Strukturen eingesetzt. Häufig handelt es sich um manuelle, in einigen Fällen auch um voll automatisierte Untersuchungsprozesse. Die Anforderungen an die Ergonomie der Mikroskopsysteme steigen ständig. In vielen Fällen handelt es sich inzwischen um eine Kombination von optischen und elektronischen Komponenten mit denen eine Beobachtung der kleinen Strukturen nicht nur aufgrund optischer Mittel erreicht wird, sondern vielfach werden Bildsensoren - beispielsweise als Bildflächensensoren - eingesetzt, um die beobachteten Strukturen - z.B. im medizinischen bzw. biologischen Bereich eher als Proben bezeichnet - direkt elektronisch weiter zu bearbeiten, zu speichern oder auf einem großen Monitor zu betrachten. Einige Schwierigkeiten bei regelmäßigen Strukturen wie zum Beispiel Multiwell-Platten, die im medizinisch/biologischen Bereich häufig eingesetzt werden, entstehen dadurch, dass nicht immer klar ist, auf welchen Bereich einer Multiwell-Platte das Objektiv, das nur einen kleineren Bereich des Probenträgers erfasst, tatsächlich gerichtet ist. Außerdem sind häufig auch bestimmte Abstände, wie die des Objektivs zu einer Probenebene unbekannt. Das kann einerseits daran liegen, dass die untere Dicke des Probenträgers nicht bekannt ist, dass bei unterschiedlichen Einlegerahmen unterschiedliche Höhen genutzt werden oder wegen einer nicht genauen Kalibrierung in z-Richtung (Richtung der optischen Achse vom Mikroskopobjektiv zur Probe).
Eine Aufgabe des hier vorgestellten Konzeptes besteht darin, den Abstand zwischen Objektiv bzw. Stativ auf der einen Seite und der Probe oder dem Probenträger oder dem Halterahmen etc. auf der anderen Seite für beispielsweise eine Grobfokussierung des Mikroskopsystems zu bestimmen.
Übersicht über die Erfindung
Diese Aufgabe wird durch das hier vorgeschlagene Abstandsbestimmungssystem für ein Mikroskopsystem, ein entsprechendes Verfahren und ein Computerprogramm-Produkt entsprechend den unabhängigen Ansprüchen gelöst. Weitere Ausgestaltungen werden durch die jeweils abhängigen Ansprüche beschrieben:
Entsprechend eines Aspektes der vorliegenden Erfindung wird ein Abstandsbestimmungssystem für ein Mikroskopsystem vorgestellt. Dabei weist das Abstandsbestimmungssystem folgendes auf: einen Probentisch mit einer Auflagefläche zur Aufnahme eines Probenträgers. Der Probentisch kann entlang mindestens einer Ausdehnungsrichtung einer Probenebene - insbesondere in eine x-/y-Richtung - verschiebbar sein.
Weiterhin kann das Abstandsbestimmungssystem eine Übersichtskamera mit einem nicht-telezentrischen Objektiv zum Erzeugen von digitalen Bildern aufweisen, bei dem die Übersichtskamera auf den Probentisch gerichtet sein kann.
Das Abstandsbestimmungssystem kann zusätzlich eine Auswertungseinheit aufweisen, die mit der Übersichtskamera verbunden ist, und die folgende Teilsysteme aufweisen kann: ein Speichersystem zum Speichern von mindestens zwei aufgenommenen digitalen Bildern des Probentisches unter unterschiedlichen Blickwinkeln und ein trainiertes Machine-Learning-basiertes System (ML-System) zur Erkennung von korrespondierenden Strukturen eines in den Probentisch eingelegten Probenträgers in den zwei aufgenommenen digitalen Bildern, wobei das trainierte Machine-Learning-basierte System ein trainiertes Referenzmodell aufweist, das durch einen Satz von annotierten Trainingsbildern von Probenträgern derart trainierbar ist, und das trainiertes Machine-Learning-basierte System somit derart angepasst ist, dass in den mindestens zwei aufgenommenen digitalen Bildern korrespondierende Strukturen einander zuordenbar sind.
Außerdem kann das Abstandsbestimmungssystem eine Abstandsbestimmungseinheit aufweisen, die angepasst ist zur Bestimmung des Abstandes eines Referenzpunktes des Probenträgers zu einem Referenzpunkt der Übersichtskamera basierend auf den unterschiedlichen Blickwinkeln auf den Probentisch und eines Pixelabstandes der zwei aufgenommenen digitalen Bilder zueinander mittels der darin enthaltenen zugeordneten korrespondierenden Strukturen.
Entsprechend eines anderen Aspektes der vorliegenden Erfindung wird ein Computer-implementiertes Verfahren eines Mikroskops vorgestellt. Das Mikroskopsystem kann einen Probentisch mit einer Auflagefläche zur Aufnahme eines Probenträgers aufweisen. Dabei kann der Probentisch entlang mindestens einer Ausdehnungsrichtung einer Probenebene verschiebbar sein. Das Mikroskopsystem kann weiterhin eine Übersichtskamera mit einem nicht-telezentrischen Objektiv zum Erzeugen von digitalen Bildern aufweisen, wobei die Übersichtskamera auf den Probentisch gerichtet sein kann. Das Verfahren weist dabei Folgendes auf: Speichern von mindestens zwei aufgenommenen digitalen Bildern unter unterschiedlichen Blickwinkeln auf den Probentisch und ein Zuordnen von korrespondierenden Strukturen in den mindestens zwei aufgenommenen digitalen Bildern durch Einsatz eines trainierten Machine-Learning-basierten Systems zur Erkennung von korrespondierenden Strukturen eines in den Probentisch eingelegten Probenträgers in den zwei aufgenommenen digitalen Bildern, wobei das trainierte Machine-Learning-basierte System ein trainiertes Referenzmodell aufweist, das durch einen Satz von annotierten Trainingsbildern von Probenträgern derart trainierbar ist, dass das trainierte Machine-Learning-basierte System somit derart angepasst ist, um in den mindestens zwei aufgenommenen digitalen Bildern korrespondierende Strukturen einander zuzuordnen.
Ergänzend kann das Verfahren ein Bestimmen eines Abstandes eines Referenzpunktes des Probenträgers zu einem Referenzpunkt der Übersichtskamera basierend auf den unterschiedlichen Blickwinkeln und eines Pixelabstandes der zwei aufgenommenen digitalen Bilder zueinander mittels der darin enthaltenen zugeordneten korrespondierenden Strukturen aufweisen.
Es sei ergänzend erwähnt, dass neben dem in den Probentisch eingelegten Probenträger auch der Abstand zu dem Probentisch, ein in den Probentisch eingelegter Halterahmen für einen Probenträger bzw. ein Probenbereich bestimmt werden kann.
Weiterhin können Ausführungsformen in Form eines entsprechenden Computerprogramm-Produktes implementiert sein, auf welches durch ein Computer-nutzbares oder Computer-lesbares Medium zugegriffen werden kann, welches Programmcode zur Nutzung durch oder in Verbindung mit einem Computer oder Instruktionsausführungssystem aufweist. Für den Kontext dieser Beschreibung kann ein Computer-nutzbares oder Computer-lesbares Medium jede Vorrichtung sein, die Mittel zum Speichern, Kommunizieren, Weiterleiten oder Transportieren des Programmes für eine Nutzung durch oder in Verbindung mit einem Instruktionsausführungssystem, einer entsprechenden Vorrichtung oder Apparatur aufweist.
Das Abstandsbestimmungssystem für ein Mikroskopsystem und das entsprechende Computer-implementierte Verfahren weisen mehrere Vorteile und technische Effekte auf:
Die Aufnahmen, die durch die Übersichtskamera aufgenommen und über einen Monitor dargestellt werden, können leicht Übersichtsbilder des Probenträgers darstellen. Damit wird unter anderem eine verbesserte Navigation über einen Probenbereich ermöglicht. Insbesondere kann im Übersichtsbild angezeigt werden, welcher Bereich der Probe konkret über dem ausgewählten Objektiv steht. Auf diese Weise wird leicht eine Positionsanzeige ermöglicht. D.h., dass durch die Kennnis der Schürzenhöhe eines Multiwell-Probenträgers auch einen exakte Positionierung und Navigation hinsichtlich Näpfchen des Probenträgers möglich ist.
Auf der Basis dieser Positionsanzeige kann der Probentisch durch ein Auswahlübersichtsbild so verfahren werden, dass der ausgewählte Bereich über dem Erfassungsbereich des ausgewählten Objektivs des Mikroskopsystems steht, wodurch sich eine verbesserte und erleichterte Navigation innerhalb des Probenbereichs ergibt.
Außerdem lassen sich so leicht die Lage, Abstände und Flächen im Übersichtsbild in absoluten Werten - zum Beispiel in Millimetern - bestimmen, um so eine Vermessung vorzunehmen. Außerdem ist die Höhe (z-Lage) der Probenebene in Bezug auf den Probentisch ermittelbar, wodurch beim wechselnden Einsatz von Probenträgern unterschiedlicher Basishöhe oder Schürzenhöhe eine klare und schnelle Fokussierung des jeweiligen Mikroskopobjektivs ermöglicht wird.
Weiterhin geht der Einsatz eines trainierten Machine-Learning-basierten Systems (ML-System) innerhalb der Auswertungseinheit wesentlich über die Funktion von klassischen Autofokussystemen hinaus. Gerade beim Einsatz von Multiwell-Platten als Probenträger gibt es eine große Menge an gleichartigen bzw. sehr ähnlichen Strukturen, bei denen klassische auf Triangulation basierte Systeme häufig versagen, weil sie in Bezug auf sich regelmäßig wiederholende (periodische) Strukturen, starke Hintergrundsignale, Reflektionen usw. anfällig sind. Außerdem arbeiten klassische Autofokussysteme von Mikroskopsystemen quasi immer auf Mikroskopbilder, die durch die Mikroskopobjektive aufgenommen wurden, und nicht auf Übersichtsbildern einer Übersichtskamera.
Im Gegensatz dazu wird im vorgeschlagenen Konzept mittels des Machine-Learning-basierten Systems eine Pixel-orientierte Klassifikation einzelner Pixel der aufgenommenen Bilder vorgenommen, so dass jedes Pixel eines aufgenommenen digitalen Bildes einer bestimmten Klasse von Pixeln bzw. Bildpunkten zugeordnet wird. Auf diese Weise lassen sich beispielsweise sämtliche Bildpunkte, die zu einem Napf oder Töpfchen einer Multiwell-Platte gehören, als „Napfpixel“ (Pixel, die zu einem Napf gehören) und/oder „Töpfchenpixel“ klassifizieren. Andere Pixelklassen können zur Identifikation des Probentisches, eines Probenrahmens, eines Hintergrundes, usw. genutzt werden. Eine Möglichkeit, einen Machine-Learning basierten Verschiebungsvektor des Probenträgers (bzw. das Probentisches) zu ermitteln, besteht darin, beispielsweise alle Pixel, die nicht zur Klasse „Probenpixel“ gehören, auf „0“ zu setzen, während alle Pixel der Klasse „Probenpixel“ auf „1“ zu setzen. Auf diese Weise entstehen durch den Einsatz des ML-Systems 0/1-Kontrastbilder (schwarz/weiss), welche in ihrer jeweiligen Gesamtheit durch das ML-System korreliert werden können, so dass über ein Bestimmen eines Optimums einer entsprechenden (Ziel-)Funktion ein Verschiebungsvektor von einem aufgenommenen Bild zu einem anderen aufgenommenen Bild des gleichen Probenträgers - insbesondere mittels der Abstandsbestimmungseinheit - ermöglicht wird. Weitere typische Pixelklassen können den Hintergrund, den Probentisch, einen Einlege- oder Halterahmen, Strukturen auf dem Probenträger oder Probenbereiche sein.
Neben der Klassifikation einzelner Pixel ermöglicht der Einsatz des Machine-Learning-basierten Systems auch eine Detektion von korrespondierenden Strukturen auf den beiden aufgenommenen Bildern ermöglicht.
Die Übersichtskamera, lässt sich leicht so positionieren, dass sie den gesamten Probenbereich erfassen kann. Sie kann, muss aber nicht, im Objektivrevolver integriert sein oder auch als technisches Zusatzelement außerhalb des Objektivrevolvers positioniert sein. Damit wäre unter Umständen eine andere optische Achse verbunden als diejenige des Objektivmikroskops; die Übersichtskamera könnte also auch schräg von unten auf den Probenträger gerichtet sein, ohne dass das ML-basierte Bildanalysesystem versagen würde. Zusätzlich ist die Positionierung der Übersichtskamera - mit gewissen Einschränkungen - auch oberhalb des Probenträgers (d.h. des Probentisches) möglich. Weiterhin ist der Einsatz von Spiegeln möglich, um eine der Seiten des Probenträgers zur Übersichtskamera hin zu reflektieren. Insgesamt stehen für die Positionierung der Übersichtskamera vielfältige Designoptionen zur Verfügung.
Sie kann außerdem zur Identifikation von Proben - durch Barcode, QR-Code (Quick Response) oder OCR-Verfahren (optical character recognition) - eingesetzt werden, wenn derartige Symbole auf dem Probenträger erkennbar sind.
Die vergleichsweise geringen Anforderungen an die zusätzliche Hardware des Mikroskopsystems - insbesondere ein vertikal zur optischen Achse des Mikroskopsystems verschiebbarer Probentisch und eine (oder zwei) nicht-telezentrische Übersichtskamera - machen dieses System sowohl aus Nutzersicht als auch aus Herstellersicht attraktiv. Somit bestehen für die Erzeugung der Relativbewegung der Übersichtskamera drei Optionen: (a) eine Bewegung des Probentisches, (b) eine Bewegung der Übersichtskamera, und (c) eine Verwendung eine zweiten, fest installierten Übersichtskamera. Insbesondere die letzte Möglichkeit kann für eine Nachrüstung bereits installierter Mikroskopsystem interessant sein.
Das im Bildanalysesystem eingesetzte ML-System ermöglicht eine robustere Korrespondenzfindung zwischen zwei aufgenommenen digitalen Bildern der Übersichtskamera als herkömmliche Verfahren. Außerdem lässt es sich für beliebige Probenträger - insbesondere auch für unterschiedliche transparente Multiwell-Platten - elegant einsetzen. Auf diese Weise wird es auch für ungeübtes Personal leichter, Hochleistungsmikroskopsysteme zu bedienen.
Durch den ermittelten Verschiebungsvektor zwischen den zwei aufgenommenen Bildern lässt sich dann mittels bekannten Verfahren (Parallaxeneffekt) und bekannten Abständen von Referenzpunkten der Übersichtskamera zu einem Referenzpunkt des Objektivs des Mikroskopsystems der Abstand zwischen der Probenebene und beispielsweise der Linsenebene des Mikroskopobjektivs oder der Bildebene des Mikroskopobjektivs berechnen.
Das hier vorgestellte Konzept ermöglicht einen weiteren vorteilhaften Effekt für den Fall, bei dem die Übersichtskamera nicht den gesamten Probenträger erfasst sondern ihn z.B. durch 2, 3 oder mehr Teilbildern erfasst. Dies ist bei besonders großen Probenträgern der Fall. Dadurch, dass der Abstand verstellbar ist, ist es leicht möglich, die Teilbilder ohne ein inhaltliches Bild-Matching für eine Übersichtsanzeige auf einem Monitor zusammenzusetzen („stitching“) falls für diesen Schritt - ohne Kenntnis des Abstandes - ein Bilderkennungssystem eingesetzt werden muss, kann es leicht zu Fehlinterpretationen und Mismatches beim Stitching kommen.
Weiterhin kann durch die Nutzung des Referenzpunktes des Probenträgers jede Ebene des Probenträgers als Referenz genutzt werden, also auch die Probenebene. Somit ergibt sich auch ein größeres Einsatzgebiet hinsichtlich der Auswertemöglichkeiten und des Trainingsspektrum des Machine-Learning basierten Systems.
Weiterhin ist es vorteilhaft, dass durch die Kenntnis des Abstandes eine aktive und automatische Kollisionsvermeidung zwischen Probentisch und Objektiv realisiert werden kann. So können Schäden am Mikroskopsystem vermeiden werden.
Im Folgenden werden weitere Ausführungsbeispiele des erfinderischen Konzeptes des Abstandsbestimmungssystems, welche gleichermaßen für das Verfahren entsprechend gelten können, vorgestellt:
Gemäß einem vorteilhaften Ausführungsbeispiel des Abstandsbestimmungssystems kann das trainierte Machine-Learning-basierte System angepasst sein zum Klassifizieren einzelner Pixel der mindestens zwei aufgenommenen Bilder. Die Klassifikation kann hinsichtlich folgender - oder weiterer - Kriterien erfolgen: Probenpixel, Hintergrundpixel, Probenträgerpixel, Deckglaspixel, Beschriftungspixel, Kantenpixel oder Probentischpixel. Dadurch wird eine Segmentierung der aufgenommenen Bilder möglich.
Wenn also z.B. alle Pixel, welchen Proben zugeordnet werden können, als logische „1“ dargestellt werden und alle Pixel, welche in dem aufgenommenen digitalen Bild als nicht zu einer Probe gehörend erkannt bzw. klassifiziert werden und somit als logische „0“ dargestellt werden, ergibt sich ein Schwarzweißbild, in dem die Proben beispielsweise schwarz dargestellt werden (logische „1“) und alles andere kann als „weiss“ (logische „0“) dargestellt werden. Mittels dieser Vorbereitung und einem Musterabgleich zwischen zwei aufgenommenen digitalen Bildern, kann elegant ein Verschiebungsvektor und damit ein Verschiebungsweg von korrespondierenden Mustern bzw. deren Gesamtheit innerhalb der beiden aufgenommenen, digitalen Bildern ermittelt werden.
Gemäß einem weiteren Ausführungsbeispiel des Abstandsbestimmungssystems kann das trainierte Machine-Learning-basierte System zum Ausgeben einer Referenzkoordinate einer der korrespondierenden Strukturen angepasst sein. Eine Referenzkoordinate kann dabei zum Beispiel ein errechneter Mittelpunkt eines Töpfchens eines (Multiwell-) Probenträgers sein, ein bestimmter Punkt einer Begrenzungskante eines erfassten Objektes usw. Durch die jeweiligen Referenzkoordinaten von zwei sich entsprechenden bzw. zwei korrespondierenden Strukturen in den beiden aufgenommenen Bildern lässt sich elegant der Verschiebungsvektor zwischen den beiden Bildern gemessen in Pixeln ermitteln.
Gemäß einem ergänzenden Ausführungsbeispiel des Abstandsbestimmungssystems kann auch die Klasse der Referenzkoordinate einer der korrespondierenden Strukturen ausgegeben werden. Die so ermittelte Klasse kann bei der Optimierungsaufgabe zur Bestimmung des Abstandes als zusätzlicher Eingangsparameter für die Optimierungsfunktion genutzt werden, wodurch Mehrdeutigkeiten reduziert werden können.
Gemäß einem weiteren ergänzenden Ausführungsbeispiel des Abstandsbestimmungssystems kann der Probentisch durch eine Beleuchtung illuminiert sein. Auf diese Weise könnte auch der Probentisch beleuchtet werden. Damit ist das vorgeschlagene Konzept sowohl für Auflicht- als auch Durchlichtmikroskope einsetzbar.
Gemäß einem erlaubten Ausführungsbeispiel des Abstandsbestimmungssystems kann der Probenträger eine Multiwell-Platte sein. Insbesondere bei dieser Art von Probenträgern variiert der Abstand zwischen der Unterseite der Multiwell-Platte bzw. insbesondere der unteren Ebene der Probennäpfchen und der Unterseite eines Auflegerahmens der Platte. Dies ist bedingt durch eine unterschiedliche Schürzenhöhe bzw. Dicke der Unterseite der Multiwell-Platte. Für diese Art von Probenträgerplatten ermöglicht das hier vorgestellte Konzept eine Kalibrierung bezogen auf die unterschiedlichen Arten von Multiwell-Platten mit unterschiedlichen Schürzenhöhen.
Gemäß einem weiteren vorteilhaften Ausführungsbeispiel des Abstandsbestimmungssystems kann dieses auch zur Bestimmung des Abstandes des Probentisches zu einem Referenzpunkt der Übersichtskamera angepasst sein. Durch die Kenntnis der Probenhöhe - d.h. Abstand ‚Referenzpunkt der Kamera zur Probenebene‘ - und der Kenntnis der Tischhöhe - Abstand ‚Referenzpunkt der Kamera zur Unterseite des Probentisches‘ - lässt sich die Schürzenhöhe einer Multiwell-Platte elegant bestimmen.
Gemäß einem ergänzenden vorteilhaften Ausführungsbeispiel des Abstandsbestimmungssystems kann dieses auch eine Antriebseinheit zum Verändern eines Abstandes des Probentisches gegenüber der Übersichtskamera aufweisen. Durch eine Kenntnis der Positionierung (entsprechend einem Abstand) der Übersichtskamera zu einem Referenzpunkt eines Mikroskopobjektivs kann die Höhe des Probentisches (z-Richtung entlang der optischen Achse vom Mikroskopobjektiv in Richtung des Probenträgers) automatisiert so eingestellt werden, dass eine Grobfokussierung in Bezug auf das Mikroskopobjektiv automatisch vorgenommen wird.
Gemäß einem alternativen Ausführungsbeispiel des Abstandsbestimmungssystems kann die Übersichtskamera oder ein optisches Element eine Position an einem Objektivrevolver des Mikroskopsystems einnehmen. Anstelle eines schrägen Ausrichtens der Übersichtskamera auf den Probentisch (was durchaus möglich ist), was dadurch zu Stande kommt, dass die Übersichtskamera neben dem Objektivrevolver positioniert wird, ist auch eine senkrechte Ausrichtung möglich, wenn die Übersichtskamera im Objektivrevolver platziert wird, so dass sie damit senkrecht unter dem Probentisch aktiv werden kann.
Bei dem genannten optischen Element kann es sich auch um einen Spiegel oder ein Prisma handeln, durch den bzw. durch das die Strahlen vom Probenträger auf die Übersichtskamera gelenkt werden. Auf diese Weise ergibt sich eine größere Designfreiheit in Bezug auf die Positionierung der Übersichtskamera.
Gemäß einem möglichen Ausführungsbeispiel des Abstandsbestimmungssystems kann ein Mikroskopobjektiv - insbesondere eines mit einer relativ geringen Vergrößerung - zusammen mit einem Bildsensor - bzw. dem Bildsensor des Mikroskopsystems - als Übersichtskamera verwendet werden. Allerdings scheint eine Positionierung der Übersichtskamera unabhängig vom Objektivrevolver sinnvoller zu sein, da auf diese Weise alle Objektive weiterhin nutzbar sind und im Objektivrevolver kein Platz für die Übersichtskamera benötigt wird. Auf diese Weise wäre auch eine Nachrüstung bereits im Einsatz befindlicher Mikroskopsysteme möglich.
Gemäß einem vorteilhaften Ausführungsbeispiel des Abstandsbestimmungssystem wird das Machine-Learning-basierte System für ein überwachtes und/oder auch ein unüberwachtes Lernen eingesetzt. Es kann dabei zur Segmentierung von Pixeln der zwei Bilder und/oder Detektion von Strukturen in den zwei Bildern eingesetzt sein. Außerdem hat es sich als vorteilhaft erwiesen, wenn das Machine-Learning-basierte System ein neuronales Netzwerk - oder beispielsweise auch eine Support Vector Machine - ist. Das neuronale Netzwerk kann beispielsweise mittels überwachten Lernens (oder auch unüberwachten Lernens) trainiert werden. Dieses Trainieren erlaubt dann eine Klassifikation von Pixeln der aufgenommenen Bilder und/oder eine Detektion von bestimmten Strukturen. In Bezug auf das Klassifizieren können Multi-Class-Algorithmen oder OneClass-Algorithmen eingesetzt werden. Das neuronale Netzwerk kann als Deep Neural Network, als CNN (convolutional NN) oder RNN (recursive NN) ausgeführt sein.
Im Falle des unüberwachten Lernens kann auf Algorithmen wie Deep Autoencoder, One-Class-Classification, oder Novelty Detection zurückgegriffen werden. Grundsätzlich lassen sich alle Lernsysteme einsetzen, die eine Detektion und ein Bestimmen von korrespondierenden oder einzigartigen Strukturen in den aufgenommenen digitalen Bildern erlauben.
Ein weiteres vorteilhaftes Ausführungsbeispiel des Abstandsbestimmungssystems kann vorsehen, dass der Pixelabstand der zwei durch das pixelweise Klassifizieren segmentierten Bilder mittels einer Optimierung eine Zielfunktion bestimmt werden kann, welche jeweils mehrere korrespondierende Strukturen der zwei Bilder aufweist, wobei die Zielfunktion den Pixelabstand angibt. Darüber hinaus kann auch eine Detektionsfunktion eingesetzt werden für ein Auffinden von individuellen/einzigartigen Strukturen, die und/oder deren Koordinaten als Eingangsdaten für die Optimierungsfunktion genutzt werden können. D.h., dass auch eine integrierte Betrachtungsweise der digitalen Bilder genutzt wird. Als Optimierungsfunktion können hierbei beispielsweise Algorithmen wie Schwerpunkte-Abstandsmittelwerte von korrespondierenden Strukturen, ein Intersection over Union Algorithmus bzw. eine Bestimmung von Jaccard-Koeffizienten, usw. eingesetzt werden. Typischerweise wird für die jeweilige Zielfunktion ein Optimum (Maximum oder Minimum) bestimmt.
Ein ergänzendes, vorteilhaftes Ausführungsbeispiel des Abstandsbestimmungssystems kann ein Zuordnen von korrespondierenden Strukturen in den mindestens zwei aufgenommenen digitalen Bildern durch Einsatz eines trainierten Machine-Learning-basierten Systems zur Erkennung von korrespondierenden Strukturen des Probentisches und/oder eines in den Probentisch eingelegten Halterahmens bzw. eines reinen Probenbereiches in den zwei aufgenommenen digitalen Bildern bezüglich dieser Strukturen aufweisen. Damit sind nicht nur die Probe selbst sondern auch umgebende Strukturen für eine jeweilige Abstandsbestimmung auswertbar.
Gemäß einem weiteren vorteilhaften Ausführungsbeispiel des Abstandsbestimmungssystems können die unterschiedlichen Blickwinkel durch eine Relativbewegung zwischen dem Probentisch (102) und der Übersichtskamera (116) bedingt sein. Damit könnte der Probentisch in x-/y-Richtung fixiert bleiben und die Übersichtskamera würde ihre Position - beispielsweise um einen festen bekannten Wert z.B. senkrecht zu optischen Achse des Mikroskopsystems - verändern. Eine Möglichkeit wäre es, den Probentisch zu verschieben, ein andere, die Kamera zu verschieben.
Gemäß einem weiteren alternativen Ausführungsbeispiel des Abstandsbestimmungssystems, bei dem die unterschiedlichen Blickwinkel durch Aufnahmen von zwei zueinanderversetzen Übersichtskameras erzeugt werden. Diese könnten gleichzeitig erfolgen und Relativbewegungen zwischen dem Probentisch und der einen Übersichtskamera wären nicht nötig. Damit würde eine einfachere, robustere, weniger anfällige und wartungsärmere mechanische Konstruktion ermöglicht. Außerdem könnten die beiden Übersichtsbilder exakt zum gleichen Zeitpunkt erfolgen, wodurch sich auch die Proben in exakt dem gleichen Zustand befinden würden. Eine durch die Zeit bedingte Veränderung der Proben könnte ausgeschlossen werden.
Übersicht über die Figuren
Es sei darauf hingewiesen, dass Ausführungsbeispiele der Erfindung mit Bezug auf unterschiedliche Implementierungskategorien beschrieben sein können. Insbesondere sind einige Ausführungsbeispiele in Bezug auf ein Verfahren beschrieben, während andere Ausführungsbeispiele im Kontext von entsprechenden Vorrichtungen beschrieben sein können. Unabhängig davon wird es einem Fachmann möglich sein, aus der hier vorstehenden und nachfolgenden Beschreibung - wenn nicht anderweitig darauf hingewiesen ist - mögliche Kombinationen der Merkmale des Verfahrens sowie mögliche Merkmalskombinationen mit dem entsprechenden System zu erkennen und zu kombinieren, auch wenn sie zu unterschiedlichen Anspruchskategorien gehören.
Bereits oben beschriebene Aspekte sowie zusätzliche Aspekte der vorliegenden Erfindung ergeben sich unter anderem aus den beschriebenen Ausführungsbeispielen und aus den zusätzlichen weiteren, durch Bezug auf die Figuren beschriebenen, konkreten Ausgestaltungen.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden beispielhaft und mit Bezug auf die folgenden Figuren beschrieben:

1 stellt ein Blockdiagramm eines Ausführungsbeispiels des erfinderischen Abstandsbestimmungssystems dar.
2 stellt ein Blockdiagramm eines alternativen Aufbaus des erfinderischen Konzeptes dar.
3a, b, c stellen schematisch aufgenommene Bilder eines Probenträgers mit einem beispielhaft gewählten Referenzpunkt einer Struktur dar.
4 stellt ein Blockdiagramm des Computer-implementierten Verfahrens für eine Grobfokuseinstellung eines Mikroskops dar.
5 zeigt ein Blockdiagramm eines Computersystems, welcher als Ablaufsystem für das Verfahren gemäß 4 geeignet ist.

Detaillierte Figurenbeschreibung
Im Kontext dieser Beschreibung sollen Konventionen, Begriffe und/oder Ausdrücke folgendermaßen verstanden werden:
Der Begriff „Abstandsbestimmungssystem“ bedeutet im Kontext dieses Dokumentes ein automatisiertes System zur Bestimmung eines Abstandes, das auf maschinellem Lernen, insbesondere einem Klassifikationssystem für aufgenommene Bilder eines Mikroskopsystems zur Bildsegmentierung und Verschiebungsvektorbestimmung - aufbaut. Das Abstandsbestimmungssystem kann mit seinen einzelnen Komponenten in ein Mikroskopsystem integriert sein und/oder bereits vorhandene Teilkomponenten des Mikroskopsystems nutzen.
Der Begriff „Grobfokuseinstellung“ bedeutet hier eine automatisierte Einstellung eines Abstandes zwischen einem Referenzpunkt am Objektiv eines Mikroskopsystems und einer Probenebene eines Probenträgers, der auf einem Probentisch liegt. Nach einer Grobeinstellung durch das hier vorgeschlagene Konzept, kann eine weitere Feinfokussierung durch das entsprechende Objektiv mittels weiterer Steuersysteme vorgenommen werden.
Der Begriff „Probentisch“ bedeutet im Kontext dieses Dokumentes einen Tisch mit einem Rahmen zur Aufnahme eines Probenträgers, der - im Wesentlichen im Durchlichtverfahren - über einem Objektiv eines Mikroskopsystems positioniert ist. Vorteilhafterweise lässt sich der Probentisch beispielsweise normal zur optischen Achse des Mikroskopsystems verfahren.
Der Begriff „Probenträger“ beschreibt hier ein Element zur Aufnahme von Proben, die mittels eines Mikroskopsystems untersucht werden sollen. Dabei kann es sich beispielsweise um Multiwell-Platten (typische Größe 13 × 10 cm) handeln, die gleichzeitig eine Vielzahl von Proben in Vertiefungen oder Näpfchen aufnehmen können. Der unterste Punkt der Vertiefung stellt dann typischerweise die Probenebene dar. Darüber hinaus kommen auch andere Probenträger wie klassische Objektträger (Slides) oder Kammerobjektträger (Chamberslides, beide in typischer Größe 75 × 24 mm) oder Petrischalen infrage, die im Auflicht- oder Durchlicht verwendet werden können.
Der Begriff „Übersichtskamera“ bedeutet im Kontext dieses Dokumentes eine Kamera, die zusätzlich zu den Mikroskopobjektiven eines Mikroskopsystems an bzw. in dem Mikroskopsystem montiert sein kann, um einen Gesamtbild des typischerweise durchleuchteten Probenträgers aufzunehmen. Die Übersichtskamera weist dabei typischerweise einen Bildsensor auf; außerdem findet bei der Übersichtskamera ein nicht-telezentrisches Objektiv Verwendung (ein nicht-telezentrisches Objektiv ist eines, dessen Eintritts- bzw. Austrittspupillen nicht im Unendlichen liegen).
Der Begriff „digitales Bild“ beschreibt hier eine digitale Repräsentanz eines aufgenommenen Bildes (image), welches durch einen Bildsensor erfasst wurde. Da es sich um digitale Informationen handelt, kann das digitale Bild - bzw. dessen digitale Repräsentanz - in bzw. auf elektronischen Medien gespeichert und weiterverarbeitet werden, beispielsweise durch ein Machine-Learning basiertes System.
Der Begriff „Machine-Learning-basiertes System“ beschreibt ein Hardwareunterstütztes oder Software-System aus dem Bereich der künstlichen Intelligenz, welches angepasst ist zum Lernen aus Beispielen, um so - ohne prozedural vorgegebene und manuell erzeugte Programminstruktionen - beispielsweise Inhalte von Bildern oder deren Teilbereiche abstrakten Begriffen - beispielsweise „gut“ oder „schlecht“ oder Bedeutungskonstrukten - z.B. eine Segmentierung von Bildinhalten - zuzuordnen. Allgemein betrachtet wird eine Abbildung von Eingabedaten auf Ausgabedaten gelernt.
Der Begriff „Trainieren des Lernsystems“ bedeutet, dass z.B. ein maschinelles Lernsystem durch eine Vielzahl von Beispielbildern Parameter in beispielsweise einem neuronalen Netz durch Auswerten der Beispielbilder so justiert, um nach der Trainingsphase auch unbekannte Bilder einer oder mehrerer Kategorien zuzuordnen, mit denen das Lernsystem trainiert worden ist. Außerdem ist es durch eine Detektion von bestimmten Strukturen möglich, deren Koordinaten in den Bildern zu ermitteln. Die Beispielbilder sind typischerweise annotiert - d.h. mit Metadaten versehen - um basierend auf den Eingangsbildern gewünschte Ergebnisse wie zu liefern. Das Trainieren kann auch eine Klassifikation von einzelnen Pixeln in den aufgenommenen Bildern zum Ziel haben, wodurch eine Bildsegmentierung erreicht werden kann. Das Ergebnis der Trainingsphase ist ein trainiertes Referenzmodell, das von Eingabebildern auf eine zugehörige Klasse, eine semantische Segmentierung des Eingabebildes oder auf Koordinaten von relevanten Strukturen/Objekten abbilden kann.
Der Begriff „maschinelles Lernen“ ist ein Grundbegriff der künstlichen Intelligenz, wobei z.B. u.a. statistische Verfahren verwendet werden, um Computersystemen die Fähigkeit des „Lernens“ zu geben. Beispielsweise werden dabei bestimmte Verhaltensmuster innerhalb eines spezifischen Aufgabenbereiches optimiert. Die verwendeten Verfahren versetzen die Systeme des maschinellen Lernens in die Lage, Daten zu analysieren, ohne dass es dazu einer expliziten prozeduralen Programmierung bedarf. Beispielsweise handelt es sich bei einem CNN (Convolutional Neural Network) um ein Beispiel für ein System für maschinelles Lernen, insbesondere um ein Netzwerk von Knoten, welche als künstliche Neuronen fungieren, und künstliche Verbindungen zwischen den künstlichen Neuronen - sogenannte Links - wobei den künstlichen Verbindungen Parameter - zum Beispiel Gewichtsparameter für die Verbindung - zugeordnet werden können. Während des Trainings des neuronalen Netzes passen sich die Gewichtsparameter der Verbindungen automatisch auf Basis von Eingangssignalen zur Erzeugung eines gewünschten Ergebnisses an. Beim überwachten Lernen werden die als Eingabewerte gelieferten Bilder durch Metadaten (Annotationen) ergänzt, um so einen gewünschten Ausgangswert zu lernen. Beim unüberwachten Lernen sind solche Annotationen nicht erforderlich.
In diesem Zusammenhang sollen auch rekursive neuronale Netzwerke (RNN) erwähnt werden, die auch jeweils eine Art von Deep Neural Network darstellen, bei denen die Gewichtsanpassung rekursiv erfolgt, so dass eine strukturierte Vorhersage über Eingangsdaten variabler Größe erzeugt werden kann. Typischerweise werden solche RNNs für sequentielle Eingangsdaten eingesetzt. Dabei kommen - genau wie bei CNNs - neben der vorwärts gerichteten Gewichtsanpassung auch Back-Propagation-Funktionen zum Einsatz. RNNs können auch in der Bildanalyse eingesetzt werden.
Der Begriff „Klassifizieren“ bedeutet hier, dass durch das trainierte Machine-Learning-basierte System einzelnen Pixeln eines aufgenommenen digitalen Bildes - z.B. eines Probenträgers - eine bestimmte Semantik verliehen werden kann, d.h., sie können jeweils einzeln einer Klasse zugeordnet werden. Somit lassen sich Bereiche des Probenträgers, der Proben, des Probentisches etc. unterscheiden. Durch diese Unterscheidung entstehen Segmente des Bildes. Dadurch erhält man ein segmentiertes Bild.
Der Begriff „Multiwell-Platte“ bedeutet eine Probenträgervorrichtung, die eine Mehrzahl von Vertiefungen (Töpfchen oder Näpfchen) aufweist, deren Böden im Wesentlichen in einer Ebene liegen und so die Probenebene bezeichnen. Verschiedene Multiwell-Platten können - je nach Hersteller-unterschiedlich hohe Schürzen (umlaufende Rahmen) aufweisen, mit denen sie in einen Probenrahmen eingelegt werden. Das hier vorgestellte Konzept der Abstandsbestimmung entfaltet bei wechselnden Multiwell-Platten seine diversen Vorteile.
Im Folgenden wird eine detaillierte Beschreibung der Figuren angegeben. Dabei versteht es sich, dass alle Details und Anweisungen in den Figuren schematisch dargestellt sind. Zunächst wird ein Blockdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Abstandsbestimmungssystems für ein Mikroskopsystem dargestellt. Nachfolgend werden weitere Ausführungsbeispiele bzw. Ausführungsbeispiele für das entsprechende Verfahren beschrieben:
1 stellt ein Blockdiagramm eines Ausführungsbeispiels des erfinderischen Abstandsbestimmungssystems 100 für ein Mikroskopsystem beispielsweise zur Grobfokuseinstellung - insbesondere des Abstandes „Probeneben zu Mikroskopobjektiv“ - des Mikroskopsystems dar. Das Abstandsbestimmungssystem 100 weist dabei Folgendes auf: einen Probentisch 102 mit einer Auflagefläche 104 zur Aufnahme eines Probenträgers 106 auf. Bei dem Probenträger 106 kann es sich um einen Multiwell-Probenträger 106 handeln, welcher eine Mehrzahl von Probenfächern 108 oder Näpfchen (in Aussicht) aufweist, von denen nur die linken drei mit Bezugszeichen 108 versehen sind. Typischerweise steht die Ebene des Probentisches 102 normal auf einer optischen Achse des Mikroskopsystems. Außerdem kann der Probentisch 102 entlang mindestens einer seiner Ausdehnungsrichtungen verschiebbar, um unterschiedliche Blickwinkel der Übersichtskamera 116 auf den Probentisch 102 zu ermöglichen. Bei einem klassischen Design eines Mikroskopsystems, bei dem die z-Achse der optischen Achse des Mikroskopsystems entspricht, ist der Probentisch in x-Richtung und/oder y-Richtung verschiebbar, angedeutet durch den Pfeil 110. Darüber hinaus ist der Probentisch 102 in seiner Höhe gegenüber dem Mikroskopobjektiv 112 in z-Richtung verschiebbar. Unterhalb des Mikroskopobjektivs 112 ist schematisch ein Bildsensor 114 dargestellt. Mittels bekannter Technologien kann das vom Bildsensor 114 des Mikroskopobjektivs 112 aufgenommene Bild auf einem Monitor (nicht dargestellt) angezeigt werden.
Die Übersichtskamera 116 weist mit einem eigenen Bildsensor (nicht dargestellt) mit einem nicht-telezentrischen Objektiv zum Erzeugen von digitalen Bildern auf. Dabei ist die Übersichtskamera 116 nicht notwendigerweise entlang der optischen Achse des Mikroskopsystems auf eine Unterseite (oder Oberseite) des Probentisches 102 gerichtet.
Alternativ können die unterschiedlichen Blickwinkel der Übersichtskamera 116 auf den Probentsich 102 durch eine Verschiebbarkeit der Übersichtskamera 116 oder durch Aufnahmen des Probentisches 102 mit dem Probenträger 106 durch eine zweite Übersichtskamera erwirkt werden.
Darüber hinaus weist das Abstandsbestimmungssystem 100 ein mit der oder den Übersichtskamera(s) 116 verbundene Auswertungseinheit 118 auf, das seinerseits folgende Elemente aufweist: ein Speichersystem (nicht dargestellt) zum Speichern von mindestens zwei aufgenommenen digitalen Bildern an unterschiedlichen Positionen des Probentisches 102 (d.h., der Probentisch wird zwischen den Aufnahmen in mindestens einer seiner horizontalen Ausdehnungen verschoben) sowie ein trainiertes Machine-Learning-basiertes System 120 zur Erkennung von korrespondierenden Strukturen des Probentisches und/oder eines in den Probentisch eingelegten Probenträgers in den zwei aufgenommenen digitalen Bildern, wobei das trainierte Machine-Learning-basierte System 120 ein trainiertes Referenzmodell aufweist, das durch einen Satz von annotierten Trainingsbildern von Probenträgern - damit implizit auch des Probentisches - derart trainierbar ist, und das trainierte Machine-Learning-basierte System 120 somit derart angepasst ist, dass in den mindestens zwei aufgenommenen digitalen Bildern korrespondierende Strukturen einander zuordenbar sind.
Außerdem weist das Abstandsbestimmungssystem 100 eine Abstandsbestimmungseinheit 122 auf, die mit dem Machine-Learning-basierten System 120 verbunden ist und die angepasst ist zur Bestimmung des Abstandes eines Referenzpunktes des Probenträgers zu einem Referenzpunkt der Übersichtskamera 116 basierend auf den unterschiedlichen Blickwinkeln auf den Probentisch 102 für die zwei aufgenommenen Bilder, eines Pixelabstandes der zwei aufgenommenen digitalen Bilder zueinander mittels der darin enthaltenen zugeordneten korrespondierenden Strukturen. Aus der Anzahl der Pixel zwischen zwei korrespondierenden Strukturen - bzw. deren Referenzpunkte - lässt dann sich ein Abstand - ausgedrückt beispielsweise Millimeter - analytisch ermitteln. Dabei macht sich das Berechnungsverfahren der Abstandsbestimmungseinheit 122 den Parallaxeneffekt zu Nutze. Vorteilhaft wäre es, wenn der Referenzpunkt auf einer Schnittebene des Probenträgers 106 läge, sodass der Probenträger 106 und die Schnittebene jeweils senkrecht zur optischen Achse des Mikroskopsystems liegen bzw. verlaufen würde.
Die Abstandsbestimmungseinheit 122 kann darüber hinaus mit einer Steuer-/Antriebseinheit 126 verbunden sein, um den Probentisch 102 vertikal - d.h. in z-Richtung - zu verschieben, wie durch den Pfeil 128 angedeutet. Die Verfahrmöglichkeiten des Probentisches 102 in einer Ebene normal zur z-Richtung sind hiervon unberührt. Der Abstand 130 zwischen der Auflagefläche 104 des Probenträgers 106 und der Probenebene 124 kann von Probenträger zu Probenträger (je nach Typ) variieren.
Ergänzend sei nochmals erwähnt, dass sich auch Alternativen zu einer Verschiebung des Probentisches 102 für Aufnahmen von Bildern unter unterschiedlichen Blickwinkeln eignen. So könnte einerseits nicht der Probentisch 102 bewegt werde, sondern die Übersichtskamera 116. Als weitere Option könnte auch die genannte zweite Übersichtskamera (nicht dargestellt) genutzt werden. Diese könnte sich beispielsweise auf einer Linie befinden, die sich durch die beiden Übersichtskameras erstreckt und die senkrecht zu optischen Achse des Mikroskopsystems verläuft.
2 stellt ein Blockdiagramm 200 eines alternativen Aufbaus - dargestellt mit einer reduzierten Anzahl von Elementen - des Abstandsbestimmungssystems 100 dar. Im Wesentlichen geht es hier darum, dass die Übersichtskamera 116 nicht direkt von (schräg) unten auf den Probenträger 106 gerichtet ist, sondern über einen Spiegel 202, welcher die von Probenträger 106 bzw. von Probentisch 102 einfallende Strahlen umlenkt, um sie auf die Übersichtskamera 116 zu lenken.
Dabei kann der Spiegel 202 an einer Position eines ansonsten vorhandenen Mikroskopobjektivs 206 im Objektivrevolver 204 oder daneben vorgesehen sein. Alternativ sind andere Positionierungen des Spiegels 202 und damit auch der Übersichtskamera 116 möglich. Durch die Nutzung des Spiegels 202 - oder alternativ eines Prismas, gegebenenfalls mit weiteren optischen Elementen - besteht für die Positionierung der Übersichtskamera 116 eine vergleichsweise große Designfreiheit.
In den 3a, 3b sind zwei schematisch aufgenommene digitale Bilder (3a, 3b) dargestellt, die gegeneinander verschoben sind, was durch den Pfeil 302 angedeutet ist. Die gestreiften Kreise in beiden 3a, 3b stellen idealisierte Probennäpfchen 108 dar. In realen Aufnahmen würden diese Abbildungen der Proben bzw. Probennäpfchen 108 wesentlich unregelmäßiger aussehen, wie dies am Beispiel der korrespondierenden Strukturen 304 und 306 exemplarisch dargestellt ist. Das Machine-Learning basierte System kann die entsprechenden Strukturen 304, 306 der Gesamtheit der Strukturen in den aufgenommenen digitalen Bildern - nach Training und darauf beruhender Klassifizierung der Pixel der Bilder - einander zuordnen, so dass eine Verschiebung des Bildes 3a gegenüber dem Bild 3b - dargestellt durch den Pfeile 308 - durch eine Optimierungsfunktion der Abstandsbestimmungseinheit bestimmt werden kann.
Alternativ ist es außerdem durch Anwendung eines Intersection-over-Union-Verfahrens bzw. durch eine Bestimmung von Jaccard-Koeffizienten möglich, die Gesamtheit der Strukturen in den Bildern entsprechend 3a und 3b zu bestimmen und daraus einen Verschiebungsvektor bzw. Abstand zu bestimmen.
Wie bereits oben erwähnt, kann das Machine-Learning basierte System eine Klassifikation einzelner Pixel der aufgenommenen Bilder vornehmen, so dass alle Pixel, die zu einem Probenbereich (dargestellt in strukturierter Form) gehören z.B. als logische „1“ dargestellt werden, während alle anders klassifizierten Pixel der aufgenommenen Bilder z.B. als logische „0“ dargestellt werden. Auf diese Weise kann mittels einer der genannten Algorithmen mit relativ geringem Aufwand ein Verschiebungsvektor 308 bestimmt werden.
In 3c ist beispielhaft ein Referenzpunkt 310 einer erkannten Struktur dargestellt, der in diesem Fall den geometrischen Mittelpunkt der Struktur einnimmt. Alternativ kann jeder andere beliebige Referenzpunkt - beispielsweise der Punkt der untersten Kante - genutzt werden.
4 stellt ein schematisches Flussdiagramm des Computer-implementierten Verfahrens 400 für z.B. eine Grobfokuseinstellung eines Mikroskops dar. Dabei weist das Mikroskopsystem einen Probentisch mit einer Auflagefläche zur Aufnahme eines Probenträgers auf, der entlang mindestens einer Ausdehnungsrichtung einer Probenebene (horizontal) verschiebbar ist. Das Mikroskopsystem weist auch hier eine Übersichtskamera mit einem nicht-telezentrischen Objektiv zum Erzeugen von digitalen Bildern auf. Typischerweise ist die Übersichtskamera auf den Probentisch gerichtet. Das Verfahren weist dabei folgende Aktivitäten auf: Speichern 402 von mindestens zwei aufgenommenen digitalen Bildern des Probentisches unter unterschiedlichen Blickwinkeln.
Nach dem Speichern 402 der aufgenommenen digitalen Bilder erfolgt ein Zuordnen 404 von korrespondierenden Strukturen in den mindestens zwei aufgenommenen digitalen Bildern durch Einsatz eines trainierten Machine-Learning-basierten Systems zur Erkennung von korrespondierenden Strukturen des Probentisches und/oder eines in den Probentisch eingelegten Probenträgers in den zwei aufgenommenen digitalen Bildern. Das Machine-Learning-basierte System referenziert dabei auf ein trainiertes Referenzmodell, das durch einen Satz von annotierten Trainingsbildern von Probenträgern trainiert wurde. Damit wird das Abstandsbestimmungssystem mittels des trainierten Machine-Learning-basierten Systems und der Abstandsbestimmungseinheit - mittels Optimierung - angepasst, dass es in den mindestens zwei aufgenommenen digitalen Bildern mittels korrespondierender Strukturen einen Abstand bestimmt.
Dies geschieht im letzten - aber nicht abschließenden Schritt - des Verfahrens 400, in dem ein Bestimmen 406 eines Abstandes eines Referenzpunktes des Probenträgers zu einem Referenzpunkt der Übersichtskamera basierend auf den unterschiedlichen Blickwinkein auf den Probentisch 102 einer bekannten Verschiebung des Probentisches und eines Pixelabstandes der zwei aufgenommenen digitalen Bilder zueinander mittels der darin enthaltenen zugeordneten korrespondierenden Strukturen vorgenommen wird.
5 stellt ein Blockdiagramm eines Computersystems 500 dar, welches als Ausführungssystem für das oben genannte Verfahren einsetzbar ist. Außerdem kann das Computersystem 500 mindestens Teile der Auswertungseinheit 118 und der Abstandsbestimmungseinheit 122 aufweisen. Ausführungsformen des hier vorgeschlagenen Konzepts können grundsätzlich mit praktisch jedem Typ von Computer, unabhängig von der darin verwendeten Plattform zur Speicherung und/oder Ausführung von Programmcodes, genutzt werden. 5 stellt beispielhaft ein Computersystem 500 dar, welches zur Ausführung von Programmcodes entsprechend des hier vorgestellten Verfahrens geeignet ist. Es ist auch möglich, das ein bereits im Mikroskopsystem vorhandenes Computersystem, das ggfs. zu erweitern wäre, mindestens für eine teilweise Ausführung des hier vorgestellten Verfahrens genutzt wird.
Das Computersystem 500 weist eine Mehrzahl von allgemein nutzbaren Funktionen (general purpose functions) auf. Dabei kann das Computersystem ein Tablet-Computer, ein Laptop-/Notebook-Computer, ein anderes tragbares oder mobiles elektronisches Gerät, ein Mikroprozessorsystem, ein Mikroprozessor-basiertes System, ein Smartphone oder Computersystem mit speziell eingerichteten Sonderfunktionen sein. Das Computersystem 500 kann eingerichtet sein zur Ausführung von Computer-System ausführbaren Anweisungen - wie beispielsweise Programmmodulen - die ausgeführt werden können, um Funktionen der hier vorgeschlagenen Konzepte umzusetzen. Dazu können die Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen usw. aufweisen, um bestimmte Aufgaben oder bestimmte abstrakte Datentypen zu implementieren.
Die Komponenten des Computersystems können Folgendes aufweisen: einen oder mehrere Prozessoren oder Verarbeitungseinheiten 502, ein Speichersystem 504 und ein Bussystem 506, welches verschiedene Systemkomponenten inklusive des Speichersystems 504 mit dem Prozessor 502 verbindet. Typischerweise weist das Computersystem 500 eine Mehrzahl von durch das Computersystem 500 zugreifbaren flüchtigen oder nicht-flüchtigen Speichermedien auf. Im Speichersystem 504 können die Daten und/oder Instruktionen (Befehle) der Speichermedien in flüchtiger Form - wie beispielsweise in einem RAM (random access memory) 508 - gespeichert sein, um von dem Prozessor 502 ausgeführt zu werden. Diese Daten und Instruktionen realisieren einzelne oder mehrere Funktionen bzw. Verfahrensschritte des hier vorgestellten Konzeptes. Weitere Komponenten des Speichersystems 504 können ein Permanentspeicher (ROM) 510 und ein Langzeitspeicher 512 sein, in dem die Programmmodule und Daten (Bezugszeichen 516) gespeichert sein können.
Das Computersystem weist zur Kommunikation eine Reihe von dedizierten Vorrichtungen (Tastatur 518, Maus/Pointing Device (nicht dargestellt), Bildschirm 520, usw.) auf. Diese dedizierten Vorrichtungen können auch in einem berührungsempfindlichen Display vereint sein. Ein separat vorgesehener I/O-Controller 514 sorgt für einen reibungslosen Datenaustausch zu externen Geräten. Zur Kommunikation über ein lokales oder globales Netzwerk (LAN, WAN, beispielsweise über das Internet) steht ein Netzwerkadapter 522 zur Verfügung. Auf dem Netzwerkadapter kann durch andere Komponenten des Computersystems 500 über das Bussystem 506 zugegriffen werden. Dabei versteht es sich, dass - obwohl nicht dargestellt - auch andere Vorrichtungen an das Computersystem 500 angeschlossen sein können.
Darüber hinaus können mindestens Teile des Abstandsbestimmungssystems 100 (vgl. 1) an das Bussystem 506 angeschlossen sein, wie beispielsweise der Bildsensor 114 und/oder das Auswertungssystem 118. Die digitalen Bilddaten des Bildsensors 114 können auch durch ein gesondertes Vorverarbeitungssystem (nicht dargestellt) aufbereitet sein.
Die Beschreibung der verschiedenen Ausführungsbeispiele der vorliegenden Erfindung wurde zum besseren Verständnis dargestellt, dient aber nicht einer unmittelbaren Einschränkung der erfinderischen Idee auf diese Ausführungsbeispiele. Weitere Modifikationen und Variationen erschließt sich der Fachmann selbst. Die hier genutzte Terminologie wurde so gewählt, um die grundsätzlichen Prinzipien der Ausführungsbeispiele am besten zu beschreiben und sie dem Fachmann leicht zugänglich zu machen.
Das hier vorgestellte Prinzip kann sowohl als System, als Verfahren, Kombinationen davon und/oder auch als Computerprogrammprodukt verkörpert sein. Dabei kann das Computerprogrammprodukt ein (oder mehrere) Computer-lesbare/s Speichermedium/- medien aufweisen, welches Computer-lesbare Programminstruktionen aufweist, um einen Prozessor oder ein Steuerungssystem dazu zu veranlassen, verschiedene Aspekte der vorliegenden Erfindung auszuführen.
Als Medien kommen elektronische, magnetische, optische, elektromagnetische, Infrarot-Medien oder Halbleitersysteme als Weiterleitungsmedium zum Einsatz; beispielsweise SSDs (solid state device/drive als Festkörperspeicher), RAM (Random Access Memory) und/oder ROM (Read-Only Memory), EEPROM (Electrically Eraseable ROM) oder eine beliebige Kombination davon. Als Weiterleitungsmedien kommen auch sich ausbreitende elektromagnetische Wellen, elektromagnetische Wellen in Wellenleitern oder anderen Übertragungsmedien (z.B. Lichtimpulse in optischen Kabeln) oder elektrische Signale, die in Drähten übertragen werden, in Frage.
Das Computer-lesbare Speichermedium kann eine verkörpernde Vorrichtung sein, welche Instruktionen für eine Nutzung durch ein Instruktionsausführungsgerät vorhält bzw. speichert. Die Computer-lesbaren Programminstruktionen, die hier beschrieben sind, können auch auf ein entsprechendes Computersystem heruntergeladen werden, beispielsweise als (Smartphone-) App von einem Service-Provider über eine kabelbasierte Verbindung oder ein Mobilfunknetzwerk.
Die Computer-lesbaren Programminstruktionen zur Ausführung von Operationen der hier beschriebenen Erfindung können maschinenabhängig sein oder maschinenunabhängige Instruktionen, Microcode, Firmware, Status-definierende Daten oder jeglicher Source-Code oder Objektcode sein, der beispielsweise in C++, Java oder ähnlichen bzw. in konventionellen prozeduralen Programmiersprachen wie beispielsweise der Programmiersprache „C“ oder ähnlichen Programmiersprachen geschrieben sein. Die Computer-lesbaren Programminstruktionen können komplett durch ein Computersystem ausgeführt werden. In einigen Ausführungsbeispielen können es auch elektronische Schaltkreise wie beispielsweise programmierbare Logikschaltkreise, Feld-programmierbare Gate Arrays (FPGA) oder programmierbare Logik-Arrays (PLA) sein, die die Computer-lesbaren Programminstruktionen durch Nutzung von Statusinformationen der Computer-lesbaren Programminstruktionen ausführen, um die elektronischen Schaltkreise entsprechend Aspekten der vorliegenden Erfindung zu konfigurieren bzw. zu individualisieren.
Darüber hinaus ist die hier vorgestellte Erfindung mit Bezug auf Flussdiagramme und/oder Blockdiagramme von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten entsprechend Ausführungsbeispielen der Erfindung dargestellt. Es sei darauf hingewiesen, dass praktisch jeder Block der Flussdiagramme und/oder Blockdiagramme als Computer-lesbare Programminstruktionen ausgestaltet sein kann.
Die Computer-lesbaren Programminstruktionen können einem General-Purpose-Computer, einem Spezialcomputer oder einem anderweitig programmierbaren Datenverarbeitungssystem zur Verfügung gestellt werden, um eine Maschine herzustellen, so dass die Instruktionen, welche durch den Prozessor oder den Computer oder andere programmierbare Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel erzeugen, um die Funktionen oder Vorgänge, die in dem Flussdiagramm und/oder Blockdiagrammen dargestellt sind, zu implementieren. Diese Computer-lesbaren Programminstruktionen können entsprechend auch auf einem Computer-lesbaren Speichermedium gespeichert werden.
In diesem Sinne kann jeder Block in dem dargestellten Flussdiagramm oder den Blockdiagrammen ein Modul, ein Segment oder Anteile an Instruktionen darstellen, welche mehrere ausführbare Instruktionen zur Implementierung der spezifischen Logikfunktion darstellt. In einigen Ausführungsbeispielen können die Funktionen, die in den einzelnen Blöcken dargestellt sind, in einer anderen Reihenfolge - gegebenenfalls auch parallel - ausgeführt werden.
Die dargestellten Strukturen, Materialien, Abläufe und Äquivalente aller Mittel und/oder Schritte mit zugehörigen Funktionen in den untenstehenden Ansprüchen sind dazu gedacht, alle Strukturen, Materialien oder Abläufe anzuwenden, wie es durch die Ansprüche ausgedrückt ist.
Bezugszeichenliste

100: Abstandsbestimmungssystem
102: Probentisch
104: Auflagefläche
106: Probenträger
108: Probenfächer, Näpfen, Töpfchen
110: Verfahrmöglichkeit
112: Mikroskopobjektiv
114: Bildsensor
116: Übersichtskamera
118: Auswertungseinheit
120: Machine-Learning-basiertes System
122: Abstandsbestimmungseinheit
124: Probeneben
126: Steuer-/Antriebseinheit
128: Bewegungspfeil
130: Abstand zwischen Auflagefläche des Probenträgers und der Probenebene
200: Blockdiagramm eines alternativen Aufbaus
202: Spiegel
204: Objektivrevolver
206: Objektiv
300: aufgenommene Digitale Bilder
302: Verschiebepfeil
304: korrespondierenden Strukturen
306: korrespondierenden Strukturen
308: Verschiebungsvektor
310: Referenzpunkt
400: Verfahren
402: Verfahrensschritt
404: Verfahrensschritt
406: Verfahrensschritt
500: Computersystem
502: Prozessor
504: Speichersystem
506: Bussystem
508: RAM
510: ROM
512: Langzeitspeicher
514: I/O-Controller
516: Programmmodule bzw. und Daten
518: Tastatur
520: Bildschirm
522: Netzwerkadapter

Claims

Ein Abstandsbestimmungssystem (100) für ein Mikroskopsystem, das Abstandsbestimmungssystem (100) aufweisend - einen Probentisch (102) mit einer Auflagefläche (104) zur Aufnahme eines Probenträgers (106), wobei der Probentisch (102) entlang mindestens einer Ausdehnungsrichtung einer Probenebene verschiebbar ist, - eine Übersichtskamera (116) mit einem nicht-telezentrischen Objektiv zum Erzeugen von digitalen Bildern (300), wobei die Übersichtskamera (116) auf den Probentisch (102) gerichtet ist, - eine Auswertungseinheit (118), die mit der Übersichtskamera (116) verbundene ist, die Auswertungseinheit (118) aufweisend: - ein Speichersystem zum Speichern von mindestens zwei aufgenommenen digitalen Bildern (300) des Probentisches (102) unter unterschiedlichen Blickwinkeln, - ein trainiertes Machine-Learning-basiertes System (120) zur Erkennung von korrespondierenden Strukturen (304, 306) eines in den Probentisch (102) eingelegten Probenträgers (106) in den zwei aufgenommenen digitalen Bildern (300), wobei das trainierte Machine-Learning-basierte System (120) ein trainiertes Referenzmodell aufweist, das durch einen Satz von annotierten Trainingsbildern von Probenträgern (106) derart trainierbar ist, und das trainierte Machine-Learning-basierte System (120) somit derart angepasst ist, dass in den mindestens zwei aufgenommenen digitalen Bildern korrespondierende Strukturen (304, 306) einander zuordenbar sind, und - eine Abstandsbestimmungseinheit (122), die angepasst ist zur Bestimmung des Abstandes eines Referenzpunktes des Probenträgers zu einem Referenzpunkt der Übersichtskamera (116) basierend auf den unterschiedlichen Blickwinkeln auf den Probentisch und eines Pixelabstandes (308) der zwei aufgenommenen digitalen Bilder (300) zueinander mittels der darin enthaltenen zugeordneten korrespondierenden Strukturen (304, 306).
Das Abstandsbestimmungssystem (100) gemäß Anspruch 1, bei dem das trainierte Machine-Learning-basierte System (120) angepasst ist zum Klassifizieren einzelner Pixel der mindestens zwei aufgenommenen Bilder (300).
Das Abstandsbestimmungssystem (100) gemäß Anspruch 1 oder 2, bei dem das trainierte Machine-Learning-basierte System (120) angepasst ist zum Ausgeben einer Referenzkoordinate (310) einer der korrespondierenden Strukturen (304, 306).
Das Abstandsbestimmungssystem (100) gemäß Anspruch 3, bei dem auch die Klasse der Referenzkoordinate (310) einer der korrespondierenden Strukturen (304, 306) ausgegeben wird.
Das Abstandsbestimmungssystem(100) gemäß einem der vorangegangenen Ansprüche, bei dem der Probentisch (102) durch eine Beleuchtung illuminiert ist.
Das Abstandsbestimmungssystem (100) gemäß einem der vorangegangenen Ansprüche, bei dem der Probenträger (102) eine Multiwell-Platte, ein Objektträger, eine Petrischale oder ein Kammerobjektträger ist.
Das Abstandsbestimmungssystem (100) gemäß einem der vorangegangenen Ansprüche, wobei die Abstandsbestimmungseinheit (122) auch angepasst ist zur Bestimmung des Abstandes des Probentisches (102) zu einem Referenzpunkt der Übersichtskamera (116).
Das Abstandsbestimmungssystem gemäß einem der vorangegangenen Ansprüche, weiterhin aufweisend eine Antriebseinheit (126) zum Verändern eines Abstandes des Probentisches (102) gegenüber der Übersichtskamera (126).
Das Abstandsbestimmungssystem (100) gemäß einem der vorangegangenen Ansprüche, bei dem die Übersichtskamera (116) oder bei dem ein optisches Element eine Position an einem Objektivrevolver (204) des Mikroskopsystems einnimmt.
Das Abstandsbestimmungssystem (100) gemäß einem der Ansprüche 1 bis 8, bei dem ein Mikroskopobjektiv (206) zusammen mit einem Bildsensor (114) als Übersichtskamera (116) verwendet werden.
Das Abstandsbestimmungssystem (100) gemäß einem der vorangegangenen Ansprüche, bei dem das Machine-Learning-basierte System (120) für ein überwachtes und/oder ein unüberwachtes Lernen eingesetzt ist.
Das Abstandsbestimmungssystem (100) gemäß einem der vorangegangenen Ansprüche,bei dem das Machine-Learning-basierte System (120) ein neuronales Netzwerk ist.
Das Abstandsbestimmungssystem (100) gemäß einem der Ansprüche 2 bis 12, bei dem ein Pixelabstand durch das Pixelklassifizieren der so entstehenden segmentierten Bilder (300) oder durch Referenzkoordinaten (310) von detektierten Strukturen in den aufgenommenen Bildern (300) mittels einer Optimierung einer Zielfunktion bestimmt wird, welche jeweils mehrere korrespondierende Strukturen der zwei Bilder (300) als Eingangsdaten aufweist, wobei das Ergebnis der Zielfunktion den Pixelabstand angibt.
Das Abstandsbestimmungssystem (100) gemäß einem der vorangegangen Ansprüche, auch aufweisend - Zuordnen von korrespondierenden Strukturen (304, 306) in den mindestens zwei aufgenommenen digitalen Bildern durch Einsatz des trainierten Machine-Learning-basierten Systems (120) zur Erkennung von korrespondierenden Strukturen (304, 306) des Probentisches und/oder eines in den Probentisch (102) eingelegten Halterahmens in den zwei aufgenommenen digitalen Bildern (300).
Das Abstandsbestimmungssystem (100) gemäß einem der vorangegangen Ansprüche, wobei die unterschiedlichen Blickwinkel durch eine Relativbewegung zwischen dem Probentisch (102) und der Übersichtskamera (116) bedingt sind.
Das Abstandsbestimmungssystem (100) gemäß einem der vorangegangen Ansprüche, wobei die unterschiedlichen Blickwinkel durch Aufnahmen von zwei zueinanderversetzen Übersichtskameras erzeugt werden.
Ein Computer-implementiertes Verfahren (400) für ein Mikroskopsystem, wobei das Mikroskopsystem einen Probentisch (102) mit einer Auflagefläche (104) zur Aufnahme eines Probenträgers (106) aufweist, wobei der Probentisch (102) entlang mindestens einer Ausdehnungsrichtung einer Probenebene verschiebbar ist, und wobei das Mikroskopsystem eine Übersichtskamera (116) mit einem nicht-telezentrischen Objektiv zum Erzeugen von digitalen Bildern (300) aufweist, wobei die Übersichtskamera (116) auf den Probentisch (102) gerichtet ist, wobei das Verfahren (400) aufweist - Speichern (402) von mindestens zwei aufgenommenen digitalen Bildern des Probentisches (106) unter unterschiedlichen Blickwinkeln, - Zuordnen (404) von korrespondierenden Strukturen (304, 306) in den mindestens zwei aufgenommenen digitalen Bildern (300) durch Einsatz eines trainierten Machine-Learning-basierten Systems (120) zur Erkennung von korrespondierenden Strukturen (304, 306) eines in den Probentisch (102) eingelegten Probenträgers (106) in den zwei aufgenommenen digitalen Bildern (300), wobei das trainierte Machine-Learning-basierte System (120) ein trainiertes Referenzmodell aufweist, das durch einen Satz von annotierten Trainingsbildern von Probenträgern derart trainierbar ist, und das trainierte Machine-Learning-basierte System (120) somit derart angepasst ist, dass in den mindestens zwei aufgenommenen digitalen Bildern (300) korrespondierende Strukturen (304, 306) einander zuordenbar sind, und - Bestimmen (406) eines Abstandes eines Referenzpunktes des Probenträgers (106) zu einem Referenzpunkt der Übersichtskamera (116) basierend auf den unterschiedlichen Blickwinkeln auf den Probentisch (102) und eines Pixelabstandes (308) der zwei aufgenommenen digitalen Bilder (300) zueinander mittels der darin enthaltenen zugeordneten korrespondierenden Strukturen (304, 306).
Ein Computerprogramm-Produkt für ein Mikroskopsystem, wobei das Mikroskopsystem einen Probentisch (102) mit einer Auflagefläche (104) zur Aufnahme eines Probenträgers (106) aufweist, wobei der Probentisch (102) entlang mindestens einer Ausdehnungsrichtung einer Probenebene verschiebbar ist, und wobei das Mikroskopsystem eine Übersichtskamera (116) mit einem nicht-telezentrischen Objektiv zum Erzeugen von digitalen Bildern (300) aufweist, wobei die Übersichtskamera (116) auf den Probentisch (102) gerichtet ist, wobei das Computerprogramm-Produkt darauf gespeicherte Programminstruktionen aufweist, wobei die Programminstruktionen durch einen oder mehrere Computer (500) und/oder Steuereinheiten ausführbar sind und den einen oder die mehreren Computer (500) und/oder Steuereinheiten dazu veranlasst, Folgendes auszuführen: - Speichern von mindestens zwei aufgenommenen digitalen Bildern (300) des Probentisches (102) unter unterschiedlichen Blickwinkeln, - Zuordnen von korrespondierenden Strukturen (304, 306) in den mindestens zwei aufgenommenen digitalen Bildern (300) durch Einsatz eines trainierten Machine-Learning-basierten Systems (120) zur Erkennung von korrespondierenden Strukturen (304, 306) eines in den Probentisch (102) eingelegten Probenträgers (106) in den zwei aufgenommenen digitalen Bildern (300), wobei das trainierte Machine-Learning-basierte System (129) ein trainiertes Referenzmodell aufweist, das durch einen Satz von annotierten Trainingsbildern von Probenträgern (106) derart trainierbar ist, und das trainierte Machine-Learning-basierte System (120) somit derart angepasst ist, dass in den mindestens zwei aufgenommenen digitalen Bildern (300) korrespondierende Strukturen 8304, 306) einander zuordenbar sind, und - Bestimmen eines Abstandes eines Referenzpunktes des Probenträgers (102), zu einem Referenzpunkt der Übersichtskamera (116) basierend auf den unterschiedlichen Blickwinkeln auf den Probentisch und eines Pixelabstandes (308) der zwei aufgenommenen digitalen Bilder (300) zueinander mittels der darin enthaltenen zugeordneten korrespondierenden Strukturen (304, 306).