DE102020101191A1

DE102020101191A1 - Mikroskop und Verfahren zum Ermitteln eines Messortes eines Mikroskops

Info

Publication number: DE102020101191A1
Application number: DE102020101191.1A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase; Michael Gögler
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2020-01-20
Filing date: 2020-01-20
Publication date: 2021-07-22
Anticipated expiration: 2040-01-21
Also published as: CN113139894A; DE102020101191B4; US20210225026A1; JP7153258B2; US11830215B2; JP2021113805A; CN113139894B

Abstract

Bei einem Verfahren zum Ermitteln eines Messortes (22) eines Mikroskops (100) wird ein Übersichtsbild (70) eines Probenträgers (10) erhalten. Es wird eine Abbildung oder Homographie bestimmt, durch welche das Übersichtsbild (70) perspektivisch in ein Draufsichtbild (71) überführbar ist, in Abhängigkeit von einer Höhe (H) des Probenträgers (10). Der Messort (22) wird, mit Hilfe der bestimmten Abbildung/Homographie, im Übersichtsbild (70) oder in einem hieraus abgeleiteten Ausgabebild identifiziert. Zudem wird ein entsprechendes Mikroskop offenbart.

Description

Die vorliegende Offenbarung bezieht sich auf ein Mikroskop und ein Verfahren zum Ermitteln eines Messortes eines Mikroskops.
Bei üblichen Mikroskopen wird ein Probenträger auf einem Probentisch positioniert. Der Probenträger kann mehrere Probengefäße umfassen und beispielsweise durch einen Kammerobjektträger (englisch: multi-well chamber slide) oder eine Multiwellplatte mit Näpfchen (englisch: wells) gebildet sein. Insbesondere in diesem Fall ist es für einen Nutzer schwierig, sicher zu erkennen, auf welches Näpfchen oder welchen Messort ein Objektiv des Mikroskops gerichtet ist. Werden manuelle Stative verwendet, bei denen der Probenträger händisch oder mit einem Kreuztisch bewegt wird, liegt in der Regel keine hilfreiche Information über die Probentischposition vor.
Über das Objektiv und eine darauffolgende Kamera werden Mikroskopbilder aufgenommen, wobei dokumentiert werden muss, zu welchem Messort (bspw. zu welchem Näpfchen einer Multiwellplatte) die jeweiligen Mikroskopbilder gehören. Hierzu werden häufig Spalte und Reihe eines momentan untersuchten Näpfchens auf einer Multiwellplatte abgezählt und diese Information wird händisch zum aufgenommenen Mikroskopbild eingetragen. Die Orientierung der Multiwellplatte muss hierbei korrekt berücksichtigt werden. Eine ordnungsgemäße Dokumentation kann daher mühsam und fehlerträchtig sein.
Insbesondere zur Dokumentation können auch Übersichtsbilder aufgenommen werden. Bei einem gattungsgemäßen Verfahren wird ein Übersichtsbild eines Probenträgers erhalten, beispielsweise von einer Übersichtskamera. Diese kann zusätzlich zur Kamera, die Detektionslicht vom Objektiv des Mikroskops erhält, vorhanden sein. Werden Übersichtsbilder aufgenommen, fallen beim Stand der Technik für den Nutzer in der Regel die vorgenannten Arbeitsschritte an, mit den oben genannten Problemen.
Vollautomatisierte Lösungen sind aus dem High Content Screening bekannt. Beispielsweise werden hierbei sämtliche Näpfchen einer Mikrotiterplatte automatisiert nacheinander angefahren und untersucht. Diese Systeme sind einerseits sehr kostenintensiv und andererseits in ihrer Flexibilität beschränkt. So müssen hierbei Multiwell- oder Mikrotiterplatten in einer bestimmten Orientierung aufgelegt werden und es muss bekannt sein, welche Verstellungen, z.B. eines Probentisches, von einem Näpfchen zum nächsten nötig sind. Automatisiert kann dies nur bei Kenntnis der Probenträger erfolgen, zum Beispiel für spezielle Mikrotiterplatten eines bestimmten Herstellers. Auch ist hierbei in der Regel ein Anschlag oder eine Halterung am Tisch nötig, um eine Positionierung und Orientierung der Mikrotiterplatte vorzugeben. Für unbekannte Probenträger muss bei diesen Systemen manuell überprüft und dokumentiert werden, welches Probengefäß aktuell untersucht wird.
Als eine Aufgabe der Erfindung kann angesehen werden, ein Verfahren und ein Mikroskop anzugeben, welche in möglichst einfacher Weise eine zuverlässige Erfassung eines Messorts des Mikroskops erlauben.
Diese Aufgabe wird durch das Verfahren mit den Merkmalen des Anspruchs 1 und durch das Mikroskop mit den Merkmalen des Anspruchs 18 gelöst.
Vorteilhafte Varianten des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Mikroskops sind Gegenstand der abhängigen Ansprüche und werden außerdem in der folgenden Beschreibung erläutert.
Bei dem Verfahren der oben genannten Art wird erfindungsgemäß eine Abbildung bestimmt, durch welche das Übersichtsbild perspektivisch in ein Draufsichtbild überführbar ist, in Abhängigkeit von einer Höhe des Probenträgers. Sodann erfolgt ein Identifizieren des Messorts, mit Hilfe der bestimmten Abbildung, im Übersichtsbild oder in einem hieraus abgeleiteten Ausgabebild, beispielsweise im Draufsichtbild.
Das Mikroskop der Erfindung umfasst eine Recheneinrichtung und eine Übersichtskamera zum Aufnehmen eines Übersichtsbildes eines Probenträgers. Die Recheneinrichtung ist dazu eingerichtet, eine Abbildung zu bestimmen, durch welche das Übersichtsbild perspektivisch in ein Draufsichtbild überführbar ist, in Abhängigkeit von einer Höhe des Probenträgers. Die Recheneinrichtung ist außerdem dazu eingerichtet, den Messort, mit Hilfe der bestimmten Abbildung, im Übersichtsbild oder in einem hieraus abgeleiteten Ausgabebild zu identifizieren.
Die Abbildung kann eine Homographie sein, welche eine Ebene im Raum perspektivisch in eine andere Ebene abbildet oder projiziert. So beschreibt die Homographie, wie ein Bildinhalt des Übersichtsbilds aus einer anderen Blickrichtung (nämlich als Draufsichtbild) zu sehen wäre.
Die Vorteile der Erfindung kommen besonders zu tragen, wenn sich eine Übersichtskamera zur Aufnahme des Übersichtsbildes und ein Mikroskopobjektiv auf gegenüberliegenden Seiten (oberhalb/unterhalb) des Probenträgers befinden und der Probenträger keine vernachlässigbare Höhe hat. Ein Beispiel wird zum leichteren Verständnis nachfolgend erläutert. Ein Übersichtsbild wird in der Regel schräg zu einer Messrichtung des Mikroskops aufgenommen. Beispielsweise kann eine Blickrichtung einer Übersichtskamera schräg zur optischen Achse eines Objektivs des Mikroskops stehen. Der Messort des Mikroskops kann auf der optischen Achse des Objektivs liegen. In einem aufgenommenen Übersichtsbild ist aber nicht ohne Weiteres klar, durch welche Bildkoordinaten im Übersichtsbild die optische Achse des Objektivs verläuft. Dies hängt vom Abstand des Probenträgers zur Übersichtskamera ab, welcher prinzipiell variabel ist. Beispielsweise können verschiedene Probenträger (z.B. Mikrotiterplatten) verschiedene Höhenabmessungen haben, wodurch ein Abstand der aufgenommenen Mikrotiterplatten zu einer Übersichtskamera variabel ist. Gerade wenn die Übersichtskamera schräg zur optischen Achse steht, hängen die Bildkoordinaten des Messorts im Übersichtsbild stark von der Höhe des Probenträgers bzw. von dessen Relativlage zur Übersichtskamera ab. Um diese Abhängigkeit zu berücksichtigen, kann mit der Erfindung eine Homographie für die aktuell vorliegende Probenhöhe ermittelt werden. Durch diese ermittelte Homographie kann die Auswirkung der Probenhöhe auf die Bildkoordinaten des Messorts im Übersichtsbild berücksichtigt werden.
Unter einer Homographie kann eine Beschreibung oder Rechenvorschrift verstanden werden, wie die Punkte einer Ebene perspektivisch in eine andere Ebene abgebildet oder projiziert werden. Eine ermittelte Homographie kann beispielsweise durch eine Matrix gebildet sein, insbesondere eine 3×3-Matrix. Es kann eine Homographie ermittelt werden, mit welcher das Übersichtsbild in ein Draufsichtbild überführt werden kann. Diese Homographie hängt von der Probenhöhe ab, wie oben erläutert.
Wird mit der ermittelten Homographie aus dem Übersichtsbild ein Draufsichtbild als Ausgabebild berechnet, so wurde die Auswirkung der Probenhöhe auf die Bildkoordinaten im Ausgabebild beseitigt. Unabhängig von der konkreten Probenhöhe können in diesen Ausgabebildern die Bildkoordinaten des Messorts des Mikroskops stets dieselben sein. Die Werte der Bildkoordinaten des Messorts in einem Draufsichtbild können vorgegeben sein. Beispielsweise kann in einem Speicher hinterlegt sein, an welchen Bildkoordinaten in Draufsichtbildern sich der Messort befindet. Alternativ können diese Bildkoordinaten für Draufsichtbilder auch mit Hilfe bekannter Mikroskopparameter berechnet werden. Die Identifizierung des Messorts kann nun erfolgen, indem ein berechnetes Draufsichtbild als abgeleitetes Ausgabebild verwendet wird und hierin die vorgegebenen bzw. im Speicher hinterlegten Bildkoordinaten als Messort identifiziert werden.
Alternativ zur Berechnung eines Draufsichtbilds aus dem Übersichtsbild kann die ermittelte Homographie auch genutzt werden, um die Bildkoordinaten des Messorts in einem Draufsichtbild umzuwandeln in Bildkoordinaten des Messorts im Übersichtsbild. So kann die Identifizierung des Messorts erfolgen, indem mit Hilfe der bestimmten Homographie die vorgegebenen bzw. im Speicher hinterlegten Bildkoordinaten (des Messorts in Draufsichtbildern) auf eine Perspektive des Übersichtsbilds umgerechnet werden und diese umgerechneten Bildkoordinaten als Messort identifiziert werden. Es ist somit nicht nötig, aus einem Übersichtsbild ein Draufsichtbild zu berechnen.
Unter einem Draufsichtbild kann ein Bild verstanden werden, bei dem eine Blickrichtung senkrecht auf den Probenträger steht bzw. eine Blickrichtung parallel zur optischen Achse / Messrichtung des Mikroskops ist, insbesondere antiparallel zur Messrichtung. Die Messrichtung kann der optischen Achse eines Objektivs entsprechen. Das Mikroskop muss aber nicht zwingend ein Objektiv umfassen, sondern kann beispielsweise einen taktilen Messkopf umfassen oder nach einem anderen optischen Messprinzip arbeiten. In allgemeineren Varianten kann unter einem Draufsichtbild ein Bild in einer vom Übersichtsbild verschiedenen Perspektive verstanden werden, für welches die Bildkoordinaten des Messorts bekannt sind oder zunächst bestimmt werden. Typischerweise kann diese Kenntnis am leichtesten erlangt werden, wenn eine Blickrichtung des Draufsichtbilds parallel zur optischen Achse des Mikroskopobjektivs steht, wobei dies aber nicht zwingend ist. Die ermittelte Homographie kann somit für eine bestimmte Probenhöhe die Abbildung des Übersichtsbilds auf eine andere Ebene beschreiben, für welche die Lage des Messorts des Mikroskops bekannt ist.
Unter dem Messort des Mikroskops kann derjenige Bereich des Probenträgers bzw. einer Probe im Probenträger verstanden werden, welcher auf der optischen Achse eines verwendeten Mikroskopobjektivs liegt. Anders ausgedrückt kann unter dem Messort ein in einem Mikroskopbild scharf abgebildeter Bereich der Probe / des Probenträgers verstanden werden, bzw. der Mittelpunkt dieses Bereichs. Das Identifizieren des Messorts im Übersichtsbild oder in einem daraus abgeleiteten Bild soll sich auf Lateralkoordinaten des Messorts beziehen, welche eine Position senkrecht zur optischen Achse angeben. Im Übersichtsbild wird in der Regel ein Bild der Probenträgeroberseite aufgenommen und nicht etwa ein Bild der Detektionsebene, welche im Mikroskopbild aufgenommen wird und in welcher der Messort liegt. Die Probenträgeroberseite ist entlang der optischen Achse versetzt von der Detektionsebene und in der Regel parallel zur Detektionsebene. Die Projektion des Messorts auf die Probenträgeroberseite bzw. der Schnittpunkt der optischen Achse mit der Probenträgeroberseite soll im Übersichtsbild oder einem daraus abgeleiteten Bild ermittelt werden. Dieser Schnittpunkt hat dieselben Lateralkoordinaten wie der Messort - aus diesem Grund wird auch vorliegend davon gesprochen, den Messort im Übersichtsbild bzw. einem daraus abgeleiteten Bild zu identifizieren.
Es kann angenommen werden, dass der Probenträger eine ebene Oberfläche hat, also im Wesentlichen die gleiche Höhe hat. Die Höhe des Probenträgers kann eine Höhenebene senkrecht zur Messrichtung / optischen Achse des Mikroskops angeben. Die Höhenebene betrifft dabei die Seite oder die Strukturen des Probenträgers, die hauptsächlich im Übersichtsbild sichtbar sind. Hat der Probenträger beispielsweise einen transparenten Deckel, der im Übersichtsbild kaum sichtbar ist, und sind stattdessen die Oberkanten von Probengefäßen unter dem Deckel deutlicher sichtbar, so kann sich die Höhe auf eine Höhenebene durch diese sichtbaren Strukturen beziehen.
In anderen Worten kann die Höhe oder Höhenabmessung des Probenträgers dessen Abmessung entlang der optischen Achse eines Mikroskopobjektivs von einer Probenträgerunterseite bis zu einer Probenträgeroberseite bezeichnen. Diese Definition der Höhe ist angebracht, wenn Strukturen an der Probenträgerseite im Übersichtsbild sichtbar sind und für die Ermittlung der Homographie genutzt werden. In manchen Fällen ist jedoch eine Probenträgeroberseite im Übersichtsbild nicht genügend sichtbar und stattdessen bestimmen andere Probenträgerstrukturen, die sich zwischen der Probenträgerunterseite und -oberseite befinden, die Ermittlung der Homographie. In solchen Fällen bezeichnet die Höhe des Probenträgers eine Höhe der genannten Strukturen.
Ermittlung der Höhe des Probenträgers
Die zu bestimmende Homographie ist von der Höhe des Probenträgers abhängig. Dabei kann die für eine vorliegende Messsituation korrekte Homographie in verschiedener Weise ermittelt werden. Beispielsweise kann zunächst die Höhe des Probenträgers ermittelt werden, um dann eine zu dieser Höhe gehörige Homographie auszuwählen. Alternativ können auch verschiedene vorgegebene Homographien zu unterschiedlichen Höhen getestet werden und es wird bewertet, welche Homographie die besten Ergebnisse liefert; diese Homographie wird dann weiter verwendet, womit zwar eine von der Höhe des Probenträgers abhängige Homographie ausgewählt wird, aber keine direkte Höhenbestimmung erfolgt. Verschiedene Vorgehensweisen werden nachfolgend beschrieben.
Für die Bestimmung der korrekten Homographie ist die Lage des Probenträgers relativ zur Übersichtskamera entscheidend. Ist die Relativposition zwischen Übersichtskamera und Probentisch vorab bekannt, so kann auch die Kenntnis der Höhenabmessung des Probenträgers genutzt werden, um die Höhe / Höhenebene des Probenträgers abzuleiten.
Bei einer Variante der Erfindung wird ein Kalibriermuster bekannter Geometrie am Probenträger bereitgestellt. Beispielsweise kann ein planares Schachbrettmuster oder ein anderes Muster auf dem Probenträgerdeckel aufgebracht oder positioniert werden. Auch kann das Muster am Probenträgerrand angebracht werden oder durch Auflegen, Aufkleben oder Anlehnen angeordnet werden. Ebenso kann als Kalibriermuster ein Überziehrahmen oder Einlegerahmen verwendet werden, welcher als Rahmen um den Probenträger gelegt wird. Ein Bestimmen der Höhe des Probenträgers und/oder ein Bestimmen der Homographie umfasst nun ein Identifizieren und Lokalisieren eines Abbilds des Kalibriermusters im Übersichtsbild, oder einem hieraus abgeleiteten Bild, mittels Bildanalyse. Aus einer lokalisierten Lage oder perspektivischen Verzerrung des Abbilds des Kalibriermusters in einem Übersichtsbild kann nun die Höhe des Probenträgers und/oder die Homographie abgeleitet werden. Beispielsweise kann aus mehreren vorgegebenen Homographien diejenige ausgewählt werden, welche die beste Entzerrung des Abbilds des Kalibriermusters liefert.
Eine Übersichtskamera kann mehrere Übersichtsbilder nacheinander aufnehmen, insbesondere zum Erzeugen eines Livestreams. Beschriebene Bildanalyseschritte müssen sich nicht auf dasselbe Übersichtsbild beziehen, sondern können auch nacheinander aufgenommene Übersichtsbilder betreffen. Beispielsweise kann die Erkennung eines Kalibriermusters in einem ersten Übersichtsbild erfolgen und die Bestimmung des Messorts mit Hilfe einer ermittelten Homographie erfolgt auf Basis eines zweiten Übersichtsbilds. Bei der Aufnahme des zweiten Übersichtsbilds kann optional das Kalibriermuster entfernt worden sein. So kann auch die Bestimmung einer Homographie mit Hilfe eines anderen Übersichtsbildes erfolgen als die Bestimmung des Messorts in einem Übersichtsbild oder einem hieraus abgeleiteten Bild.
Mittels Bildanalyse kann auch überwacht werden, insbesondere in einem Livestream der Übersichtskamera, ob in Übersichtsbildern ein Abbild eines Kalibriermusters bekannter Geometrie enthalten ist. Wenn dies der Fall ist, kann ein automatisches Lokalisieren des Abbilds des Kalibriermusters im Übersichtsbild erfolgen. Ein Ableiten der Höhe des Probenträgers und/oder der Homographie erfolgt nun aus einer lokalisierten Lage oder perspektivischen Verzerrung des Abbilds des Kalibriermusters. Ein Nutzer muss demnach bloß das Kalibriermuster auflegen, aber keine Bildanalyse oder Kalibriermustererkennung selbst starten oder durchführen. Die Bildanalyse kann z.B. mittels Klassifikation oder Detektion erfolgen.
Bei manchen Varianten der Erfindung wird eine Optimierungsroutine zum Ermitteln der passenden Homographie verwendet. Hierbei wird eine Optimierungsfunktion eingesetzt, bei welcher der gesuchte Wert die Höhe des Probenträgers ist. Eine von dieser Höhe abhängige Homographie wird auf das Übersichtsbild angewandt und das resultierende Testbild wird mit einem Gütemaß bewertet. Das Gütemaß gibt an, wie gut das Testbild entzerrt ist, beispielsweise wie gut die Übereinstimmung von Probengefäßformen mit einer Kreisform ist (Exzentrizität).
Alternativ kann in einem ersten Schritt die Höhe des Probenträgers ermittelt werden und basierend auf der ermittelten Höhe wird anschließend eine Homographie ausgewählt oder berechnet. Eine vorgegebene Liste kann Homographien für verschiedene Höhen enthalten. Abhängig von der ermittelten Höhe wird die Homographie ausgewählt, deren Höhe am besten zur ermittelten Höhe passt. Liegt die ermittelte Höhe zwischen zwei in der Liste enthaltenen Höhen, können auch die beiden zugehörigen Homographien interpoliert werden. Alternativ kann auch mit Hilfe einer vorgegebenen Formel eine Homographie aus der ermittelten Höhe berechnet werden, insbesondere analytisch.
Zur Höhenbestimmung kann auch eine Oberseite des Probenträgers unter einem Winkel punktuell beleuchtet werden. Die Position des Beleuchtungspunktes im Übersichtsbild wird erfasst, woraus die Höhe abgeleitet werden kann. Insbesondere kann ein Spiegel auf die Oberseite des Probenträgers aufgelegt werden. Eine Lichtquelle beleuchtet den Probenträger mit dem Spiegel, womit eine Lichtspiegelung in einem Übersichtsbild gemessen wird. Die Position der Lichtspiegelung im Übersichtsbild wird ermittelt und hieraus wird die Höhe des Probenträgers abgeleitet. In einer Tabelle können vorgegebene Homographien auch direkt mit Positionen der Lichtspiegelungen verknüpft sein, so dass nicht explizit die Höhe erfasst oder ausgegeben werden muss. Ist die Oberfläche eines Probenträgers zumindest geringfügig spiegelnd, muss nicht zwingend ein Spiegel aufgelegt werden; vielmehr kann im Übersichtsbild auch eine Position einer Lichtspiegelung von der Oberseite des Probenträgers ermittelt werden.
Alternativ kann zur Höhenermittlung eine Größe oder Position eines Abbilds eines Elements im Übersichtsbild mittels Bildanalyse bestimmt werden. Eine Höhe des Probenträgers oder die Homographie kann sodann aus der gemessenen Größe oder Position des Abbilds des Elements abgeleitet werden. Beispielsweise kann eine Deckelgeometrie, insbesondere eine Deckelbreite, in einem Übersichtsbild ermittelt werden: Da insbesondere Multiwellplatten eine definierte Größe haben, kann aus der Größe beispielsweise des Deckels im Übersichtsbild die Höhe bestimmt werden. Auch kann eine Verschiebung zwischen Well-Boden und Well-Deckel ermittelt werden, um daraus die Höhe des Probenträgers abzuleiten. Ebenso kann eine Randhöhe des Probenträgers in einem Übersichtsbild gemessen werden, welche wiederum von der Höhe des Probenträgers abhängt. Weiterhin ist es möglich, rechte Winkel zu finden bzw. Winkel im Übersichtsbild zu messen. Eine Homographie kann nun derart geschätzt oder ausgewählt werden, dass rechte Winkel am Probenträger (z.B. an Kanten) auch einen rechten Winkel im perspektivisch korrigierten Ausgabebild ergeben, welches mit Hilfe der Homographie aus dem Übersichtsbild gewonnen wird. Aus mehreren vorgegebenen Homographien zu verschiedenen Höhen kann die Homographie ausgewählt werden, welche dasjenige Ausgabebild liefert, in dem die Probenträgerwinkel am nächsten an rechten Winkeln sind.
Eine Positions- oder Größenbestimmung kann in einem Übersichtsbild erfolgen, für welches der Probenträger auf dem Probentisch in einer Kalibrierposition angeordnet ist. Bei zu anderer Zeit aufgenommenen Übersichtsbildern kann der Probenträger hierzu lateral verschoben sein.
Die genannten Schritte zur Bestimmung der Homographie können automatisiert, insbesondere durch Bildverarbeitungsalgorithmen und/oder Maschinenlernalgorithmen, durchgeführt werden, oder auch manuell.
Bei einer weiteren Variante der Erfindung erfolgt eine Bildanalyse des Übersichtsbildes zur Typenerkennung oder Klassifikation des Probenträgers. Beispielsweise kann erkannt werden, welcher Typ (insbesondere Hersteller und Modell) an Multiwellplatte oder Kammerobjektträger vorliegt. Dies kann insbesondere durch Maschinenlernalgorithmen erfolgen, für welche Übersichtsbilder verschiedener Typen an Multiwellplatten oder Kammerobjektträgern eingelernt wurden. In einer Datenbank kann für verschiedene Probenträgertypen eine jeweilige Geometrieinformation, insbesondere eine jeweilige Höhe, hinterlegt sein. Dies kann so verstanden werden, dass entweder die Höhe / Höhenebene selbst gespeichert ist oder ein Wert, mit dem diese ableitbar ist, beispielsweise eine Höhenabmessung des Probenträgers, welche mit der vorab bekannten Probentischhöhe verrechnet die gewünschte Höhenebene ergibt. Ein anderes Beispiel einer Geometrieinformation sind Koordinaten eines Punktmusters auf einer Oberseite des Probenträgers. Beispielsweise können Koordinaten der vier Eckpunkte der Oberseite eines rechteckigen Probenträgers gespeichert werden, wobei abhängig vom Blickwinkel eines Übersichtsbildes die vier Eckpunkte kein Rechteck, sondern ein perspektivisch verzerrtes Viereck bilden. Mit Hilfe dieser Geometrieinformation wird die gesuchte Abbildung/Homographie ermittelt. So kann etwa aus dem gespeicherten Punktmuster (z.B. dem verzerrten Viereck) eine Rechenvorschrift bestimmt werden, welche das Punktmuster in die Perspektive einer Draufsicht überführt (in welcher das verzerrte Viereck ein Rechteck wird). Alternativ zu Geometrieinformationen kann für den Probenträgertyp aus einer Datenbank direkt die gesuchte Abbildung abgelesen werden; in diesem Fall sind in der Datenbank Abbildungen für verschiedene Probenträgertypen gespeichert.
Wird in der Bildanalyse ein bestimmter Typ erkannt, so wird aus der Datenbank die Höhe des Probenträgers abgelesen und diese Höhe wird für die Bestimmung der Homographie verwendet.
Wird in der Typenerkennung ein bisher unbekannter Probenträgertyp festgestellt, für den keine Geometrieinformation (insbesondere Höhe) in der Datenbank gespeichert ist, kann einer der folgenden Schritte durchgeführt werden:

- Aufforderung an einen Nutzer zum Eingeben einer Geometrieinformation, insbesondere einer Höhe, des Probenträgers; (Geometrieinformationen können insbesondere auch eingegeben werden, indem ein Nutzer im Übersichtsbild charakteristische Bereiche markiert, z.B. Ecken des Probenträgers) und/oder
- Ableiten einer Geometrieinformation, insbesondere einer Höhe, des Probenträgers aus einem im Übersichtsbild erkannten Abbild eines Kalibriermusters oder Elements bekannter Geometrie und/oder
- Aufforderung an einen Nutzer zum Auflegen eines Kalibriermusters mit anschließendem Ableiten einer Geometrieinformation, insbesondere einer Höhe des Probenträgers aus einem im Übersichtsbild erkannten Abbild des Kalibriermusters bekannter Geometrie und/oder
- Testen verschiedener Homographien zum Ermitteln einer bestpassenden Homographie; insbesondere können vorgegebene Homographien auf das Übersichtsbild angewandt und bewertet werden oder ein Optimierungsalgorithmus verändert variabel Parameter einer Homographie, bis ein Optimierungsergebnis als bestpassende Homographie akzeptiert wird.

Optional kann nun die Datenbank um die Geometrieinformation bzw. die Homographie für den vorliegenden, bisher unbekannten Probenträgertyp ergänzt werden.
Eine Höhe des Probenträgers und/oder die gesuchte Homographie können auch durch einen Vergleich von zwei oder mehr verschiedenen Übersichtsbildern ermittelt werden. Dazu können Übersichtsbildergenutzt werden, zwischen denen der Probentisch jeweils verfahren wurde, insbesondere in lateraler Richtung senkrecht zur optischen Achse des Mikroskops. Alternativ können die beiden Übersichtsbilder auch aus verschiedenen Perspektiven aufgenommen werden (z.B. durch die Verwendung mehrere Übersichtskameras), womit keine Bewegung des Probenträgers nötig ist. Es wird sodann ermittelt, wie ein oder mehr Elemente in den Übersichtsbildern jeweils verschoben sind. Mindestens eines der Elemente befindet sich an einer Oberseite des Probenträgers. Beispielsweise kann das Element eine Ecke oder ein Punkt einer Kante der Probenträgeroberseite oder einer oberen Kante eines der Probengefäße des Probenträgers sein. Auch kann das Element eine Beschriftung oder eine Markierung auf der Oberseite sein. Insbesondere kann ermittelt werden, wie sich zwischen zwei oder mehr Übersichtsbildern eine Lage verändert, die zwischen einem Abbild (mindestens) eines Elements am Probentisch und einem Abbild (mindestens) eines Elements an einer Oberseite des Probenträgers definiert ist. Eine Höhe des Probenträgers und/oder die Homographie können nun aus der ermittelten Veränderung dieser Lage abgeleitet werden.
Das Bestimmen der Homographie kann auch durch Testen mehrerer Homographien erfolgen. So können verschiedene Homographien auf das Übersichtsbild angewandt werden, wobei die verschiedenen Homographien zu verschiedenen Höhen gehören. Beispielsweise können 50 vorgegebene Homographien getestet werden, welche im 1 mm Abstand zueinander zu Probenträgerhöhen von 0 mm bis 50 mm gehören. Mit jeder dieser vorgegebenen Homographien wird aus dem Übersichtsbild jeweils ein Testbild erzeugt. Es wird nun bewertet, welches der Testbilder am besten entzerrt ist. Bewertungskriterien können z.B. die Winkeltreue oder Parallelität von Geraden sein. Probenträger haben häufig eine rechteckige Form, so dass ein korrekt entzerrtes Testbild 90°-Winkel oder zueinander parallele gegenüberliegende Kanten zeigen sollte. Kreisförmige Näpfchen einer Mikrotiterplatte sollten im korrekt entzerrten Bild kreisförmig und nicht elliptisch sein. Die Homographie des am besten entzerrten Testbilds wird als diejenige Homographie identifiziert/festgelegt, durch welche das Übersichtsbild perspektivisch in das Draufsichtbild überführbar ist. Alternativ zu vorgegebenen Homographien kann auch ein Optimierungsverfahren genutzt werden, welches nicht vorab festgelegte Homographien berechnet, hiermit Testbilder erzeugt und bewertet, und schließlich diejenige Homographie ausgibt, mit welcher das bestentzerrte Testbild erzeugt wurde.
Eine Probenträgerhöhe kann auch durch mindestens zwei Übersichtsbilder ermittelt werden, welche aus verschiedenen Beobachtungswinkeln aufgenommen wurden. Hierzu kann eine Übersichtskamera verfahrbar sein oder es sind mehrere Übersichtskameras vorhanden, die in verschiedenen Beobachtungswinkeln auf die Probe gerichtet sind. Aus Unterschieden zwischen den mindestens zwei Übersichtsbildern kann nun die Höhe des Probenträgers abgeleitet werden. Insbesondere können zwei Übersichtskameras orthogonal zueinander auf den Probentisch gerichtet sein. Es können nun Bildverschiebungen bestimmt werden, wobei nur ein Freiheitsgrad vorliegt, welcher der gesuchten Höhe des Probenträgers entspricht. Dies kann z.B. über Segmentierungsmasken erfolgen.
Die Höhe des Probenträgers kann prinzipiell auch manuell vom Nutzer angegeben werden. Dies kann zudem implizit über die Eingabe des Probenträgertyps geschehen, wenn für verschiedene Probenträgertypen eine jeweilige Höhe gespeichert ist.
Identifizieren von Probenbereichen aus dem Übersichtsbild
Es kann gewünscht sein, dass der Messort des Mikroskops nicht oder nicht nur in Form von Bildkoordinaten im Übersichtsbild ausgegeben wird. Vielmehr kann eine Identifizierung gewünscht sein, in welchem Probenbereich im Übersichtsbild der Messort liegt. Probenbereiche können insbesondere verschiedene Probenkammern oder -gefäße eines Probenträgers sein. Zunächst kann ein Draufsichtbild mit Hilfe der bestimmten Homographie aus dem Übersichtsbild berechnet werden. Mittels Bildanalyse werden sodann Probenbereiche im Draufsichtbild identifiziert. Schließlich wird ermittelt und ausgegeben, in welchem der identifizierten Probenbereiche der Messort liegt.
Das Lokalisieren mehrerer Probenbereiche im Draufsichtbild kann insbesondere ein Segmentieren umfassen, das heißt ein pixelweises Klassifizieren des Draufsichtbilds in verschiedene Klassen. Die Klassen umfassen eine oder mehrere der folgenden Klassen: „Probenkammer“, „Probenträger“, „Probenbereich“ und „Hintergrund“ und können auch weitere Klassen umfassen. Bereiche der Probenkammern werden hierdurch pixelgenau im Draufsichtbild lokalisiert. Die Klasse „Probenträger“ gibt an, welche Bildpunkte zwar einen Teil des Probenträgers zeigen, welche aber keine Probenkammer ist, also beispielsweise die Bereiche des Probenträgers zwischen Probenkammern. Als „Hintergrund“ wird ein Bereich lateral außerhalb des Probenträgers bezeichnet, wo beispielsweise der Probentisch aufgenommen sein kann.
Das Lokalisieren mehrerer Probenbereiche im Draufsichtbild kann alternativ auch eine Detektion von Probenkammerabbildern im Draufsichtbild und Schätzen der geometrischen Ausdehnungen umfassen, z.B. mittels Bounding Boxen.
Ein Verfeinern der Segmentierung oder Detektion durch ein dem Probenträger entsprechendes reguläres Muster kann optional ergänzt werden. Verschiedene Muster können für verschiedene Probenträger gespeichert sein. Alternativ kann das Muster aus den durch Segmentierung oder Detektion ermittelten Probenkammerabbildern abgeleitet werden. Unter einem Muster kann zum Beispiel verstanden werden, dass kreisförmige Probengefäße vorliegen, deren Durchmesser und Abstand zueinander als Durchschnitt der im Übersichtsbild ermittelten Durchmesser und Abstände der Probengefäße berechnet werden.
Ein Probenträgertyp kann ermittelt werden, insbesondere durch manuelle Eingabe von einem Nutzer oder durch Bildanalyse. Das analysierte Bild kann ein Übersichtsbild oder eines hieraus abgeleiteten Bildes sein, insbesondere das Ausgabe- oder Draufsichtbild. Für verschiedene Probenträgertypen können jeweils zugehörige Größen und Anordnungen von Probenkammern gespeichert sein. Beispielsweise kann der Probenträgertyp eine bestimmte Art von Mikrotiterplatte sein, zu welcher die Anzahl, Größe und Lage der Näpfchen (insbesondere relativ zum Probenträgerrand) gespeichert sind. Das Lokalisieren von Probenbereichen oder Probenkammern im Bild mittels Bildanalyse umfasst ein Ermitteln einer Lage, insbesondere einer Verschiebung und Rotation, des Abbilds des Probenträgers im analysierten Bild. Aus der ermittelten Lage und dem ermittelten Probenträgertyp wird sodann abgeleitet, an welchen Bildbereichen sich Probenkammerabbilder befinden. Die gespeicherten Informationen zu einen Probenträgertyp können sich auf ein Draufsichtbild beziehen, beispielsweise können die Informationen kreisförmige Näpfchen in einem rechteckigen Muster beschreiben. Wird anstelle eines Draufsichtbildes das Übersichtsbild analysiert, wird die ermittelte Homographie verwendet, um die gespeicherten Informationen perspektivisch an das Übersichtsbild anzupassen, womit beispielsweise elliptische Näpfchenabbilder vorliegen können.
Identifizieren des Messorts in Draufsichtbildern
In einem Speicher kann hinterlegt sein, an welchen Bildkoordinaten in Draufsichtbildern der Messort liegt. Diese Information kann über ein Kalibrieren einer Übersichtskamera gewonnen werden. Die Kalibrierung kann relativ zur Messrichtung des Mikroskops bzw. zu einer optischen Achse eines Mikroskopobjektivs erfolgen. Hierbei nimmt die Übersichtskamera ein Kalibrierbild auf. Dieses kann in gleicher Weise wie ein Übersichtsbild aufgenommen werden, wobei optional ein Muster (Kalibriermuster) auf dem Probentisch angeordnet wird. Es wird nun eine Homographie bezüglich einer bestimmten Höhenebene ermittelt, z.B. bezüglich der Probentisch-Ebene, durch welche das Kalibrierbild perspektivisch in ein Draufsichtkalibrierbild überführt wird. Im Draufsichtkalibrierbild wird daraufhin ein Schnittpunkt oder Durchstoßpunkt der optischen Achse / Messachse bestimmt. Hierzu kann beispielsweise ein Nutzer ein über das Mikroskopobjektiv aufgenommenes Mikroskopbild mit dem Draufsichtkalibrierbild vergleichen und als Schnittpunkt im Draufsichtkalibrierbild die Koordinaten markieren, welche der Mitte des Mikroskopbildes entsprechen. Die Koordinaten des Schnittpunkts im Draufsichtkalibrierbild werden gespeichert, um als Koordinaten des zu identifizierenden Messorts in einem Draufsichtbild verwendet zu werden. Da Draufsichtbilder perspektivisch korrigierte Übersichtsbilder sind, welche parallel zur Probentischebene stehen, sind in den Draufsichtbildern die Messortkoordinaten unabhängig oder weitgehend unabhängig von der Höhe eines Probenträgers.
Bildanalyse durch Maschinenlernen
Einige oder alle der in der vorliegenden Offenbarung genannten Bildanalysen können mittels Maschinenlernalgorithmen umgesetzt sein. Hierbei kann ein Modell für die Segmentierung oder Klassifikation des Probenträgers bzw. die Detektion der Probenkammern anhand einer Trainingsmenge und zugehörigen Annotationen mittels überwachtem Lernen generiert. Insbesondere können Deep-Learning-Verfahren eingesetzt werden.
Die als zusätzliche Mikroskopmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann das Mikroskop, insbesondere dessen Recheneinrichtung, auch zum Ausführen oder Veranlassen der beschriebenen Verfahrensvarianten eingerichtet sein.
Die genannte Recheneinrichtung kann durch einen am Mikroskop befindlichen Computer gestaltet sein oder alternativ oder teilweise durch einen entfernt befindlichen Server oder Computer, der beispielsweise über eine Netzwerkverbindung mit elektronischen Komponenten in der Umgebung des Mikroskopstativs kommuniziert. Die verschiedenen hier beschriebenen Bildanalysen und Mikroskopsteuerungen können durch die Recheneinrichtung erfolgen. Hierzu erforderliche Software kann in der Recheneinrichtung gespeichert sein. Die Recheneinrichtung kann auch durch einen oder mehrere Prozessoren, insbesondere Graphikprozessoren (GPUs), gebildet sein oder diese umfassen. GPUs können zum schnelleren Trainieren von Machine-Learning-Modellen vorteilhaft sein.
Das Übersichtsbild muss nicht zwingend unter einem Winkel zur optischen Achse des Mikroskops aufgenommen werden. Eine Blickrichtung bei der Aufnahme des Übersichtsbildes kann vielmehr auch parallel bzw. antiparallel zur Messrichtung des Mikroskops liegen. Im allgemeinen hat auch in diesen Fällen die Höhe des Probenträgers eine Auswirkung darauf, an welchen Koordinaten im Übersichtsbild sich der Messort befindet. Die gesuchte Homographie beschreibt somit allgemein eine perspektivische Abbildung des Übersichtsbildes auf eine andere Ebene, welche einem anderen Betrachtungswinkel und/oder Betrachtungsabstand zum Probenträger (bzw. zu dessen Oberseite) entspricht.
Weitere Varianten der Erfindung resultieren, wenn in den obigen Beschreibungen statt einer „Homographie“ eine „Abbildung“ genutzt wird. Die Abbildung muss nicht zwingend eine Rechenvorschrift umfassen, wie eine Ebene im Raum in eine andere Ebene überführt wird. Vielmehr kann die Abbildung auch durch beispielsweise Maschinenlernalgorithmen eingelernt sein. In diesem Fall wird aus dem Bildinhalt des Übersichtsbilds oder auch aus anderen Informationen ebenfalls berechnet oder ausgewählt, wie das Übersichtsbild in ein Draufsichtbild umzuformen ist. Geometrisch muss dies nicht zwingend einer Homographie entsprechen.
In einem eigenständigen Erfindungsgedanken kann eingelernt werden, die Bildkoordinaten des Messorts direkt aus einem Übersichtsbild abzuleiten. Dies kann beispielsweise mittels Regression gelernt werden. Verwendete Trainingsdaten zeigen Übersichtsbilder von verschieden hohen Probenträgern, wobei jeweils ein Messort als Zielgröße des Maschinenlernalgorithmus annotiert ist. Der Algorithmus lernt somit, auf die Koordinaten des Messorts im Übersichtsbild zu schließen, ohne dass eine hierbei Homographie ermittelt oder angewandt werden muss.
Weitere Vorteile und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung eines Probenträgers zur Erläuterung von Aspekten der Erfindung;
2 ist eine schematische Darstellung eines Ausführungsbeispiels eines Mikroskops gemäß der Erfindung;
3 zeigt schematisch ein Übersichtsbild, das mit dem Mikroskop aus 2 aufgenommen wurde;
4 zeigt schematisch ein Draufsichtbild, das aus dem Übersichtsbild von 3 berechnet wurde; und
5 ist ein Flussdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.

Gleiche und gleich wirkende Bestandteile sind in den Figuren in der Regel mit denselben Bezugszeichen gekennzeichnet.
1 zeigt schematisch einen Probenträger 10 mit mehreren Probengefäßen 11. Im dargestellten Beispiel handelt es sich um eine Mikrotiterplatte mit mehreren Näpfchen (Wells), wobei auch beliebige andere Container als Probengefäße 11 möglich sind. Die Probengefäße 11 sind in diesem Beispiel in Spalten und Zeilen angeordnet, wobei eine Zeilenbeschriftung 8 die verschiedenen Zeilen A-G angibt und eine Spaltenbeschriftung die Spalten 1-6 angibt. Mit einem Mikroskop werden nacheinander (die Reihenfolge ist nicht zwingend vorgegeben) die verschiedenen Probengefäße 11 untersucht und jeweils Mikroskopbilder aufgenommen. Dabei muss zuverlässig dokumentiert werden, zu welchem der Probengefäße 11 die aufgenommenen Mikroskopbilder gehören.
Erreicht wird dies durch ein erfindungsgemäßes Mikroskop 100, wie es beispielhaft in der schematischen 2 gezeigt ist. Das Mikroskop 100 umfasst einen Probentisch oder Mikroskoptisch 20, auf dem der Probenträger 10 positioniert ist. Wie beschrieben, umfasst der Probenträger 10 mehrere Probengefäße 11, in denen sich zumindest teilweise zu untersuchende Proben befinden. Über einen Kondensor 40 wird Beleuchtungslicht auf den Probenträger 10 geleitet. Von einer Probe ausgehendes Detektionslicht kann über ein Objektiv 30 mit einer Kamera 35 nachgewiesen werden. In diesem Beispiel wird der Probentisch 20 händisch verstellt, womit die Lage relativ zum Objektiv 30 nicht per se bekannt ist. Ohne weitere Maßnahmen ist daher ein Messort 22, an welchem eine optische Achse 32 des Objektivs 30 die Probe trifft, nicht bekannt. Daher muss der Messort 22, bzw. die Information, auf welches der Probengefäße 11 die optische Achse 32 stößt, ermittelt werden. Dieses Ziel besteht auch bei motorisch verstellbaren Probentischen, bei denen zwar eine Position des Probentischs 20 relativ zum Objektiv 30 bekannt sein kann, aber dennoch die Lage des Probenträgers 10 auf dem Probentisch 20 nicht zwingend bekannt ist bzw. von einer vermuteten Lage abweichen kann.
Um den Messort 22 des Objektivs 30 und der Kamera 35 zu bestimmen, wird eine Übersichtskamera 60 verwendet. Das Sichtfeld 62 der Übersichtskamera 60 ist mit gestrichelten Linien in 2 eingetragen und deckt den gesamten Probenträger 10 oder einen Teil des Probenträgers 10 ab. Für eine eindeutige Identifizierung von Probengefäßen 11 ist es vorteilhaft, wenn das Sichtfeld 62 zwei oder mehr Kanten des Probenträgers 10 abdeckt, vergleiche 1. Aus einem aufgenommenen Übersichtsbild soll eine Lateralposition des Messorts 22, das heißt eine Ortsangabe des Messorts 22 senkrecht zur optischen Achse 32, bestimmt werden. Die Ortsangabe kann beispielsweise eine Identifizierung desjenigen Probengefäßes 11 sein, durch welches die optische Achse 32 momentan bzw. während der Aufnahme eines Mikroskopbildes verläuft. In dem dargestellten Beispiel befindet sich die Übersichtskamera 60 relativ zum Objektiv 30 auf einer gegenüberliegenden Seite des Probengefäßes 10. Dadurch nimmt die Übersichtskamera 60 ein Übersichtsbild von einer Oberseite 23 des Probenträgers 10 auf. Eine Ebene der Oberseite 23 senkrecht zur optischen Achse 32 gibt die Höhe H des Probenträgers 20 an. Der Messort 22 ist im Allgemeinen entlang der optischen Achse 32 versetzt zur Oberseite 23, die im Übersichtsbild aufgenommen wird. Der Messort 22 liegt, je nach Mikroskopeinstellung, im Bereich einer Unterseite 21 des Probenträgers 10 oder jedenfalls beabstandet von der Oberseite 23. Im Übersichtsbild ist daher ein Schnittpunkt 24 zu ermitteln, welcher der Projektion des Messorts 22 entlang der optischen Achse 32 auf die Oberseite 23 entspricht. Die Lage dieses Schnittpunkts 24 im Übersichtsbild gibt die laterale Lage des Messorts 22 an.
Eine Schwierigkeit resultiert daraus, dass die Höhenabmessung des Probenträgers 10 und somit die Lage der Oberseite 23 unbekannt oder variabel ist. Im Übersichtsbild schwankt die Lage des Schnittpunkts 24 abhängig vom Abstand der Oberseite 23 von der Übersichtskamera 60 und somit abhängig von der Höhe H. Die Erfindung stellt eine Lösung bereit, wie aus einem Übersichtsbild auf die Laterallage des Messorts 22 geschlossen werden kann. Hierfür wertet eine Recheneinrichtung 50 aufgenommene Übersichtsbilder aus. Wie in 2 angedeutet, kann die Recheneinrichtung 50 auch zur Steuerung oder Kommunikation mit verschiedenen Komponenten des Mikroskops 100 eingerichtet sein, insbesondere mit der Übersichtskamera 60, der Kamera 30 oder einer hier nicht dargestellten Lichtquelle, welche über den Kondensor 40 den Probenträger 10 beleuchtet.
Die Auswertung eines Übersichtsbildes durch die Recheneinrichtung 50 wird näher mit Bezug auf die 3 und 4 beschrieben. 3 zeigt ein Übersichtsbild 70. In diesem ist ein Abbild des Probenträgers 10' mit den Probengefäßen 11' erkennbar. Im dargestellten Beispiel ist auch ein Abbild des Kondensors 40' im Übersichtsbild 70 enthalten, was aber je nach Anordnung der Übersichtskamera 60 nicht zwingend ist.
In diesem Beispiel hat die Oberseite 23 des Probenträgers 10 eine rechteckige Form mit kreisförmigen Probengefäßen 11, womit im Übersichtsbild 70 die Form des Abbilds 10' des Probenträgers und die Form des Abbilds 11' der Probengefäße perspektivisch verzerrt sind.
Das Übersichtsbild 70 wird entzerrt, womit das in 4 gezeigte Draufsichtbild 71 erzeugt wird. Genauer gesagt, werden Bildinformationen aus der Ebene der Oberseite 23 des Probenträgers 10 entzerrt. Dadurch hat das Abbild 10' der Oberseite 23 des Probenträgers im Draufsichtbild 71 eine Rechteckform und die Abbilder 11' der Oberkanten der Probengefäße sind kreisförmig.
Solche Bildtransformationen werden als Abbildungen oder insbesondere Homographien bezeichnet. Was für eine Abbildung oder Homographie zutreffend ist, um aus dem Übersichtsbild 70 ein korrekt entzerrtes Draufsichtbild 71 zu erzeugen, hängt von der Lage der Oberseite 23 relativ zur Übersichtskamera 60 ab, das heißt von der Höhe H.
Ein Draufsichtbild 71 erleichtert einerseits Bildanalysen, da keine (unbekannte) Verzerrung berücksichtigt werden muss, womit die Abbilder von Probenträger 10' und Probengefäßen 11' zuverlässiger identifiziert werden können. Dies kann insbesondere durch Maschinenlernalgorithmen erfolgen.
Darüber hinaus bietet ein Draufsichtbild Vorteile in der Ermittlung des Messorts 22, wozu auf 2 Bezug genommen wird. Im Fall eines Draufsichtbildes (das beispielsweise einer Ansicht vom Kondensor 40 aus entspräche) hat die Höhe H keinen Einfluss auf die Bildkoordinaten des Schnittpunkts 24. Anders verhält es sich bei der schrägen Bildaufnahme durch die Übersichtskamera 60: Je nach Höhe H wird der Schnittpunkt 24 entlang der gestrichelt dargestellten optischen Achse 32 verschoben, was zu einer Verschiebung im Übersichtsbild führt. Wird das Übersichtsbild jedoch mit der zutreffenden Homographie in ein Draufsichtbild überführt, sind die Bildkoordinaten des Schnittpunkts 24 im Draufsichtbild wiederum unabhängig von der Höhe H, bzw. ist die mathematische Abhängigkeit von der Höhe H im Draufsichtbild bekannt. In 4 ist das Abbild 24' des Schnittpunkts eingezeichnet, welcher den Messort 22, beziehungsweise dessen Projektion auf die Oberseite des Probenträgers 10, angibt. Zudem wurden in 4 per Bildanalyse die Abbilder 11' der Probengefäße lokalisiert, so dass eine Ausgabe erzeugt werden kann, in welchem dieser Abbilder 11' der Probengefäße das Abbild 24' des Schnittpunkts liegt, das heißt, in welchem der Probengefäße 11 der Messort 22 liegt.
Im oben beschriebenen Ausführungsbeispiel wird mit der Homographie zur Höhe H ein Draufsichtbild berechnet, um hierin den Messort 22 bzw. Schnittpunkt 24 zu identifizieren. Es kann aber auch die Homographie zur Höhe H verwendet werden, um die Draufsichtbild-Koordinaten des Abbilds 24' in Übersichtsbild-Koordinaten zu überführen. In diesem Fall wird also die Homographie zur Höhe H verwendet, um die Koordinaten des Schnittpunkts 24 im Übersichtsbild 70 zu berechnen, und es ist nicht nötig, aus dem Übersichtsbild 70 ein Draufsichtbild 71 zu berechnen.
Ausführungsbeispiele des Verfahrens der Erfindung
Schritte von Ausführungsbeispielen des erfindungsgemäßen Verfahrens werden näher mit Bezug auf das Flussdiagramm aus 5 erläutert.
Zunächst wird in Schritt S1 ein Übersichtsbild 70 der Oberseite 23 des Probenträgers 10 aufgenommen.
In Schritt S2 wird ermittelt, welche Homographie für dieses Übersichtsbild 70 passt. Wie beschrieben, ist die passende Homographie von der Höhe H des Probenträgers abhängig.
Mit Hilfe der ermittelten Homographie wird in Schritt S5 der Messort 22 bzw. der Schnittpunkt 24 im Übersichtsbild 70 oder in einem daraus abgeleiteten Ausgabebild bestimmt.
In Schritt S8 wird eine Ausgabe abhängig von einer Lage des Messorts im Ausgabebild erzeugt.
S2 kann optional durch einen Schritt S3 oder einen Schritt S4 implementiert werden. In S3 werden verschiedene Homographien auf das Übersichtsbild 70 angewandt. So werden mehrere Testbilder erzeugt. Die verschiedenen Homographien sind vorgegeben und beschreiben jeweils eine korrekte Entzerrung für eine jeweilige Höhe H. Es wird nun bewertet, welches Testbild für das vorliegende Übersichtsbild die beste Entzerrung liefert, und die zugehörige Homographie wird ausgewählt. Eine Bestimmung der Höhe H erfolgt hier lediglich indirekt über die Auswahl einer der Homographien.
Alternativ kann in S4 zunächst durch eine Messung die Höhe H ermittelt werden. Sodann kann beispielsweise aus einer gegebenen Liste von Homographien zu verschiedenen Höhen diejenige Homographie ausgewählt werden, welche der gemessenen Höhe H entspricht.
Verschiedene Beispiele und Varianten der Schritte S3 und S4 sind im allgemeinen Beschreibungsteil näher angegeben.
Für den darauffolgenden Schritt S5 kann die Lage eines Messorts 22 des Mikroskops für Draufsichtbilder vorab bekannt sein oder durch eine Kalibriermessung ermittelt werden. Da allerdings in S1 kein Draufsichtbild, sondern ein Übersichtsbild aus schrägem Winkel aufgenommen wurde, ist nun eine Aufgabe, den örtlichen Zusammenhang zwischen dem Messort 22 und dem Übersichtsbild 70 in Schritt S5 herzustellen. S5 kann beispielhaft durch Schritt S6 oder Schritt S7 umgesetzt werden. In S6 wird aus dem Übersichtsbild 70 mit Hilfe der Homographie aus S2 ein Draufsichtbild 71 berechnet, in dem die Bildkoordinaten des Messorts bekannt sind. Alternativ werden in S7 die bekannten Messort-Koordinaten für Draufsichtbilder umgerechnet, mit Hilfe der Homographie aus S2, in Bildkoordinaten für das Übersichtsbild 70. In dieser Weise wird der Messort nicht in einem Draufsichtbild 71, sondern im Übersichtsbild 70 identifiziert. In weiteren Beispielen ist es auch möglich, dass ein aus dem Übersichtsbild gewonnenes Ausgabebild berechnet wird und die Messort-Koordinaten für Draufsichtbilder umgerechnet werden für eine Perspektive dieses Ausgabebilds.
In Schritt S8 wird eine Ausgabe abhängig von der ermittelten Lage des Messorts 22 im Ausgabebild erzeugt, wobei das Ausgabebild insbesondere perspektivisch dem Übersichtsbild oder einem Draufsichtbild entsprechen kann. Beispielsweise können durch Bildanalyseverfahren mehrere Probengefäße 11 des Probenträgers 10 im Ausgabebild identifiziert werden und es wird im Ausgabebild markiert, auf welches dieser Probengefäße 11 die optische Achse des Mikroskops momentan gerichtet ist, das heißt, in welchem der Probengefäße der Messort 22 momentan liegt.
Anstelle eines Probenträgers 10 mit mehreren voneinander getrennten Probengefäßen kann auch ein Probenträger mit mehreren Probenbereichen verwendet werden. Beispielsweise kann der Probenträger eine Petrischale sein, in welcher mehrere, insbesondere voneinander beabstandete, Probenbereiche bereitgestellt sind. Solche Petrischalen sind beispielsweise in der In-vitro-Fertilisation gebräuchlich. Die obigen Ausführungen zu Probengefäßen gelten analog auch für diese Probenbereiche.
Weitere Beispiele von Ausgaben in Schritt S8 werden nachstehend beschrieben:

Es kann eine Identifikationsangabe eines Probenbereichs oder einer Probenkammer, in welcher der Messort liegt, ausgegeben werden. Insbesondere kann eine nummerierte Zuordnung der gefundenen Näpfchen (Töpfchen) des Probenträgers erfolgen, z.B. in der Form „A1“, „B5“ etc. Hierfür werden mittels Bildanalyse im Übersichtsbild oder einem daraus gewonnenen Bild, z.B. dem Draufsichtbild, die Näpfchen lokalisiert und ab einem Probenträgerrand abgezählt, so dass eine Spalten- und Reihenangabe zu jedem Näpfchen möglich ist. Hierbei kann auch eine Klassifikation des Probenträgers mittels Bildanalyse erfolgen, wodurch die Gesamtzahl an Spalten und Reihen bekannt ist. Ein Abzählen von Näpfchen ist dann ab einer beliebigen Kante im Übersichtsbild möglich, auch wenn nicht der gesamte Probenträger im Übersichtsbild aufgenommen wird. Alternativ können Markierungen erkannt werden, die auf dem Probenträger an ein Probengefäß angrenzen, z.B. „A1“, wie bei manchen Multiwellplatten üblich. Diese können durch beispielsweise OCR (Optical Character Recognition) erkannt werden, womit das benachbarte Probengefäß identifiziert wird. Somit sind ein Abzählen oder die für ein Abzählen nötigen Kontextinformation im Übersichtsbild nicht erforderlich.

Es kann insbesondere vorgesehen sein, dass mit dem Mikroskop ein oder mehrere Mikroskopbilder aufgenommen werden, in welchen ein Probenbereich um die optische Achse abgebildet wird. Mehrere Mikroskopbilder können insbesondere lateral zueinander versetzte Probenbereiche zeigen. In Schritt S8 können nun Identifikationsangaben als Metadaten zu einem zugehörigen Mikroskopbild, das insbesondere mit gleicher Tischposition wie das Übersichtsbild aufgenommen wurde, gespeichert werden.
Auch kann in S8 ein Übersichtsbild oder ein hieraus abgeleitetes Bild dargestellt werden, wobei ein aktueller Messort markiert wird und/oder diejenigen Probenbereiche markiert werden, zu denen bereits Mikroskopbilder aufgenommen wurden (Tracking). Zudem kann angezeigt werden, zu welchem Ausschnitt eines Probengefäßes ein Mikroskopbild aufgenommen wird oder wurde. Vorhandene Informationen zu einer Befüllung der Probengefäße können mit dem verarbeiteten Übersichtsbild verknüpft werden, oder es kann aus dem Übersichtsbild per Bildanalyse erkannt werden, welche der Probengefäße befüllt sind. Es kann dokumentiert werden, dass alle (befüllten) Probengefäße untersucht werden, z.B. indem abgearbeitete Wells/Probengefäße andersfarbig dargestellt werden. Hiermit kann auch vermieden werden, dass versehentlich zweimal dasselbe Probengefäß untersucht wird, was herkömmlicherweise droht, wenn ein Nutzer die Messposition ändert und vermutet, es wäre bereits das benachbarte Probengefäß erreicht. Eine Ausgabe von S8 kann auch zur Steuerung von motorischen Probentischen verwendet werden. In der motorischen Steuerung kann eine aus dem Übersichtsbild abgeleitete Orientierung des Probenträgers, Probengefäßgröße und/oder Befüllung einzelner Probengefäße berücksichtigt werden.
Die Information des Messorts oder Probengefäßes, zu dem ein Mikroskopbild aufgenommen wurde, kann auch genutzt werden, um diesen Probenbereich später wiederzufinden und insbesondere automatisch anzufahren. Dies kann beispielsweise bei Scratch Assays genutzt werden, bei denen eine Zellmigration nach einem Wegkratzen beobachtet werden soll.
Mit den beschriebenen Erfindungsvarianten kann in kostengünstiger Weise eine flexible und zuverlässige Ermittlung des Messorts in Übersichtsbildern oder daraus abgeleiteten Bildern bereitgestellt werden.
Bezugszeichenliste

1-6: Spaltennummern des Probenträgers 10
8: Zeilenbeschriftung des Probenträgers 10
10: Probenträger, Mikrotiterplatte
10': Abbild des Probenträgers 10 im Übersichtsbild oder Draufsichtbild
11: Probengefäß des Probenträgers 10
11': Abbild des Probengefäßes 11 im Übersichtsbild oder Draufsichtbild
20: Probentisch
21: Ebene der Unterseite des Probenträgers 10
22: Messort
23: (Ebene der) Oberseite des Probenträgers 10
24: Schnittpunkt der optischen Achse 32 mit der Oberseite 23, bzw. Projektion des Messorts 22 auf die Oberseite 23
24': Abbild des Schnittpunkts 24 bzw. des Messorts 22 im Übersichtsbild oder Draufsichtbild
30: (Mikroskop-)Objektiv
32: Optische Achse des Objektivs 30
35: Kamera
40: Kondensor
40': Abbild des Kondensors 40 im Übersichtsbild oder Draufsichtbild
50: Recheneinrichtung
60: Übersichtskamera
62: Sichtfeld der Übersichtskamera 60
70: Übersichtsbild
71: Draufsichtbild, aus dem Übersichtsbild 70 berechnet
100: Mikroskop
A-G: Zeilenbeschriftungen des Probenträgers 10
H: Höhe des Probenträgers 10
S1-S8: Verfahrensschritte

Claims

Verfahren zum Ermitteln eines Messortes (22) eines Mikroskops (100), umfassend: Erhalten eines Übersichtsbildes (70) eines Probenträgers (10); gekennzeichnet durch Bestimmen einer Abbildung, durch welche das Übersichtsbild (70) perspektivisch in ein Draufsichtbild (71) überführbar ist, in Abhängigkeit von einer Höhe (H) des Probenträgers (10); und Identifizieren des Messorts (22), mit Hilfe der bestimmten Abbildung, im Übersichtsbild (70) oder in einem hieraus abgeleiteten Ausgabebild.
Verfahren nach vorstehendem Anspruch, dadurch gekennzeichnet, dass die Abbildung eine Homographie ist.
Verfahren nach vorstehendem Anspruch, dadurch gekennzeichnet, dass das abgeleitete Ausgabebild ein Draufsichtbild (71) ist, welches mit Hilfe der bestimmten Homographie aus dem Übersichtsbild (70) berechnet wird.
Verfahren nach einem der Ansprüche 2 und 3, dadurch gekennzeichnet, dass in einem Speicher Messort-Bildkoordinaten für Draufsichtbilder hinterlegt sind, dass die Identifizierung des Messorts (22) erfolgt, indem: A) als abgeleitetes Ausgabebild ein Draufsichtbild (71) mit Hilfe der bestimmten Homographie aus dem Übersichtsbild (70) berechnet wird; und die im Speicher hinterlegten Messort-Bildkoordinaten als Messort (22) in dem Draufsichtbild (71) identifiziert werden; oder B) mit Hilfe der bestimmten Homographie die im Speicher hinterlegten Messort-Bildkoordinaten auf eine Perspektive des Übersichtsbilds (70) umgerechnet werden und diese umgerechneten Bildkoordinaten als Messort (22) identifiziert werden.
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch: Bereitstellen eines Kalibriermusters bekannter Geometrie am Probenträger (10); Lokalisieren eines Abbilds des Kalibriermusters im Übersichtsbild (70) oder in einem weiteren Übersichtsbild mittels Bildanalyse; Ableiten der Höhe (H) des Probenträgers (10) und/oder der Homographie aus einer lokalisierten Lage oder perspektivischen Verzerrung des Abbilds des Kalibriermusters.
Verfahren nach einem der Ansprüche 2 bis 5, gekennzeichnet durch: Überwachen mittels Bildanalyse, ob im Übersichtsbild (70) oder einem weiteren Übersichtsbild ein Abbild eines Kalibriermusters bekannter Geometrie enthalten ist, und, wenn dies der Fall ist, automatisches Lokalisieren des Abbilds des Kalibriermusters im Übersichtsbild (70) oder weiteren Übersichtsbild und Ableiten der Höhe (H) des Probenträgers (10) und/oder der Homographie aus einer lokalisierten Lage oder perspektivischen Verzerrung des Abbilds des Kalibriermusters.
Verfahren nach einem der Ansprüche 2 bis 6, gekennzeichnet durch: Ermitteln einer Höhe (H) des Probenträgers (10); und Berechnen oder Auswählen der Homographie basierend auf der ermittelten Höhe (H).
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch: Ermitteln einer Größe oder Position eines Abbilds eines Elements im Übersichtsbild (70) mittels Bildanalyse; und Ableiten der Höhe (H) des Probenträgers (10) oder der Homographie aus der gemessenen Größe oder Position des Abbilds des Elements.
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch: Bildanalyse des Übersichtsbildes (70) zur Typenerkennung des Probenträgers (10); sofern ein bestimmter Probenträgertyp erkannt wird: - Ablesen einer zugehörigen Geometrieinformation, insbesondere der Höhe (H), des Probenträgers (10) aus einer Datenbank, in welcher Geometrieinformationen für verschiedene Probenträgertypen gespeichert sind, wobei mit Hilfe der Geometrieinformation auf die Abbildung geschlossen wird, oder - Ablesen der Abbildung für den Probenträgertyp aus einer Datenbank, in welcher Abbildungen für verschiedene Probenträgertypen gespeichert sind.
Verfahren nach vorstehendem Anspruch, gekennzeichnet durch: sofern in der Typenerkennung ein bisher unbekannter Probenträgertyp festgestellt wird: - Aufforderung an einen Nutzer zum Eingeben einer Geometrieinformation, insbesondere einer Höhe (H), des Probenträgers (10) und/oder - Ableiten einer Geometrieinformation, insbesondere einer Höhe (H), des Probenträgers (10) aus einem im Übersichtsbild (70) erkannten Abbild eines Kalibriermusters bekannter Geometrie und/oder - Aufforderung an einen Nutzer zum Auflegen eines Kalibriermusters, anschließendes Aufnehmen eines weiteres Übersichtsbildes und Ableiten einer Geometrieinformation, insbesondere einer Höhe (H), des Probenträgers (10) aus einem im weiteren Übersichtsbild erkannten Abbild des Kalibriermusters; - Testen verschiedener Homographien zum Ermitteln einer bestpassenden Homographie; und - Ergänzen der Datenbank um die Geometrieinformation, insbesondere die Höhe (H), oder die bestpassende Homographie für den vorliegenden, bisher unbekannten Probenträgertyp.
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch: Bereitstellen von mindestens zwei Übersichtsbildern, die mit verschiedenen Positionen eines Probentischs (20) oder aus verschiedenen Perspektiven aufgenommen wurden; Ermitteln, wie eine Lage, die zwischen einem Abbild eines Elements am Probentisch (20) und einem Abbild eines Elements an einer Oberseite (23) des Probenträgers (10) definiert ist, sich zwischen den Übersichtsbildern verändert, Ableiten einer Höhe (H) des Probenträgers (10) oder der Homographie aus der ermittelten Veränderung der Lage.
Verfahren nach einem der Ansprüche 2 bis 11, dadurch gekennzeichnet, dass das Bestimmen der Homographie umfasst: Anwenden verschiedener Homographien auf das Übersichtsbild (70), wobei die verschiedenen Homographien verschiedenen Höhen (H) entsprechen, zum Erzeugen mehrerer Testbilder; Bewerten, welches der Testbilder am besten entzerrt ist; und Identifizieren der Homographie des am besten entzerrten Testbilds als diejenige Homographie, durch welche das Übersichtsbild (70) perspektivisch in das Draufsichtbild (71) überführt wird.
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch: Erhalten von mindestens zwei Übersichtsbildern aus verschiedenen Beobachtungswinkeln und Ableiten der Höhe (H) des Probenträgers (10) aus Bildunterschieden zwischen den mindestens zwei Übersichtsbildern.
Verfahren nach einem der Ansprüche 2 bis 13, gekennzeichnet durch: Lokalisieren, mittels Bildanalyse, mehrerer Probenbereiche im Draufsichtbild (71), welches mit Hilfe der bestimmten Homographie aus dem Übersichtsbild (70) berechnet wird; und Ermitteln und Ausgeben, in welchem Probenbereich der Messort (22) liegt, wobei das Lokalisieren mehrerer Probenbereiche im Draufsichtbild (71) umfasst: - Segmentierung des Draufsichtbilds (71) in Klassen, welche die Klassen „Probenkammer“, „Probenbereich“, „Probenträger“ und/oder „Hintergrund“ umfassen, oder - Detektion von Probenkammerabbildern im Draufsichtbild (71) und Schätzen der geometrischen Ausdehnungen.
Verfahren nach vorstehendem Anspruch, gekennzeichnet durch: Verfeinern der Segmentierung oder Detektion durch ein dem Probenträger (10) entsprechendes reguläres Muster, wobei verschiedene Muster für verschiedene Probenträger (10) gespeichert sind, oder das Muster aus den durch Segmentierung oder Detektion ermittelten Probenkammerabbildern abgeleitet wird.
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch: Ermitteln eines Probenträgertyps, wobei für verschiedene Probenträgertypen jeweils zugehörige Größen und Anordnungen von Probenkammern gespeichert sind; wobei das Lokalisieren von Probenbereichen im Übersichtsbild (70) oder Ausgabebild mittels Bildanalyse umfasst: Ermitteln einer Lage des Abbilds des Probenträgers (10) im Übersichtsbild (70) oder Ausgabebild; Ableiten aus der ermittelten Lage und dem ermittelten Probenträgertyp, an welchen Bildbereichen sich Probenkammerabbilder befinden.
Verfahren nach einem der vorstehenden Ansprüche, gekennzeichnet durch: Kalibrieren einer Übersichtskamera (60) relativ zu einer optischen Achse (32) eines Mikroskopobjektivs (30) durch: Aufnehmen eines Kalibrierbildes; Ermitteln einer Homographie bezüglich einer bestimmten Höhenebene, durch welche das Kalibrierbild perspektivisch in ein Draufsichtkalibrierbild überführt wird; Ermitteln eines Schnittpunkts der optischen Achse (32) mit der bestimmten Höhenebene im Draufsichtkalibrierbild; Speichern von Koordinaten dieses Schnittpunkts im Draufsichtkalibrierbild zur Verwendung als Koordinaten des zu identifizierenden Messorts (22) in einem Draufsichtbild (71).
Mikroskop mit einer Übersichtskamera (60) zum Aufnehmen eines Übersichtsbildes (70) eines Probenträgers (10); gekennzeichnet durch eine Recheneinrichtung (50), welche eingerichtet ist zum: Bestimmen einer Abbildung, durch welche das Übersichtsbild (70) perspektivisch in ein Draufsichtbild (71) überführbar ist, in Abhängigkeit von einer Höhe (H) des Probenträgers (10); und Identifizieren des Messorts (22), mit Hilfe der bestimmten Abbildung, im Übersichtsbild (70) oder in einem hieraus abgeleiteten Ausgabebild.