DE102022130872A1

DE102022130872A1 - Optisches Abbildungssystem, Verfahren, Systeme und Computerprogramme

Info

Publication number: DE102022130872A1
Application number: DE102022130872.3A
Authority: DE
Inventors: Kai RITSCHEL; Mate BELJAN
Original assignee: Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2022-11-22
Filing date: 2022-11-22
Publication date: 2024-05-23
Also published as: US20240168274A1

Abstract

Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein optisches Abbildungssystem, sowie auf Verfahren, Systeme und Computerprogramme für ein solches optisches Abbildungssystem. Die Verfahren umfassen ein Erhalten von ersten Bilddaten einer Abbildungsvorrichtung des Abbildungssystems, wobei die ersten Bilddaten eine Darstellung eines Musters umfassen. Die Verfahren umfassen ein Erhalten von zweiten Bilddaten des Musters von der Abbildungsvorrichtung, nachdem das Muster durch einen Probentisch des optischen Abbildungssystems um eine Distanz in einer relativ zu dem Probentisch definierten Dimension verschoben wurde. Die Verfahren umfassen ein Bestimmen eines Versatzes zwischen den Mustern der ersten und zweiten Bilddaten in zwei Dimensionen. Die Verfahren umfassen ein Berechnen eines Umrechnungsparameters basierend auf dem Versatz und der Distanz. Ein erstes Verfahren umfasst ein Steuern einer Antriebseinheit zum Verschieben des Probentisches basierend auf dem Umrechnungsparameter. Ein zweites Verfahren umfasst ein Transformieren von Bilddaten der Abbildungsvorrichtung basierend auf dem Umrechnungsparameter, um transformierte Bilddaten zu erhalten, und ein Bereitstellen eines Anzeigesignals mit den transformierten Bilddaten.

Description

Technisches Gebiet
Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein optisches Abbildungssystem, sowie auf Verfahren, Systeme und Computerprogramme für ein solches optisches Abbildungssystem.
Hintergrund
Moderne Mikroskope haben häufig motorisierte Probentische (engl. stages) und nutzen digitale Detektoren (Kameras) für die Bildgebung. Dabei sind die Detektoren häufig extern an einer Kamerahalterung angebracht. In vielen Fällen werden solche Mikroskope nicht mehr dadurch genutzt, dass der Nutzer durch ein oder zwei Mikroskopokulare schaut, wobei sogar Mikroskope ohne Okulare existieren. Stattdessen wird die Probe meist über einen Bildschirm des Mikroskops oder eines an das Mikroskop angeschlossenen Computersystems angeschaut. Der Nutzer erwartet trotzdem weiterhin eine einfache und intuitive Bedienung des Mikroskops. Möchte der Nutzer zum Beispiel das Bildfeld nach rechts bewegen, muss sich entsprechend der Probentisch nach links bewegen. Solche Anpassungen sollten mit einem Eingabegerät möglichst einfach sein, etwa so, dass, wenn der Nutzer das Eingabegerät nach rechts bewegt, sich auch das Bildfeld nach rechts bewegt.
In vielen Fällen besteht die Ausrichtung/Kalibrierung zwischen Probentisch und Kamera aus zwei Schritten. Im ersten Schritt wird versucht, den Probentisch möglichst orthogonal auszurichten zum optischen System, so dass die Achsen übereinstimmen. Dann wird die Kamera an der Kamerahalterung angeschlossen und entsprechend gedreht und justiert, bis die Ausrichtung der Kamera der Ausrichtung des Probentisches entspricht. In manchen Fällen kann auch eine Ausrichtung bis auf 90, 180, oder 270 Grad Verdrehung durchgeführt werden, wobei der restliche „Fehler“ durch Setzen des richtigen Kamera-Flips (eine Kamera-Verdrehung um einen rechten Winkel, wie etwa 90, 180 oder 270 Grad) in horizontaler und/oder vertikaler Richtung) korrigiert wird. Dies kann notwendig sein, wenn die Ausrichtung von Kamera und Probentisch durch den verfügbaren Platz und die Länge und Platzierung der Anschlusskabel eingeschränkt ist.
Das Eingabegerät wird zumeist verwendet, um eine entsprechende Achse des Probentisches zu steuern. Wenn die mechanische Ausrichtung zwischen Kamera und Probentisch noch einen Rotationsfehler aufweist, äußert sich dies in einer Bewegung des Bildfeldes in zwei Dimensionen (X und Y), obwohl das Eingabegerät nur in einer Achse bewegt wurde. Auch muss der Nutzer meist manuell die Kameraflips einstellen, damit sie zum Probentisch passen. Bei biologischen Proben sind geflippte Bildinhalte in manchen Fällen weniger störend, jedoch bei technischen Proben wird eine Ansicht und Orientierung erwartet, die der Nutzer auch hätte, wenn er mit dem eigenen Auge auf die Probe schaute.
Es besteht der Bedarf nach einem verbesserten Konzept zur Kalibrierung eines optischen Abbildungssystems mit einem Probentisch, bei der die Anzeige der Probe bei Bewegung des Probentischs den Erwartungen des Nutzers des optischen Abbildungssystems entspricht.
Zusammenfassung
Diesem Bedarf wird durch den Gegenstand der unabhängigen Ansprüche Rechnung getragen.
Verschiedene Ausführungsbeispiele der vorliegenden Offenbarung basieren auf der Erkenntnis, dass eine genaue physische Ausrichtung eines Probentisches und einer Abbildungsvorrichtung eines optischen Abbildungssystems einen hohen Aufwand mit sich bringt, da sowohl der Probentisch als auch die Abbildungsvorrichtung entsprechend gedreht, iterativ justiert und fixiert werden müssen. Bei Erschütterungen am optischen Abbildungssystem oder Umbauten des optischen Abbildungssystems (etwa um die Abbildungsvorrichtung durch eine andere zu ersetzen, oder um einen anderen Probenhalter auf dem Probentisch anzubringen) kann es notwendig sein, diese Ausrichtung erneut durchzuführen, so dass der Aufwand für die Ausrichtung erneut anfällt. Daher wurde ein Konzept geschaffen, das eine solche hochgenaue Ausrichtung überflüssig macht. In dem vorgeschlagenen Konzept wird ein Muster durch den Probentisch um eine vordefinierte Distanz in einer relativ zu dem Probentisch definierten Dimension bewegt. Vor und nach der Bewegung wird das Muster durch die Abbildungsvorrichtung aufgenommen, und ein Versatz des Musters zwischen den Aufnahmen wird bestimmt. Hierdurch kann bestimmt werden, inwieweit sich das Muster, etwa relativ zu einem Referenzbildfeld, nicht nur in einer Dimension bewegt hat, sondern zusätzlich in einer zweiten, was auf einen Rotationsversatz zwischen dem Probentisch und dem Bildfeld der Abbildungsvorrichtung hindeutet. Basierend darauf kann nun ein Umrechnungsparameter berechnet werden, der einerseits genutzt werden kann, um die Steuerung einer Antriebseinheit zum Verschieben des Probentisches zu steuern (so dass der Probentisch so gesteuert wird, dass sich der Probentisch entsprechend den Dimensionen des Referenzbildfelds bewegt), und der andererseits dazu genutzt werden kann, um die Bilddaten der Abbildungsvorrichtung zu transformieren (so dass die Bilddaten entsprechend den Bewegungen des Probentisches rotiert und zugeschnitten werden).
Verschiedene Aspekte der vorliegenden Offenbarung beziehen sich auf ein Verfahren für ein optisches Abbildungssystem. Das Verfahren umfasst ein Erhalten von ersten Bilddaten einer Abbildungsvorrichtung des Abbildungssystems. Die ersten Bilddaten umfassen eine Darstellung eines Musters. Das Verfahren umfasst ein Erhalten von zweiten Bilddaten des Musters von der Abbildungsvorrichtung, nachdem das Muster durch einen Probentisch des optischen Abbildungssystems um eine Distanz in einer relativ zu dem Probentisch definierten Dimension verschoben wurde. Das Verfahren umfasst ein Bestimmen eines Versatzes zwischen den Mustern der ersten und zweiten Bilddaten in zwei Dimensionen. Das Verfahren umfasst ein Berechnen eines Umrechnungsparameters basierend auf dem Versatz und der Distanz. Das Verfahren umfasst ein Steuern einer Antriebseinheit zum Verschieben des Probentisches basierend auf dem Umrechnungsparameter. Durch das Bestimmen des Versatzes in zwei Dimension kann ein Rotationsversatz zwischen dem Probentisch und der Abbildungsvorrichtung bestimmt werden, der von dem Umrechnungsparameter repräsentiert wird. Dieser kann nun wiederum genutzt werden, um die Steuerung der Antriebseinheit so anzupassen, dass der Rotationsversatz ausgeglichen wird. Somit entspricht die Bewegung des Probentisches, wie sie von dem Nutzer durch die Abbildungsvorrichtung wahrgenommen wird, den Erwartungen des Nutzers des optischen Abbildungssystems.
Mathematisch kann dies durch die Definition unterschiedlicher Koordinatensysteme für den Probentisch und für die Steuerung des Probentisches geschehen. Beispielsweise kann die relativ zu dem Probentisch definierte Dimension durch ein erstes Koordinatensystem des Probentischs definiert sein. Die Berechnung des Versatzes in den zwei Dimensionen kann in einem zweiten Koordinatensystem durchgeführt werden, das relativ zu einem Referenzbildfeld definiert ist. Die Nutzung mehrerer Koordinatensystem ermöglicht eine einfache Anwendung des Umrechnungsparameters.
Wie zuvor geschrieben ist der Umrechnungsparameter dazu vorgesehen, sicherzustellen, dass die Anzeige der Probe bei Bewegung des Probentischs den Erwartungen des Nutzers des optischen Abbildungssystems entspricht. Dazu kann der Umrechnungsparameter beispielsweise ausgelegt sein, um ausgehend von einer gewünschten Verschiebung in dem zweiten Koordinatensystem eine entsprechende Verschiebung in dem ersten Koordinatensystem zu ermöglichen, um den Probentisch basierend auf der entsprechenden Verschiebung in dem ersten Koordinatensystem zu steuern. In anderen Worten kann der Umrechnungsparameter dazu genutzt werden, um zu bestimmen, welche Verschiebung in dem ersten Koordinatensystem notwendig ist, und damit welche Ansteuerung der Antriebseinheit notwendig ist, um die gewünschte Verschiebung in dem zweiten Koordinatensystem, und damit beispielsweise des angezeigten Bildes, zu erreichen.
Das vorgeschlagene Konzept kann insbesondere verwendet werden, um einen Rotationsversatz zwischen den beiden Koordinatensystemen auszugleichen. Abgesehen davon kann auch die Skalierung des Versatzes durch das vorgeschlagene Konzept angepasst werden, so dass auch die Distanz, um der sich der Probentisch bewegt, der Distanz entspricht, die von dem Nutzer erwartet wird. Somit kann der Umrechnungsparameter zumindest eines von einem Rotationsversatz und einem Skalierungsversatz zwischen dem ersten Koordinatensystem und dem zweiten Koordinatensystem abbilden.
In vielen Fällen kann das zweite Koordinatensystem ein Koordinatensystem einer Anzeige des optischen Abbildungssystems sein, d.h. eine Bewegung relativ zum zweiten Koordinatensystem kann dem entsprechen, was der Nutzer des optischen Abbildungssystems auf der Anzeige sieht. Dieses Koordinatensystem kann beispielsweise dem Koordinatensystem der optischen Abbildungsvorrichtung entsprechen. In anderen Worten kann das zweite Koordinatensystem ein Koordinatensystem eines Bildfelds der optischen Abbildungsvorrichtung sein.
In manchen Fällen kann es gewünscht sein, dass das zweite Koordinatensystem von dem Koordinatensystem der Anzeige abweicht. Dies kann beispielsweise bei der Nutzung von sogenannten Wellplatten sinnvoll sein. Wellplatten sind Probenträger sind, die mehrere voneinander abgeschlossene Probenkavitäten (die sogenannten „wells“) bieten. Diese Probenkavitäten sind mitunter in einem diagonal versetzten Muster angeordnet, oder die Wellplatte kann um 45 Grad verschoben zum Probentisch angeordnet sein. In solchen Fällen kann es wünschenswert sein, dass sich der Probentisch entsprechend diagonal bewegt, und nicht entsprechend der Anzeige. Dies kann dadurch erreicht werden, dass das zweite Koordinatensystem benutzerdefiniert ist, etwa angepasst an die Anordnung der Wells in der Wellplatte. In anderen Worten kann das zweite Koordinatensystem ein benutzerdefiniertes Koordinatensystem sein.
Auch unabhängig von der Nutzung zweier Koordinatensysteme ist es das Ziel, dass sich der Probentisch so bewegt, wie es der Erwartung des Nutzers entspricht, also relativ zu dem Referenzbildfeld. Der Umrechnungsparameter kann also dazu ausgelegt sein, um ausgehend von einer gewünschten Verschiebung entlang der relativ zu einem Referenzbildfeld definierten Dimensionen eine entsprechende Verschiebung in relativ zu dem Probentisch definierten Dimensionen zu erreichen, um den Probentisch basierend auf der entsprechenden gewünschten Verschiebung zu steuern.
Der Umrechnungsparameter ist in dieser Ausführungsform dazu vorgesehen, um eine Übersetzung zu bilden zwischen einer Verschiebung, die von dem Nutzer vorgegeben wird, und der Steuerung der Ansteuerungseinheit. Dies kann beispielsweise über einen Umrechnungsvektor geschehen, der, im Rahmen einer Vektormultiplikation, genutzt werden kann, um einen ersten Vektor, der die Verschiebung, die von dem Nutzer vorgegeben wird, repräsentiert, in einem zweiten Vektor, der die Verschiebung relativ zu dem Probentisch definierten Dimensionen repräsentiert, umzurechnen. Folglich kann der Umrechnungsparameter einen Umrechnungsvektor umfassen, um zwischen der gewünschten Verschiebung entlang der relativ zu dem Referenzbildfeld definierten Dimensionen und der entsprechenden Verschiebung in relativ zu dem Probentisch definierten Dimensionen umzurechnen.
In dem vorgeschlagenen Konzept kann ein Eingabegerät genutzt werden, um die Bewegung des Probentisches, ggf. unter Nutzung des Umrechnungsparameters, zu steuern. Das Verfahren kann ferner ein Erhalten eines Eingabesignals eines Eingabegeräts des optischen Abbildungssystems. Die Antriebseinheit zum Verschieben des Probentisches kann ferner basierend auf dem Eingabesignal gesteuert werden. Dabei kann das Eingabesignal entsprechend relativ zu dem Referenzbildfeld definierten Dimensionen ausgewertet werden, d.h. das Eingabesignal wird in eine Bewegung relativ zu dem Referenzbildfeld ausgewertet. Dabei kann der Umrechnungsparameter genutzt werden, um das Eingabesignal von der Bewegung relativ zum Referenzbildfeld in eine dazu passende Steuerung des Probentisches umzurechnen.
In manchen Fällen kann, etwa aus Gründen des verfügbaren Platzes, die Kamera in einer anderen Orientierung angebracht werden. Dies kann durch ein Kippen (engl. „Flip“) des Kamerabildes (per Software) ausgeglichen werden, sofern bekannt ist, dass ein solcher Fall vorliegt. Das vorgeschlagene Konzept kann genutzt werden, um den Abbildungs-Flip zu erkennen und einzustellen. In anderen Worten kann das Verfahren ferner ein Bestimmen eines Abbildungs-Flip der Abbildungsvorrichtung basierend auf dem Versatz umfassen. Das Referenzbildfeld, das für die Berechnung des Versatzes verwendet wird, kann beispielsweise auf dem Abbildungs-Flip basieren.
Während sich der rotatorische Versatz bereits durch die Bewegung in einer Dimension bestimmen lässt, kann die Bestimmung desselben verbessert werden, indem ferner die Bewegung des Probentisches in einer zweiten Dimension (die zu der ersten Dimension orthogonal ist), betrachtet wird. Zudem kann hierdurch ein Skalierungsversatz in der zweiten Dimension bestimmt werden. Das Verfahren kann ferner ein Erhalten von dritten Bilddaten des Musters von der Abbildungsvorrichtung, nachdem das Muster durch einen Probentisch des optischen Abbildungssystems um eine zweite Distanz in einer zweiten relativ zu dem Probentisch definierten Dimension verschoben wurde, umfassen. Das Bestimmen des Versatzes und das Berechnen des Umrechnungsparameters können ferner auf der verschobenen Darstellung des Musters der dritten Bilddaten basieren.
Der vorliegende Probentisch wird durch die Antriebseinheit bewegt. Insofern kann auch die Bewegung, die zwischen dem Erhalt der ersten und zweiten Bilddaten durchgeführt werden, durch ein Steuern der Antriebseinheit erreicht werden. Das Verfahren kann somit ferner ein Steuern der Antriebseinheit zum Verschieben des Probentisches, um den Probentisch um die vordefinierte Distanz in der relativ zu dem Probentisch definierten Dimension zu verschieben, umfassen.
Manche optische Abbildungssysteme umfassen mehrere Abbildungsvorrichtungen, etwa eine kamerabasierte Abbildungsvorrichtung und eine scannende Abbildungsvorrichtung. Diese Abbildungsvorrichtungen können gegebenenfalls unabhängig voneinander über Kamerahalterungen montiert werden, so dass ihr Versatz folglich auch unabhängig voneinander ist. In diesem Fall kann das Verfahren separat für jede Abbildungsvorrichtung durchgeführt werden, so dass bei Nutzung aller Abbildungsvorrichtungen die Bewegung des Probentisches, wie sie von dem Nutzer durch die Abbildungsvorrichtung wahrgenommen wird, den Erwartungen des Nutzers des optischen Abbildungssystems. In anderen Worten kann das Verfahren, sofern das optisches Abbildungssystem mehrere Abbildungsvorrichtungen umfasst, separat für jede Abbildungsvorrichtung durchgeführt werden. Dabei kann für jede Abbildungsvorrichtung ein separater Umrechnungsparameter berechnet werden.
Wie zuvor ausgeführt,ist es neben der Nutzung des Umrechnungsparameters zur Steuerung der Ansteuerungseinheit auch möglich, die Bilddaten entsprechend dem Umrechnungsparameter zu transformieren, etwa um den Rotationsversatz auszugleichen. Verschiedene Aspekte der vorliegenden Offenbarung beziehen sich auf ein weiteres Verfahren für ein optisches Abbildungssystem. Das weitere Verfahren umfasst ein Erhalten von ersten Bilddaten einer Abbildungsvorrichtung des Abbildungssystems. Die ersten Bilddaten umfassen eine Darstellung eines Musters. Das weitere Verfahren umfasst ein Erhalten von zweiten Bilddaten des Musters von der Abbildungsvorrichtung, nachdem das Muster durch einen Probentisch des optischen Abbildungssystems um eine Distanz in einer relativ zu dem Probentisch definierten Dimension verschoben wurde. Das weitere Verfahren umfasst ein Bestimmen eines Versatzes zwischen den Mustern der ersten und zweiten Bilddaten in zwei Dimensionen. Das weitere Verfahren umfasst ein Berechnen eines Umrechnungsparameters basierend auf dem Versatz und der Distanz. Das weitere Verfahren umfasst ein Transformieren von Bilddaten der Abbildungsvorrichtung basierend auf dem Umrechnungsparameter, um transformierte Bilddaten zu erhalten. Das weitere Verfahren umfasst ein Bereitstellen eines Anzeigesignals mit den transformierten Bilddaten. Auch hierdurch kann erreicht werden, dass die Bewegung des Probentisches, wie sie von dem Nutzer durch die Abbildungsvorrichtung wahrgenommen wird, den Erwartungen des Nutzers des optischen Abbildungssystems entspricht.
Dies kann beispielsweise dadurch erreicht werden, dass die Bilddaten entsprechend dem Rotationsversatz rotiert werden. In anderen Worten kann das Transformieren der Bilddaten ein Rotieren der Bilddaten basierend auf dem Umrechnungsparameter umfassen. Damit die Bilddaten danach Anzeigefüllend dargestellt werden, können die rotierten Bilddaten danach zugeschnitten werden, um durch die Rotation entstehende Leerbereiche auszublenden. Folglich kann das Transformieren der Bilddaten ferner ein Zuschneiden der rotierten Bilddaten umfassen.
Verschiedene Aspekte der vorliegenden Offenbarung beziehen sich auf ein System für ein optisches Abbildungssystem. Das System umfasst ein oder mehrere Prozessoren und ein oder mehrere Speichereinrichtungen umfasst. Das System ist ausgebildet zum Durchführen zumindest eines der zuvor genannten Verfahren.
Verschiedene Aspekte der vorliegenden Offenbarung beziehen sich auf ein Computerprogramm mit einem Programmcode zum Durchführen zumindest eines der zuvor genannten Verfahren.
Figurenkurzbeschreibung
Einige Beispiele von Vorrichtungen und/oder Verfahren werden nachfolgend bezugnehmend auf die beiliegenden Figuren lediglich beispielhaft näher erläutert. Es zeigen:

1a und 1b zeigen Flussdiagramme von Beispielen eines Verfahrens für ein optisches Abbildungssystem;
2a zeigt ein Blockdiagramm eines Beispiels eines Systems für ein optisches Abbildungssystem;
2b zeigt ein schematisches Diagramm eines Beispiels eines optischen Abbildungssystems;
2c zeigt eine Illustration einer Verschiebung eines Musters in Bilddaten;
3a und 3b zeigen schematische Illustrationen eines Effekts einer reinen Bewegung entlang der X-Achse des Probentisches mit einer Probe, ohne und mit Verwendung der vorgeschlagenen Bewegungskorrektur;
4a und 4b zeigen weitere schematische Illustrationen eines Effekts einer reinen Bewegung entlang der X-Achse des Probentisches mit einer Probe, ohne und mit Verwendung der vorgeschlagenen Bewegungskorrektur;
5 zeigt ein Flussdiagramm eines Beispiels eines Ablaufs der Kalibration zur Bestimmung eines virtuellen Koordinatensystems;
6 zeigt ein Flussdiagramm eines Beispiels für den Ablauf einer Steuerung eines Probentisches;
7 zeigt eine schematische Darstellung einer Wellplatte in Bildfeld einer Kamera, wobei die Wellplatte um 45° gedreht ist;
8 zeigt ein Flussdiagramm eines Beispiels eines weiteren Verfahrens für ein optisches Abbildungssystem;
9 zeigt ein Beispiel einer Darstellung eines rotierten und zugeschnittenen Kamerabildes; und
10 zeigt ein schematisches Diagramm eines Beispiels eines Systems mit einer optischen Abbildungsvorrichtung und einem Computersystem.

Beschreibung
Einige Beispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Figuren beschrieben. Weitere mögliche Beispiele sind jedoch nicht auf die Merkmale dieser detailliert beschriebenen Ausführungsformen beschränkt. Ferner soll die Terminologie, die hierin zum Beschreiben bestimmter Beispiele verwendet wird, nicht einschränkend für weitere mögliche Beispiele sein.
Wenn zwei Elemente A und B unter Verwendung eines „oder“ kombiniert werden, ist dies so zu verstehen, dass alle möglichen Kombinationen offenbart sind, d. h. nur A, nur B sowie A und B, sofern nicht im Einzelfall ausdrücklich anders definiert. Als alternative Formulierung für die gleichen Kombinationen kann „zumindest eines von A und B“ oder „A und/oder B“ verwendet werden. Das gilt Äquivalent für Kombinationen von mehr als zwei Elementen. Der Begriff „und/oder“ umfasst alle Kombinationen von einem oder mehreren der zugehörigen aufgeführten Elemente und kann mit „/“ abgekürzt werden.
Wenn eine Singularform, z. B. „ein, eine“ und „der, die, das“ verwendet wird und die Verwendung nur eines einzelnen Elements weder explizit noch implizit als verpflichtend definiert ist, können weitere Beispiele auch mehrere Elemente verwenden, um die gleiche Funktion zu implementieren. Wenn eine Funktion im Folgenden als unter Verwendung mehrerer Elemente implementiert beschrieben ist, können weitere Beispiele die gleiche Funktion unter Verwendung eines einzelnen Elements oder einer einzelnen Verarbeitungsentität implementieren.
Obwohl einige Aspekte im Rahmen einer Vorrichtung beschrieben wurden, ist es klar, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, wobei ein Block oder eine Vorrichtung einem Verfahrensschritt oder einer Funktion eines Verfahrensschritts entspricht. Analog dazu stellen Aspekte, die im Rahmen eines Verfahrensschritts beschrieben werden, auch eine Beschreibung eines entsprechenden Blocks oder Elements oder einer Eigenschaft einer entsprechenden Vorrichtung dar.
1a und 1b zeigen Flussdiagramme von Beispielen eines Verfahrens für ein optisches Abbildungssystem 200 (in 2b gezeigt). Das Verfahren umfasst ein Erhalten 110 von ersten Bilddaten einer Abbildungsvorrichtung 220 (in 2b gezeigt) des Abbildungssystems. Die ersten Bilddaten umfassen eine Darstellung 222 (in 2c gezeigt) eines Musters 236 (in 2b gezeigt). Das Verfahren umfasst ferner ein Erhalten 130 von zweiten Bilddaten des Musters (mit einer zweiten Darstellung 224 des Musters, in 2c gezeigt) von der Abbildungsvorrichtung, nachdem das Muster durch einen Probentisch 230 (in 2b gezeigt) des optischen Abbildungssystems um eine Distanz in einer relativ zu dem Probentisch definierten Dimension 232/234 (2b) verschoben wurde. Das Verfahren umfasst ferner ein Bestimmen 160 eines Versatzes 226 (2c) zwischen den Mustern der ersten und zweiten Bilddaten in zwei Dimensionen 252; 254 (in 2b und 2c gezeigt). Das Verfahren umfasst ferner ein Berechnen 170 eines Umrechnungsparameters basierend auf dem Versatz 226 und der Distanz. Das Verfahren umfasst ferner ein Steuern 190 einer Antriebseinheit 240 (in 2b gezeigt) zum Verschieben des Probentisches basierend auf dem Umrechnungsparameter.
In 1a ist eine grundlegende erste Fassung des Verfahrens gezeigt. Das Verfahren kann ferner optionale weitere Merkmale umfassen, die in 1b als Blöcke mit gestrichelten Linien gezeigt sind und die im Laufe der weitergehenden Beschreibung der 1a bis 2b erläutert werden.
Das Verfahren der 1a und 1b bezieht sich auf ein optisches Abbildungssystem. In 2b ist eine schematische Zeichnung eines Beispiels eines solchen optischen Abbildungssystems 200 gezeigt. Das optische Abbildungssystem 200 umfasst jeweils zumindest eine Abbildungsvorrichtung 220 sowie ein System 210, das ausgebildet ist, um das Verfahren der 1a und/oder 1b (oder das Verfahren von 8) auszuführen. 2a zeigt ein Blockdiagramm eines Beispiels eines solchen Systems 210 für ein optisches Abbildungssystem. Dabei kann das System 210 als Computersystem implementiert werden. Beispielsweise umfasst das System 210 ein oder mehrere Prozessoren und ein oder mehrere Speichereinrichtungen 216. Optional kann das System 210 ferner ein oder mehrere Schnittstellen 212 umfassen. Der eine oder die mehreren Prozessoren 214 sind mit der einen oder den mehreren Speichereinrichtungen 216 und mit der einen oder den mehreren Schnittstellen 212 gekoppelt. Dabei sind der eine oder die mehreren Prozessoren 214 ausgebildet, um die Funktionalität des Systems 210 bereitzustellen, im Zusammenspiel mit der einen oder den mehreren Schnittstellen 212 (zum Austausch von Informationen mit anderen Komponenten des optischen Abbildungssystems, wie etwa der Abbildungsvorrichtung 220, der Ansteuerungseinheit 240, einem Bildschirm 250 des optischen Abbildungssystems, oder einem Eingabegerät 260) und mit der einen oder den mehreren Speichereinrichtungen 216 (zum Speichern und Abrufen von Informationen, wie etwa maschinenlesbaren Instruktionen, die Programmcode für den einen oder die mehreren Prozessoren 214 umfassen). Im Allgemeinen kann die Funktionalität des einen oder der mehreren Prozessoren 214 durch den einen oder die mehreren Prozessoren 214 implementiert werden, indem der eine oder die mehreren Prozessoren die maschinenlesbare Befehle ausführen. Dementsprechend kann eine Funktionalität, die dem einen oder den mehreren Prozessoren 214 zugeschrieben wird, durch eine oder mehrere Anweisungen aus einer Vielzahl von maschinenlesbaren Anweisungen definiert werden. Das System 210 kann die maschinenlesbaren Anweisungen enthalten, z. B. in dem einen oder den mehreren Speichereinrichtungen 216.
Im Folgenden werden die Merkmale des Verfahrens der 1a und 1b, des Systems von 2a, eines entsprechenden Computerprogramms sowie des optischen Abbildungssystems 200 der 2b vorwiegend mit Bezug auf das Verfahren und das optische Abbildungssystem erläutert. Dabei ist offensichtlich, dass Merkmale, die im Zusammenhang mit dem Verfahren erläutert werden, auch auf das entsprechende System und Computerprogramm übertragen werden können, da das System ausgebildet ist, um das Verfahren auszuführen und das Computerprogramm eine Implementierung des Verfahrens darstellt. Auch wirken sich Merkmale, die mit Bezug auf das optische Abbildungssystem 200 erläutert werden, ebenso auf das Verfahren, das System und das Computerprogramm aus.
Das vorliegende Konzept bezieht sich auf ein optisches Abbildungssystem. Dabei wird dieser Begriff verwendet, da das vorliegende Konzept auf eine Vielzahl von verschiedenen optischen Abbildungssystemen angewandt werden kann. Beispielsweise kann das Abbildungssystem ein Mikroskopsystem oder ein Exoskopsystem sein, wobei ein Exoskopsystem ein optisches Abbildungssystem ist, das, im Gegensatz zum Mikroskopsystem, ausschließlich über einen Bildschirm oder ein Head-Mounted Display (Bildschirm, der ähnlich einer Brille getragen wird) genutzt wird. Zudem wird ein Exoskop meist aus größerer Distanz genutzt. Dabei wird der Begriff des optischen Abbildungssystems verwendet, um zu verdeutlichen, dass es sich einerseits um ein System mit optischen Komponenten handelt, und es andererseits, neben den optischen Komponenten, weitere Komponenten umfasst, wie etwa das System 210. Das optische Abbildungssystem kann, zusätzlich zu den optischen Komponenten und dem System 210, weitere Komponenten aufweisen, wie etwa das Eingabegerät 260 (wie etwa einen berührungsempfindlichen Bildschirm, eine Tastatur oder Bedienknöpfe), den Bildschirm 250, den Probentisch 230 etc.
Das optische Abbildungssystem umfasst zumindest eine optische Komponente. In dem vorliegenden Fall umfasst das optische Abbildungssystem als optische Komponente zumindest die Abbildungsvorrichtung 220. In manchen Ausführungsformen kann das optische Abbildungssystem mehrere Abbildungsvorrichtungen umfassen, etwa eine kamerabasierte/Pixelgitter-basierte Abbildungsvorrichtung und eine scannende Abbildungsvorrichtung. Eine scannende Abbildungsvorrichtung ist eine optische Komponente, die ausgebildet ist, um Bilddaten durch Scannen (engl. für rastern) einer Vielzahl von Positionen einer Probe zu erzeugen. Beispiele für eine scannende Abbildungsvorrichtung sind ein Konfokalmikroskop, ein zwei-Photonen-Mikroskop und ein Rasterelektronenmikroskop.
Das Verfahren der 1a und 1b bezieht sich auf eine Ausführungsform, die darauf basiert, die Steuerung der Antriebseinheit des Probentisches basierend auf dem Umrechnungsparameter anzupassen. Alternativ, oder zusätzlich, können, wie im Zusammenhang mit den 8 und 9 gezeigt wird, auch die Bilddaten der Abbildungsvorrichtung 200 basierend auf dem Umrechnungsparameter angepasst werden. Beiden Ausführungsformen basieren darauf, wie nachfolgend beschrieben, den Umrechnungsparameter zu berechnen.
Dieser Umrechnungsparameter bietet die Grundlage für die Kalibrierung des Systems. Der Umrechnungsparameter kann insbesondere dafür genutzt werden, um einen Rotationsversatz zwischen Probentisch und einer Referenz auszugleichen. Dazu kann der Umrechnungsparameter, wie im Folgenden beschrieben, ermittelt werden.
Die Ermittlung des Umrechnungsparameters basiert auf dem Vergleich mehrerer Darstellungen in Musters in Bilddaten, die zu unterschiedlichen Zeitpunkten aufgenommen wurden. Zwischen den Aufnahmen des Musters liegt jeweils eine Verschiebung der Probentisches mit dem Muster. Dabei kann das Muster beispielsweise fest auf dem Probentisch angeordnet sein, etwa auf den Probentisch aufgedruckt oder fest auf dem Probentisch befestigt, etwa aufgeklebt, sein. Alternativ kann das Muster nach Bedarf auf dem Probentisch befestigt werden. Beispielsweise kann das Muster beispielsweise auf einem Proben-Träger abgebildet sein. Der Proben-Träger kann wiederum zur Kalibrierung in eine Probenhalterung (nicht gezeigt) des Probentisches eingeführt werden oder auf dem Probentisch angeordnet werden.
Der Zweck des Musters ist, die Bewegung des Probentisches in den Bilddaten nachvollziehen zu können. Zu diesem Zweck kann das Muster eine vordefinierte Geometrie aufweisen, die von einem Bildverarbeitungsalgorithmus erkannt und verfolgt werden kann. Zudem kann das Muster einen hohen Kontrast aufweisen, damit es gegenüber anderen Elementen des Probentisches auffällt. Wie in den 2c bis 4b gezeigt ist, kann das Muster ein periodisches Muster sein, d.h. ein Muster, in dem ein oder mehrere Elemente (wie etwa Punkte, Striche, Dreiecke, Quadrate etc.) in regelmäßigen Abständen entlang zumindest einer lateralen Dimension des Musters wiederholt werden. Beispielsweise kann das Muster beispielsweise ein zweidimensionales periodisches Muster sein, etwa ein zweidimensionales periodisches Muster von Punkten. In manchen Fällen ist ferner gewünscht, dass neben dem Versatz des Musters auch eine Orientierung des Musters erkannt werden kann, um einen Abbildungs-Flip der Bilddaten zu erkennen. Dies wird etwa dadurch ermöglicht, dass die Elemente des Musters anisotrop sind, d.h. eine richtungsabhängige Form, wie etwa ein Dreieck, aufweisen. Andererseits kann dies dadurch ermöglicht werden, dass, wenn ein Gitter von Punkten verwendet wird, das Gitter in einer Dimension eine höhere Zahl von Elementen aufweist als in der anderen. Als weitere Option, die in 2b und 2c gezeigt ist, können die Elemente des Musters in einer L-förmigen Anordnung angeordnet sein.
Das Muster wird an mehreren Positionen des Probentisches aufgenommen, um basierend auf der Bewegung des Musters zwischen den Bilddaten die Bewegung des Probentisches nachvollziehen zu können. Dazu umfasst das Verfahren das Erhalten 110 der ersten Bilddaten mit der (ersten) Darstellung 222 des Musters. Nach der Aufnahme der ersten Bilddaten wird der Probentisch um die (vordefinierte) Distanz in der relativ zu dem Probentisch definierten Dimension 232/234 verschoben. Diese Dimension wird beispielsweise durch die Ansteuerungseinheit des Probentisches definiert. Motorisierte Probentische, insbesondere Probentische von Mikroskopen, sind zumeist zumindest in zwei (lateralen) Dimensionen/Achsen motorisiert bewegbar (im Kontext der Anmeldung auch die X- und Y-Achse oder Dimension genannt), die durch die Motoren der Antriebseinheit definiert sind, die die Bewegung des Probentisches verursachen. Die Dimensionen des Probentisches können beispielsweise durch ein erstes Koordinatensystem des Probentischs definiert sein. In anderen Worten kann die Bewegung des Probentisches über ein erstes Koordinatensystem, das die Bewegung des Probentisches repräsentiert, gesteuert werden. Meist werden zwei (oder ein Vielfaches von zwei) Motoren verwendet, um den Probentisch in den zwei Dimensionen zu bewegen. Um die Bewegung des Probentisches in der relativ zu dem Probentisch definierten Dimension durchzuführen, kann lediglich auf einen Motor (oder eine Teilmenge der Motoren, wenn mehrere Motoren pro Achse verwendet werden) zurückgegriffen werden, so dass sich der Motor ausschließlich entlang der einen Achse/Dimension des Probentisches bewegt. Das Verfahren kann, wie in 1b gezeigt ist, ein Steuern 120 der Antriebseinheit zum Verschieben des Probentisches, um den Probentisch um die vordefinierte Distanz in der relativ zu dem Probentisch definierten Dimension zu verschieben, umfassen. Dazu kann das erste Koordinatensystem genutzt werden, wobei die Position des Probentisches in dem ersten Koordinatensystem entlang lediglich einer Dimension/Achse verschoben wird. Nach dem verschieben des Probentisches werden die zweiten Bilddaten durch die Abbildungsvorrichtung aufgenommen. Das Verfahren umfasst ferner das Erhalten 130 der zweiten Bilddaten des Musters (mit einer zweiten des Musters) von der Abbildungsvorrichtung.
In vielen Fällen bewirkt die Verschiebung des Probentisches auf der einen Dimension, die relativ zum Probentisch definiert ist, eine Verschiebung in zwei Dimensionen innerhalb der Bilddaten. 2c zeigt eine Illustration der Verschiebung eines Musters in den Bilddaten, für den Fall dass die Dimensionen, die relativ zu dem Probentisch definiert sind (d.h. das erste Koordinatensystem) nicht exakt mit den Dimensionen übereinstimmen, die relativ zu den Bilddaten definiert sind (die beispielsweise als Referenzbildfeld verwendet werden können und/oder ein zweites Koordinatensystem definieren können. In 2c ist eine erste Darstellung 222 des Musters aus den ersten Bilddaten und eine zweite Darstellung 224 des Musters aus den zweiten Bilddaten gezeigt. Während das Muster, gemäß den Dimensionen, die relativ zum Probentisch definiert sind, nur in lediglich einer Dimension (der X-Dimension/Achse) verschoben wurden, ist die Darstellung zwischen den Bilddaten in beiden Dimensionen 252/254, die relativ zu den Bilddaten definiert sind verschoben.
Generell genügt für die Bestimmung des Rotationsversatzes, der die Verschiebung in zwei Dimensionen auslöst, die Bestimmung des Versatzes basierend auf der Verschiebung des Probentisches in einer relativ zu dem Probentisch definierten Dimension. Um die Genauigkeit der Bestimmung des Rotationsversatzes zu verbessern, und um daneben auch für beide Dimensionen auch einen Skalierungsversatz zu bestimmen, kann das Vorgehen auch für die zweite relativ zu dem Probentisch definierte (laterale) Dimension (die orthogonal zu der ersten Dimension ist, d.h. X- und Y-Dimension können betrachtet werden) wiederholt werden. Somit kann das Verfahren, wie in 1b gezeigt, ferner ein Steuern 140 der Antriebseinheit zum Verschieben des Probentisches, um den Probentisch um eine zweite (vordefinierte) Distanz in einer zweiten relativ zu dem Probentisch definierten Dimension zu verschieben. Das Verfahren kann ferner ein Erhalten 150 von dritten Bilddaten des Musters von der Abbildungsvorrichtung, nachdem das Muster durch den Probentisch 230 des optischen Abbildungssystems um die zweite Distanz in der zweiten relativ zu dem Probentisch definierten Dimension verschoben wurde.
Liegen die ersten, zweiten und optional dritten Bilddaten vor, wird der Versatz zwischen den Mustern der ersten und zweiten (und optional dritten) Bilddaten, und insbesondere der Versatz zwischen den jeweiligen Darstellungen der Muster in den jeweiligen Bilddaten, in zwei Dimensionen 252/254 bestimmt 160. Beispielsweise kann ein erster Versatz zwischen den Darstellungen des Musters in den ersten und zweiten Bilddaten, und ein zweiter Versatz zwischen den Darstellungen des Musters in den zweiten und dritten Bilddaten berechnet werden. Alternativ kann auch der zweite Versatz auch zwischen den Darstellungen des Musters in den ersten und dritten Bilddaten bestimmt werden.
Es gibt verschiedene Möglichkeiten, um den Versatz zwischen den Darstellungen des Musters in den Bilddaten zu berechnen. Beispielsweise kann das Verfahren ein Bestimmen der jeweiligen Position der Darstellung des Musters in den jeweiligen Bilddaten mittels (geeigneter) Bildverarbeitungstechniken umfassen, wobei der Versatz basierend auf den Positionen bestimmt wird. Alternativ kann das Verfahren ein Berechnen einer Kreuz-Phasenkorrelation zwischen zueinander verschobenen Fassungen der jeweiligen Bilddaten umfassen, wobei der Versatz auf derjenigen Verschiebung basiert, bei der die Phasenkorrelation den höchsten Peak generiert. Neben diesen Ansätzen bestehen eine Vielzahl anderer Möglichkeiten, um den Versatz zu berechnen.
Der Versatz, der die Distanz zwischen der Position der Darstellung des Musters in den verschiedenen Bilddaten repräsentiert, wird in zwei Dimensionen bestimmt. Dabei sind diese zwei Dimensionen nicht relativ zu dem Probentisch definiert, sondern relativ zu einem anderen Bezugssystem. Insbesondere kann die die Berechnung des Versatzes in den zwei Dimensionen in einem zweiten Koordinatensystem durchgeführt werden, das relativ zu einem Referenzbildfeld definiert ist. Dieses zweite Koordinatensystem wird im Zusammenhang mit den 3a bis 7 auch als virtuelles Koordinatensystem bezeichnet, es ist flexibel auf die Bedürfnisse der jeweiligen Anwendung anpassbar. In vielen Fällen wird das zweite Koordinatensystem so gewählt werden, dass es mit dem übereinstimmt, was der Nutzer des optischen Abbildungssystems auf einem Bildschirm des optischen Abbildungssystems sieht. Beispielsweise kann das zweite Koordinatensystem, wie in 2b gezeigt, ein Koordinatensystem einer Anzeige 250 des optischen Abbildungssystems sein, d.h. ein Koordinatensystem, das mit dem übereinstimmt, was der Nutzer des optischen Abbildungssystems auf der Anzeige sieht. Dieses Koordinatensystem stimmt zumeist auch mit dem Koordinatensystem der optischen Abbildungsvorrichtung überein. Folglich kann das zweite Koordinatensystem ein Koordinatensystem eines Bildfelds (engl. Field of View) der optischen Abbildungsvorrichtung sein.
In manchen Fällen kann es jedoch vorteilhaft sein, das zweite Koordinatensystem, oder genereller die Dimensionen des Referenzbildfelds, sowohl unabhängig von dem Probentisch als auch unabhängig von der Anzeige des optischen Abbildungssystems zu wählen. Dies ist beispielsweise in dem Beispiel von 7 der Fall, in dem eine Wellplatte im 45°-Winkel (relativ zum Probentisch oder relativ zu dem Koordinatensystem der Bilddaten oder der Anzeige) angeordnet ist. In solchen Fällen kann es hilfreich sein, wenn die Bewegung des Probentisches mit der Ausrichtung des Probenträgers synchronisiert ist. Beispielsweise kann das zweite Koordinatensystem ein benutzerdefiniertes Koordinatensystem sein. Beispielsweise kann das Verfahren ein Erhalten einer Benutzereingabe, etwa über einen berührungsempfindlichen Bildschirm des optischen Abbildungssystems oder über ein anderes Eingabegerät, wie einen Drehknopf, und ein Festlegen des zweiten Koordinatensystems basierend auf der Benutzereingabe umfassen. Alternativ kann das benutzerdefinierte Koordinatensystem mit Softwareunterstützung festgelegt werden. Beispielsweise kann das Verfahren ein Bestimmen von geometrischen Strukturen, insbesondere von Linien, in den Bilddaten mittels eines Bildanalysealgorithmus, und ein Festlegen des zweiten Koordinatensystem basierend auf der Ausrichtung der geometrischen Strukturen umfassen.
Wie bereits zuvor ausgeführt kann es vorkommen, dass die optische Abbildungsvorrichtung aus Platzgründen um 90°, 180° oder 270° gekippt montiert wird. Das vorgeschlagene Verfahren, kann diesen Abbildungsflip dadurch erkennen, dass der Versatz, verglichen mit einem erwarteten Versatz bei Bewegen des Probentisches, in einer der Dimensionen größer ist als erwartet oder negativ (statt positiv) ist. Beispielsweise kann das Verfahren, wie in 1b gezeigt, ein Bestimmen 165 des Abbildungs-Flip der Abbildungsvorrichtung basierend auf dem Versatz umfassen. Beispielsweise kann das Referenzbildfeld, das für die Berechnung des Versatzes verwendet wird, auf dem Abbildungs-Flip basieren, d.h. die Anzeige der Bilddaten kann basierend auf dem Abbildungsflip gekippt werden, und mit den Bilddaten auch das Referenzbildfeld. Wird beispielsweise erwartet, dass der Versatz hauptsächlich entlang der X-Achse des zweiten Koordinatensystems besteht, der ermittelte Versatz jedoch hauptsächlich entlang der Y-Achse besteht, kann davon ausgegangen werden, dass die Kamera einen Abbildungsflip um 90° oder 270° aufweist. Ist der Versatz in zumindest einer der Dimensionen negativ, statt wie erwartet positiv (oder umgekehrt), kann davon ausgegangen werden, dass die Kamera einen Abbildungsflip um 180° aufweist.
Ausgehend von dem Versatz kann nun der Umrechnungsparameter berechnet werden. Dieser kann, wie zuvor angeführt, zumindest einen der zwei folgenden Komponenten aufweisen oder abbilden: einen Rotationsversatz und/oder einen Skalierungsversatz zwischen dem ersten Koordinatensystem und dem zweiten Koordinatensystem. Der Rotationsversatz kann aus dem Versatz beispielsweise durch Trigonometrie berechnet werden, indem aus dem Versatz (als Ankathete) und der vordefinierten Distanz (als Hypotenuse) die Ankathete und Gegenkathete des Winkels, der den Winkelversatz abbildet, berechnet wird. Das Verhältnis zwischen Gegenkathete und Ankathete kann nun genutzt werden, um den Tangens des Winkels zu berechnen, woraus nun der Winkel des Winkelversatzes bestimmt werden kann. Vorher kann, zur korrekten Bestimmung der Hypotenuse, noch der Skalierungsversatz berechnet werden, aus einem Verhältnis zwischen einem erwarteten Versatz und der Länge der Ankathete. Alternativ kann der Winkelversatz aus dem Arkuskosinus des Verhältnisses zwischen dem Versatz in einer der Dimensionen und dem Betrag des Versatzes in zwei Dimensionen (d.h. des Vektors des Versatzes) berechnet werden. Alternativ kann der Vektor des Versatzes bereits den Rotationsversatz abbilden und somit als Umrechnungsparameter, oder Komponente davon, genutzt werden. Insbesondere kann der Umrechnungsparameter einen Umrechnungsvektor umfassen, um zwischen der gewünschten Verschiebung entlang der relativ zu dem Referenzbildfeld definierten Dimensionen und der entsprechenden Verschiebung in relativ zu dem Probentisch definierten Dimensionen umzurechnen. Dabei kann der Umrechnungsvektor den Rotationsversatz (über das Verhältnis zwischen den zwei Dimensionen des Vektors), und optional ferner den Skalierungsversatz (über den Betrag/die Skalierung des Vektors) abbilden.
Im Zusammenhang mit den 1a bis 7 wird der Umrechnungsparameter dafür verwendet, die Steuerung der Antriebseinheit des Probentisches anzupassen, so dass die Bewegung des Probentisches der von dem Nutzer erwarteten Bewegung entspricht. Daher kann der Umrechnungsparameter dazu ausgelegt sein, ausgehend von einer gewünschten Verschiebung entlang der relativ zu dem Referenzbildfeld definierten Dimensionen eine entsprechende Verschiebung in relativ zu dem Probentisch definierten Dimensionen zu erreichen, um den Probentisch basierend auf der entsprechenden gewünschten Verschiebung zu steuern. Insbesondere kann der Umrechnungsparameter, in Bezug auf das zuvor definierte ersten und zweite Koordinatensystem, dazu ausgelegt sein, um ausgehend von einer gewünschten Verschiebung in dem zweiten Koordinatensystem eine entsprechende Verschiebung in dem ersten Koordinatensystem zu ermöglichen, um den Probentisch basierend auf der entsprechenden Verschiebung in dem ersten Koordinatensystem zu steuern.
Entsprechend kann der Umrechnungsparameter genutzt werden, um zwischen Steuerkommandos, die in einem Eingabesignal des Eingabegeräts enthalten sind, und Steuerkommandos, die an die Antriebseinheit gesendet werden, umzurechnen. Alternativ kann der Umrechnungsparameter an die Antriebseinheit übermittelt werden und in der Antriebseinheit als Kalibrierungsparameter gespeichert werden. Die Antriebseinheit 240 zum Verschieben des Probentisches wird nun basierend auf dem Umrechnungsparameter gesteuert 190. In ersterem Fall (der Übersetzung der Steuerkommandos), können die Steuerkommandos nun von dem System empfangen, übersetzt, und die Antriebseinheit entsprechend gesteuert werden. Das Verfahren kann beispielsweise ferner ein Erhalten 180 eines Eingabesignals des Eingabegeräts umfassen (wobei das Eingabesignal die Steuerkommandos umfasst). Die Antriebseinheit zum Verschieben des Probentisches kann nun ferner basierend auf dem Eingabesignal gesteuert werden, etwa durch Übersetzen der Steuerkommandos aus dem Eingabesignal in entsprechende Steuerkommandos für die Antriebseinheit, basierend auf dem Umrechnungsparameter. Dabei ist die Annahme, dass der Nutzer den Probentisch so verschieben will, wie es durch das Referenzbildfeld (also etwa die Anzeige, oder das benutzerdefinierte Referenzbildfeld) vorgegeben ist. Entsprechen kann das Eingabesignal entsprechend relativ zu einem Referenzbildfeld definierten Dimensionen, d.h. relativ zu dem zweiten Koordinatensystem, ausgewertet werden. In anderen Worten kann das Eingabesignal als Befehl des Nutzers, den Probentisch entsprechend den Dimensionen des zweiten Koordinatensystems zu bewegen, interpretiert werden.
In den bisherigen Beispielen war zumeist Rede von einem optischen Abbildungssystem mit einer Abbildungsvorrichtung. Das vorgeschlagene Konzept kann jedoch auch auf optische Abbildungssysteme mit mehreren Abbildungsvorrichtungen, wie etwa einer Kamerabasierten Abbildungsvorrichtung und einer scannenden Abbildungsvorrichtung, angewandt werden. Hierbei kann das Verfahren separat für jede der Abbildungsvorrichtungen ausgeführt werden, wodurch der Versatz zwischen dem Probentisch und den Abbildungsvorrichtungen ausgeglichen werden kann. Beispielsweise kann das Verfahren, sofern das optisches Abbildungssystem mehrere Abbildungsvorrichtungen umfasst, separat für jede Abbildungsvorrichtung durchgeführt werden. Dabei kann für jede Abbildungsvorrichtung ein separater Umrechnungsparameter berechnet werden.
Um eine Übereinstimmung der Bildfelder der Abbildungsvorrichtungen zu erreichen, kann zumindest auch ein Winkelversatz zwischen den Abbildungsvorrichtungen berechnet werden, aus dem Unterschied zwischen den unterschiedlichen Winkelversätzen zwischen den Abbildungsvorrichtungen und dem Probentisch. Ein weiterer Versatz kann dann aus den Positionen des Musters in den jeweiligen Bilddaten, nach Ausgleich des Winkelversatzes, bestimmt werden.
In dem vorgeschlagenen optischen Abbildungssystem wird, in manchen Ausführungsformen, eine Abbildungsvorrichtung 220 mit einem optischen Abbildungssensor verwendet, der auch als Kamera bezeichnet wird. Dementsprechend kann der optische Abbildungssensor ausgebildet sein um die Bilddaten, welche in diesem Fall Abbildungssensordaten sind, zu erzeugen.
Beispielsweise kann der optische Abbildungssensor der Abbildungsvorrichtung 220 einen APS (Active Pixel Sensor, Aktivpixelsensor) - oder einen CCD (Charge-Coupled-Device, Ladungsgekoppeltes Gerät)-basierten Bildsensor umfassen oder einem solchen entsprechen. Bei APS-basierten Bildsensoren wird beispielsweise das Licht an jedem Pixel mit Hilfe eines Fotodetektors und eines aktiven Verstärkers des Pixels erfasst. APS-basierte Bildsensoren basieren häufig auf der CMOS- (Complementary Metal-Oxide-Semiconductor, Komplementäre Metall-Oxid-Halbleiter) oder S-CMOS-Technologie (Scientific CMOS, Wissenschaftliche Komplementäre Metall-Oxid-Halbleiter). In CCD-basierten Bildsensoren werden eintreffende Photonen an einer Halbleiter-Oxid-Grenzfläche in Elektronenladungen umgewandelt, die anschließend von einer Schaltung der Bildsensoren zwischen kapazitiven Bins (Senken) in den Bildsensoren bewegt werden, um die Bildgebung durchzuführen.
In manchen Ausführungsformen kann eine scannende Abbildungsvorrichtung 220 verwendet werden. In einer scannenden Abbildungsvorrichtung wird ein Strahl durch ein Strahl-leitendes Element auf eine Vielzahl von Positionen der Probe gelenkt. Ein oder mehrere Detektoren werden verwendet, um Wechselwirkungen des Strahls mit der Probe, wie etwa Reflektion, Photoemission (im Fall von Fluoreszenz), emittierte Strahlung oder Elektronen, zu detektieren. Im Falle der Konfokalmikroskopie und der zwei-Photonen-Mikroskopie ist der Strahl ein Laserstrahl, im Falle der Rasterelektrononenmikroskopie ein Elektronenstrahl. Dieser Strahl wird mittels eines Strahl-leitenden Elements auf die verschiedenen Positionen der Probe gelenkt (gemäß des Rasters). Dabei wird, im Falle der Konfokalmikroskopie und der zwei-Photonen-Mikroskopie meist ein Spiegel oder anderes reflektierendes Element genutzt, im Falle der Rasterelektronenmikroskopie werden Spulen verwendet, um den Elektronenstrahl zu lenken.
Das System 210 kann ausgebildet sein, um die Sensordaten der Abbildungsvorrichtung 220 (oder der Abbildungsvorrichtung) von der (jeweiligen) Abbildungsvorrichtung zu erhalten (d.h. zu empfangen oder auszulesen), etwa über die Schnittstelle 212.
Die eine oder mehreren Schnittstellen 212 des Systems 210 können einem oder mehreren Eingängen und/oder Ausgängen zum Empfangen und/oder Übertragen von Informationen entsprechen, die in digitalen (Bit-)Werten gemäß einem bestimmten Code innerhalb eines Moduls, zwischen Modulen oder zwischen Modulen verschiedener Einheiten vorliegen können. Die eine oder mehreren Schnittstellen 212 können beispielsweise Schnittstellenschaltungen umfassen, die für den Empfang und/oder die Übertragung von Informationen ausgebildet sind.
Der eine oder die mehreren Prozessoren 214 des Systems 210 können durch eine oder mehrere Verarbeitungseinheiten, ein oder mehrere Verarbeitungsgeräte, ein beliebiges Mittel zur Verarbeitung, wie einen Prozessor, einen Computer oder eine programmierbare Hardwarekomponente, die mit entsprechend angepasster Software betrieben werden kann, implementiert werden. Mit anderen Worten: Die beschriebene Funktion des einen oder der mehreren Prozessoren 214 kann auch in Software implementiert werden, die dann auf einer oder mehreren programmierbaren Hardwarekomponenten ausgeführt wird. Solche Hardwarekomponenten können einen universal verwendbarer Prozessor (etwa eine Zentralprozessoreinheit), einen Digitalen Signalprozessor (DSP), einen Mikrocontroller usw. umfassen.
Die eine oder mehreren Speichereinrichtungen 216 des Systems 210 können mindestens ein Element aus der Gruppe der computerlesbaren Speichermedien umfassen, wie z. B. ein magnetisches oder optisches Speichermedium, z. B. ein Festplattenlaufwerk, einen Flash-Speicher, eine Diskette, einen Direktzugriffsspeicher (RAM, Random Access Memory), einen programmierbaren Festwertspeicher (PROM, Programmable Read-Only Memory), einen löschbaren programmierbaren Festwertspeicher (EPROM, Erasable Programmable Read-Only Memory), einen elektronisch löschbaren programmierbaren Festwertspeicher (EEPROM, Electrically Erasable Programmable Read-Only Memory) oder einen Netzwerkspeicher.
Mehr Details und Aspekte des Verfahrens, des Systems, eines entsprechenden Computerprogramms und des optischen Abbildungssystems werden in Verbindung mit dem Konzept oder Beispielen genannt, die vorher oder nachher (etwa im Zusammenhang mit den 3a bis 10) beschrieben werden. Das Verfahren, das System, das Computerprogramm und das optische Abbildungssystem können ein oder mehrere zusätzliche optionale Merkmale umfassen, die ein oder mehreren Aspekten des vorgeschlagenen Konzepts oder der beschriebenen Beispiele entsprechen, wie sie vorher oder nachher beschrieben wurden.
Verschiedene Aspekte des vorliegenden Konzepts beziehen sich auf eine Probentisch-Kalibration. Ein Kerngedanke dahinter ist es die Rotation zwischen Probentisch und Kamera automatisch zu kalibrieren. So kann man beispielsweise für das Eingabegerät ein „virtuelles“ Koordinatensystem bereitstellen, das sich an der Ausrichtung der Kamera orientiert. Wenn der Nutzer im Kamerakoordinatensystem nach rechts fahren will, kann dieser Wunsch in die entsprechenden physikalischen Achsbewegungen des Probentisches umgerechnet werden. Mittels einer technischen Probe (dem Muster, das im Zusammenhang mit den 1a bis 2b diskutiert wurde), die wohldefiniert mittels des Probentisches in den entsprechenden Achsen verfahren werden kann, lässt sich bestimmen welche Verschiebungen in der Kamera sichtbar sind.
Durch das vorgeschlagene Verfahren kann die Ausrichtungstoleranz der Kamera zum Probentisch bei einer automatischen Kalibrierung „laxer“ gewählt werden. Während bei manueller Ausrichtung beispielsweise ein Rotationsfehler von weniger als 1° gewünscht ist, damit dieser nicht negativ auffällt bei der Bewegung des Probentisches mittels Eingabegerät, sind weniger als 5° Grad mechanische Ausrichtung leichter zu erreichen, wenn hieran noch die automatische Kalibrierung anschließt.
Bei einem optischen Abbildungssystem mit mehreren Modalitäten (wie etwa einem Weitfeld-Mikroskop und einem Konfokal-Mikroskop) besteht noch der zusätzliche Aufwand, beide Modalitäten zueinander und zu dem Probentisch auszurichten. Hier kann die automatische Kalibrierung jeweils ein virtuelles Koordinatensystem für Weitfeld- und Konfokalmikroskopie ermöglichen. Daraus resultierend kann der Nutzer in beiden Modalitäten einfach und konsistent in die kanonischen Richtungen (links, recht, oben, unten) fahren, ohne in einer Modalität das Problem zu haben, dass ein Verfahren in einer Richtung beide Bildachsen bewegt.
Die 3a und 3b zeigen schematische Illustrationen eines Effekts einer reinen Bewegung entlang der X-Achse des Probentisches mit einer Probe (dem Muster), ohne und mit Verwendung der vorgeschlagenen Bewegungskorrektur. Dabei wird die Ausgangslage 310 und die Lage nach Bewegung 320; 340 gezeigt, wobei 3a die Lage 320 nach Bewegung ohne Bewegungskorrektur und 3b die Lage 340 nach Bewegung ohne Bewegungskorrektur zeigt. Dabei bewegt sich nur der Probentisch und nicht die Kamera und damit ihr Bildfeld 330 (engl. Field of View). Wie in 3a ersichtlich ist löst, wenn die Achsen des Probentisches nicht parallel zu den Achsen des Sensors liegen, eine reine X-Achsen Bewegung zusätzlich einen Versatz der Y-Achse aus. Wenn diese Bewegung zuvor verstanden wird und die Bewegung des Probentisches entsprechend korrigiert wird (durch den Umrechnungsparameter), wäre die reine X Bewegung relativ zum Sensor ausgeführt worden, wie es in 3b gezeigt ist.
In den 4a und 4b ist dasselbe Verhalten gezeigt. 4a und 4b zeigen weitere schematische Illustrationen eines Effekts einer reinen Bewegung entlang der X-Achse des Probentisches mit einer Probe (dem Muster), ohne und mit Verwendung der vorgeschlagenen Bewegungskorrektur. Anders als in den 3a und 3b wird in den 4a und 4b das Bildfeld 415; 425; 435 bewegt, um den gewünschten Effekt besser verständlich darzustellen. In 4a ist an der ursprünglichen Position 410 des Probentisches das ursprüngliche Bildfeld 415 gezeigt. Nach der Bewegung des Probentisches entlang der X-Achse ist an der verschobenen Position 420 des Probentisches das Bildfeld 425 sowohl entlang der X-Achse als auch entlang der Y-Achse verschoben. Anders dagegen in 4b, wo die Bewegungskorrektur durchgeführt wird. Dort ist nach der Bewegung des Probentisches entlang der X-Achse an der verschobenen Position 430 des Probentisches das Bildfeld 435 lediglich entlang der X-Achse verschoben.
5 zeigt ein Flussdiagramm eines Beispiels eines Ablaufs der Kalibration zur Bestimmung eines virtuellen Koordinatensystems (das dem zweiten Koordinatensystem, wie es im Zusammenhang mit den 1a bis 2b beschrieben wurde, entsprechen kann). Dabei wird auf das Ziel fokussiert 510, und das Normal (das Muster, welches in den 3a bis 4b als Gitterstruktur (engl. grid) dargestellt ist, es kann aber auch eine L-Form sein, wie in 2b gezeigt) in der Ausgangsposition aufgenommen und im Detektorbild ermittelt 520. Dann wird der Probentisch in einer Achse verfahren 522 (hier der X-Achse) und das Normal erneut aufgenommen und im Detektorbild ermittelt 524. Dann kann die Abweichung (d.h. der Versatz) basierend auf den beiden Positionen des Normals in den Detektorbildern ermittelt 526 werden. Aus diesen beiden Aufnahmen, insbesondere aus den Abweichungen zwischen der Position des Normals auf den beiden Bildern, kann dann einerseits die genaue physikalische Schrittweite der Stage relativ zu dem Detektor bestimmt werden (etwa als Bewegung von n Pixeln nach rechts) und die Abweichung der Bewegung entlang der Y-Achse zur erwarteten reinen Bewegung auf der X-Achse berechnet werden 528. Dies wird mit der zweiten dazu orthogonalen Achse wiederholt, durch Bestimmen 530 der Position des Normals in einem ersten Detektorbild, Verschieben 532 des Probentisches entlang der zweiten Achse (hier der Y-Achse), Bestimmen 534 der Position des Normals in einem zweiten Detektorbild, Berechnen 536 der Abweichung und Bestimmen 538 der Abweichung der Bewegung entlang der X-Achse zur erwarteten reinen Bewegung auf der Y-Achse. Aus beiden Abweichungen zur jeweils erwarteten reinen Bewegung auf einer der Achsen kann nun das virtuelle Koordinatensystem bestimmt 540 werden. Die beiden Abweichungen zusammen ergeben eine Beschreibung für die korrigierte Bewegung relativ zum Bildgebungssystem. Die Bewegungs-Steuerbefehle an den Probentisch können mit diesen Parametern (d.h. dem Umrechnungsparameter) leicht umgerechnet werden, so dass beispielsweise die Eingabe des Eingabegeräts nicht mehr linear einen der Achsen-Motoren steuert, sondern die erwartete Bewegung in Richtung der Bildgebung, durch eine 2-Achsige Interpolation ermöglicht.
6 zeigt ein Flussdiagramm eines Beispiels für den Ablauf der Steuerung des Probentisches. Hierbei wird für einen Steuerungsbefehl 610 zur Bewegung des Probentisches eine korrigierte Achsenbewegung für das aktuelle virtuelle Koordinatensystem berechnet 620, was in der eigentlichen Bewegung des Probentisches resultiert 630.
Das virtuelle Koordinatensystem erlaubt außerdem eine einfache Transformation in ein anderes System. Hierbei verändert sich lediglich der angewendete Parametersatz, nicht aber der Ablauf.
In einer Variante der vorgestellten Probentischsteuerung kann davon abgewichen werden, die Steuerungsbefehle für den Probentisch entsprechend den Achsen der Darstellung der Kamera zu interpretieren. 7 zeigt eine schematische Darstellung einer Wellplatte in Bildfeld einer Kamera, wobei die Wellplatte um 45° gedreht ist. Hier kann es nützlich sein, ein beliebiges virtuelles Koordinatensystem zu definieren, das sich entlang der in 7 gezeigten X- und Y-Achsen erstreckt, also in einem 45°-Winkel zum Koordinatensystem der Darstellung. Dieses virtuelle Koordinatensystem kann nun genutzt werden, um die Probentischbewegung zu steuern, entlang der hier gezeigten X- und Y-Achsen. Stellt man sich die Bildmitte bei A1 vor, würde eine Bewegung des Eingabegeräts in der X-Achse eine Bewegung entlang der eingezeichneten X-Achse bewirken.
Mehr Details und Aspekte des Konzepts zur Kalibrierung des Probentisches werden in Verbindung mit dem Konzept oder Beispielen genannt, die vorher oder nachher (z.B. 1a bis 2b, 8 bis 10) beschrieben werden. Das Konzept zur Kalibrierung des Probentisches kann ein oder mehrere zusätzliche optionale Merkmale umfassen, die ein oder mehreren Aspekten des vorgeschlagenen Konzepts oder der beschriebenen Beispiele entsprechen, wie sie vorher oder nachher beschrieben werden.
8 zeigt ein Flussdiagramm eines Beispiels eines weiteren Verfahrens für ein optisches Abbildungssystem. Das Verfahren von 8 kann in vielen Aspekten ähnlich implementiert werden wie das Verfahren, das in den vorherigen Figuren, und insbesondere in den 1a und 1b diskutiert wurde. Auch kann das Verfahren von dem System 210, etwa in Verbindung mit dem optischen Abbildungssystem 200 der 2a und 2b, ausgeführt werden. Das Verfahren umfasst ein Erhalten 810 von ersten Bilddaten einer Abbildungsvorrichtung 220 des Abbildungssystems, wobei die ersten Bilddaten eine Darstellung 222 eines Musters 236 umfassen. Das Verfahren umfasst ferner ein Erhalten 820 von zweiten Bilddaten des Musters von der Abbildungsvorrichtung, nachdem das Muster durch einen Probentisch 230 des optischen Abbildungssystems um eine Distanz in einer relativ zu dem Probentisch definierten Dimension 232/234 verschoben wurde. Das Verfahren umfasst ferner ein Bestimmen 830 eines Versatzes 226 zwischen den Mustern der ersten und zweiten Bilddaten in zwei Dimensionen 252; 254. Das Verfahren umfasst ferner ein Berechnen 840 eines Umrechnungsparameters basierend auf dem Versatz 226 und der Distanz.
Bis zu diesem Punkt entspricht das Verfahren von 8 dem Verfahren der 1a und 1b, und kann entsprechend ähnlich implementiert werden. In den Beispielen der vorherigen Figuren wurde der Ansatz gewählt, die konkreten Steueranweisungen des Eingabegeräts an den Probentisch zu transformieren, um die gewünschte Bewegung zu erhalten. Eine andere Option, die im Zusammenhang mit den 8 und 9 gezeigt ist, ist es die Steuerung des Probentisches über das Eingabegerät unverändert zu lassen und stattdessen das Kamerabild entsprechend zu transformieren.
Abweichend von, oder zusätzlich zu dem Verfahren der 1a und 1b umfasst das Verfahren von 8 nun ferner ein Transformieren 850 von Bilddaten der Abbildungsvorrichtung 220 basierend auf dem Umrechnungsparameter, um transformierte Bilddaten zu erhalten. Anders als in dem Verfahren, das im Zusammenhang mit den 1a bis 7 beschrieben wurde, wird hier nun nicht (ausschließlich) die Steuerung des Probentisches angepasst, sondern die Darstellung der Bilddaten angepasst. Um weiter zu gewährleisten, dass bei Steuerung des Probentisches sich das Anzeigebild wie erwartet verändert, können die Bilddaten der Abbildungsvorrichtung entsprechend dem Umrechnungsparameter rotiert werden, so dass der Rotationsversatz zwischen Probentisch und Bilddaten ausgeglichen wird. Entsprechend kann das Transformieren 850 der Bilddaten ein Rotieren 852 der Bilddaten basierend auf dem Umrechnungsparameter umfassen. Wird der Probentisch nun in einer der Dimensionen des Probentisches bewegt, bewegt sich das angezeigte Bild ebenfalls lediglich in eine Dimension.
Wie aus 9 ersichtlich, entstehen bei dem Rotieren der Bilddaten Bereiche, in denen keine Bilddaten dargestellt werden. Um solche Bereiche zu vermeiden, können die Bilddaten vergrößert werden und der Bildausschnitt kann so gewählt werden, dass die Bereiche nicht angezeigt werden. Somit kann das Transformieren 850 der Bilddaten ein Zuschneiden 854 der rotierten Bilddaten umfassen, etwa damit keine Bereiche, in denen keine Bilddaten dargestellt werden, ausgegeben werden.
9 zeigt ein Beispiel einer Darstellung eines rotierten und zugeschnittenen Kamerabilds. Dabei kann das Kamerabild 910, wie in 9 gezeigt ist, gedreht werden, um die Rotation zum Probentisch auszugleichen, und anschließend beschnitten (engl. cropping) werden auf einen Ausschnitt 920 aus dem gedrehten Kamerabild. Hierdurch wird eine Ausrichtung der jeweiligen Kamera durchgeführt. In 9 ist die Verdrehung zur Anschauung übertrieben dargestellt, in der Praxis ist der Rotationsversatz meist geringer.
Die transformierten Bilddaten können nun über die Anzeige 250 des optischen Abbildungssystems ausgegeben werden. Das Verfahren umfasst ein Bereitstellen 860 eines Anzeigesignals mit den transformierten Bilddaten. Beispielsweise kann das Anzeigesignale ein Video- oder Steuersignal sein, um die Anzeige 250 des optischen Abbildungssystems anzusteuern und um darüber das Anzeigesignal mit den transformierten Bilddaten auszugeben. Entsprechend können die ein oder mehreren Schnittstellen 212 des Systems 210 eine Videoschnittstelle umfassen.
Mehr Details und Aspekte des Verfahrens, des Systems, das ausgebildet ist, um das Verfahren auszuführen, des optischen Abbildungssystems und eines entsprechenden Computerprogramms werden in Verbindung mit dem Konzept oder Beispielen genannt, die vorher oder nachher (z.B. 1a bis 7, 10) beschrieben werden. Das Verfahren, das System, das optische Abbildungssystem und das Computerprogramm können ein oder mehrere zusätzliche optionale Merkmale umfassen, die ein oder mehreren Aspekten des vorgeschlagenen Konzepts oder der beschriebenen Beispiele entsprechen, wie sie vorher oder nachher beschrieben werden.
Einige Ausführungsbeispiele beziehen sich auf ein optisches Abbildungssystem oder eine optische Abbildungsvorrichtung, wie etwa ein Mikroskopsystem oder ein Mikroskop, das ein System umfasst, wie in Verbindung mit einer oder mehrerer der 1a bis 9 beschrieben. Alternativ kann eine optische Abbildungsvorrichtung, wie etwa ein Mikroskop, Teil eines Systems, wie in Verbindung mit einer oder mehrerer der 1a bis 9 beschrieben, sein oder mit demselben verbunden sein. 10 zeigt eine schematische Darstellung eines Systems 1000, das ausgebildet ist zum Ausführen eines hierin beschriebenen Verfahrens. Das System 1000 umfasst eine optische Abbildungsvorrichtung 1010, wie etwa ein Mikroskop (etwa ein scannendes Mikroskop oder ein nicht-scannendes Mikroskop), und ein Computersystem 1020. Die optische Abbildungsvorrichtung 1010 ist ausgebildet zum Aufnehmen von Bildern und ist mit dem Computersystem 1020 verbunden. Das Computersystem 1020 ist ausgebildet zum Ausführen von zumindest einem Teil eines hierin beschriebenen Verfahrens. Das Computersystem 1020 kann ausgebildet sein zum Ausführen eines Maschinenlern-Algorithmus. Das Computersystem 1020 und die optische Abbildungsvorrichtung 1010 können getrennte Einheiten sein, können aber auch zusammen in einem gemeinsamen Gehäuse integriert sein. Das Computersystem 1020 könnte Teil eines zentralen Verarbeitungssystems der optischen Abbildungsvorrichtung 1010 sein und/oder das Computersystem 1020 könnte Teil einer Teilkomponente der optischen Abbildungsvorrichtung 1010 sein, wie eines Sensor, eines Aktuator, einer Kamera oder einer Beleuchtungseinheit, usw. der optischen Abbildungsvorrichtung 1010.
Das Computersystem 1020 kann eine lokale Computervorrichtung (z. B. Personalcomputer, Laptop, Tablet-Computer oder Mobiltelefon) mit einem oder mehreren Prozessoren und einer oder mehreren Speichervorrichtungen oder kann ein verteiltes Computersystem (z. B. ein Cloud-Computing-System mit einem oder mehreren Prozessoren oder einer oder mehreren Speichervorrichtungen, die an verschiedenen Stellen verteilt sind, zum Beispiel an einem lokalen Client und/oder einer oder mehreren Remote-Server-Farms und/oder Datenzentren) sein. Das Computersystem 1020 kann irgendeine Schaltung oder Kombination von Schaltungen umfassen. Bei einem Ausführungsbeispiel kann das Computersystem 1020 einen oder mehrere Prozessoren umfassen, die von irgendeinem Typ sein können. Nach hiesigem Gebrauch kann Prozessor irgendein Typ von Rechenschaltung bedeuten, wie beispielsweise, aber nicht beschränkt auf, ein Mikroprozessor, ein Mikrocontroller, ein Mikroprozessor mit komplexem Befehlssatz (CISC), ein Mikroprozessor mit reduziertem Befehlssatz (RISC), ein Sehr-langes-Anweisungswort- (Very Long Instruction Word; VLIW) Mikroprozessor, ein Graphikprozessor, ein digitaler Signalprozessor (DSP), ein Multi-Core-Prozessor, ein feldprogrammierbares Gate-Array (FPGA), z.B. eines Mikroskops oder einer Mikroskopkomponente (z. B. Kamera) oder irgendein anderer Typ von Prozessor oder Verarbeitungsschaltung. Andere Typen von Schaltungen, die in dem Computersystem 1020 umfasst sein können, können eine speziell angefertigte Schaltung, eine anwendungsspezifische integrierte Schaltung (ASIC) oder Ähnliches, wie beispielsweise eine oder mehrere Schaltungen (z. B. eine Kommunikationsschaltung) zur Verwendung bei drahtlosen Vorrichtungen wie z. B. Mobiltelefonen, Tablet-Computern, Laptop-Computern, Funksprechgeräten und ähnlichen elektronischen Systemen sein. Das Computersystem 1020 kann eine oder mehrere Speichervorrichtungen umfassen, die ein oder mehrere Speicherelemente umfassen können, die für die jeweilige Anwendung geeignet sind, wie beispielsweise einen Hauptspeicher in der Form eines Direktzugriffsspeichers (RAM, Random Access Memory), eine oder mehrere Festplatten und/oder ein oder mehrere Laufwerke, die entfernbare Medien, wie beispielsweise CDs, Flash-Speicherkarten, DVD und Ähnliches handhaben. Das Computersystem 1020 kann auch eine Anzeigevorrichtung, einen oder mehrere Lautsprecher, und eine Tastatur und/oder Steuerung umfassen, die eine Maus, Trackball, Touchscreen, Stimmerkennungsvorrichtung oder irgendeine andere Vorrichtung umfassen kann, die es einem Systemnutzer erlaubt, Information in das Computersystem 1020 einzugeben und Information von demselben zu empfangen.
Einige oder alle Verfahrensschritte können durch (oder unter Verwendung) einer Hardwarevorrichtung ausgeführt werden, wie es zum Beispiel ein Prozessor, ein Mikroprozessor, ein programmierbarer Computer oder eine elektronische Schaltung sein kann. In einigen Ausführungsbeispielen können ein oder mehrere der wichtigsten Verfahrensschritte durch eine solche Vorrichtung ausgeführt werden.
Abhängig von bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder Software implementiert werden. Die Implementierung kann mit einem nicht-flüchtigen Speichermedium wie einem digitalen Speichermedium, wie beispielsweise einer Diskette, einer DVD, einem Blu-Ray, einer CD, einem ROM, einem PROM und EPROM, einem EEPROM oder einem FLASH-Speicher, durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem so zusammenwirken (oder zusammenwirken können), dass das jeweilige Verfahren durchgeführt wird. Daher kann das digitale Speichermedium computerlesbar sein.
Einige Ausführungsbeispiele gemäß der Erfindung umfassen einen Datenträger mit elektronisch lesbaren Steuersignalen, die mit einem programmierbaren Computersystem zusammenwirken können, so dass eines der hierin beschriebenen Verfahren durchgeführt wird.
Im Allgemeinen können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert werden, wobei der Programmcode für die Ausführung eines der Verfahren wirksam ist, wenn das Computerprogrammprodukt auf einem Computer läuft. Der Programmcode kann beispielsweise auf einem maschinenlesbaren Träger gespeichert werden.
Weitere Ausführungsbeispiele umfassen das Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren, das auf einem maschinenlesbaren Träger gespeichert ist.
Mit anderen Worten, ein Ausführungsbeispiel der vorliegenden Erfindung ist daher ein Computerprogramm mit einem Programmcode zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer läuft.
Ein weiteres Ausführungsbeispiel der vorliegenden Erfindung ist daher ein Speichermedium (oder ein Datenträger oder ein computerlesbares Medium), das ein darauf gespeichertes Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahren umfasst, wenn es von einem Prozessor ausgeführt wird. Der Datenträger, das digitale Speichermedium oder das aufgezeichnete Medium sind in der Regel greifbar und/oder nicht übergangslos. Eine weiteres Ausführungsbeispiel der vorliegenden Erfindung ist eine Vorrichtung, wie hierin beschrieben, die einen Prozessor und das Speichermedium umfasst.
Ein weiteres Ausführungsbeispiel der Erfindung ist daher ein Datenstrom oder eine Signalfolge, die das Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren darstellt. Der Datenstrom oder die Signalfolge kann beispielsweise so konfiguriert werden, dass sie über eine Datenkommunikationsverbindung, beispielsweise über das Internet, übertragen werden.
Ein weiteres Ausführungsbeispiel umfasst ein Verarbeitungsmittel, zum Beispiel einen Computer oder eine programmierbare Logikvorrichtung, das konfiguriert oder angepasst ist, um eines der hierin beschriebenen Verfahren auszuführen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahren installiert ist.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, das konfiguriert ist, um (zum Beispiel elektronisch oder optisch) ein Computerprogramm zum Ausführen eines der hierin beschriebenen Verfahren an einen Empfänger zu übertragen. Der Empfänger kann beispielsweise ein Computer, eine mobile Vorrichtung, eine Speichervorrichtung oder dergleichen sein. Die Vorrichtung oder das System kann beispielsweise einen Dateiserver zum Übertragen des Computerprogramms an den Empfänger umfassen.
In einigen Ausführungsbeispielen kann eine programmierbare logische Vorrichtung (z.B. eine feldprogrammierbare Gatteranordnung, FPGA) verwendet werden, um einige oder alle Funktionalitäten der hierin beschriebenen Verfahren auszuführen. In einigen Ausführungsbeispielen kann eine feldprogrammierbare Gatteranordnung mit einem Mikroprozessor zusammenarbeiten, um eines der hierin beschriebenen Verfahren durchzuführen. Im Allgemeinen werden die Verfahren vorzugsweise von jedem Hardwaregerät durchgeführt.
Bezugszeichen

110: Erhalten von ersten Bilddaten
120: Steuern einer Antriebseinheit
130: Erhalten von zweiten Bilddaten
140: Steuern der Antriebseinheit
150: Erhalten von dritten Bilddaten
160: Bestimmen eines Versatzes
165: Bestimmen eines Abbildungs-Flips
170: Bestimmen eines Umrechnungsparameters
180: Erhalten eines Eingabesignals
190: Steuern einer Antriebseinheit
200: Optisches Abbildungssystem
210: System
212: Schnittstelle
214: Prozessor
216: Speichereinrichtung
220: Optische Abbildungsvorrichtung
222: Erste Darstellung eines Musters
224: Zweite Darstellung eines Musters
226: Versatz
230: Probentisch
232; 234: Relativ zu dem Probentisch definierte Dimensionen
236: Muster
240: Antriebseinheit
250: Anzeige
252; 254: Relativ zu der Anzeige definierte Dimensionen
260: Eingabegerät
310: Ausgangslage
320: Lage nach Bewegung
330: Bildfeld
340: Lage nach Bewegung
410: Ursprüngliche Position des Probentisches
415; 425; 435: Bildfeld
420: Verschobene Position des Probentisches
430: Verschobene Position des Probentisches
510: Fokussieren auf Ziel
520: Ermitteln von Normal in Detektorbild
522: Verfahren des Probentisches
524: Ermitteln von Normal in erneut aufgenommenem Detektorbild
526: Bestimmen der Abweichung
528: Berechnen einer Abweichung entlang der Y-Achse
530: Ermitteln von Normal in Detektorbild
532: Verfahren des Probentisches
534: Ermitteln von Normal in erneut aufgenommenem Detektorbild
536: Bestimmen der Abweichung
538: Berechnen einer Abweichung entlang der X-Achse
540: Bestimmen eines virtuellen Koordinatensystems
610: Steuerungsbefehl
620: Berechnen einer korrigierten Achsenbewegung
630: Resultierende Bewegung des Probentisches
810: Erhalten von ersten Bilddaten
820: Erhalten von zweiten Bilddaten
830: Bestimmen eines Versatzes
840: Bestimmen eines Umrechnungsparameters
850: Transformieren von Bilddaten
852: Rotieren der Bilddaten
854: Zuschneiden der rotierten Bilddaten
860: Bereitstellen eines Anzeigesignals
910: Kamerabild
920: Ausschnitt
1000: System
1010: Optische Abbildungsvorrichtung
1020: Computersystem

Claims

Ein Verfahren für ein optisches Abbildungssystem (200), das Verfahren umfassend: Erhalten (110) von ersten Bilddaten einer Abbildungsvorrichtung (220) des Abbildungssystems, wobei die ersten Bilddaten eine Darstellung eines Musters (236) umfassen; Erhalten (130) von zweiten Bilddaten des Musters von der Abbildungsvorrichtung, nachdem das Muster durch einen Probentisch (230) des optischen Abbildungssystems um eine Distanz in einer relativ zu dem Probentisch definierten Dimension (232/234) verschoben wurde; Bestimmen (160) eines Versatzes (226) zwischen den Mustern der ersten und zweiten Bilddaten in zwei Dimensionen (252; 254); Berechnen (170) eines Umrechnungsparameters basierend auf dem Versatz (226) und der Distanz; und Steuern (190) einer Antriebseinheit (240) zum Verschieben des Probentisches basierend auf dem Umrechnungsparameter.
Das Verfahren gemäß Anspruch 1, wobei die relativ zu dem Probentisch definierte Dimension (232; 234) durch ein erstes Koordinatensystem des Probentischs definiert ist und die Berechnung des Versatzes in den zwei Dimensionen in einem zweiten Koordinatensystem durchgeführt wird, das relativ zu einem Referenzbildfeld definiert ist.
Das Verfahren gemäß Anspruch 2, wobei der Umrechnungsparameter dazu ausgelegt ist, ausgehend von einer gewünschten Verschiebung in dem zweiten Koordinatensystem eine entsprechende Verschiebung in dem ersten Koordinatensystem zu ermöglichen, um den Probentisch basierend auf der entsprechenden Verschiebung in dem ersten Koordinatensystem zu steuern.
Das Verfahren gemäß einem der Ansprüche 2 oder 3, wobei der Umrechnungsparameter zumindest eines von einem Rotationsversatz und einem Skalierungsversatz zwischen dem ersten Koordinatensystem und dem zweiten Koordinatensystem abbildet.
Das Verfahren gemäß einem der Ansprüche 2 bis 4, wobei das zweite Koordinatensystem ein Koordinatensystem einer Anzeige (250) des optischen Abbildungssystems und/oder ein Koordinatensystem eines Bildfelds der optischen Abbildungsvorrichtung ist.
Das Verfahren gemäß einem der Ansprüche 2 bis 4, wobei das zweite Koordinatensystem ein benutzerdefiniertes Koordinatensystem ist.
Das Verfahren nach einem der Ansprüche 1 bis 6, wobei der Umrechnungsparameter dazu ausgelegt ist, ausgehend von einer gewünschten Verschiebung entlang der relativ zu einem Referenzbildfeld definierten Dimensionen eine entsprechende Verschiebung in relativ zu dem Probentisch definierten Dimensionen zu erreichen, um den Probentisch basierend auf der entsprechenden gewünschten Verschiebung zu steuern.
Das Verfahren gemäß einem der Ansprüche 1 bis 7, ferner umfassend Erhalten (180) eines Eingabesignals eines Eingabegeräts (260) des optischen Abbildungssystems, wobei die Antriebseinheit zum Verschieben des Probentisches ferner basierend auf dem Eingabesignal gesteuert wird.
Das Verfahren gemäß einem der Ansprüche 1 bis 8, ferner umfassend Bestimmen (165) eines Abbildungs-Flip der Abbildungsvorrichtung basierend auf dem Versatz, wobei ein Referenzbildfeld, das für die Berechnung des Versatzes verwendet wird, auf dem Abbildungs-Flip basiert.
Das Verfahren gemäß einem der Ansprüche 1 bis 9, ferner umfassend Erhalten (150) von dritten Bilddaten des Musters von der Abbildungsvorrichtung, nachdem das Muster durch den Probentisch (230) des optischen Abbildungssystems um eine zweite Distanz in einer zweiten relativ zu dem Probentisch definierten Dimension verschoben wurde, wobei das Bestimmen des Versatzes und das Berechnen des Umrechnungsparameters ferner auf der verschobenen Darstellung des Musters der dritten Bilddaten basieren.
Das Verfahren gemäß einem der Ansprüche 1 bis 10, wobei das Verfahren, sofern das optisches Abbildungssystem mehrere Abbildungsvorrichtungen umfasst, separat für jede Abbildungsvorrichtung durchgeführt wird, wobei für jede Abbildungsvorrichtung ein separater Umrechnungsparameter berechnet wird.
Ein Verfahren für ein optisches Abbildungssystem (200), das Verfahren umfassend: Erhalten (810) von ersten Bilddaten einer Abbildungsvorrichtung (220) des Abbildungssystems, wobei die ersten Bilddaten eine Darstellung (222) eines Musters (236) umfassen; Erhalten (820) von zweiten Bilddaten des Musters von der Abbildungsvorrichtung, nachdem das Muster durch einen Probentisch (230) des optischen Abbildungssystems um eine Distanz in einer relativ zu dem Probentisch definierten Dimension (232/234) verschoben wurde; Bestimmen (830) eines Versatzes (226) zwischen den Mustern der ersten und zweiten Bilddaten in zwei Dimensionen (252; 254); Berechnen (840) eines Umrechnungsparameters basierend auf dem Versatz (226) und der Distanz; und Transformieren (850) von Bilddaten der Abbildungsvorrichtung (220) basierend auf dem Umrechnungsparameter, um transformierte Bilddaten zu erhalten; und Bereitstellen (860) eines Anzeigesignals mit den transformierten Bilddaten.
Das Verfahren gemäß Anspruch 12, wobei das Transformieren (850) der Bilddaten ein Rotieren (852) der Bilddaten basierend auf dem Umrechnungsparameter und ein Zuschneiden (854) der rotierten Bilddaten umfasst.
Ein System (210; 1020) für ein optisches Abbildungssystem (200; 1000), wobei das System ein oder mehrere Prozessoren (214) und ein oder mehrere Speichereinrichtungen (216) umfasst, wobei das System ausgebildet ist zum Durchführen zumindest eines der Verfahren gemäß einem der Ansprüche 1 bis 13.
Ein Computerprogramm mit einem Programmcode zum Durchführen zumindest eines der Verfahren gemäß einem der Ansprüche 1 bis 13.