-
Die
Erfindung betrifft ein Verfahren zum optischen Tracking von mikroskopisch
kleinen, beweglichen Objekten, insbesondere lebende Einzeller, Lebendzellen
oder dergleichen und eine Einrichtung, um die beweglichen Objekte
mittels der durch das Verfahren erhaltenen Positionsinformationen über einen
längeren
Zeitraum in der Mitte eines Bildfeldes eines Mikroskops zur Beobachtung
scharf abzubilden.
-
Um
bei der Betrachtung von kleinen, beweglichen Objekten, beispielsweise
lebende Einzeller, kleine durch Brownsche Molekularbewegung getriebene
Objekte und dergleichen, diese mikroskopisch kleinen Objekte mit
Standardmikroskopen über
einen längeren
Zeitraum in der Mitte des Bildfeldes eines Mikroskops scharf abzubilden,
tritt das Problem auf, dass sie entweder nur bei relativ kleiner
Vergrößerung betrachtet
werden können,
oder die Beobachtungsdauer dadurch eingeschränkt wird, dass das interessierende
Objekt das beobachtete Feld verlässt, wie
beispielsweise Lebendzellen, die sich bewegen und bei der Bewegung
ständig
ihre äußere Form
verändern.
Störend
bei der Beobachtung und Verfolgung dieser mikroskopisch kleinen,
beweglichen Objekte ist auch die Bewegung des Objektes selbst, die ein
ruhiges Konzentrieren auf die interessanten Strukturen erschwert.
Durch die Bewegung der Zelle kommt es zu morphologischen Änderungen
des Objektes, da die lebenden Zellen, die sich bewegen, bei der
Bewegung ständig
ihre äußere Form ändern. Erschwerend
kommt hinzu, dass gerade die Verfolgung kleiner Objekte auf der
Grundlage visueller Ähnlichkeitskriterien
sehr schwierig ist und dadurch die Objekte nicht einfach unterscheidbar
sind. Weiterhin besteht ein Problem darin, dass die beweglichen
Objekte unterschiedliche Größen haben
und zu unterschiedlichen Zeiten untersucht werden. Es müssen daher
für eine
sichere Verfolgung eine oder mehrere Messgrößen definiert werden, die eine
automatische Verfolgung der Zelle durch das Mikroskop ermöglichen.
Wird eine solche morphologische Erkennung nicht als Algorithmus
mit in das Trackingsystem des Mikroskops einbezogen, ist es sehr
wahrscheinlich, dass ein einmal getracktes Objekt schnell wieder
verloren geht. Aus der
DE
199 30 598 A1 ist ein Verfahren und eine Vorrichtung für eine zeitauflösende Bildanalyse
und/oder Visualisierung dynamischer Prozesse in biologischen Systemen
zur Erfassung eines Objektes, Verfolgen der Bahn des Objektes im Zeit-Raum,
Visualisierung der verfolgten Bahn des Objektes und Rekonstruieren
der dynamischen Struktur des Objektes im Zeit-Raum bekannt.
-
Die
Aufgabe der Erfindung besteht darin, ein Verfahren zu schaffen,
durch das Positionsinformationen über die Bewegung und die Veränderung
von zu beobachtenden Objekten erhalten wird, so dass mittels einer
an einem Mikroskop vorgesehenen Einrichtung diese Positionsinformationen
zum optischen Tracking und für
Nachfokussierungen genutzt werden, um mikroskopisch kleine, bewegliche
Objekte für
eine Bildanalyse über
einen längeren
Zeitraum zentriert zu beobachten.
-
Gelöst wird
diese Aufgabe durch ein Verfahren zum optischen Tracking von mikroskopisch
kleinen, beweglichen Objekten, insbesondere lebende Einzeller, Lebendzellen
oder dergleichen, gemäß Anspruch
1, um ausgewählte
mikroskopisch kleine, bewegliche Objekte, bei denen morphologische Änderungen
durch die Bewegung der Zellen entstehen, zu klassifizieren und zu
markieren, so dass durch eine anschließend durchgeführte Bildaufnahme
die erhaltenen Bilddaten entweder für weitere Bildverarbeitungen
genutzt werden oder das weiterführend
eine Berechnung der Ausgangsgrößen des
beweglichen Objektes erfolgt, und dass abschließend aus den ermittelten Ausgangsgrößen für das zu
beobachtende, bewegliche Objekt eine Steuerung einer an einem Mikroskop
vorgesehenen Einrichtung zum optischen Tracking und zur optischen
Nachführung
des Mikroskops erhalten wird. Zur Klassifizierung von Objektmerkmalen,
ausgehend von der Ausgangsbildmitte eines kleinen, beweglichen Objektes,
dienen Stützstellen
des beweglichen Objektes, insbesondere die Umrandung und/oder andere
festgelegte Objektmerkmale sowie ein errechneter Schwerpunkt des beweglichen
Objektes in der x/y-Ebene zur Festlegung des Objektes in der Mitte
des Bildfeldes eines Mikroskops. Durch einen ermittelten Hardwarefokus wird
dann das bewegliche Objekt mittels der erfindungsgemäßen Einrichtung
an einem Mikroskop so fokussiert, dass das bewegliche Objekt auch
in z-Richtung im Bereich der Schärfentiefe
der Mikroskopoptik bleibt.
-
Die
mittels des Verfahrens erhaltenen Bilddaten, aus den ein Bildverarbeitungsalgorithmus softwaremäßig die
aktuelle Position des zu beobachtenden beweglichen Objektes bestimmt,
dienen dann im weiteren dem Mikroskop mit der erfindungsgemäßen Einrichtung
zur Durchführung
des Verfahrens gemäß Patentanspruch
7 zur Steuerung und zur optischen Nachführung des Mikroskops zum optischen Tracking
eines kleinen, beweglichen Objektes. Das bewegliche Objekt wird
dazu mit einer ersten Videokamera beobachtet und ein Übersichtsbild
des beweglichen Objektes erstellt, wobei die mittels des Verfahrens
erhaltenen Positionsinformationen über das bewegliche Objekt dazu
genutzt werden, um einen stark vergrößerten Abbildungsstrahlengang
auf eine zweite Videokamera zu lenken, mittels der das sich bewegende
Objekt vergrößert in
der Mitte eines Bildfeldes des Mikroskops scharf abgebildet wird.
Die erfindungsgemäße Einrichtung,
bei der das Objekt mit einem Objektiv ins Unendliche abgebildet
wird, besteht aus der ersten Videokamera, mit der das zu trackende
Objekt beobachtet wird, und aus einem dem Objektiv nachgeordneten
Strahlenteiler, der die durch den Strahlenteiler transmittierten
Strahlbüschel
von einer dem Strahlteiler im Strahlengang nachgeordneten ersten
Tubuslinse auf den Chip einer ersten Videokamera abbildet, aus einem
Kippspiegel, auf den die vom Strahlteiler abgelenkten Strahlbüschel fallen,
um nach Reflexion an diesem von einer zweiten Tubuslinse auf eine
zweite Videokamera abgebildet zu werden. Die Brennweite der zweiten
Tubuslinse wird dazu insbesondere größer gewählt als die Brennweite der
ersten Tubuslinse und der Kippspiegel ist so ausgebildet, dass er
eine Verkippung der spiegelnden Fläche um zwei unabhängige Achsen
erlaubt, so dass die laterale Position der reflektierten Strahlbüschel in
zwei Dimensionen frei veränderbar
ist.
-
Vorteilhaft
ist vorgesehen, dass die Abbildungskette um die erste Tubuslinse
eine Übersichtsbild
des zu beobachtenden Objektes erzeugt und die Abbildungskette um
die zweite Tubuslinse ein vergrößertes Bild
eines Details des zu beobachtenden Objektes erzeugt.
-
Eine
vorteilhafte Ausführungsform
wird darin gesehen, dass die zweite Videokamera und die zweite Tubuslinse
ortsfest vorgesehen sind, wobei die Ruhestellung des Kippspiegels
die Achse des Abbildungssystems, die mit der Achse der zweiten Tubuslinse
zusammenfällt,
festlegt.
-
Bevorzugt
ist vorgesehen, dass durch die Wahl geeigneter Kippwinkel der beiden
Achsen des Kippspiegels ein beliebiger Bildausschnitt wählbar ist,
wobei die Ruhestellung des Kippspiegels so festgelegt ist, dass
das gleiche Objektmerkmal sowohl in der Mitte des Bildes der ersten
Videokamera als auch in der Mitte des Bildes der zweiten Videokamera
erscheint.
-
Eine
vorteilhafte Weiterbildung wird darin gesehen, dass bei der Beobachtung
der sich langsam bewegenden Objekte mittels der ersten Videokamera ein Übersichtsbild
zur Positionsauswertung erstellt wird, und wobei nach Rückkopplung
auf den Kippspiegel das vergrößerte Bild
des interessierenden Objektmerkmals zentriert mittels der zweiten
Videokamera beobachtet wird.
-
Eine
bevorzugte Weiterbildung wird darin gesehen, dass für eine driftfreie
Beobachtung des vergrößerten Bildes
mit der zweiten Videokamera eine periodische Wiederholung des Vorgangs
vorgesehen ist.
-
Eine
bevorzugte Variante wird darin gesehen, dass für die zweite Tubuslinse ein
pankratisches Linsensystem mit variierbarer Brennweite vorgesehen
ist, wobei die Vergrößerung des
Objektes stufenlos wählbar
ist.
-
Wesentliche
Vorteile des erfindungsgemäßen Verfahrens
bestehen darin, dass für
die morphologischen Änderungen
der zu trackenden mikroskopisch kleinen, beweglichen Objekte durch
einen Algorithmus definierte Messgrößen festgelegt werden, die
eine automatische Verfolgung der Objekte durch ein Mikroskop mit
der erfindungsgemäßen Einrichtung
ermöglichen,
indem die Messdaten zum optischen Tracking und zum Nachfokussieren
genutzt werden, um mikroskopisch kleine, bewegliche Objekte für eine Bildanalyse über einen
längeren
Zeitraum zentriert zu beobachten, indem die laterale Bewegung/Veränderung
der Objekte in der x/y-Ebene durch das Nachführsystem mittels der Einrichtung
an einem Mikroskop ausgeglichen wird und eine Nachfokussierung des
Mikroskops in z-Richtung mittels eines Software-/Hardwareautofokus durchgeführt wird.
-
Die
Erfindung wird nachfolgend anhand eines schematisch in Zeichnungen
dargestellten Ausführungsbeispieles
näher erläutert.
-
Es
zeigen:
-
1 ein
Ausführungsbeispiel
einer erfindungsgemäßen Einrichtung
mit optischer Nachführung
eines bewegten Objektes;
-
2 ein
Flussdiagramm zur Steuerung der erfindungsgemäßen Einrichtung;
-
3 ein
Beispiel für
ein Livebild eines Objektes mit Stützstellen;
-
4 zu
unterschiedlichen Zeiten aufgenommene Bilder des Objektes.
-
Um
ein mikroskopisch kleines, bewegliches Objekt über einen längeren Zeitraum hinweg in der Mitte
des Bildfeldes eines Mikroskops scharf abzubilden, bedarf es mehrerer
Regelmechanismen. Es müssen
folgende Möglichkeiten
der Bewegung/Veränderung
eines Objektes 1, insbesondere bei Lebendzellen, kompensiert
werden, indem zum einen die laterale Bewegung in x/y-Ebene durch
ein spiegelbasiertes Nachführsystem
kompensiert wird, zum anderen muss ein Bildverarbeitungsalgorithmus
für die
morphologische Erkennung und Veränderung des
Objektes 1 vorhanden sein. Außerdem muss die Bewegung des
Objektes 1 in z-Richtung durch Nachfokussieren mittels
eines Software-/Hardwareautofokus
mit kompensiert werden. 1 zeigt ein Ausführungsbeispiel
einer erfindungsgemäßen Einrichtung zum
Objekt-Tracking und zur optischen Nachführung von mikroskopisch kleinen,
beweglichen Objekten 1. Ein zu beobachtendes mikroskopisch
kleines, bewegliches Objekt 1 wird mit einem Objektiv 2 ins
Unendliche abgebildet. Dabei wird ein von einem Objektmerkmal in
der vorderen Fokusebene des Objektivs 2 und mit dem lateralen
Abstand x von der optischen Achse des Objektivs 2 emittiertes
Strahlbüschel 3 vom
Objektiv 2 zu einem parallelen Strahlbüschel 4 umgewandelt.
Dem Objektiv 2 ist dazu ein Strahlteiler 5 nachgeschaltet.
Die durch den Strahlteiler 5 transmittierten Stahlbüschel 6 werden von
einer im Strahlengang dem Strahlenteiler 5 nachgeordneten
Tubuslinse 7 auf einen Videokamerachip 8 abgebildet.
Die vom Strahlteiler 5 abgelenkten Strahlbüschel 9 fallen
auf einen weiteren, im Strahlengang vor einer zweiten Tubuslinse 12 angeordneten
Kippspiegel 10, wobei die vom Kippspiegel 10 reflektierten
Strahlenbüschel 11 von
der Tubuslinse 12 auf einen zweiten Videokamerachip 13 abgebildet werden.
Die Brennweite f2 der Tubuslinse 12 wird
insbesondere größer gewählt als
die Brennweite f1 der Tubuslinse 7.
Der zweite Kippspiegel 10 erlaubt insbesondere eine Verkippung
der spiegelnden Fläche um
zwei unabhängige
Achsen, so dass die laterale Position der reflektierten Strahlbüschel 11 in
zwei Dimensionen frei veränderbar
ist.
-
Das
vom Objektiv 2 von einem Objektmerkmal emittierte Strahlbüschel weist
gegenüber
der optischen Achse einen Winkel α auf.
Dabei gilt x = fo tan α, wobei fo die
Objektivbrennweite ist. Die zwei Koordinaten einer Position eines
jeden Objektmerkmals werden somit in zwei Winkelinformationen der
entstehenden Strahlbüschel 3, 4, 6, 9, 11 überführt. Die Tubuslinsen 7 und 12 überführen wiederum
die Winkelinformationen der Strahlbüschel 6 und 11 in
die Position der jeweiligen Bildpunkte y1 und y2. Dabei gilt, dass
y1 = f1 tan α und y2 = f2 tan α. Es ergibt
sich also, dass das von der Tubuslinse 12 erzeugt Bild
um einen Faktor f2/f1 gegenüber dem
von der Tubuslinse 7 erzeugten Bild vergrößert erscheint.
Die Abbildungskette um die Tubuslinse 7 ist somit in der
Lage, ein Übersichtsbild
des beobachteten Objektes zu erzeugen, während die Abbildungskette um
die Tubuslinse 12 ein Detail vergrößert abbildet.
-
Die
Ruhestellung des Kippspiegels 10 wird so gewählt, dass
in der Mitte des Bildes auf dem Videokamerachip 13 gerade
das Objektmerkmal zu liegen kommt, welches auch in der Mitte des
Bildes auf dem Videokamerachip 8 zu sehen ist. Die Ruhestellung
definiert somit die Hauptachse des optischen Systems, die mit der
optischen Achse der Tubuslinse 12 zusammenfällt. Wird
nun der Kippspiegel 10 gegenüber dieser Ruhestellung etwas
um eine oder auch zwei Achsen lateral zur Hauptachse verkippt, so weist
das reflektierte Strahlbüschel 11 gegenüber der Hauptachse
einen neuen Winkel α' = α + Δα auf. Die Winkeländerung
um Δα gilt dabei
für alle
parallelen Strahlbüschel
gleichermaßen.
-
Da
die Tubuslinse 12 und der Videokamerachip 13 ortsfest
bleiben, ergibt sich bei der Abbildung, dass ein entsprechend anderer
Anteil des Objektes 1 auf den Videokamerachip 13 abgebildet
wird. Durch die Wahl geeigneter Kippwinkel der beiden Achsen des
Kippspiegels 10 lässt
sich also ein beliebiger Bildausschnitt wählen. Die Position eines neuen
Bildpunktes ist y' =
f2 tan(α + Δα). Sie skaliert
also nicht streng linear mit der Änderung des Winkels. Dies lässt sich
anschaulich dadurch begründen,
dass durch die Verkippung des Kippspiegels 10 mit Δα # 0 die
optischen Achsen des Objektivs 2 und der Tubuslinse 12 nicht
mehr zusammenfallen. Jedoch sind in üblichen Mikroskopen nur kleine
Winkel der parallelen Strahlbüschel
von α < 0,1 rad anzutreffen. Δα liegt ebenfalls
in dieser Größenordnung
und für
kleine Winkel gilt tan α = α und die
auftretende Verzerrung des Bildes ist vernachlässigbar klein.
-
Will
man mit dem Mikroskop sich langsam bewegende Objekte beobachten,
so lässt
sich dieses Prinzip der Ausschnittsauswahl nun nutzen, um ein stehendes
Bild eines interessierenden Objektmerkmals zu bekommen. Dazu wird
das Übersichtsbild des
Videokamerachips 8 verwendet, um mittels einer softwaremäßigen Auswertung
die Position des interessierenden Objektes 1 im Beobachtungsfeld
zu bestimmen. Diese Positionsauswertung wird in geeigneter Weise
auf die Kippwinkel des Kippspiegels 10 zurückgekoppelt,
so dass das vergrößerte Bild
des interessierenden Merkmals zentriert von dem Videokamerachip 13 beobachtet
wird. Durch eine periodische Wiederholung dieses Vorgangs wird erreicht, dass
das vergrößerte Bild
driftfrei mit dem Videokamerachip 13 beobachtet werden
kann.
-
Eine
weitere Ausführungsform
des erfindungsgemäßen Mikroskops
mit Objekt-Tracking und optischer Nachführung besteht darin, dass an
Stelle der Tubuslinse 12 mit fester Brennweite ein pankratisches
Linsensystem eingesetzt wird, dessen Brennweite in sinnvollen Grenzen
variiert werden kann. Damit wird die Vergrößerung des vergrößert dargestellten
Teils des Objektes 1 stufenlos wählbar.
-
2 zeigt
in einem Flussdiagramm die einzelnen Verfahrensschritte beim Tracken
von mikroskopischen kleinen, beweglichen Objekten. Zu Beginn wird
das zu trackende Objekt 1 manuell am Mikroskop ausgewählt. Dies
erfolgt entsprechend 3 an einem Bildschirm 14.
An einem Livebild 15 des Objektes 1 werden die
Umrandung und/oder einige andere Objektmerkmale durch Stützstellen 16 markiert, z.B.
der Zellkern. Ein Algorithmus errechnet daraus die Werte der zu
beobachtenden Stützstellen 16 und klassifiziert
das Objekt 1. In einem festzulegenden Zeitabstand wird
nun immer wieder entsprechend 4 ein Bild 17a,
b, c, d aufgenommen und die zu beobachtenden Werte des Objekts 1 mit
dem Algorithmus neu berechnet und mit den Werten des letzten Bildes 17d verglichen.
Ist die Veränderung
des Objekts 1 klein genug, das hängt von der Zeit zwischen zwei
Objektbildern ab, kann das System das Objekt 1 identifizieren.
Der errechnete Schwerpunkt des Objektes 1 in der x/y-Ebene
wird dann zur Steuerung der Einrichtung gemäß 1 benutzt,
zum Nachregeln, so dass das Objekt 1 immer in der Mitte des
Bildfeldes des Mikroskops bleibt. Der Hardwareautofokus fokussiert
das Objekt 1 außerdem
bei jedem dieser Bilder 17a, b, c, d nach, so dass das
Objekt 1 auch in z-Richtung im Bereich der Schärfentiefe
der Mikroskopoptik bleibt.
-
- 1
- Objekt
- 2
- Objektiv
- 3
- emittiertes
Strahlbüschel
- 4
- paralleles
Strahlbüschel
- 5
- Strahlteiler
- 6
- transmittiertes
Strahlbüschel
- 7
- Tubuslinse
- 8
- Videokamerachip
- 9
- abgelenktes
Strahlbüschel
- 10
- Kippspiegel
- 11
- reflektiertes
Strahlbüschel
- 12
- Tubuslinse
- 13
- Videokamerachip
- 14
- Bildschirm
- 15
- Livebild
des Objektes
- 16
- Stützstellen
- 17
- aufgenommenes
Bild
- x
- lateraler
Abstand
- Y1
- Bildpunkt
- y2
- Bildpunkt