DE10315592B4 - Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu - Google Patents

Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu Download PDF

Info

Publication number
DE10315592B4
DE10315592B4 DE10315592A DE10315592A DE10315592B4 DE 10315592 B4 DE10315592 B4 DE 10315592B4 DE 10315592 A DE10315592 A DE 10315592A DE 10315592 A DE10315592 A DE 10315592A DE 10315592 B4 DE10315592 B4 DE 10315592B4
Authority
DE
Germany
Prior art keywords
microscopic
objects
image
interactions
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE10315592A
Other languages
English (en)
Other versions
DE10315592A1 (de
Inventor
Frank Olschewski
Volker Dr. Seyfried
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Priority to DE10315592A priority Critical patent/DE10315592B4/de
Priority to US10/809,960 priority patent/US7471817B2/en
Publication of DE10315592A1 publication Critical patent/DE10315592A1/de
Application granted granted Critical
Publication of DE10315592B4 publication Critical patent/DE10315592B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten, mit einem Mikroskop, gekennzeichnet durch die folgenden Schritte:
– Erzeugen mindestens eines Bildes einer Probe, die mindestens ein mikroskopisches Objekt umfasst;
– Definition von virtuellen Bezugsobjekten auf einem diskreten Raster des aufgenommenen Bildes bzw. der aufgenommenen Bilder durch den Benutzer zur Definition von Regionen, wobei die virtuellen Bezugsobjekte als Regionen oder diskrete Punktmengen auf dem Bezugsraster der Bildfolge definiert sind und Interaktionsorte definieren;
– Automatisierte Aufnahme einer Folge von Bild- oder Volumendaten
– Sukzessives Ermitteln eines optischen Flusses aus der Folge von aufgenommenen Bildern;
– Anwenden des ermittelten optischen Flusses auf die definierten Bezugsobjekte; und
– Ausführen von Interaktionen auf das durch den optischen Fluss geänderte Bezugsobjekt, wobei die Interaktionen die gezielte Manipulation des Objekts an den durch die virtuellen Bezugsobjekte definierten Positionen umfassen.

Description

  • Die Erfindung betrifft ein Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich veränderten mikroskopischen Objekten. Interaktion bedeutet dabei das Ausführen von Manipulationen an den mikroskopischen Objekten. Ein Beispiel für Interaktionen ist die gezielte Beleuchtung von Positionen innerhalb des Objekts mit elektromagnetischer Strahlung. Bei der Manipulation des Objekts kann es sich z. B. um ein gezieltes Bleichen von Farbstoffen, eine gezielte Photoaktivierung von Farbstoffen oder einen Cage-Compound-Release in einem bestimmten Bereich des mikroskopischen Objekts handeln (z. B. ein Zellkern).
  • Ein zweiter Aspekt der Erfindung betrifft ein System zur Beobachtung und Manipulation von sich räumlich und zeitlich veränderten mikroskopischen Objekten. Im besonderen umfasst das System ein konfokales Scanmikroskop, das einen Beleuchtungslichtstrahl über ein Objekt führt, mehrere Detektoren, die aus dem vom Objekt ausgehenden Licht Intensitäten aus unterschiedlichen Spektralbereichen ermitteln, eine Verarbeitungseinheit, einen PC, eine Eingabeeinheit und ein Display.
  • Es existieren zahlreiche Verfahren zum Ausführen von Interaktionen an biologischen Objekten. Dabei ist jedoch zu beachten, dass diese biologischen Objekte ruhen oder sich wenig zeitlich und räumlich ändern. Eine Auswertung von Daten sich zeitlich und räumlich ändernder mikroskopischer Objekte konnte bisher nicht zufriedenstellend durchgeführt werden. Dies gilt auch für die DE 101 43 441 A1 , aus der zwar ein Verfahren und ein Mikroskopsystem zur Beobachtung dynamischer Prozesse bekannt ist, jedoch betrifft dieses das Gebiet von Langzeituntersuchungen. Hier geht es darum, aufgrund der langen Zeitdauer der Beobachtung die Datenmenge zu begrenzen, um dadurch nur wenig Speicherplatz zu benötigen.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten zu schaffen, und dabei unabhängig von der Bewegung der mikroskopischen Objekte eine gezielte Interaktion an den ausgewählten Bereichen bzw. Positionen innerhalb des mikroskopischen Objekts gewährleisten zu können.
  • Die objektive Aufgabe wird durch ein Verfahren gelöst, das die Merkmale des Patentanspruchs 1 aufweist.
  • Eine weitere Aufgabe der Erfindung ist, ein System zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten zu schaffen, und dabei unabhängig von der Bewegung der mikroskopischen Objekte eine gezielte Interaktion an den ausgewählten Bereichen bzw. Positionen innerhalb des mikroskopischen Objekts gewährleisten zu können.
  • Die objektive Aufgabe wird durch ein System gelöst, das die Merkmale des Patentanspruchs 7 aufweist.
  • Die Erfindung hat den Vorteil, dass zunächst mit einem Mikroskop ein Bild einer Probe erzeugt wird, wobei das Bild mindestens ein mikroskopisches Objekt umfasst. Anhand des Bildes wird interaktiv durch den Benutzer mindestens ein virtuelles Bezugsobjekt definiert. Dieses Bezugsobjekt definiert eine diskrete Punktemenge von Interaktionsorten, zusammenhängende Regionen von Interaktionsorten oder lokale Koordinatensysteme, die in die Schwerpunkte der abgebildeten Objekte gelegt werden. Durch diesen Schritt wird mindestens eine Region oder mehrere Positionen im Objekt bestimmt. Mit dem Mikroskop wird eine Folge von Bildern aufgenommen und aus diesen Bildern wird ein optischer Fluss berechnet. Dieser optische Fluss beschreibt die Bewegung der Grauwerte aus einem Bild in das nächste. Der aus der Folge der Bilder errechnete optische Fluss wird auf die Menge vordefinierter virtueller Bezugsobjekte wie kartesisches Koordinatensystem, Region oder Positionen im Objekt angewandt. Schließlich erfolgt das Ausführen der Interaktionen auf den durch den optischen Fluss geänderten virtuellen Bezugsobjekten und somit in einem geänderten Koordinatensystem, einer geänderten Region oder den geänderten Positionen im sich zeitlich und räumlich verändernden mikroskopischen Objekt. Auf diese Weise wird sichergestellt, dass die Interaktion an dem vom Benutzer gewünschten Ort trotz Eigenbewegung oder Deformation des mikroskopischen Objekts, durchgeführt wird.
  • Die Interaktion wird im Rahmen dieser Schrift als die gezielte Manipulation des Objekts an mindestens einer Position des Objekts definiert.
  • Beispiele für die Gewinnung von Messdaten sind die Gewinnung von Intensitätsparametern durch Aufnahme oder Berechnungen wie Mittelwert, Maximum, Varianz oder beliebige Momente der Intensitätsverteilung innerhalb einer Region. Die Gewinnung von Messdaten kann auch die Gewinnung von Geometriedaten, wie z. B. Schwerpunkt, Oberfläche, Umfang, Volumen einer markierten Region oder die Bewegung des Schwerpunkts der markierten Region sein, die sich unter dem Einfluss des Flussfeldes verändern. Weitere Klassen von Messwerten ergeben sich aus der Detektion von Kollisionen markierter Objekte unter der Einwirkung des Flussfeldes. Diese Messdaten werden durch das Verfahren in geeigneter Form extrahiert und stehen im Nachhinein einer Visualisierung sowie einer rechnergesteuerten Datenanalyse zur Verfügung. Weitere Beispiele für Interaktionen ist die gezielte Beleuchtung von Positionen innerhalb des Objekts mit elektromagnetischer Strahlung.
  • Bei der Manipulation des Objekts kann es sich z. B. um ein gezieltes Bleichen von Farbstoffen, eine gezielte Photoaktivierung von Farbstoffen oder einen Cage-Compound-Release in einem bestimmten Bereich des mikroskopischen Objekts handeln (z. B. ein Zellkern). Ebenfalls kann die Manipulation des mikroskopischen Objekts das Schneiden oder Ausschneiden der bestimmten Region oder Positionen des Objekts umfassen. Dabei ist es besonders wichtig, dass man die Bewegungen und die zeitliche Veränderung des Objekts miterfasst, um das mikroskopischen Objekt an der richtigen und auch gewünschten Stelle zu schneiden oder auch zu manipulieren. Als Interaktion wird somit die gezielte Manipulation des Objekts in einem ausgewählten Bereich oder an ausgewählten Positionen des mikroskopischen Objekts definiert.
  • Die Erfindung wird im folgenden am Beispiel eines konfokalen Mikroskops beschrieben, wobei dem Fachmann klar ist, daß dieselbe Technologie auch auf andere Mikroskopiearten angewandt werden kann. Weitere vorteilhafte Ausgestaltungen der Erfindung können den Unteransprüchen entnommen werden.
  • In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen:
  • 1 eine schematische Darstellung eines Ausführungsbeispiels eines Scanmikroskops, wobei den Detektoren ein SP Modul nachgeschaltet ist;
  • 2 eine Ausführungsform der Auswahl eines mikroskopischen Objekts;
  • 3 eine weitere Ausführungsform der Auswahl eines mikroskopischen Objekts;
  • 4 eine graphische Darstellung der Bewegung des Objekts im kartesischen Koordinatensystem;
  • 5 eine graphische Darstellung der Bewegung eines Objekts, wobei ein kartesisches Koordinatensystem im Schwerpunkt des Objekts festgelegt ist und bei der Bewegung des Objekts mitbewegt wird;
  • 6 eine schematische Darstellung der Ermittlung des Verschiebungsvektorfeldes; und
  • 7 eine schematische Darstellung eines Teilbereichs einer weiteren Ausführungsform des Mikroskopsystems, wobei verschiedene Stellelemente vorgesehen sind.
  • In 1 ist das Ausführungsbeispiel eines konfokalen Scanmikroskops 100 schematisch gezeigt. Obwohl hier ein konfokales Scanmikroskop 100 dargestellt ist, soll es nicht als Beschränkung der Erfindung aufgefasst werden. Es ist ebenso denkbar, den Gegenstand der Erfindung auch mit einem konventionellen Mikroskop zu realisieren. Der von mindestens einem Beleuchtungssystem 1 kommende Beleuchtungslichtstrahl 3 wird von einem Strahlteiler oder einem geeigneten Umlenkmittel 5 zu einem Scanmodul 7 geleitet. Bevor der Beleuchtungslichtstrahl 3 auf das Umlenkmittel 5 trifft, passiert dieser ein Beleuchtungspinhole 6. Das Scanmodul 7 umfasst einen kardanisch aufgehängten Scanspiegel 9, der den Beleuchtungslichtstrahl 3 durch eine Scanoptik 12 und ein Mikroskopobjektiv 13 hindurch über bzw. durch eine Probe 15 führt. Der Beleuchtungslichtstrahl 3 wird bei nicht transparenten Proben 15 über die Probenoberfläche geführt. Bei biologischen Proben 15 oder transparenten Proben kann der Beleuchtungslichtstrahl 3 auch durch die Probe geführt werden. Zu diesen Zwecken werden nichtleuchtende Präparate gegebenenfalls mit einem geeigneten Farbstoff präpariert (nicht dargestellt, da etablierter Stand der Technik). Die in dem Objekt vorhandene Farbstoffe werden durch den Beleuchtungslichtstrahl 3 angeregt und senden Licht in einem ihnen eigenen charakteristischen Bereich des Spektrums aus. Dieses von der Probe 15 ausgehende Licht definiert einen Detektionslichtstrahl 17. Dieser gelangt durch das Mikroskopobjektiv 13, die Scanoptik 12 und über das Scanmodul 7 zum Umlenkmittel 5, passiert dieses und gelangt über ein Detektionspinhole 18 auf mindestens eine Detektoreinheit 19. Die z. B. als Photomultiplier ausgeführt ist. In dem hier dargestellten System des Scanmikroskops 100 ist dem Detektor 19 ein SP-Modul 20 vorgeschaltet. Mit dem SP-Modul 20 kann der Benutzer den geeigneten Bereich zur Detektion auswählen und gegebenenfalls auf entsprechende Detektoren richten. Es ist dem Fachmann klar, dass auch andere Detektoren, wie z. B. Dioden, Dioden-Arrays, APDs, Photomultiplier-Arrays, CCD-Chips oder CMOS-Bildsensoren eingesetzt werden können. Der von der Probe 15 ausgehende bzw. definierte Detektionslichtstrahl 17 ist in 1 als gestrichelte Linie dargestellt. Im Detektor 19 werden elektrische, zur Leistung des von der Probe 15 ausgehenden Lichtes, proportionale Detektionssignale erzeugt. Da, wie bereits oben erwähnt, von der Probe Licht nicht nur einer Wellenlänge ausgesandt wird, ist es sinnvoll vor der mindestens einen Detektionseinheit 19 das SP-Modul 20 vorzusehen. Die von dem Detektor 19 oder den Detektoren erzeugten Daten werden an ein Rechnersystem 23 weitergegeben. Dem Rechnersystem 23 ist mindestens ein Peripheriegerät 27 zugeordnet, das z. B. als Display ausgebildet ist. Mit dem Display 27 werden dem Benutzer die von den Detektoren aufgenommenen und an das Rechnersystem 23 gelieferten Daten der Probe 15 bildlich dargestellt. Die bildliche Darstellung der Probe 15 umfasst mindestens ein mikroskopisches Objekt 30. Ferner ist dem Rechnersystem 23 ein Eingabemittel zugeordnet, das z. B. aus einer Tastatur 28 einer Einstellvorrichtung 29 für die Komponenten des Mikroskopsystems und einer Maus 25 besteht. Mit der Maus 25 kann z. B. der Benutzer das mikroskopische Objekt 30 auswählen, um an dem ausgewählten Objekt 30 entsprechende Manipulationen durchführen zu können. Neben der Auswahl des gesamten mikroskopischen Objekts 30, kann der Benutzer auch einzelne Positionen 630 bzw. Pixel im Bild der Probe 15 auswählen, um aufgrund dieser ausgewählten Positionen gezielte Manipulationen bzw. Interaktionen durchführen zu können. Das mikroskopische Objekt kann auch ohne direktes Markieren durch den Benutzer mittels automatischer Bildverarbeitungsalgorithmen ausgewählt werden. Diese Bildverarbeitungsalgorithmen sind aus dem Stand der Technik hinlänglich bekannt.
  • In 2 ist eine Ausführungsform für die Auswahl eines mikroskopischen Objekts innerhalb der Probe 15 dargestellt. Die vom Scanmikroskop 100 aufgenommenen Daten der Probe 15 sind auf dem Display 27 in bildlicher bzw. graphischer Form dargestellt. Das Bild der Probe 15 umfasst mehrere mikroskopische Objekte 30. Von den mikroskopischen Objekten 30 kann durch den Benutzer mindestens ein mikroskopisches Objekt 30 ausgewählt werden. Die Auswahl des mikroskopischen Objekts 30 erfolgt z. B. mittels der Maus 25. Hierzu kann der Benutzer mit der Maus 25 z. B. ein Fadenkreuz 35 auf das mikroskopische Objekt richten. Durch einen Mausklick ist dieses mikroskopische Objekt 30 ausgewählt. Das Rechnersystem 23 ermittelt anhand der Auswahl den Schwerpunkt des mikroskopischen Objekts 30. Ebenso kann z. B. der Benutzer, wie in 3 dargestellt ist, mittels eines Mauszeigers 37 innerhalb eines ausgewählten mikroskopischen Objekts 30 eine virtuelles Bezugsobjekt definieren, welches eine Region 36 festlegt innerhalb der bestimmte Manipulationen bzw. Interaktionen durchgeführt werden können. Ebenso kann der Benutzer im oder am mikroskopischen Objekt mehrere Positionen 38 festlegen, an denen die ausgewählten Messungen bzw. Interaktionen durchgeführt werden.
  • 4 zeigt eine graphische Darstellung der Bewegung eines mikroskopischen Objekts 30 in einem statischen Koordinatensystem. Das statische Koordinatensystem 40 umfasst eine X-Achse und eine Y-Achse, die beide senkrecht zueinander angeordnet sind. Im Koordinatensystem 40 ist ein mikroskopisches Objekt 30 zum Zeitpunkt T = 0 eingezeichnet. Ebenso ist in 4 das mikroskopische Objekt 30 zum Zeitpunkt T = N eingezeichnet. Der Übergang vom mikroskopischen Objekt 30 beim Zeitpunkt T = 0 zum mikroskopischen Objekt 30 beim Zeitpunkt T = N wird mittels eines ersten Vektors 41 und eines zweiten Vektors 42 dargestellt. Der zweite Vektor 42 ist dabei länger als der erste Vektor 41, was auf eine Bewegung des mikroskopischen Objekts 30 hindeutet, die aus einer Translation in Verbindung mit einer Rotation entstanden ist. Es ist schwierig, mit dieser Ausführungsform die bestimmten und ausgewählten Interaktionspositionen bzw. Interaktionsflächen zu definieren und wieder aufzufinden. Dies liegt vor allem darin, dass ein statisches Koordinatensystem zum Verfolgen der Interaktionspositionen bzw. Interaktionsflächen verwendet wird. Es ist immer schwierig vom Koordinatenursprung des statischen Koordinatensystems 40 auf die neue Position bzw. Lage der Regionen bzw. Positionen innerhalb des mikroskopischen Objekts 30 zum Zeitpunkt T = N zu rechnen.
  • In 5 ist eine graphische Darstellung der Bewegung eines mikroskopischen Objekts dargestellt, wobei als virtuelles Bezugsobjekt ein Koordinatensystem in den Schwerpunkt des mikroskopischen Objekts gelegt ist, das bei der Bewegung des mikroskopischen Objekts diesem folgt. Wie bereits oben erwähnt, wählt der Benutzer ein mikroskopisches Objekt 30 im Bild der Probe aus und das Rechnersystem 23 ermittelt den Schwerpunkt 50 des mikroskopischen Objekts 30. In 5 ist das mikroskopische Objekt 30 zum Zeitpunkt T = 0 dargestellt. Der Schwerpunkt 500 zum Zeitpunkt T = 0 befindet sich innerhalb des mikroskopischen Objekts 30. Der Schwerpunkt 500 bildet den Ursprung des Koordinatensystems 520 zum Zeitpunkt T = 0. Das mikroskopische Objekt 30-0 umfasst ferner eine Region 51, an der eventuell Manipulationen bzw. Interaktionen durchgeführt werden sollen. Das mikroskopische Objekt 30 zum Zeitpunkt T = N ist aus dem mikroskopischen Objekt 30 zum Zeitpunkt T = 0 durch Rotation und Translation hervorgegangen. Hinzu kommt, dass das mikroskopische Objekt 30 ebenfalls Verformungen unterworfen sein kann. Verformungen treten bei biologischen Objekten häufig auf. Somit ändert sich auch die Lage des Schwerpunkts 50 zum Zeitpunkt T = N innerhalb des mikroskopischen Objekts 30 zum Zeitpunkt T = N. Die Region 51 an der Manipulationen bzw. Interaktionen ausgeführt werden sollen ist in dem vorliegenden Fall teilweise aus dem mikroskopischen Objekt 30 ausgewandert. Die Objektbewegungen verfolgt man durch Tracking und Nachführen der Koordinatentransformation, indem man das optische Flussfeld als Kraft auf das Koordinatensystem einwirken lässt. Dieses in 5 dargestellte Verfahren funktioniert manchmal hinreichend, versagt jedoch in gewissen Situationen Beispiele hierfür sind die bereits erwähnten Verformungen der mikroskopischen Objekte, wie sie in der Biologie üblich sind.
  • 6 zeigt die schematische Darstellung der Ermittlung eines Verschiebungsvektorfeldes 60, das die Rotation und Translation zwischen einem mikroskopischen Objekt 30 zum Zeitpunkt T = 0 und einem mikroskopischen Objekt 30 zum Zeitpunkt T = N repräsentiert. Das mikroskopische Objekt 30 ist durch eine Region 61 dargestellt, die von einer Linie 62 umschlossen ist. Die Linie 62 kann auch die ausgewählte Region umschließen, und somit zumindest ein Teil des mikroskopischen Objekts 30 sein. Das Rechnersystem 23 vergleicht nun die festgelegten Positionen 630 am mikroskopischen Objekt 30 zum Zeitpunkt T = 0 mit der Lage von mehreren Positionen 63N am mikroskopischen Objekt 30 zum Zeitpunkt T = N durch die Berechnung eines zeitlich veränderlichen Flussfeldes. Menschliche Augen können dies durch die Verfolgung einzelner Merkmale nachvollziehen, wie in der Zeichnung entlang der Linie 62 ducrch mehrere Positionen 630 verdeutlicht wird. Fehlen Bezugsmerkmale kann das Auge diese Transformation nicht nachvollziehen, während das mathematische Werkzeug eine Lösung liefert. Das Verschiebungsvektorfeld 60 resultiert aus der Zuordnung einander entsprechender Pixel-Positionen zum Zeitpunkt T = 0 und zum Zeitpunkt T = 1 und zum darauffolgenden Zeitpunkt T = 2, sukzessive bis zum Zeitpunkt T = N. Das Verschiebungsvektorfeld 60 findet man dadurch, in dem das Rechnersystem 23 Korrespondenzen zwischen allen Pixel-Positionen 63-0 zum Zeitpunkt T = 0 und den Pixel-Positionen 63-N zum Zeitpunkt T = N sukzessive sucht. Die Beschränkung auf die Pixel 63-0, 63-N ist nur zur Verdeutlichung gemacht, mathematisch wird die Lösung des Flussproblems mit allen Pixeln vorgenommen. Obwohl in den 4 und 5 lediglich zwei aufeinanderfolgende mikroskopische Objekte dargestellt sind, ist es für den Fachmann selbstverständlich, dass das erfinderische Verfahren auf eine Bildfolge von N-Bildern angewendet werden kann. Auch die Verallgemeinerung auf mehr als ein Objekt ist problemlos möglich. Anhand der Bildfolge bzw. Volumenfolge wird durch die Lösung des Flussproblems die Deformation und Bewegung bestimmt, die man auf die anfänglich definierten Regionen bzw. Positionen anwendet und diese somit verfolgt bzw. trackt. Dieses Verfahren benötigt keine Binarisierung von Objekten sondern arbeitet auf den Intensitäten und somit auf einem quasi-kontinuierlichen Modell. Das Verschiebungsvektorfeld ermittelt sich z. B. über die Gleichungen 1 bis 3 die auch als „optische Fluss" Gleichung bezeichnet wird,
    Figure 00090001
    Figure 00100001
    wobei I die Intensität ist. Es ist dem Fachmann allerdings hinreichend bekannt, daß es weitere Flussgleichungen gibt, die diese ersetzen können. Die aus diesen Gleichungen hervorgehenden Vektorfelder sind die Änderungsanweisungen, um die durch die virtuellen Bezugsobjekte definierten Orte in jedem Zeitschritt anzupassen.
  • Die Modifikationen bzw. Interaktionen erfolgen immer auf dem geänderten Koordinatensystem und folglich an der geänderten Position des mikroskopischen Objekts 30. In der Praxis heißt dies, dass die im mikroskopischen Objekt 30 markierte Region 61 bzw. Positionen 63 der Koordinatensystemänderung unterworfen sind, die durch das gefundene Verschiebungsvektorfeld definiert sind. Die Modifikationen bzw. Interaktionen werden aufgrund der Koordinatensystemänderungen an den virtuellen Bezugsobjekten, also z. B. auf die Region 61 bzw. auf die Positionen 63, angewendet. So werden z. B. in Abhängigkeit von der Zeit die Geometriedaten, wie z. B. der Schwerpunkt, die Oberfläche, der Umfang oder das Volumen des sich verändernden mikroskopischen Objekts 30 ermittelt. Ebenso kann die Bewegung des Schwerpunkts oder ähnlicher Merkmale über die Zeit bildlich dargestellt und ausgewertet werden. Aus den Geometriedaten können abgeleitete Geometriedaten, wie Geschwindigkeit, Beschleunigung oder Verzögerung ermittelt werden. Ebenso ist es möglich Kollisions-, Vereinigungs- und Trennungsstatistiken vordefinierter mikroskopischer Objekte im Bild der Probe 15 über die Zeit zu erfassen, die im Rahmen oben gegebenener Definition als Messung generalisiert werden. Ebenso ist es möglich Intensitäten innerhalb eines interessierenden Bereichs (Region of Interest) über die Zeit zu erfassen. Dies ermöglicht z. B. Organellen oder sonstige von Biologen erkennbare strukturierte Objekte innerhalb einer biologischen Masse zu kennzeichnen und Prozesse im Innern der mikroskopischen Objekte oder Organellen zu messen, obwohl diese sich heftig bewegen und/oder zappeln. Hinzu kommt, dass mit dem erfindungsgemäßen Verfahren Manipulationen der markierten Pixelbereiche mittels elektromagnetischer Strahlung durchgeführt werden können. Bei der Verwendung eines Scanmikroskops handelt es sich derzeit bei der Manipulation durch Strahlung vorzugsweise um Laserstrahlung zu Zwecken des Bleichens, des Schneidens, des Cage-Compound-Release oder der Photoaktivierung, wobei dem Fachmann hinreichend klar ist, daß jede weitere in Zukunft auftretende Interaktion mit elektromagnetischer Strahlung auch abgedeckt ist. Diese Manipulation wird ausschließlich auf den durch das virtuelle Bezugsobjekt definierten Bereiches des mikroskopischen Objekts 30 angewendet und zwar unabhängig davon, wie sich der Bereich des mikroskopischen Objekts 30 über die Zeit verändert und bewegt. Bei der Verwendung eines herkömmlichen Mikroskops oder eines Scanmikroskops, kann man z. B. Bereiche oder Positionen eines mikroskopischen Objekts 30 markieren, diese über die Zeit verfolgen und diese zu einem bestimmten Zeitpunkt schneiden bzw. manipulieren. Dabei ist durch das erfindungsgemäße Verfahren sichergestellt, dass unabhängig von der Bewegung des mikroskopischen Objekts 30 diese Stelle geschnitten bzw. manipuliert wird, die zu einem Zeitpunkt T = 0 von den Benutzer ausgewählt worden ist.
  • 7 zeigt eine schematische Darstellung eines Teilbereichs des Mikroskopsystems, der die Verbindung des Rechnersystems 23 mit den verschiedenen Stellelementen des Scanmikroskops 100 offenbart. In einer besonderen Ausführungsform kann die Berechnung der Bewegung des mikroskopischen Objekts 30 mit einem FPGA/DSP 63 durchgeführt werden. Hinzu kommt, dass der FPGA/DSP 63 auch dazu herangezogen werden kann, das Scanmikroskop 100 über entsprechend ansteuerbare Stellelemente nachzuregeln, falls das ausgewählte mikroskopische Objekt 30 bzw. die Region im mikroskopischen Objekt 30 das durch das Mikroskop festgelegte Bildfeld verlässt. Der FPGA/(DSP 63 kann ebenfalls als Einschub im Rechnersystem 23 selbst ausgebildet sein. Ebenso ist es denkbar, dass eine Software die Berechnung für die Bewegungsverfolgung und die Ermittlung des Verschiebungsvektorfeldes realisiert. Dabei können sowohl die Software und/oder der FPGA/DSP 63 in entsprechender Weise zusammenarbeiten. Die durch das Softwaremodul und/oder das FPGA/DSP 63 ermittelten Veränderungen des mikroskopischen Objekts 30, werden zum eventuellen Nachführen der optischen Systeme des Scanmikroskops herangezogen. Ist es z. B. erforderlich, das Bildfeld des Scanmikroskops aufgrund der Auswanderung des mikroskopischen Objekts 30 nachzuführen, so werden an entsprechende Stellelemente Aktuatorsignale an der Software bzw. dem FPGA/DSP 63 geliefert. Das Scanmikroskop 100 ist mit einem XYZ-Tisch 65 versehen, der in allen drei Raumrichtungen verstellbar ausgerichtet ist. Für jede Achse ist ein Stellmotor 66 vorgesehen, über den eine geeignete Verstellung des XYZ-Tisches 65 durchgeführt werden kann. Die Signale für die Verstellung werden aufgrund des Trackings von der Software oder von dem FPGA/DSP 63 erzeugt. Ebenso erzeugt die Software oder der FPGA/DSP 63 Signale zum Verstellen eines Objektivrevolvers 67 des Scanmikroskops 100 um somit eine Veränderung des Bildfeldes herbeiführen zu können. Der Objektivrevolver 67 umfasst einen ersten Stellmotor 68 zum Drehen des Objektiverevolvers, so dass eines der mehreren Objektive 70 in die Arbeitsposition gebracht werden kann. Hinzu kommt, dass ein zweiter Stellmotor, oder Aktuator 69 (Piezo) vorgesehen ist, der eine Relativbewegung zwischen dem Objektivrevolver 67 und dem XYZ-Tisch 65 erzeugt. Das Auswählen eines anderen Objektivs 70 wird z. B. dann angeregt, wenn aufgrund der Bewegungen des mikroskopischen Objekts 30 bzw. der ausgewählten Region die Auswahl eines neuen Bildfensters erforderlich ist. Ebenso wird aufgrund des ermittelten Verschiebungsvektorfeldes durch die Software oder den FPGA/DSP 63 an die Galvos des Scanmoduls entsprechende Steuersignale geliefert, damit diese der Bewegung des mikroskopischen Objekts 30 in entsprechender Weise folgen können und somit die gewünschte Interaktion bzw. Modifikation ausschließlich auf den ausgewählten Bereich des mikroskopischen Objekts anwenden. Die Anzahl der Stellmöglichkeiten im mikroskopischen System hängt vor allem im wesentlichen von der jeweils gewünschten Ausstattung des mikroskopischen Systems ab. Eine Standardkonfiguration eines Scanmikroskops 100 hat z. B. neben einer Galvanometersteuerung in XYZ für die Steuerung des Abtastpunktes häufig noch einen XY-Tisch und einen groben z-Aktuator womit sich für XYZ jeweils zwei Sätze von Aktuatoren ergeben, die zur Steuerung genutzt werden können.
  • Die Erfindung wurde in Bezug auf eine besondere Ausführungsform beschrieben. Es ist jedoch selbstverständlich, dass Änderungen und Abwandlungen durchgeführt werden können, ohne dabei den Schutzbereich der nachstehenden Ansprüche zu verlassen.

Claims (2)

  1. Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten, mit einem Mikroskop, gekennzeichnet durch die folgenden Schritte: – Erzeugen mindestens eines Bildes einer Probe, die mindestens ein mikroskopisches Objekt umfasst; – Definition von virtuellen Bezugsobjekten auf einem diskreten Raster des aufgenommenen Bildes bzw. der aufgenommenen Bilder durch den Benutzer zur Definition von Regionen, wobei die virtuellen Bezugsobjekte als Regionen oder diskrete Punktmengen auf dem Bezugsraster der Bildfolge definiert sind und Interaktionsorte definieren; – Automatisierte Aufnahme einer Folge von Bild- oder Volumendaten – Sukzessives Ermitteln eines optischen Flusses aus der Folge von aufgenommenen Bildern; – Anwenden des ermittelten optischen Flusses auf die definierten Bezugsobjekte; und – Ausführen von Interaktionen auf das durch den optischen Fluss geänderte Bezugsobjekt, wobei die Interaktionen die gezielte Manipulation des Objekts an den durch die virtuellen Bezugsobjekte definierten Positionen umfassen.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die gezielte Manipulation des Objekts, bezüglich der bestimmten Regionen oder Positionen im Objekt, durch Strahlung erfolgt zum Zwecke von Bleichen, Photoaktivierung, Cage-Compound-Release sowie Schneiden und Ausschneiden.
DE10315592A 2003-04-05 2003-04-05 Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu Expired - Fee Related DE10315592B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE10315592A DE10315592B4 (de) 2003-04-05 2003-04-05 Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu
US10/809,960 US7471817B2 (en) 2003-04-05 2004-03-26 Method for performing interactions on microscopic subjects that change in space and time, and system therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10315592A DE10315592B4 (de) 2003-04-05 2003-04-05 Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu

Publications (2)

Publication Number Publication Date
DE10315592A1 DE10315592A1 (de) 2004-10-28
DE10315592B4 true DE10315592B4 (de) 2009-01-02

Family

ID=33038888

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10315592A Expired - Fee Related DE10315592B4 (de) 2003-04-05 2003-04-05 Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu

Country Status (2)

Country Link
US (1) US7471817B2 (de)
DE (1) DE10315592B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017201252A1 (de) 2017-01-26 2018-07-26 Universität Ulm Verfahren und Vorrichtung zur Untersuchung von Zellen

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4759277B2 (ja) * 2005-01-21 2011-08-31 オリンパス株式会社 観察方法および観察補助具
US8854366B1 (en) 2010-03-24 2014-10-07 University Of South Florida Automated geometric representation of discrete point sets
US9043296B2 (en) * 2010-07-30 2015-05-26 Microsoft Technology Licensing, Llc System of providing suggestions based on accessible and contextual information
EP2622332B1 (de) * 2010-09-28 2014-08-06 Saint-Gobain Glass France Verfahren zur analyse photovoltaischer schichtensysteme mittels thermographie
EP2835817B1 (de) * 2013-08-09 2017-12-20 Carl Zeiss Microscopy Ltd. Verfahren zur halbautomatischen partikelanalyse mit einem geladenen teilchenstrahl
US11756203B2 (en) * 2018-09-21 2023-09-12 The Johns Hopkins University Characterization platform for scalable, spatially-resolved multispectral analysis of tissue
DE102018124401A1 (de) 2018-10-02 2020-04-02 Carl Zeiss Smt Gmbh Verfahren zum Aufnehmen eines Bildes mit einem Teilchenmikroskop
JP7531930B2 (ja) * 2019-08-09 2024-08-13 ザ ボード オブ リージェンツ オブ ザ ユニヴァーシティー オブ テキサス システム 高性能電子顕微鏡のための方法
DE102022101934A1 (de) 2022-01-27 2023-07-27 Leica Microsystems Cms Gmbh Verfahren und Anordnung zur Ermittlung einer Bewegung eines mikroskopischen Objekts in einem Medium, Mikroskopsystem und Computerprogramm

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10143441A1 (de) * 2001-09-05 2003-03-27 Leica Microsystems Verfahren und Mikroskopsystem zur Beobachtung dynamischer Prozesse

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5655028A (en) * 1991-12-30 1997-08-05 University Of Iowa Research Foundation Dynamic image analysis system
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
US5859700A (en) * 1995-11-22 1999-01-12 Kairos Scientific, Inc. High resolution imaging microscope (HIRIM) and uses thereof
US6226418B1 (en) * 1997-11-07 2001-05-01 Washington University Rapid convolution based large deformation image matching via landmark and volume imagery
US6913877B1 (en) * 2000-09-11 2005-07-05 State Of Oregon Acting By And Through The State Board Of Higher Education On Behalf Of Oregon State University Methods for detecting bioactive compounds
AU2002304266A1 (en) * 2001-06-20 2003-01-02 Given Imaging Ltd. Motility analysis within a gastrointestinal tract
US7672369B2 (en) * 2002-02-13 2010-03-02 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10143441A1 (de) * 2001-09-05 2003-03-27 Leica Microsystems Verfahren und Mikroskopsystem zur Beobachtung dynamischer Prozesse

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017201252A1 (de) 2017-01-26 2018-07-26 Universität Ulm Verfahren und Vorrichtung zur Untersuchung von Zellen

Also Published As

Publication number Publication date
US7471817B2 (en) 2008-12-30
US20040197017A1 (en) 2004-10-07
DE10315592A1 (de) 2004-10-28

Similar Documents

Publication Publication Date Title
EP2917776B1 (de) Lichtmikroskop und mikroskopieverfahren
DE102014206309B4 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
EP2870500B1 (de) Verfahren zur vorbereitung und durchführung der aufnahme von bildstapeln einer probe aus verschiedenen orientierungswinkeln
DE60120663T2 (de) Bildgebungseinheit mit assoziierter Bilderdatenbank
EP2887117A1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
DE102016202928B4 (de) Verbessertes Autofokusverfahren für ein Koordinatenmessgerät
EP3608831A1 (de) Verfahren zur bereitstellung eines auswertungsmittels für wenigstens ein optisches anwendungssystem einer mikroskopbasierten anwendungstechnologie
EP2592462A1 (de) Verfahren und Anordnung zur Autofokussierung eines Mikroskops
DE102020213715A1 (de) Vorrichtung und Verfahren zur schnellen dreidimensionalen Erfassung von Bilddaten
DE102011053232A1 (de) Mikroskopische Einrichtung und mikroskopisches Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten
EP3692409B1 (de) Konfokalmikroskop mit hoher auflösung
DE10315592B4 (de) Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu
DE102016107900A1 (de) Verfahren und Vorrichtung zur Kantenermittlung eines Messobjekts in der optischen Messtechnik
DE102019208114B4 (de) Vorrichtung und Verfahren zur 3D Vermessung von Objektkoordinaten
EP3345032B1 (de) Verfahren zur bestimmung einer höhenlage eines objekts
DE10037783A1 (de) Verfahren und Vorrichtung zur Phasenkorrektur von Positions- und Detektionssignalen in der Scanmikroskopie und Scanmikroskop
DE69630025T2 (de) Kontrolle eines Infrarotmikroskops
EP3988989B1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
DE102013211286A1 (de) Verfahren zur Vermessung eines Werkstücks mit einem optischen Sensor
DE112015006181T5 (de) Ladungsträgerstrahlvorrichtung, Ausrichtungsverfahren für die L.adungsträgerstrahlvorrichtung, Ausrichtungsprogramm und Speichermedium
DE10235657A1 (de) Verfahren, Anordnung und Software zur Optimierung der Bildqualität von mit einem Mikroskop aufgenommenen beweglichen Objekten
DE102019119147A1 (de) Mikroskop und verfahren zur mikroskopie
DE102016225484B3 (de) Verfahren und optischer Sensor zur Bestimmung mindestens einer Koordinate mindestens eines Messobjekts
DE10218706B4 (de) Verfahren zur zeitoptimierten Erfassung von speziellen Spektren mit einem Scanmikroskop
DE102018210606A1 (de) Mikroskopisches Abbildungsverfahren unter Verwendung eines Korrekturfaktors

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: LEICA MICROSYSTEMS CMS GMBH, 35578 WETZLAR, DE

8363 Opposition against the patent
8365 Fully valid after opposition proceedings
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee