DE10143441A1

DE10143441A1 - Verfahren und Mikroskopsystem zur Beobachtung dynamischer Prozesse

Info

Publication number: DE10143441A1
Application number: DE10143441A
Authority: DE
Inventors: Frank Olschewski; Jochen Nickel
Original assignee: Leica Microsystems Heidelberg GmbH; Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2001-09-05
Filing date: 2001-09-05
Publication date: 2003-03-27
Also published as: US7120281B2; US20030044054A1

Abstract

Das Mikroskopsystem (4) zur Beobachtung dynamischer Prozesse umfaßt ein Mikroskop (50) mit mindestens einem Detektor (19) und einen Computer (34). Ein Zwischenspeicher (54) ist einem Vergleicher (58) vorgestaltet, der Bildinhalte von mindestens zwei aufeinanderfolgenden Bildframes (56¶k¶ und 56¶k+1¶) vergleicht. Je nach dem vom Vergleicher (58) erhaltenen Ergebnis werden die Bildframes in unterschiedliche Segmente einer vorgesehenen Datenstruktur (66) abgelegt.

Description

Die Erfindung betrifft ein Verfahren zur Beobachtung dynamischer Prozesse. Ferner betrifft die Erfindung ein Mikroskopsystem zur Beobachtung dynamischer Prozesse gemäß dem Oberbegriff des Anspruchs 7.

Die Kopplung eines optischen Mikroskops mit einem Bildsensor und einem Computersystem ist Stand der Technik. Dies gilt für die Kopplung von Mikroskopen mit CCD-Kamerasystemen, Video-Kamerasystemen und scannenden Mikroskopen (konfokal, multiphoton, 4PI,). Ausschlaggebend bei diesen Systemen des Standes der Technik ist, dass der Bildsensor und das Computersystem über ein Kommunikationsmedium gekoppelt sind. Sowohl der Bildsensor als auch das Kommunikationsmedium verfügen über eine speichernde Eigenschaft, die in der Regel explizit als Speicher ausgeprägt ist. Dies gilt explizit bei CCD-Kameras, wo der CCD-Chip selber als Speicher in Zeilen- und/oder Spaltenorganisation aufgebaut ist, und bei abtastenden Mikroskopen als RAM in die Abtastelektronik integriert ist. Bei der periodischen Aufzeichnung von Daten (Bildframes) kann das zu einer unnötigen Füllung des Speichers mit mehr oder weniger redundanten Daten führen, was limitierend wirkt, wenn das verarbeitende Endgerät diese Datenmenge nicht schnell genug verarbeiten kann. Im Stand der Technik ist diese Limitierung gegeben und ist umso störender, wenn in der beobachteten Szene/Probe wenig oder gar nichts passiert.

Eine Aufgabe dieser Erfindung ist die Reduktion von Redundanz bei periodischen Datenaufnahmen. Eine weitere Aufgabe der Erfindung ist die Erhöhung der Datenübertragungsrate durch das System durch Redundanzreduktion.

Der bei periodischen Datenaufnahme auftretende an sich homogene, meist äquidistante Datenstrom, wie er vom einem Mikroskopsystem geliefert wird, hat Ähnlichkeiten mit Prozessen und Geräten der Videotechnik und wurde in früheren Zeiten auch durch eine Kopplung von Mikroskop, Videokamera und Video Timelapse Recorder (VTR) realisiert. Ein typischer VT-Recorder, der in der Mikroskopie evtl. heute noch eingestetzt wird, arbeitet in der Regel mit veränderlichen Abtastzeiten und einer interaktiven Intervallsteuerung. Dieser Stand der Technik ist in (Inoué, Video Microscopy. Plenum Press) hinreichend beschrieben. Es ist zu erwähnen, dass mit dieser Video Mikroskopie die in der Videotechnik ausgeprägte Audio-Komponente in der Regel unbeachtet bleibt und höchstens zu Zwecken der Kommentierung durch Sprachaufzeichnungen oder zur Aufzeichnung von Tönen, die die Probe selber erzeugt, mitgenutzt wurde. Diese Mitnutzung der "Tonspur" wird im weiteren Text nicht weiter betrachtet, wobei dem Fachmann hinreichend klar ist, dass dies keine Beschränkung dieser Meldung sondern eine optionale Ausprägung ist.

Moderne Abtastmikroskope (konfokal, 4PI) können aufgrund Ihrer überlegenen 3D-Auflösung volumetrische Aufnahmen in einer periodischen Reihenfolge durchführen. In diesem Fall übernimmt ein ganzes Volumen die Rolle des Bildes in der Standardvideotechnik ohne Beschränkung dieser Erfindung im Allgemeinen. In diesem Fall generiert das System ein vierdimensionales Video. Moderne spektral verstellbare Detektoren erschliessen zusätzlich die Wellenlänge als abtastbare Größe, was in Kombination mit Abtastmikroskopen maximale fünfdimensionale Videos ergibt. In diesem Sinne ist dieses Verfahren als dimensionslos zu betrachten, da beliebige Aktoren in den Abtastprozess miteinbezogen werden können, die je nach Lage in dem System Parameter wie Beleuchtung oder ähnliches verändern. Diese Erfindung benutzt für alle derartigen Datenströme, ungeachtet der Dimensionalität, das Wort Video.

Betrachtet man derartige Videosequenzen als homogene Aneinanderreihung von Bildern, dann erhält man eine hohe Datenmenge. Diese zerfällt jedoch in eine natürliche, baumartige Hierarchie von Teilen. In der Videotechnik haben sich hierfür die folgenden Begriffe herauskristallisiert (nach Smith, Chen: Image and Video Indexing and Retrieving in Bovic (2000): Handbook of Image and Video Processing, Academic Press):
Video (Bild/Ton) bedeutet einen Strom von Bildern und Audiodaten. Im vorliegenden Fall interessiert "Audio" nicht. Eine Szene (image) ist eine hintereinanderfolgende, "semantisch zusammenhängende" Menge von Bildern. Ein Frame (image) ist ein einzelnes Bild und ein Segment (Bild/Ton) ist eine Menge von Szenen, die semantisch zusammenhängen. In der hier beschriebenen Verallgemeinerung ist die Dimensionalität eines Frames unerheblich und könnte auch ein Volumen sein.

Diese Hierarchie findet man auch in zahlreichen Hobbyfilmer- und professionellen -Studio-Programmen, in denen mit einer Digitalkamera einzelne Szenen aufgenommen, anschließend nachbearbeitet, zum Segment zusammengesetzt und schließlich - zusammen mit anderen Segmenten - in ein Video eingesetzt werden. Als konkretes Beispiel seien die Szenen "Mörder betritt Zimmer" und "Mörder mordet", das Segment "Mordszene" und das endgültige Video "Tatort" gegeben, wobei die Begriffe aus deutschen Fernsehsendungen entliehen sind. Die Wahl der Hierarchie-Ebenen (Video, Segment Level 1, Segment Level 2 . . ., Szene) kann willkürlich gewählt werden, da die Gruppierung in Video, Szene, Segment mehr oder weniger durch den Zuschauer oder Regisseur beim bewussten Betrachen erfolgt. Kern der Hierarchie-Bildung ist im wesentlichen die Semantik welche durch Synthese durch den Regisseur definiert wird. Moderne Produktionstools unterstützen diese Synthese-Prozesse durch Mechanismen wie ein "Storyboard", das die einzelnen Szenen als grafisches User Interface visualisiert, in die logische Reihenfolge bringt und ein Szenenpool oder eine Datenbank zur Verwaltung einzelner Szenen zur Verfügung stellt. Diese Elemente unterstützen den Filmregiseur bei der Arbeit und finden in dieser Erfindung in einer abgewandelten Form auch Verwendung.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur effizienten Erfassung dynamischer Prozesse in der Mikroskopie zu schaffen. Eine effiziente Ausnutzung von vorhandenen Speicherplatz ist erforderlich, um dabei die in einer Zeiteinheit zu transferierende Datenmenge auf das Wesentliche zu reduzieren. Diese objektive Aufgabe wird durch ein Verfahren gelöst, dass die Merkmale des kennzeichnenden Teils des Anspruchs 1 beinhaltet.

Eine weitere Aufgabe der Erfindung ist es, ein Mikroskopsystem zur effizienten Erfassung dynamischer Prozesse in der Mikroskopie zu schaffen. Dabei soll eine effiziente Ausnutzung des vorhandenen Speichers und der Systembandbreite erfolgen und dem Benutzer einen schnellen Zugriff auf die Dynamik von biologischen Prozessen ermöglichen. Die objektive Aufgabe wird durch ein System gelöst, das Merkmale des kennzeichnenden Teils des Patentanspruchs 7 beinhaltet.

Die Erfindung hat den Vorteil, dass sie prinzipiell mit jedem digital bildgebenden Mikroskop, Teleskop, Videokamera oder ähnlichem Anwendung finden kann. Die Erfindung sollte in der gegenwärtigen Form aber nur auf Mikroskope angewandt werden.

Besonders vorteilhaft ist die Anwendung der Erfindung am Beispiel der Konfokalmikroskopie, ohne jedoch hierin eine besondere Einschränkung der Erfindung zu sehen.

Bei der Beobachtung dynamischer Prozesse arbeitet ein Experimentator oft ins Unbekannte hinein. Dies gilt insbesondere, aber ohne Beschränkung der Allgemeinheit, für Anwendungen in der biologisch/medizinischen Grundlagenforschung, in denen das zum Teil überraschende Verhalten lebender Organismen untersucht wird. In der Regel ist der Ansatz des Experimentators, eine bestimmte Messung in einem festen Zeitraster stetig zu wiederholen. Dies umfasst die wiederholte Aufnahme einzelner Punkte, die wiederholte Aufnahme einzelner Linien, die wiederholte Aufnahme einzelner Bilder, die wiederholte Aufnahme einzelner Volumen oder die wiederholte Aufnahme einzelner Hyper-Volumen (z. B. spektrale Scans), wobei spektrale Komponenten auch implizit enthalten sein können und der temporale Aspekt durch eine zeitlich gesteuerte und kontrollierte Wiederholung charakterisiert ist.

Der wesentliche Vorteil der Erfindung liegt in einer "veränderten" Semantik speziell für mikroskopische Objekte/Prozesse. Des Weiteren wird die Synthese des Regisseurs durch eine automatisierte Analyse eines kontinuierlichen Datenstroms ersetzt. Das resultierende Mikroskopsystem wird selbsttätig die einzelnen Frames zu Szenen gruppieren und irrelevante Szenen von relevanten trennen.

Gemäß der Erfindung vollführt ein CCD-basiertes Fluoreszenzmikroskop bzw. ein Scanmikroskop periodisch Aufnahmen (Bilder, Volumen. . .). Eine einzelne Aufnahme wird in diesem Kontext Bildframe genannt. Der Bildframe wird optional geglättet. Dann wird der Bildframe durch ein spezielles Bewertungsverfahren mit dem Vorgängerbildframe aus einem Zwischenspeicher verglichen. Liefert das Bewertungsverfahren als Ergebnis "ähnlich" so wird dieser Frame der aktuellen Szene zugewiesen. Liefert das Bewertungsverfahren "unähnlich", so wird die alte Szene abgeschlossen und in den Speicher des angeschlossenen Computers übertragen. Im Computersystem wird die abgeschlossene Szene optional nachbearbeitet. Der Vorgang wird in einem festen Zeitraster wiederholt.

Bei Timelapse-Experimenten innerhalb der Mikroskopie ist dies besonders vorteilhaft, denn diese Experimente sind wie "Stochern im Dunkeln". In 90% aller Anwendungen wartet man auf einige wenige Ereignisse teilweise tagelang und muss kontinuierlich evtl. mit hoher Geschwindigkeit und/oder hohen räumlichen (oder spektralen) Auflösungen messen. Ein wesentlicher Nachteil des Stands der Technik ist jedoch die auftretenden hohen Datenmengen bei periodischer Widerholung. Durch die erfindungsgemäße, automatisierte Segmentierung des Datenstroms in einzelne Szenen kann man diese Datenmenge verringern und auf das Wesentliche reduzieren.

Durch diese Segmentierung mit optional nachgeschalteter Nachverarbeitung kann die Auflösung währed einer Timelapse-Periode dynamisch dem Informationsgehalt des Bildframes angepasst werden. Eine wenig detailreiche Szene kann so zu wenigen Bildpunkten reduziert werden und optimal kodiert in den dem Computer zugänglichen Speichern (RAM, Festplatte, Internet, Wechselmedium, angeschlossene Netzwerk-Server) abgelegt werden.

Bei langen Szenen, in denen nichts passiert, lassen sich diese auf einen Frame reduzieren. Bei Abschnitten linearer Leuchtdichtefluktuation kann man auf den ersten und den letzten Frame reduzieren. Durch lineare Interpolation lassen sich die Daten aus der reaktionsfreien Zeit rekonstruieren. Dynamische Szenen, in denen viel passiert, können mit maximaler zeitlicher Auflösung aufgenommen werden. Geschieht nur in relativ kleinen Bildausschnitten etwas, kann die Auflösung auf diesen Bildausschnitt beschränkt werden.

Die einzelnen Segmente können speziell im Rechner kodiert werden, was eine drastische Datenreduktion ausmacht. Desweiteren wird das System ergonomischer. Nach dem Stand der Technik muss eine derartige Zerlegung des Datenstroms vor dem Experiment definiert werden, da aber kein a priori Wissen vorliegt macht dies relativ viele teure Versuche notwendig, bis ein Experimentator die Probe und Ihr Zeitverhalten kennt. Mit der Erfindung kann mit maximaler Geschwindigkeit alles gemessen/beobachtet werden und der Benutzer erhält direkt die gewünschte Information. Derartige hierarchische Strukturen werden auch von Multimediadateiformaten, wie MPEG, unterstützt. Je nach Komplexität des Verfahrens lässt es sich über FPGA- bzw. DSP- Strukturen direkt in die Scanelektronik eines jeden Mikroskopsystems integrieren. Das Verfahren lässt sich unter zu Hilfenahme geeigneter Kriterien auf weitere Dimensionen (ausser Zeit) erweitern. In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen:
Fig. 1 eine schematische Darstellung eines konfokalen Scanmikroskops;
Fig. 2 ein Blockdiagramm eines Mikroskopsystems zur Beobachtung dynamischer Prozesse;
Fig. 3 eine schematische Darstellung des Prinzips eines Video Segmentierers;
Fig. 4 einen Decoder, schematisch, wie er in PC-Software realisiert sein kann; und
Fig. 5 eine Darstellung einer hierarchischen Datenstruktur im zugeordneten Speicher.
Fig. 1 zeigt schematisch eine Darstellung eines konfokalen Scanmikroskops. Der von einem Beleuchtungssystem 1 kommende Lichtstrahl 3 wird von einem Strahlteiler 5 zum Scanmodul 7 reflektiert, das einen kardanisch aufgehängten Scanspiegel 9 beinhaltet, der den Strahl durch die Mikroskopoptik 13 hindurch über bzw. durch das Objekt 15 führt. Der Lichtstrahl 3 wird bei nicht transparenten Objekten 15 über die Objektoberfläche geführt. Bei biologischen Objekten 15 (Präparaten) oder transparenten Objekten kann der Lichtstrahl 3 auch durch das Objekt 15 geführt werden. Dies bedeutet, dass verschiedene Fokusebenen des Objekts 15 nacheinander durch den Lichtstrahl 3 abgetastet werden. Die nachträgliche Zusammensetzung ergibt dann ein dreidimensionales Bild des Objekts 15. Der vom Beleuchtungssystem 1 kommende Lichtstrahl 3 ist als durchgezogene Linie dargestellt. Das vom Objekt 15 ausgehende Licht 17 gelangt durch die Mikroskopoptik 13 und über das Scanmodul 7 zum Strahlteiler 5, passiert diesen und trifft auf einen Detektor 19, der als Photomultiplier oder CCD- Sensor ausgeführt ist. Das vom Objekt 15 ausgehende Licht 17 ist als gestrichelte Linie dargestellt. Im Detektor 19 werden elektrische, zur Leistung des vom Objekt ausgehenden Lichtes 17 proportionale Detektionssignale 21 erzeugt und an die Verarbeitungseinheit 23 weitergegeben. Die im Scanmodul mit Hilfe eines induktiv oder kapazitiv arbeitenden Positionssenors 11 erfassten Positionssignale 25 werden ebenfalls an die Verarbeitungseinheit 23 übergeben. Es ist für einen Fachmann selbstverständlich, dass die Position des Scanspiegels 9 auch über die Verstellsignale ermittelt werden kann. Die eingehenden Analogsignale werden in der Verarbeitungseinheit 23 zunächst digitalisiert. Die Signale werden an einen Computer 34 übergeben, an dem eine Eingabeeinheit 33 angeschlossen ist. Der Benutzer kann bezüglich der Verarbeitung der Daten mittels der Eingabeeinheit 33 entsprechende Selektionen treffen. In Fig. 1 ist als eine Eingabeeinheit 33 eine Maus dargestellt. Es ist jedoch für jeden Fachmann selbstverständlich, dass auch Tastatur und Ähnliches als Eingabeeinheit 33 verwendet werden kann. Auf einem Display 27 wird z. B. ein Abbild 35 des Objekts 15 dargestellt. Das bei einem konfokalen Scanmikroskop üblicherweise vorgesehene Beleuchtungspinhole 39 und das Detektionspinhole 41 sind der Vollständigkeit halber schematisch eingezeichnet. Weggelassen sind wegen der besseren Anschaulichkeit hingegen einige optische Elemente zur Führung und Formung der Lichtstrahlen. Diese sind einem auf diesem Gebiet tätigen Fachmann hinlänglich bekannt.
In Fig. 2 ist ein Blockdiagramm eines Mikroskopsystems 4 zur Beobachtung dynamischer Prozesse dargestellt. Das Mikroskop 50 des Mikroskopsystems 4, welches z. B. als Scanmikroskop ausgebildet sein kann, ist mit dem Detektor 19 verbunden. Der Detektor 19 kann in einer Ausführungsform auch als CCD Sensor ausgestaltet sein. Im Falle eines punktscannenden Mikroskops ist mindestens ein einzelner Detektor 19 vorgesehen. Dieser Detektor ist dann als Photomultiplier ausgebildet. Die Signale des Detektors 19 werden in geeigneter Weise der Verarbeitungseinheit 23 übergeben. Die Verarbeitungseinheit 23 ist als Video-Segmentierer und Encoder ausgebildet. Von der Verarbeitungseinheit 23 gelangen die aufgenommenen Daten über eine Schnittstelle 52 zum Computer 34. Auf dem in Fig. 1 dargestellten Display 27 erfolgt für den Benutzer die Darstellung des gerade aufgenommenen Bildes oder eine Darstellung der automatisch vom Mikroskopsystem 4 aufgezeichneten Szenen. Dabei ist zu beachten, dass die Darstellung nach den von Benutzer vorgenommenen Einstellungen bzw. Anforderungen erfolgt. Diese Vorgaben benötigt der Video-Segmentierer zur Implementation des wesentlichen Kerngedankes einer "veränderten" Semantik speziell für mikroskopische Objekte/Prozesse. In Summe stellen die Positions- und Detektionssignale einen Bildframe oder einen Ausschnitt aus einem Bildframe dar. Wie bereits oben erwähnt, bezieht sich die nachfolgende Beschreibung auf ein Beispiel der Konfokalmikroskopie. In der Regel wird eine Messung in einem festen Zeitraster stetig wiederholt.
Eine schematische Darstellung des Prinzips eines Video Segmentierers ist in Fig. 3 dargestellt. Bei einem CCD-basierten Fluoreszenzmiokroskop (d. h. als Detektor 19 wird eine CCD-Kamera verwendet) bzw. einem Scanmikroskop (d. h. es werden nacheinander einzelne Punkte detektiert) werden periodisch Aufnahmen durchgeführt. In diesem Kontext werden Aufnahmen als ganze Bilder, ganze Volumina, etc bezeichnet. Eine einzelne Aufnahme wird im Weiteren mit Bildframe 56 bezeichnet. Jeder Bildframe 56 ₁, 56 ₂, . . . 56 _n wird einem Zwischenspeicher 54 zugeführt. Bevor eine nachfolgende Einschätzung bzw. Bewertung der einzelnen Bildframes 56 ₁, 56 ₂, . . . 56 _n vorgenommen wird, müssen mindesten zwei Bildframes 56 ₁, und 56₂, nacheinander in den Zwischenspeicher 54 abgelegt sein. Mindestens der erste und der zweite Bildframe 56 ₁, und 56₂ werden einem Vergleicher 58 zugeführt. Jedem Fachmann ist bekannt, dass die Anzahl der Bilder, die für die Beurteilung des Prozesses in den Vergleicher fliessen, mindestens zwei sein müssen, nach oben aber unbegrenzt sein können. Mit zunehmender Anzahl an Bildframes 56 ₁, 56 ₂, . . . 56 _n für den Vergleichsprozess, lassen sich mathematisch glattere Entscheidungsfunktionen z. B. durch die Wahl polynominaler Modelle höherer Ordnung konstruieren. In Abhängigkeit einer angestrebten Implementierung wird der Zwischenspeicher 54 und die Anzahl Eingänge in den Vergleicher 58 variiert. Nach dem Vergleicher 58 gelangen die Bildframes 56 ₁, 56 ₂, . . . 56 _n über einen Schalter 60 zu der Schnittstelle 52. Wie bereits in Fig. 2 beschrieben ist der Schnittstelle 52 dem Computer 34 nachgeschaltet. In einem anderen Ausführungsbeispiel der Erfindung können die Entscheidungen zusätzlich vom Vergleicher 58 zum Computer 34 geleitet werden. Diese Alternative ist in Fig. 3 gestrichelt dargestellt und kann eine konkrete Implementation vereinfachen.
Zur Realisierung schneller Systeme muss das herkömmliche Design des Mikroskopsystems um einen Signal-Processor (FPGA, DSP, PC) und eine RAM-Bank erweitert sein. Der Signalprozessor muss die Videosegmentierung durchführen. Das RAM übernimmt das Speichern des Vorgängers. Das Zusammenfassen von Bildframes zu Szenen und zu Segmenten kann immer der Steuerrechner bzw. Computer 34 übernehmen. Im graphischen User Interface des Steuerrechners gibt es dann neue Strukturen wie das Storyboard, das jetzt a posteriori über "den Tod einer Zelle" (schlechtes aber häufiges Beispiel aus dem Alltag) erzählt.
Eine Ausführungsform eines Mikroskopsystems gemäß dem Stand der Technik ist ein unverändertes Mikroskop, das blockweise einen schnellen Messdatenstrom realisiert. Dass der Steuerrechner a posteriori eine Video- Segmentierung durchführt, ist auch denkbar, hat jedoch gegenüber einer schnellen Realisierung gemäß der Erfindung deutliche Nachteile.
Fig. 4 zeigt einen Decoder, wie er schematisch in PC-Software realisiert sein kann. Die vom Mikroskopsystem 4 aufgenommenen Daten werden einem Datenmanager 64 zugeführt. Der Datenmanager 64 ist dafür verantwortlich, dass er ein Bewertungsverfahren durchführt. Ist das Ergebnis des Bewertungsverfahrens "ähnlich", so wird dieser Frame der aktuellen Szene zugewiesen. Die unterschiedlichen Szenen, ob "ähnlich oder unähnlich" werden in eine strukturierte Datenstruktur 66 überführt, die in der Regel als Baumstruktur ausgeprägt ist. Die strukturierte Datenstruktur kann je nach Auswahl durch den Benutzer einem Display 27 zur visuellen Darstellung zugeführt werden.
Fig. 5 zeigt eine Darstellung einer hierarchischen Datenstruktur im dem Detektor 19 zugeordneten Speicher. Liefert das Bewertungsverfahren "unähnlich", so wird die alte Szene abgeschlossen und in den Speicher des verbundenen Computers 34 gebracht. Eventuell kann eine abgeschlossene Szene nachbearbeitet werden. Der Vorgang der Bildaufnahme bzw. der Bildframeaufzeichnung wird in einem festen Zeitraster wiederholt. Timelapse Experimente bei der Mikroskopie sind wie "Stochern im Dunkeln". In 90% aller Anwendungen wartet man auf einige wenige Ereignisse tagelang und muss kontinuierlich evtl. mit hoher Geschwindigkeit Messen. Durch eine automatisierte Segmentierung des Datenstroms in einzelne Szenen 70 ₁, 70 ₂, . . .,70 _m kann man diese Datenmenge verringern. So lassen sich z. B. bei langen Szenen, in denen nichts passiert, hohe Datenkomprimierungen durchführen. Dynamische Szenen, in denen viel passiert, können mit maximaler zeitlicher Auflösung aufgenommen werden. Auf die einzelnen Segmente kann im Computer 34 individuell eingegangen werden, was bei individueller Kodierung eine drastische Datenreduktion ausmacht. Dabei werden die unterschiedlichen Szenen 70 ₁, 70 ₂, . . .,70 _m verschiedenen Teilen der Datenstruktur 66 abgelegt und sind direkt zugänglich. Dadurch wird das System ergonomischer, beschränkt den zur Verfügung stehenden Speicher auf das Notwendigste und beschränkt sich lediglich auf das Interessante. Mit einer derart strukturierten Datenstruktur ist auch eine nichtlineare Navigation durch den Bilderstrom durch den Benutzer möglich. Der Benutzer muss nicht alle hintereinanderfolgenden Bilder betrachten, sondern springt direkt in eine Szene seines interesses. Derartige hierarchische Datenstrukturen werden von Multimediaformaten, wie MPEG, unterstützt.

Semantik biologischer und mikroskopischer Videos

Durch die Berechnung unterschiedlicher Bewertungen lässt sich ein Entscheidungsbaum konstruieren der einzelne Bildframe-Übergänge klassifiziert und einer genaueren Analyse zugänglich macht. Diese werden im Video-Segmentierer berechnet und zur Steuerung der Schneidemaschine genutzt.
Der einfachste Fall "Es passiert nix" wird in der Praxis nie erreicht und kann vernachlässigt werden.
Der zweiteinfachste Fall "Es passiert fast nix" ist hingegen die Regel. In diesem Fall ist Rauschen eine veränderliche Begleiterscheinung. Aus diesem Grund wurde in obigen Aufbau eine optionale Glättung eingefügt, um rauschbedingte Variationen herauszunehmen. Hier können Standardverfahren der Bildverarbeitung angewandt werden. Beispiele sind ohne Beschränkung der Allgemeinheit lineare Filter (Gauss, Binominal, . . .), Morphologische Filter (Median, Opening, Closing, Rangordnungsfilter), Wavelet Regressionsverfahren (die auch unter dem Stichwort Wavelet Denoising in der Literatur geführt werden).
Als Bewertung zweier Bilder können unterschiedliche Streuungsmaße genutzt werden. Die "Summe absoluter Differenzen", berechnet

pixelweise die Distanz zwischen zwei Bildern I zum Zeitpunkt t und t + T in einer ausgewählten Region oder als Grenzfall im ganzen Bild.
Die "Summe absoluter Histogramm-Differenzen" berechnet aus den Bildern I zum Zeitpunkt t und t + T durch Zählen der Graustufen die Histogramme H zum Zeitpunkt t und t + T und aus diesen die Distanz
Bei Farbbildern wird diese Distanz für jeden Farbkanal getrennt durchgeführt und anschliessend eine Gesamtdistanz durch Mitteilung ermittelt.
Alternativ kann durch den "optischen Fluss" eines Bilderstroms, der die wahrscheinlichste Verschiebung eines Pixels zwischen den Frames durch einen Vektor

beschreibt, die Bewegung innerhalb einer Szene quantifiziert werden. Hierzu muss man die Euler-Langrange-Gleichung für das Flussproblem, gegeben durch

lösen. Diese elliptische partielle Differentialgleichung kann z. B. iterativ durch finite Differenz und finite Element-Verfahren gut gelöst werden. Es existieren auch diskrete Lösungsansätze die sich vorteilhaft für die Implementierung auf einem Signalprozessor eignen. Sucht man in einer konkreten Implementation nur bestimmte Bewegungstypen (z. B. linear bewegende Objekte), so kann man durch Einsetzen der Bewegungsgleichungen noch einfachere Bestimmungsgleichungen und Berechnungsalgorithmen ableiten.
Bewegungen von Objekten innerhalb der Szene/Probe haben dann eine Veränderung des Vektorflusses zur Folge und können mit oben beschriebenen Distanzmaßen, angewandt auf die Bilder v1 und v2 zu Zeiten t und t + T detektiert werden. Diese sind in den neueren Forschungsarbeiten über Video-Retrieval hinreichend spezifiziert.
Eine weitere pragmatische Variante ist durch die Markierung einer oder mehrere Zellen in einem Übersichtsbild gegeben, welche die Aufmerksam des Systems auf Teile der Szene beschränkt. In der für Kunden wahrscheinlich verständlichesten Variante wird eine Merkmalsberechnung über diese markierte Szenenteile durchgeführt. Zusätzlich wird für das Merkmal eine Toleranzschwelle definiert, die bei Überschreitung zur Klassifikation "unähnlich" führt. Beispiele für derartige Merkmale sind z. B. die mittlere Intensität, das Verhältnis der mittleren Intensität zwischen zwei Kanälen (Ratio). Änderungen dieser Merkmale werden zur Zeit während der Off-Line- Analyse zur Quantifizierung genutzt und können mit dieser Erfindung von Frame zu Frame als Entscheidungsgrundlage zur Laufzeit genutzt werden. Durch die Definition eines Toleranzbandes für Änderungen von Frame zu Frame könnte man so die Segmentierungsleistungen einstellen. Derartige "Trigger" sind z. B. in der Physiologie/Oszilloskopie üblich, verbreitet und verstanden.
Die Erfindung wurde in Bezug auf eine besondere Ausführungsform beschrieben. Es ist jedoch selbstverständlich, dass Änderungen und Abwandlungen durchgeführt werden können, ohne dabei den Schutzbereich der nachstehenden Ansprüche zu verlassen. Bezugszeichenliste 1 Beleuchtungssystem
3 Lichtstrahl
4 Mikroskopsystem
5 Strahlteiler
7 Scanmodul
8 Bildsensor
9 Scanspiegel
11 Positionssenors
13 Mikroskopoptik
15 Objekt
17 Licht
19 Detektor
21 Detektionssignale
23 Verarbeitungseinheit
25 Positionssignale
27 Display
33 Eingabeeinheit
34 Computer
35 Abbild
39 Beleuchtungspinhole
41 Detektionspinhole
50 Mikroskop
52 Schnittstelle
54 Zwischenspeicher
56 Bildframe
56 ₁ erster Bildframe
56 ₂ zweiter Bildframe
56 _n n-ter Bildframe
58 Vergleicher
60 Schalter
64 Datenmanager
66 Datenstruktur
70 ₁ erste Szene
70 ₂ zweite Scene

Claims

1. Verfahren zur Beobachtung dynamischer Prozesse mit einem Mikroskopsystem (4) mit einer einem Detektor (19) zugeordneten Verarbeitungseinheit (23) und einem Computer (34) zum Steuern der Bilderfassung des Mikroskopsystems (4) und zum Verarbeiten der vom Mikroskop (50) erzeugten Bildframes (56 ₁, 56 ₂, . . ., 56 _n) gekennzeichnet durch die folgenden Schritte:

- periodisches Aufnehmen und Erzeugen von Bildframes (56);

- Ablegen der mehreren aufgenommenen Bildframes (56 ₁, 56 ₂, . . ., 56 _n) in einem dafür vorgesehenen Zwischenspeicher (54)

- Zuführen von mindestes zwei aufeinanderfolgenden Teilbereichen aufeinanderfolgender Bildframes (56 _k und 56 _k+1) zu einem Vergleicher (58) und

- Segmentierung der Bildframes (56 ₁, 56 ₂, . . ., 56 _n) in Sequenzen von Teil-Bildframes nach deren Bildinhalt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Segmentierung von einem Signalprozessor durchgeführt wird, und dass ein Zusammenfassen der Vielzahl der aufgenommenen Bildframes (56 ₁, 56 ₂, . . ., 56 _n) zu Szenen durch den Computer (34) übernommen wird, bei gleichzeitiger optionaler Speicherung von Attributen wie Erfassungszeiten, spektrale Detektionsparameter und spektrale Beleuchtungsparameter.

3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass bei Szenen aufeinanderfolgende Bildframes, in denen kaum Änderung des Bildinhaltes auftritt, eine stärkere Komprimierung durch Kodierung und Ausblenden von Daten vor der Übertragung zum Computer (34) durchgeführt wird als in Szenen in denen mehr Änderung auftritt.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass im Computer (34) der ursprüngliche Datenstrom aus dem übertragenen komprimierten Datenstrom rekonstruiert wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine Software auf dem Computer (34) vorgesehen ist, die selbstständig die Bildinhalte aufeinanderfolgender Bildframes (56 ₁, 56 ₂, . . ., 56 _n) vergleicht und in Abhängigkeit von deren Bildinhalt strukturiert speichert.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine Software auf dem Computer (34) vorgesehen ist, die selbstständig die nichtlinear strukturierten Bildinhalte geeignet auf dem Display darstellt und dem Benutzer zur Interaktion zur Verfügung stellt.

7. Mikroskopsystem (4) zur Beobachtung dynamischer Prozesse wobei ein Mikroskop (50) mit mindestens einem Detektor (19), und ein Computer (34) vorgesehen ist, dadurch gekennzeichnet, dass ein Zwischenspeicher (54) einem Vergleicher (58) vorgestaltet ist, der Bildinhalte von mindestens zwei aufeinanderfolgenden Bildframes (56 _k und 56 _k+1) vergleicht, und dass je nach dem vom Vergleicher (58) erhaltenen Ergebnis die Bildframes in unterschiedliche Segmente einer vorgesehenen Datenstruktur (66) abgelegbar sind.

8. Mikroskopsystem nach Anspruch 7, dadurch gekennzeichnet, dass die Segmente in der Datenstruktur Speicherelement von der Verarbeitungseinheit (23) gebildet werden, und dass der Computer (34) ein Zusammenfassen der Vielzahl der aufgenommenen Bildframes (56 ₁, 56 ₂, . . ., 56 _n) zu Szenen übernimmt.

9. Mikroskopsystem nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass ein Datenmanager (64) vorgesehen ist, der eine Bewertung der aufgenommenen Bildframes (56 ₁, 56 ₂, . . ., 56 _n) hinsichtlich deren Ähnlichkeit durchführt.

10. Mikroskopsystem nach Anspruch 7, dadurch gekennzeichnet, dass zwischen dem Computer (34) und Vergleicher (58) eine Schnittstelle (52) vorgesehen ist, und dass die Bildframes mittels eines Schalters (60) direkt vom Zwischenspeicher (54) zur Schittstelle (52) geleitet werden, und dass das Ergebnis des Vergleichers (58) optional über die Schnittstelle zum Computer (34) geleitet wird.

11. Mikroskopsystem nach Anspruch 10, dadurch gekennzeichnet, dass das Ergebnis des Vergleichers (58) direkt zum Computer (34) leitbar ist.