DE19930598A1 - Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen - Google Patents

Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen

Info

Publication number
DE19930598A1
DE19930598A1 DE19930598A DE19930598A DE19930598A1 DE 19930598 A1 DE19930598 A1 DE 19930598A1 DE 19930598 A DE19930598 A DE 19930598A DE 19930598 A DE19930598 A DE 19930598A DE 19930598 A1 DE19930598 A1 DE 19930598A1
Authority
DE
Germany
Prior art keywords
time
dynamic
space
visualization
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE19930598A
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Heidelberg
Original Assignee
Universitaet Heidelberg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Heidelberg filed Critical Universitaet Heidelberg
Priority to DE19930598A priority Critical patent/DE19930598A1/de
Publication of DE19930598A1 publication Critical patent/DE19930598A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft die zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen und insbesondere ein Verfahren und eine Vorrichtung zur zeitaufgelösten Bildanalyse und kontinuierlichen Zeit-Raum-Visualisierung durch Erfassen eines Objektes, Verfolgen der Bahn des Objektes im Zeit-Raum und Visualisieren der verfolgten Bahn des Objektes und Rekonstruieren der dynamischen räumlichen Struktur des Objektes im Zeit-Raum (Fig- 5a-5d).

Description

Die Erfindung betrifft die zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen und insbesondere ein Verfahren und eine Vorrichtung zur zeitaufgelösten Bildanalyse und kontinuier­ lichen Zeit-Raum-Visualisierung und Rekonstruktion von Objekten, insbesondere lebenden Zellen.
Jüngste Entwicklungen bei in vivo-Mikroskopietechniken und anderen zeit­ aufgelösten Videoaufnahmesystemen erlauben die Visualisierung eines breiten Bereichs dynamischer Prozesse in biologischen Systemen. Insbesondere hat die Entwicklung von in vivo-Mikroskopietechniken und fluoreszierenden Reagenzien (u. a. grün fluoreszierende Proteine (GFP)) das Interesse an der Untersuchung der Dynamik zellulärer Prozesse geweckt. Damit verbundene Experimente erzeu­ gen jedoch große und komplexe Datensätze und erfordern entsprechende Hilfs­ mittel zur visuellen und quantitativen Analyse der beobachteten dynamischen Pro­ zesse in Raum und Zeit. Die aufgenommenen Zeitserien werden herkömmlich beispielsweise in Form von Filmen angezeigt. Die Anzeige von Zeitserien als Fil­ me weist jedoch den Nachteil auf, daß sie keine Informationen über die kontinuier­ liche Entwicklung der beobachteten Prozesse zwischen den abgebildeten Zeit­ schritten (zeitliche Subpixelauflösung) liefert und auch keine quantitativen Infor­ mationen erkennen läßt. Allgemein beruht bisher eine quantitative Interpretation auf manueller oder halbinteraktiver Auswertung einer vom Nutzer beeinflussten Auswahl von Objekten mit der scheinbar höchsten Motilität. Unter Motilität ist zu verstehen die Beweglichkeit bzw. das Bewegungsvermögen von Organismen, Zellorganellen oder anderer Zellsubstrukturen, wie z. B. Vesikeln.
Eine Abbildung von Strukturen in beispielsweise lebenden Zellen mit hoher Geschwindigkeit und hoher räumlicher Auflösung weist allgemein ein geringes Signal-Rausch-Verhältnis auf (Fig. 1A), was die genaue Objekterfassung behin­ dert. Außerdem ist als Folge des optischen Aperturproblems die Verfolgung (Trac­ king) gerade kleiner Objekte auf der Grundlage visueller Ähnlichkeitskriterien schwierig, da viele Objekte sehr ähnlich erscheinen und somit nicht unterscheid­ bar sind. Ferner besteht ein Problem darin, daß die abzubildenden Objekte mehr­ dimensional sind (2-D, 3-D und eventuell < 3-D), unterschiedliche Größen­ maßstäbe haben und zu unterschiedlichen Zeitmaßstäben untersucht werden.
Im Stand der Technik sind zwei verschiedene Ansätze zur Analyse von dy­ namischen Prozessen bekannt. Die eine Klasse von Verfahren bedient sich Tech­ niken des Optischen Fluß im Gesamtbild, die andere basiert auf Berechnungen von Bewegungs- oder Geschwindigkeitsfeldern für ausgewählte Strukturen.
Optische-Fluß-Methoden (für einen Überblick siehe Barron J. L. et al., Per­ formance of optical flow techniques, International Journal of Computer Vision, 12 : 1, 43-77, Kluwer Acadenic Publishers, 1994) basieren auf der Annahme, daß die optischen Dichten (Intensitäten) über die Zeit erhalten bleiben. Diese Metho­ den berechnen für jeden Bildpunkt einen Bewegungsvektor und setzen daher vor­ aus, daß der Zeitabstand im Vergleich zur örtlichen Veränderung von Strukturen im Bild klein sind. Ein Nachteil von diesen Methoden ist, daß resultierende Bewe­ gungsvektorfelder nicht mit dem tatsächlichen übereinstimmen, vor allem wenn Beleuchtungsänderungen, Gesamtintensitätsabfälle oder andere Störungen im Zeitverlauf auftreten, oder wenn Veränderungen der beobachteten biologischen Objekte bzw. Prozesse auftreten. In der Regel sind die Voraussetzungen für opti­ sche Flußmethoden in biologischen dynamischen Systemen nicht erfüllt, da in vielen Applikationen der zeitliche Abstand zwischen zwei aufeinanderfolgenden Bildern zu groß ist. Ein Grund dafür ist entweder, daß die zu untersuchende Dy­ namik der untersuchten Strukturen die Aufnahmemöglichkeiten des Bildgebungs­ systems aufgrund optischer Limitationen überschreiten oder aber, wie z. B. in der Fluoreszensmikroskopie, die zu untersuchenden Strukturen sich sensitiv gegen­ über Photonillumination verhalten und somit die Gesamtzahl der Zeitbilder be­ schränkt ist (siehe unten).
Andere Verfahren beruhen auf der sogenannten selektiven Teilchenverfol­ gung (Particle Tracking). Diese Verfahren basieren auf dem Ansatz, daß einzelne Teilchen in jedem Zeitbild erfaßt (segmentiert) und über zwei oder mehrere Zeit­ schritte verfolgt werden können. Diese Verfahren sind in vielfältiger Form vor allem zur Analyse der Dynamik von Festkörpern, Blasen oder Tröpfchen in Flüssigkeiten eingesetzt worden (siehe dazu z. B. Kobayashi, T. et al., Automatic analysis of photographs of trace particles by microcomputer system, in: Flow Visualization III (Ed. Yang W. J.) 231-235, Ann Arbor, New York, 1983; Some considerations on automated image processing of pathline photographs, in: Flow Visualization IV (Ed. Véret C.) 241-246, Springer Verlag, Paris, 1986; Gogineni, S. et al., Two­ color digital PIV employing a single CCD camera, Experiments in Fluids 25, 320-328, Springer Verlag, 1998). Mit der neuerlichen Verfügbarkeit von geeigneten zeitaufgelösten Bildgebungsverfahren in der Biologie haben diese Verfahren auch vermehrt Einzug in die Erforschung dynamischer biologischer Prozesse gefunden. So untersuchten Fisher und Kollaborateure die Dynamik der Herzwand mittels der Verfolgung spezieller Marker, die mit der MNR-Mikroskopie zeitaufgelöst abgebil­ det wurden. Zum Matchen einzelner Marker verwandten sie dabei Nachbar­ schafts- und Geschwindigkeitsinformationen (Fisher, D. J., Automatic Traching of Cardiac Wall Motion Using Magnetic Resonance Markers, PhD Thesis, university of Iowa, Iowa City, IA, 1990; Fisher, D. J. et al., Automated detection of non­ invasive magnetic resonance markers, in: Computers in Cardiology, 11, 493-496, IEEE, Los Alamitos, CA, 1991). Einen interessanten Ansatz basierend auf dem Konzept der Teilchenverfolgung lieferten Nguyen Ngoc et al. (Adaptive detection for tracking moving biological objects in video microscopy sequences, ICIP 97, 484-486, 1997), die nach einem adaptiven Erfassungsschritt einen Optimierungs­ schritt einsetzen, um das Matchingproblem zu lösen.
Die genannten Verfahren sind zur Lösung spezieller Aufgabenstellung ent­ wickelt worden, die aber nicht unmittelbar auf andere Anwendungsbereiche über­ tragbar sind. Weiterhin erlauben sie im wesentlichen die Analyse der Dynamik von speziellen Strukturen, ohne aber ein Konzept für das komplexe Problem einer ge­ eigneten Darstellung der extrahierten Parameter zu liefern. Zudem ist bislang kein Konzept basierend auf der Teilchenverfolgung bekannt, das nicht nur das punkt­ förmige Matchen von Strukturen, sondern auch das Matchen von Oberflächen­ punkten komplex geformter Strukturen erlaubt.
Somit besteht ein Bedarf an einem Verfahren und einer Vorrichtung für eine zeitaufgelöste Bildanalyse und Zeit-Raum-Visualisierung, die eine kontinuierliche quantitative und visuelle Interpretation solcher Prozesse ermöglichen.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrich­ tung für eine zeitaufgelöste Bildanalyse und/oder Zeit-Raum-Visualisierung bereit­ zustellen, die eine kontinuierliche quantitative und visuelle Interpretation dynami­ scher Prozesse in dynamischen biologischen Systemen ermöglichen. Diese Auf­ gabe wird mit den Merkmalen der Ansprüche gelöst.
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur vollautomatischen Analyse und/oder Zeit-Raum-Visualisierung von Zeitserien, die Segmentierung und Verfolgung (Tracking) zellulärer Strukturen sowie kontinuierli­ che Visualisierung und Messung quantitativer Parameter mit Subpixelauflösung im Zeit-Raum beinhalten. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung zur zeitaufgelösten Bildfolgenanalyse und computergrafischen Visua­ lisierung unter Verwendung von Fuzzy-Logik-Techniken. Wie nachfolgend be­ schrieben, wurde das Verfahren u. a. auf die Analyse des sekretorischen Mem­ branverkehrs und der funktionellen Dynamik nukleärer Kompartimenten angewen­ det, die in prä-mRNA-Spleißfaktoren angereichert sind.
Das erfindungsgemäße Verfahren bietet einen allgemein anwendbaren An­ satz, der den gesamten Bereich von der Objekterfassung, Teilchen- und Oberflä­ chenverfolgung bis hin zu der multidimensionalen Darstellung der analysierten Dynamik erlaubt. Es erlaubt nicht nur das punktförmige Matchen von Strukturen, sondern auch das Matchen von Oberflächenpunkten komplex geformter Struktu­ ren.
Das erfindungsgemäße Verfahren weist drei Abschnitte bzw. Module auf, ein Modul "Objekterfassung", ein Modul "Verfolgung" und ein Modul "Visualisie­ rung".
Objekterfassung
Die Aufnahme der Bilder erfolgt beispielsweise mit einem Lichtmikroskop (Epifloureszensmikroskop). Als Kamera wird bevorzugt eine Videokamera oder auch eine CCD-Kamera verwendet.
Erfindungsgemäß erfolgt die Objekterfassung zweistufig.
In einem ersten Schritt erfolgt eine erzwungene Bildglättung, die vorhande­ nes Rauschen beseitigt, ohne wesentliche Kanteninformationen zu entfernen (Fig. 1B). Diese Bildglättung verwendet nichtlineare anisotrope Diffusion zur Signalver­ stärkung. Bei anisotroper Diffusion handelt es sich um einen adaptiven Filter, der Bereiche mit homogenen Bildinformationen glättet, ohne relevante Kanteninforma­ tionen zu entfernen. Anisotrope Diffusion zerlegt ein Bild in homogene Regionen. Das Glättungsverfahren im Perona-Malik-Modell wird durch einen abstrakten Zeitmaßstab überwacht, d. h. höhere Zeitwerte bedeuten stärkere Filterung (P. Perona und J. Malik, Proc. IEEE Comp. Soc. Workshop on Computer Vision, Mi­ ami Beach, 30. Nov.-2. Dez. 1987 (IEEE Computer Society Press, Washington, 1987)). Das Diffusionsverfahren ist einzig von lokalen Bildeigenschaften abhängig und wird durch die Form der sogenannten "Kantenstopp"-Funktion bestimmt. Er­ findungsgemäß wird eine vom Objektmaßstab abhängige Kantenstoppfunktion auf der Grundlage der robusten Doppelgewicht-Schätzfunktion nach Tukey angewen­ det, da eine Diffusion mit der Tukey-Norm schärfere Grenzen als die Lorentzsche (Perona-Malik-) Norm erzeugt (M. J. Black und D. Heeger, IEEE Trans. Image Processing 7, 421 (1998)). Alternativ können auch andere Bildglättungsverfahren verwendet werden, z. B. Gaußsche Glättung. Hierzu ist anzumerken, daß sich als Spezialfall der Diffusionsglättung die Gaußglättung ergibt (linear isotrope Diffusi­ on). Allerdings ist diese Glättung nicht örtlich adaptiv und kleinskaligen Strukturen gehen verloren, nicht jedoch das Rauschen (weißes Rauschen), daß auch in hö­ heren Skalen vorhanden ist. Ein weiteres alternatives Glättungsverfahren ist bei­ spielsweise Wavelet-Zerlegung mit nachfolgender Manipulation der Wavelet- Koeffizienten.
In einem zweiten Schritt erfolgt eine kantenorientierte Objekterfassung un­ ter Einsatz eines Konzepts lokaler Orientierung zur Segmentierung (Fig. 1C-D). Auf der Basis der geglätteten Darstellung werden Kantenpixelkandidaten be­ stimmt. Zur Kantenerfassung wird erfindungsgemäß eine modifizierte Form des Nicht-Maximum-Unterdrückungsalgorithmus (R. Nevatia und K. R. Babu, Com­ puter Graphics and Image Processing 13, 257 (1980)) mit einem schwachen Hy­ stereseansatz angewendet, was zu verdünnten und verknüpften Kantenfragmen­ ten führt. Ein Pixel wird als Kantenpixel klassifiziert, wenn es einen potentiellen Vorgänger und Nachfolger hat (Hysterese) und wenn die Größe des Gradienten verglichen mit den beiden Nachbarn in Richtung des Gradienten maximal ist (Nicht-Maximum-Unterdrückung). Die erste Bedingung unterstützt die Bildung un­ unterbrochener Konturen, während die zweite Bedingung Mehrfachreaktionen auf eine in den Daten vorhandene einzelne Kante unterbindet. Um geschlossene Grenzlinien zu erhalten, wird erfindungsgemäß angenommen, daß Kanten zwei homogene Nachbarregionen bzw. -segmente trennen. Eine Region bzw. ein Segment gilt als homogen, wenn ihre Lichtstärkewerte durch eine Gaußsche Nor­ malverteilung modelliert werden können.
Kanten werden auf der Grundlage zweier Parameter verfolgt: (i) lokale Ori­ entierung und (ii) gleiche Wahrscheinlichkeit der Zugehörigkeit zu benachbarten Regionen. Das Konzept lokaler Orientierung ist maßstabsabhängig. Für Klein­ strukturen läßt sich lokale Orientierung durch die Gradientenrichtung approximie­ ren. Dabei folgt die Orientierung der stärksten Grauwertänderung, so daß eine Kante senkrecht zur Orientierung verläuft. Dies induziert ein lokales Koordinaten­ system, so daß die Orthogonalachse zur Isophote (Linie konstanter Lichtstärke) parallel zur Grenzlinie ausgerichtet ist. Die Kanten werden solange verfolgt, bis bereits vorhandene Kanten getroffen werden oder der Bildrand erreicht ist. Ein Pixel gehört zu einer Kante, wenn es mit gleicher Wahrscheinlichkeit allen angren­ zenden Regionen zuzuordnen ist. Dies läßt sich aber nur bestimmen, wenn man die Grauwertverteilung der Regionen kennt, die man aber erst nach der Kanten­ vervollständigung erhält. Folglich werden die Parameter der Verteilung geschätzt. Von jedem bisher bestimmten Kantenpixel gehen zu beiden Seiten Unschärfeke­ gel aus, in denen mögliche Pixel liegen, die einer der beiden Regionen zuzuord­ nen sind. Regionenpixel, die in mehreren Unschärfekegeln liegen, werden stärker gewichtet, als solche, die von nur einem überstreift werden. Die regionenspezifi­ schen statistischen Parameter wie Mittelwert und Standardabweichung werden über die gewichteten Grauwerte in den Unschärfekeilen geschätzt. Man kennt also während der Kantenverfolgung Schätzwerte der Parameter der noch zu trennen­ den Regionen. Erst jetzt fließt approximativ die gesamte Information der Regionen in die Kantenvervollständigung. Als Ergebnis erhält man geschlossene Grenzlini­ en, die homogene Regionen einschließen. Auf der Grundlage der Bildpartition wird ein Region-Nachbarschafts-Graph erstellt. Jeder Knoten des Graphen ist einer Region und zugewiesenen morphologischen Parametern, z. B. mittlere Lichtstär­ ke, Form und Größe der jeweiligen Region, zugeordnet. Interessierende Regionen (z. B. Vesikel) werden als Regionen mit lokal maximaler Lichtstärke erfaßt. Auch schwache und rauschbehaftete Signale werden mit dem erfindungsgemäßen Verfahren erfaßt.
Verfolgung
Zur dynamischen Analyse müssen die erfaßten Objekte im Zeit-Raum ver­ folgt werden. Bevorzugt werden Regionen maximaler Intensität relativ zu ihren Nachbarregionen verfolgt. Da aber eine Segmentierung des Bildes in Form eines Regionengraphen vorliegt, ist es alternativ möglich, Regionen im Nachbarschafts­ graphen nach anderen Kriterien auszusuchen. Allgemein können daher im Nach­ barschaftsgraphen detektierte Regionen verfolgt werden.
Zur Verfolgung dienen Objektmerkmale wie Bewegungsrichtung, Ge­ schwindigkeit, Größe, Form, Gesamtlichtstärke, Informationen über Nachbarschaft oder Textur (allg. Grauwertinformation) der Objekte. Auf der Grundlage solcher Objektmerkmale läuft die Verfolgung eines Objekts oder auch mehrerer Objekte darauf hinaus, seine beste Entsprechung in aufeinanderfolgenden Bildern festzu­ stellen. Auch sehr viele Objekte können verfolgt werden, wenn sie unterschiedli­ che Merkmale haben. Je ähnlicher die Objekte, umso geringer darf die Anzahl pro Bildfläche sein. Nach der Kontinuitätsgleichung des optischen Flusses sollten ent­ sprechende Objekte in aufeinanderfolgenden Bildern ähnlich sein. Allerdings kön­ nen Verzerrungen im Abbildungsverfahren, z. B. durch Rauschen, Entfärbung, Beleuchtungsunterschiede sowie Änderungen der Fokusposition, die Zeit-Raum- Kontinuitätsannahme erheblich beeinflussen. Aus diesem Grund liefern herkömli­ che Entsprechungstechniken auf der Basis von Regionen keine zufriedenstellen­ den Ergebnisse. Die Erfindung verwendet demgegenüber ein Fuzzy-Logik-System zur Bildfolgeanalyse auf der Grundlage der Annahme, daß Objektmerkmale in ei­ nem unscharfen Sinn bewahrt bleiben. (Die Fuzzy-Theorie geht davon aus, daß alles Sache des Grades ist (D. Nauck, F. Klawonn, R. Cruse, Foundations of Neuro-Fuzzy-Systems (Wiley, Chichester, 1997)). Fuzzy-Systeme verhalten sich wie Assoziativspeicher, die aus engen Eingaben enge Ausgaben abbilden, ohne eine mathematische Beschreibung zu benötigen, wie die Ausgabe funktionell von der Eingabe abhängt. Ein Fuzzy-System beruht auf einer in einer numerischen Fuzzy-Assoziativspeicher-Abbildung (FAM-Abbildung) codierten linguistischen "Regel", der FAM-Regel).
Nach einem dynamischen Partikelmodell wird für die Geschwindigkeit eines Objekts angenommen, daß sie im wesentlichen konstant bleibt. Zum Vergleich zweier Objekte in aufeinanderfolgenden Bildern werden Geschwindigkeitsdifferen­ zen und Abweichungen der erwarteten extrapolierten Position von der potentiellen neuen Position gemessen. Zusätzlich werden beispielsweise Differenzen der Ge­ samtlichtstärke, des mittleren Grauwerts und der Fläche berechnet und in Fuzzy- Regeln übersetzt. Objekte in einem Bild entsprechen dem Objekt mit dem höch­ sten "defuzzyfizierten" Ähnlichkeitsmaß im darauffolgenden Bild. Jeder der ge­ nannten fünf Parameter (Geschwindigkeitsdifferenz, Positionsabweichung, Diffe­ renzen in der Gesamtlichtstärke, des mittleren Grauwertes und der Fläche) akti­ viert dabei jede FAM-Regel in unterschiedlichem Grad. (Die Anzahl und Art der Parameter ist frei wählbar, bevorzugt werden mindestens drei Parameter verwen­ det, insbesondere Geschwindigkeitsänderung, Positionsänderung und Textur). Der skalare Aktivierungswert des Konsequenten der FAM-Regeln ist gleich dem Minimum der Antesequentenkonjunktwerte. Durch Korrelationsproduktcodierung wird der Wert des Konsequenten mit dem Aktivierungswert multipliziert. Durch Be­ rechnen des Fuzzy-Schwerpunkts wird die Ausgabe zu einem einzelnen numeri­ schen Wert, dem zusammengesetzten Ähnlichkeitsmaß, defuzzyfiziert. Wurde kein entsprechendes Objekt mit einem Ähnlichkeitswert unterhalb eines bestimm­ ten Schwellwerts festgestellt, bleibt dieses Objekt ohne Entsprechung, und die jeweilige Objektspur endet. Eine Korrespondenzabbildung zusammen mit den bi­ när codierten Bildern bilden die Ausgabe des Moduls Verfolgung (Tracking) und dienen zur kontinuierlichen Visualisierung und Quantifizierung im Zeit-Raum.
In einer bevorzugten Ausführungsform gehen alle Objektmerkmale in die Fuzzy-Logik ein. Die Gewichtung der resultierenden FAM-Regeln kann jedoch dann von Aufgabenstellung zu Aufgabenstellung unterschiedlich sein. Lassen sich die Daten und Bewegungen simulieren, so kann die Gewichtung im Rahmen einer Clusteranalyse mittels neuronaler Netze erlernt werden, bevor sie in der eigentli­ chen Datenauswertung zur Anwendung kommt.
Visualisierung und Quantifizierung
Die Visualisierung erfolgt in Form von Bahnen im Zeit-Raum. Dynamische Strukturen werden im Zeit-Raum rekonstruiert und dynamische Parameter werden berechnet. Erfindungsgemäß werden zwei unterschiedliche Ansätze zur kontinu­ ierlichen Zeit-Raum-Rekonstruktion bereitgestellt.
Die erste Ausführungsform betrifft Objekte mit zeitlich unveränderter Form. Die Dynamik von Objekten mit zeitlich unveränderter Form wird durch die dynami­ sche Neupositionierung ihrer Schwerpunkte gut beschrieben. Entsprechend der Korrespondenzabbildung werden diskrete Bahnen im Zeit-Raum erzeugt. Durch beispielsweise kubische b-Spline-Interpolation zwischen entsprechenden Schwer­ punkten werden sie anschließend in kontinuierliche Bahnen transformiert (Fig. 2A). Kubische b-Splines werden zur Interpolation zwischen entsprechenden Punk­ ten ausgewählt, da sie in geometrischem Sinn stabil sind, d. h. sie neigen nicht zu Schwingungen, auch bei einer großen Anzahl von Stichprobenpunkten. Außerdem liegen kontinuierliche Ableitungen bis zur zweiten Ordnung vor. Zu beachten ist hierbei, daß die erste und zweite Ableitung Geschwindigkeit bzw. Beschleunigung entsprechen, die für die Dynamikquantifizierung entscheidend sind (siehe unten). Das Visualisierungsmodul ist in ein leistungsstarkes mehrdimensionales Betrach­ terprogramm eingebettet (beispielsweise der Szenenbetrachter "Open Inventor Scene Viewer" von Silicon Graphics Inc., CA, der systemunabhängig und für alle wichtigen Hardware-Plattformen erhältlich ist (Silicon Graphics, Windows95/NT, Sun, HP, IBM und Linux Workstations)), das eine differenzierte Visualisierung ei­ ner großen Anzahl von Bahnen im Zeit-Raum vorsieht (Fig. 2B).
Die zweite Ausführungsform betrifft Objekte, die ihre Struktur dynamisch ändern. Diese Ausführungsform ist als Formrekonstruktion im Zeit-Raum zur Vi­ sualisierung von dynamisch ihre Struktur ändernden Objekten gestaltet. In einem ersten Schritt wird die binär codierte Objektdarstellung in eine parametrisierte Konturdarstellung transformiert (Fig. 3A-C). Dabei werden die Pixel der Kontur als diskrete Stützpunkte eines b-Splines verstanden. Danach werden entspre­ chende Grenzpunkte in benachbarten Zeitschnitten durch eine lokale Optimierung ermittelt. Unter der Annahme, daß die Transformation einer Kontur in ihre benach­ barte Kontur ausreichend glatt ist und die Reihenfolge von Konturpunkten unver­ ändert läßt, wird die optimale Transformation durch Minimieren des Integrals über allen euklidischen Abständen zwischen entsprechenden Konturpunkten ermittelt. Zur Minimierung dieses Energieterms wird ein rekursiver Konturaufspaltungsan­ satz gewählt. Eine kontinuierliche Oberflächenrekonstruktion im Zeit-Raum wird durch b-Spline-Interpolation entsprechender Grenzpunkte erhalten (Fig. 3D) und im grafischen Szenenbetrachter visualisiert. Hierbei sind Dreiecke wesentliche Grundelemente für die computergrafische Anzeige. Somit müssen kontinuierliche Oberflächen durch Dreiecksnetze approximiert sein. Zur Reduzierung der Kom­ plexität des Dreiecksnetzes unter Beibehaltung einer engen Annäherung an die ursprüngliche b-Spline-Interpolation wird eine Mehrfach-Auflösungsstrategie zur Visualisierung entwickelt. Auf jeder Auflösungsebene werden Dreiecke gemäß der Korrespondenzabbildung im Zeit-Raum gebildet. Da eine homogene Unterteilung des Parameterraums nicht unbedingt eine gleichermaßen homogene Triangulation im physikalischen Raum impliziert, wird der Verfeinerungsprozeß adaptiv ausge­ löst. Ein Dreieck wird nur dann weiter unterteilt, wenn seine maximale Verschie­ bung von der interpolierten b-Spline-Oberfläche einen voreingestellten Schwell­ wert überschreitet.
Während mehrdimensionale Visualisierung für eine qualitative Auswertung dynamischer Prozesse entscheidend ist, sind morphologische und dynamische Parameter für quantitative Messungen notwendig. Auf der Basis von Objektkontu­ ren und der Zeit-Raum-Korrespondenzabbildung wurde ein Quantifizierungsmodul entwickelt. In diesem Modul werden morphologische Parameter wie Größe und Form sowie dynamische Parameter wie Weglänge, Geschwindigkeit, Beschleuni­ gung, mittlere quadratische Entfernungen und Diffusionskoeffizienten vollautoma­ tisch berechnet. Eine Softwareschnittstelle zu Standard-Statistiksoftware erleich­ tert die weitere Auswertung und Anzeige von Parametern (siehe unten).
Alternativ können an Stelle der b-Spline-Interpolation andere Interpolations­ verfahren verwendet werden. Als weitere Interpolationsverfahren wären Lineare Interpolation (nur zwei Objektpunkte vorhanden und keine Anfangsbedingungen an die Objekte gestellt), kubische b-Spline (finite Elemente)-Interpolation (i) mit zentripedaler Parametrisierung 2-D/3-D, (ii) mit Zeitparametrisierung, (iii) mit äquidistanter Parametrisierung, Interpolation von Kurven mit Monomen, Interpola­ tion mit Lagrange-Polynomen, Interpolation mit Newton-Polynomen, Splinekurve 5. Grades, Tension-Splines, Hermite-Splines oder Bezier-Kurven zu nennen. Auch anstelle der bezüglich der Oberflächenrekonstruktion im Zeit-Raum genannten b- Spline Interpolation sind diese alternativen Interpolationsverfahren anwendbar. Entscheidend bei der Oberflächen-Interpolation ist die Bestimmung von Stütz­ punkten, die auf der Oberfläche liegen. Hat man diese Stützpunkte einmal gefun­ den, so sind oben aufgeführte Interpolationsverfahren auch auf höhere Dimensio­ nen übertragbar. Bevorzugt sind b-Spline-Flächen, da dies eine Finite-Elemente Methode ist. Dies kann notwendig sein für eine genauere Quantifizierung, auch wenn die Visualisierung ohnehin auf Dreiecken basiert. Eine andere Bestimmung von Oberflächenpunkten kann aus einer Segmentierung der Raumzeit erhalten werden. Voraussetzung dazu ist allerdings das Vorliegen einer kontinuierliche Raumzeitinformation.
Im folgenden wird beispielhaft aufgezeigt, wie die Verarbeitung höherdi­ mensionaler, dynamischer Datensätze erfolgen kann. Unter der Annahme, daß man nicht nur eine, sondern mehrere Strukturen mit geeigneten Farbstoffen si­ multan darstellt, erhöht sich die Komplexität der Datensätze um eine (Farb-) Di­ mension. Unter Vielfarben-Lebend-Zell-Mikroskopie versteht man erfindungsge­ mäß die gleichzeitige videomikroskopische Aufnahme mehrerer unterschiedlicher und spezifisch markierter Strukturen in beispielsweise lebenden Zellen. Dabei werden jeweils Bildfolgen für die unterschiedlichen Farbkanäle generiert. Die Segmentierung der Bildfolgen und das Verfolgen erfolgt wie beschrieben getrennt in den aufgenommenen Farbkanälen. Für die Visualisierung werden den Trajekt­ orien unterschiedlicher Farbkanäle jeweils ein dem Kanal entsprechender Farbcode zugeordnet (Fig. 8). Die Strukturen unterschiedlicher Kanäle können in der Raum-Zeit in Beziehung gesetzt werden. Beispielsweise kann die Kolokalisie­ rung, also der Abstand zu benachbarten Strukturen anderer Farbkanäle bestimmt werden. Für die Darstellung derartiger Parameter wird als zusätzliche Dimension die Farbe gewählt, wobei von der Farbe der jeweiligen Kanäle in eine frei defi­ nierte Farbe für den Grad der Kolokalisierung übergeblendet wird. Damit aber weiterhin erkennbar bleibt, zu welchem Kanal eine Trajektorie gehört, wird die ur­ sprüngliche Farbe als Ring in regelmäßigen Abständen entlang der Trajektorie beibehalten.
Betrachtet man Zeitsequenzen räumlicher 3-D-Strukturen, so erhöht sich die Komplexität der Bildanalyse ebenfalls um eine (Raum-) Dimension. Die 4-D- Daten werden als eine Folge von Bildstapeln bereitgestellt (drei räumliche Dimen­ sionen und Zeit). Räumliche Zeitsequenzen können prinzipiell genauso wie die oben exemplizierten flächigen 2-D-Zeitsequenzen behandelt werden. Aus Prakti­ kabilitäts- und Darstellungsgründen ist es aber in manchen Anwendungen sinnvoll, die 3-D-Information der einzelnen Datenwürfel zu jedem Zeitpunkt auf ein flächi­ ges 2-D-Bild zu reduzieren. Hierzu werden die 3-D-Daten zunächst in die x-y- Ebene projeziert. Für diese Projektion wird ein Maximum-Intensität-Algotithmus verwendet. Jeder Zeitrahmen wird anschließend wie beschrieben in zwei räumli­ chen Dimensionen segmentiert. Schließlich erfolgt die Rekonstruktion im Zeit- Raum und die Visualisierung.
Die Erfindung wird im folgenden mit Bezug auf die beigefügten Zeichnun­ gen näher erläutert. Es zeigen:
Fig. 1 die Erfassung von Vesikeln in hCgB-GFP-transfizierten Verozellen;
Fig. 2 das Zeit-Raum-Tracking von Vesikeln für die Zelle von Fig. 1;
Fig. 3A-C eine Folge von drei Bildern nach Transkriptionsinduktion des BK- Virus, aufgenommen zu den angegebenen Zeitschritten;
Fig. 3D eine Zeit-Raum-Visualisierung der dynamischen Evolution von Speckles in Relation zum induzierten RNA-Signal;
Fig. 3E eine Nahaufnahme des Speckles, das das induzierte RNA-Signal schneidet;
Fig. 3F eine Zeit-Raum-Rekonstruktion von 20 Bildern (Zeitverlauf: 1 min) von einem Speckle, visualisiert nach Inhibition von RNA-Polymerase II;
Fig. 4 die zeitabhängigen mittleren quadratischen Entfernungen für die Zelle von Fig. 1 und 2 sowie eine mit Nocodazol behandelten Zelle mit zerstörten Mi­ krotubuli (nicht gezeigt);
Fig. 5A-D eine zeitlich-räumliche Rekonstruktion und Visualisierung der funktionellen Beziehung zwischen Transkripion und prä-mRNA-Spleißen.
Fig. 6 eine Veranschaulichung des Diffusionsfilterungsprozesses; Fig. 6A:
Originalbild; Fig. 6B: Bild nach Diffusionsfilterung; Fig. 6C, D: Vergleich zwischen Zeilenprofil des Originalbildes und dem diffundierten Bild; und
Fig. 7 eine Visualisierung von ermittelten Bahnen.
Fig. 8 eine Veranschaulichung von rekonstruierten Mehrfarbendaten.
Im folgenden werden beispielhaft Anwendungen in zwei unterschiedlichen Bereichen dargestellt, um die Anwendungsmöglichkeiten der beschriebenen Technik aufzuzeigen.
Beispiel 1
In einer ersten Studie wurde die Motilität sekretorischer Vesikel untersucht, die den biosynthetischen Transport vom Trans-Golgi-Netzwerk zur Plasmamem­ bran vermitteln. Mit GFP wurde das sekretorische Protein Humanchromogranin B (hCgB-GFB) in Verozellen markiert, gefolgt von in vivo-Zeitraffermikroskopie. Nach adaptiver Glättung und Segmentierung (Fig. 1) wurden die Objektinformatio­ nen dem Bildfolgenmodul zur Objekt-Verfolgung übermittelt. In diesem Beispiel erfolgten Bildanalyse, grafische Vorverarbeitung und Berechnung dynamischer Parameter vollautomatisch in 60 Minuten auf einem Standard-Pentium PC oder einer Silicon-Graphics-Workstation. Zum Vergleich benötigte die manuelle Aus­ wertung mehr als vier Stunden im Benutzerdialog für eine Teilmenge von 40 vom Benutzer ausgewählten Vesikeln mit höchster Motilität. Alle manuell erfaßten Ve­ sikel wurden auch durch das Objekterfassungsverfahren erfaßt. Aus einem Ver­ gleich des Ergebnisses der manuellen und automatisierten Objektverfolgung ging hervor, daß über 95% der manuell bestimmten Bahnen auch durch das automati­ sierte Bildfolgen-Analysenmodul erhalten wurden.
Im Zeit-Raum-Rekonstruktionsmodul wurden die resultierenden 391 Bahnen nach ihrer Motilität automatisch als stationär, unidirektional oder bidirektional kategori­ siert (Fig. 2B). Als stationär gilt eine Bahn, wenn ihre mittlere Geschwindigkeit unter der Durchschnittsgeschwindigkeit aller Bahnen liegt. Die Gruppe der restli­ chen Vesikel wurde in zwei Klassen unterteilt: unidirektionale Bewegungen vollfüh­ rende Vesikel und ihre Bewegungsrichtung umkehrende Vesikel. Als Richtungs­ umkehr bei einem Vesikel in einem bestimmten Zeitschritt galt, wenn sich der über drei vorhergehende Zeitschritte gemittelte Geschwindigkeitsvektor in der Richtung um mindestens 130° gegenüber drei Zeitschritten danach unterschied. Zur leich­ ten Motilitätsinterpretation wurden Bahnen farbcodiert (Fig. 2C). Berechnet wur­ den dynamische Parameter, z. B. mittlere quadratische Entfernungen, Diffusions­ koeffizienten und Geschwindigkeiten (Fig. 4). Festgestellt wurde, daß die große Mehrheit der Vesikel (64%) stationär ist, während 31% Abschnitte schneller ge­ richteter Bewegungen zeigten, die von Abschnitten langsamer Zufallsbewegungen durchsetzt waren. Die mittlere Geschwindigkeit nichtstationärer Vesikel betrug 0,587 µm/s gegenüber 0,252 µm/s für stationäre Vesikel. Die für diese Zelle ge­ messene Maximalgeschwindigkeit betrug 1,23 µm/s. Ein kleinerer Anteil (5%) zeigte eine Richtungsumkehr, wobei die Hälfte dieser Vesikel ihre Richtung um 176°-180° umkehrte. Aus den Kurven der mittleren quadratischen Entfernungen und Diffusionskonstanten (Fig. 4) geht hervor, daß stationäre Vesikel in normalen Zellen sowie Vesikel in Zellen mit zerstörten Mikrotubuli nach Nocodazol-Zugabe Brownsche Bewegungen vollführen. Diese Feststellungen unterstützen ein Ver­ such-und-Irrtum-Modell für den Transport sekretorischer Vesikel. Nach diesem Modell werden Vesikel schnell, aber auf Zufallswegen transportiert, wobei einfach eine beliebige Richtung erprobt wird, um eine Zielmembran zu finden. Ferner spricht es dafür, daß Vesikel schnelle gerichtete Bewegungen vollführen, wenn sie mit Mikrotubuli assoziiert sind, und langsame zufällige Suchbewegungen zum nächsten Mikrotubulus nach Dissoziation. Die beschriebenen Verfahren bilden ein schnelles und leistungsfähiges Werkzeug, um zu prüfen, wie der sekretorische Verkehr reguliert wird, z. B. um den Effekt der Zellmotilität oder Zell-Zell- Kontaktbildung auf den Transport sekretorischer Vesikel zu untersuchen.
Beispiel 2
In einer zweiten Studie wurde das beschriebene Verfahren angewendet, um Genexpressionsereignisse in vivo zu untersuchen, insbesondere die zeitlich­ räumliche und funktionale Beziehung zwischen Transkription und prä-mRNA- Spleißen. Im Säugerzellkern sind die meisten Spleißfaktoren in 20-40 charakteri­ stischen Domänen konzentriert, die als Flecken bzw. Speckles bezeichnet wer­ den. GFP wurde frame-intern mit dem Amino-Terminus des wesentlichen Spleiß­ faktors SF2/ASF fusioniert und durch Zeitraffermikroskopie visualisiert. Aus der Zeitraffermikroskopie wird deutlich, daß diese Speckles überaus dynamische Strukturen sind. BKT-1B-Zellen, transfiziert mit GFP-SF2/ASF cAMP­ induzierbaren Frühgenen des BK-Virus, wurden in vivo getriggert, gefolgt von Zeit­ raffermikroskopie. Nach automatisierter Bildanalyse wurden Konturen von Speck­ les und BK-induzierter RNA berechnet (Fig. 3A-C), gefolgt von einer kontinuierli­ chen Zeit-Raum-Rekonstruktion und Berechnung der Oberflächendynamik für die­ se Speckles (Fig. 3D). Die kontinuierliche Rekonstruktion zeigt, daß sich eines der Speckles zum BK-Virusgen erstreckt und das Gensignal schneidet (Fig. 3E). Bemerkenswert ist, daß sich die Oberflächendynamik aller benachbarten Speckles nach Transkriptionsaktivierung erhöht und ihren Höchstwert erreicht, wenn das erste Speckle auf das Gen trifft (die zeitabhängige Oberflächendynamik für ein Speckle wurde anhand der mittleren Beschleunigung von Oberflächenpunkten (Daten nicht gezeigt) bei jedem interpolierten Zeitschritt gemessen). Danach zei­ gen die Speckles eine abrupte Verlangsamung der Oberflächendynamik und eine geringfügige Verkleinerung der Oberfläche. In einer anderen Zelle wurden Speck­ les nach Zugabe von α-Amanitin, einem spezifischen Inhibitor von RNA- Polymerase II, abgebildet. Auffallend ist, daß die Speckles abrundeten und nur geringe Oberflächendynamik zeigten (Fig. 3F). Diese Feststellungen legen nahe, daß Speckles prä-mRNA-Spleißfaktoren zu nahegelegenen aktivierten Transkrip­ tionsstellen führen und daß die Dynamik von Speckles in direkter Beziehung zu nahen Transkriptionsereignissen steht. Derzeit kommen diese Werkzeuge zum Einsatz, um die Oberflächendynamik und intranukleäre Positionierung der Spleiß­ faktor-Kompartimenten quantitativ zu charakterisieren. Fig. 5A-D veranschaulicht die zeitlich-räumliche und funktionelle Beziehung zwischen Transkription und prä- mRNA-Spleißen. Fig. 5A zeigt das ursprüngliche Bild, Fig. 5B veranschaulicht die extrahierten Kanten, Fig. 5C verdeutlicht die komplettierten Kanten und Fig. 5D zeigt das erfaßte Objekt.
Fig. 1 zeigt die Erfassung von Vesikeln in hCgB-GFP-transfizierten Ve­ rozellen. Nach Sekretionsauslösung wurden 40 Bilder mit einem Zeitverlauf von 0,5 s aufgenommen. Fig. 1A zeigt ein nicht bearbeitetes Bild im Anfangszeit­ schritt. Fig. 1B zeigt, daß nach Diffusionsfilterung der Rauschpegel ohne Verlust wesentlicher Objektinformationen erheblich reduziert ist. Auch Fig. 6C und 6D zeigen deutlich den Unterschied zwischen dem ursprünglichen, unbearbeiteten Bild des Objektes und dem Bild nach erfolgter Glättung und Verstärkung durch anisotrope Diffusion. Fig. 1C zeigt, daß nach Kantenerfassung innerhalb des ge­ filterten Bilds die Kanten verbunden werden, um Regionen aufzubauen. In Fig. 1D ist gezeigt, wie auf der Basis des induzierten Nachbarschaftsgraphen Vesikel als Regionen mit lokal maximaler Lichtstärke erfaßt werden. Zum Vergleich ist das nicht bearbeitete Bild (Fig. 1A) mit den erfaßten Vesikeln in roter Falschfarbe überlagert. Zu beachten ist, daß selbst schwache und rauschbehaftete Vesikelsi­ gnale (mit Pfeil bezeichnet) problemlos erfaßt werden. Der Maßstabbalken in Fig. 1A bezeichnet 5 µm.
Auch Fig. 6A und B veranschaulichen die kantenorientierte Segmentierung zur Objekterfassung. Fig. 6A zeigt die kantenorientierte Segmentierung, während in Fig. 6B Vesikel als Regionen mit lokal maximaler Lichtstärke erfaßt sind und auch schwache und rauschbehaftete Signale festgestellt werden.
Fig. 2 zeigt die Zeit-Raum-Verfolgung von Vesikeln für die Zelle von Fig. 1. In Fig. 2A ist Verfolgung und Interpolation zwischen aufeinanderfolgenden Zeit­ schritten für 4 von 40 Schnitten zu den angegebenen Zeitschritten demonstriert. Die Folge von Originalbildern ist in den kontinuierlichen Zeit-Raum eingebettet, in dem die senkrechte Achse den Zeitverlauf wiedergibt. Die hervorgehobenen Ringe an Bahnen entsprechen Schnitten der Bildfolge mit interpolierten Bahnen. Gemäß Fig. 2B werden nach erfolgter Zeit-Raum-Interpolation Bahnen in drei Klassen kategorisiert: stationäre (oben), unidirektionale (Mitte) und bidirektionale (unten).
Fig. 2C zeigt die Visualisierung ausgewählter Bahnen im OpenInventor- Szenenbetrachterprogramm. Sich schnell bewegende Bahnen sind farbcodiert, während stationäre Bahnen grau visualisiert sind. Aus Anzeigegründen sind nur 20% der stationären Bahnen gezeigt. Fig. 2D: im Szenenbetrachter kann der Be­ nutzer den Zeit-Raum aus unterschiedlichen Richtung betrachten, den Fokus än­ dern und ausgewählten Bahnen andere Farben und Texturen zuweisen (nicht ge­ zeigt).
Fig. 3A-C zeigen eine Folge von drei Bildern nach Transkriptionsinduktion des BK-Virus, aufgenommen zu den angegebenen Zeitschritten. Erfaßte Speckles sind grün konturiert. Nach in vivo-Abbildung wurde die induzierte RNA durch in situ-Fluoreszenzhybridisierung visualisiert. Zum Vergleich ist die Kontur erfaßter RNA (rot) innerhalb der Zeitserien visualisiert. Der Maßstabbalken in Fig. 3A be­ zeichnet 1 µm. Fig. 3D zeigt eine Zeit-Raum-Visualisierung der dynamischen Evolution von Speckles (grün) in Relation zum induzierten RNA-Signal (rot). Die hervorgehobenen Ringe an den rekonstruierten Formen entsprechen Schnitten der Bildfolge mit interpolierten Bahnen. Fig. 3E ist eine Nahaufnahme des Speckles, das das induzierte RNA-Signal schneidet. Fig. 3F ist eine Zeit-Raum- Rekonstruktion von 20 Bildern (Zeitverlauf: 1 min) von einem Speckle, visualisiert nach Inhibition von RNA-Polymerase II.
Fig. 7 zeigt eine Zeit-Raum-Visualisierung der ermittelten Bahnen.
Fig. 4 zeigt zeitabhängige mittlere quadratische Entfernungen für die Zelle von Fig. 1 und 2 sowie eine mit Nocodazol behandelten Zelle mit zerstörten Mi­ krotubuli (nicht gezeigt). Die Berechnung der mittleren quadratischen Entfer­ nungsänderung erfolgt als <Δd2< = <[d(t) - d(t + Δt)]2<, worin d(t) die Bahnlänge im Zeitschritt t und Δt das Zeitintervall bezeichnen. Entsprechend der Bahnklassifizie­ rung läßt sich eine klare Trennung zwischen Kurven für stationäre (⬩), bidirektio­ nale (Δ) und unidirektionale (∎) bewegliche Vesikel ablesen. Zu beachten ist, daß die mittleren quadratischen Entfernungen für stationäre Vesikel den für Vesikel in Nocodazol behandelten Zellen (⚫) stark ähneln. Die Diffusionskonstanten (D = 9,260 × 10-11 cm2/s für stationäre Vesikel und D = 8,223 × 10-11 cm2/s für Vesikel in Nocodazol behandelten Zellen) zeigen eine zeitunabhängige Übereinstimmung mit dem Anstieg der mittleren quadratischen Entfernungskurven, was darauf ver­ weist, daß diese Vesikel Brownsche Bewegungen vollführen. Im Gegensatz dazu zeigen die mittleren quadratischen Entfernungen für unidirektionale Vesikel eine aufwärts gebogene Parabolkurve, was auf ein motorproteingesteuertes Motilitäts­ modell verweist.
Die Erfindung stellt eine breit anwendbare Technik zur genauen Analyse dynamischer Prozesse in dynamischen biologischen Systemen und insbesondere lebenden Zellen bereit. In dem ersten Beispiel wurde die Vesikelmotilität im se­ kretorischen Membranverkehr quantitativ charakterisiert. Das Verfahren bildet die Grundlage für einen quantitativen Vergleich experimenteller Daten und Ergebnisse von Computersimulationen unter Einbeziehung unterschiedlicher Motilitätsmodelle und Transportintermediaten. Für den Nukleus scheint die Technik von besonde­ rem Nutzen zur Untersuchung der dynamischen funktionellen nukleären Organi­ sation und der räumlichen Regulierung nukleärer Prozesse zu sein. Die vorliegen­ de Technik bietet einen vollautomatischen Ansatz mit Subpixelgenauigkeit im Zeit- Raum, mit dem ein Zugriff auf bisher unerreichbare quantitative und visuelle In­ formationen möglich ist. Als weitere Anwendungsmöglichkeiten des erfindungs­ gemäßen Verfahrens sind zu nennen: die Untersuchung der Dynamik von GFP­ markierten Zell-Peroxisomen, die physiologische Untersuchung der Ca2+- regulierten Kraftentwicklung im Herz- und Skelettmuskel und die Untersuchung des Wachstums von Pflanzenwurzeln mittels der Videoaufnahme von an der Wur­ zel angebrachten fluoreszierenden Markern.

Claims (21)

1. Verfahren zur Analyse und/oder Visualisierung dynamischer Prozesse in dy­ namischen biologischen Systemen mit den Schritten:
  • a) Erfassen mindestens eines Objektes;
  • b) Verfolgen der Bahn des Objektes im Zeit-Raum; und
  • c) Visualisieren der verfolgten Bahn des Objektes und Rekonstruieren der dynamischen räumlichen Struktur des Objektes im Zeit-Raum.
2. Verfahren nach Anspruch 1, wobei der Objekterfassungsschrill die Schritte umfaßt:
  • 1. Beseitigen von Rauschen durch nichtlineare anisotrope Diffusion;
  • 2. Segmentieren des Objektes.
3. Verfahren nach Anspruch 2, wobei in Schritt a2) Kantenpixel des Objektes bestimmt werden.
4. Verfahren nach Anspruch 3, wobei die Kantenpixel anhand der lokalen Ori­ entierung der Pixel bestimmt werden.
5. Verfahren nach Anspruch 3 oder 4, wobei die Kantenpixel anhand der Wahr­ scheinlichkeit der Zugehörigkeit der Pixel zu benachbarten Regionen be­ stimmt werden.
6. Verfahren nach Anspruch 5, wobei ein Kantenpixel vorliegt, wenn es mit glei­ cher Wahrscheinlichkeit zu benachbarten Segmenten gehört.
7. Verfahren nach Anspruch 6, wobei die bestimmten Kantenpixel geschlosse­ ne Grenzlinien bilden, die homogene Segmente einschließen.
8. Verfahren nach Anspruch 7, ferner mit dem Schritt Erstellen eines Segment- Nachbarschafts-Graphen.
9. Verfahren nach einem der Ansprüche 1 bis 8, wobei die Bahnverfolgung des Objektes anhand mindestens eines Objektmerkmals ausgewählt aus der Gruppe Gesamtlichtstärke, Bewegungsrichtung, Informationen über Nach­ barschaft, Geschwindigkeit, Größe, Form, Informationen über Textur des Objektes erfolgt.
10. Verfahren nach Anspruch 9, wobei der Verfolgungsschritt einen Schritt zur Feststellung der Entsprechung eines Objektes in aufeinanderfolgenden Bil­ dern aufweist.
11. Verfahren nach einem der Ansprüche 1 bis 10, wobei die Verfolgung der Bahn mindestens eines Objektes mittels Fuzzy-Logik erfolgt.
12. Verfahren nach einem der Ansprüche 1 bis 11, wobei Schritt c) ferner den Schritt Abbilden diskreter Bahnen des Schwerpunktes des Objektes im Zeit- Raum aufweist.
13. Verfahren nach Anspruch 12, ferner mit dem Schritt Transformieren der dis­ kreten Bahn in eine kontinuierliche Bahn unter Verwendung von kubischer b- Spline Interpolation.
14. Verfahren nach einem der Ansprüche 1 bis 13, wobei Schritt c) ferner die Schritte aufweist:
Transformieren der Objektdarstellung in eine parametrisierte Konturdarstel­ lung;
Ermitteln entsprechender Grenzpunkte in benachbarten Zeitschnitten durch lokale Optimierung; und
Ermitteln einer kontinuierlichen Oberflächenrekonstruktion durch Interpolation entsprechender Grenzpunkte.
15. Verfahren nach einem der Ansprüche 1 bis 14, ferner mit dem Schritt:
Berechnen mindestens eines dynamischen Parameters des Objektes aus der Gruppe bestehend aus Weglänge, Geschwindigkeit, Beschleunigung, mittle­ re quadratische Entfernungen und Diffusionskoeffizienten.
16. Vorrichtung zur Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen, insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 15, mit:
einer Einrichtung zum Erfassen eines Objektes;
einer Einrichtung zum Verfolgen der Bahn des Objektes im Zeit-Raum; und
einer Einrichtung zum Visualisieren der verfolgten Bahn des Objektes und zum Rekonstruieren der dynamischen räumlichen Struktur des Objektes im Zeit-Raum.
17. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der Vorrichtung nach Anspruch 16 zur Untersuchung der Dynamik von GFP­ markierten Zell-Peroxisomen.
18. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der Vorrichtung nach Anspruch 16 zur physiologischen Untersuchung der Ca2+- regulierten Kraftentwicklung im Herz- und Skelettmuskel.
19. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der Vor­ richtung nach Anspruch 16 zur Untersuchung des Wachstums von Pflanzen­ wurzeln unter Verwendung einer Videoaufnahme von an den Wurzeln ange­ brachten fluoreszierenden Markern.
20. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der Vor­ richtung nach Anspruch 16 zur Untersuchung von Transportvorgängen in Zel­ len.
21. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der Vor­ richtung nach Anspruch 16 zur Untersuchung funktioneller Prozesse in Zellen.
DE19930598A 1998-12-16 1999-07-02 Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen Withdrawn DE19930598A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE19930598A DE19930598A1 (de) 1998-12-16 1999-07-02 Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19858123 1998-12-16
DE19930598A DE19930598A1 (de) 1998-12-16 1999-07-02 Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen

Publications (1)

Publication Number Publication Date
DE19930598A1 true DE19930598A1 (de) 2000-07-13

Family

ID=7891334

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19930598A Withdrawn DE19930598A1 (de) 1998-12-16 1999-07-02 Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen

Country Status (1)

Country Link
DE (1) DE19930598A1 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10036842A1 (de) * 2000-07-28 2002-02-07 Biotronik Mess & Therapieg Auswerteverfahren zur Bestimmung der zeitlichen Stationarität gemessener physiologischer Signale
WO2002071333A2 (de) * 2001-03-08 2002-09-12 Université Joseph Fourier Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen
DE102005012385A1 (de) * 2005-03-17 2006-09-21 Siemens Ag Ansteuerung für eine durch mehrere Eingangsgrößen parametrierte Funktionseinheit
US7907764B2 (en) * 2004-08-09 2011-03-15 Hirochika Matsuoka Apparatus, program and method for motion analysis in internal body
CN101572781B (zh) * 2008-04-28 2011-06-29 联咏科技股份有限公司 内插特征值处理装置与方法以及影像内插处理装置与方法
DE102016215500A1 (de) * 2016-08-18 2018-02-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sensorsystem zur Charakterisierung des Zustandes von in einem Kultivierungsgefäß enthaltenen Proben einer heterogenen Biomassestruktur
CN109357975A (zh) * 2018-10-31 2019-02-19 福州大学 一种测量生物分子有效扩散系数的方法
DE102018104913A1 (de) * 2018-03-05 2019-09-05 Prüftechnik Dieter Busch AG Schwingungsüberwachung eines Objekts mittels Videokamera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0385384A2 (de) * 1989-03-01 1990-09-05 Siemens Aktiengesellschaft Verfahren zur Detektion und Verfolgung bewegter Objekte in digitaler Bildfolge mit bewegtem Hintergrund
DE19741982A1 (de) * 1996-09-23 1998-10-08 Blazek Vladimir Prof Dr Ing Vorrichtung zur ortsaufgelösten, berührungslosen und funktionellen Visualisierung der dermalen Blutperfusion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0385384A2 (de) * 1989-03-01 1990-09-05 Siemens Aktiengesellschaft Verfahren zur Detektion und Verfolgung bewegter Objekte in digitaler Bildfolge mit bewegtem Hintergrund
DE19741982A1 (de) * 1996-09-23 1998-10-08 Blazek Vladimir Prof Dr Ing Vorrichtung zur ortsaufgelösten, berührungslosen und funktionellen Visualisierung der dermalen Blutperfusion

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BISTER,D., u.a.: Automatische Bestimmung der Trajektorien von sich bewegenden Objekten aus einer Bildfolge, Mustererkennung 1990, 12.DAGM- Symposium, Oberkochen-Aachen, Springer-Verlag, S.44-51 *
HARTMUT,Ernst: Einführung in die digitale Bildverarbeitung: Grundlagen und industrieller Einsatz mit zahlreichen Beispielen, Franzis- Verlag, 1991, S.260-263 *
HaSoTec Bewegungsanalyse/FG30Path V.2.0, Produktinformation HaSoTec gmbH, CBit 03/97 *
HAUßECKER,Horst, JÄHNE,Bernd: Ein Mehrgitter- verfahren zur Bewegungssegmentierung in Bildfolgen, Mustererkennung 1993, 15.DAGM- Symposium, Lübeck, Springer-Verlag, S.27-34 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731972B2 (en) 2000-07-28 2004-05-04 BIOTRONIK MESS- UND THERAPIEGERäTE GMBH & CO. INGENIEURBüRO BERLIN Evaluation method and apparatus for determining the time stationarity of measured physiological signals
DE10036842A1 (de) * 2000-07-28 2002-02-07 Biotronik Mess & Therapieg Auswerteverfahren zur Bestimmung der zeitlichen Stationarität gemessener physiologischer Signale
US7590264B2 (en) 2001-03-08 2009-09-15 Julian Mattes Quantitative analysis, visualization and movement correction in dynamic processes
WO2002071333A2 (de) * 2001-03-08 2002-09-12 Université Joseph Fourier Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen
WO2002071333A3 (de) * 2001-03-08 2004-05-13 Univ Joseph Fourier Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen
US7907764B2 (en) * 2004-08-09 2011-03-15 Hirochika Matsuoka Apparatus, program and method for motion analysis in internal body
DE102005012385A1 (de) * 2005-03-17 2006-09-21 Siemens Ag Ansteuerung für eine durch mehrere Eingangsgrößen parametrierte Funktionseinheit
US7925685B2 (en) 2005-03-17 2011-04-12 Siemens Aktiengesellschaft Driver for a function unit parametrized by a number of input variables
CN101572781B (zh) * 2008-04-28 2011-06-29 联咏科技股份有限公司 内插特征值处理装置与方法以及影像内插处理装置与方法
DE102016215500A1 (de) * 2016-08-18 2018-02-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sensorsystem zur Charakterisierung des Zustandes von in einem Kultivierungsgefäß enthaltenen Proben einer heterogenen Biomassestruktur
DE102016215500B4 (de) * 2016-08-18 2020-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sensorsystem zur Charakterisierung des Zustandes von in einem Kultivierungsgefäß enthaltenen Proben einer heterogenen Biomassestruktur
DE102018104913A1 (de) * 2018-03-05 2019-09-05 Prüftechnik Dieter Busch AG Schwingungsüberwachung eines Objekts mittels Videokamera
CN109357975A (zh) * 2018-10-31 2019-02-19 福州大学 一种测量生物分子有效扩散系数的方法

Similar Documents

Publication Publication Date Title
EP2284795A2 (de) Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen
EP0721631B1 (de) Verfahren zur segmentation von digitalen farbbildern
DE19636028C1 (de) Verfahren zur Stereobild-Objektdetektion
DE602004008471T2 (de) Verfahren und anordnung zur bestimmung einer objektkontur
DE102016100101A1 (de) System zum maschinellen sehen und analytisches verfahren zur segmentierung planarer oberflächen
DE69530566T2 (de) Hough-Transform mit Fuzzy-Gradient und Wahl
EP1316057B1 (de) Auswerten von kantenrichtungsinformation
DE3505331C2 (de) Verfahren und Gerät zur Vermessung des bei der Eindringhärteprüfung in einer Probe hinterlassenen Eindrucks
DE102006055893A1 (de) Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
EP3688725B1 (de) Verfahren und vorrichtung zum erzeugen einer 3d-rekonstruktion eines objekts
WO2007012098A2 (de) Verfahren und einrichtung zur segmentierung von bereichen
DE19928231C2 (de) Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung
EP2528042B1 (de) Verfahren und Vorrichtung zum Re-Meshing von 3D-Polygonmodellen
DE19633693C1 (de) Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur
CN103778616A (zh) 基于区域的对比度金字塔图像融合方法
DE19930598A1 (de) Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen
DE102005049017B4 (de) Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum
DE19645983C2 (de) Vorrichtung und Verfahren für die Bildverarbeitung
EP2064672A2 (de) Verfahren und vorrichtung zur bildverarbeitung
EP1766579A2 (de) Verfahren zur detektion geometrischer strukturen in bildern
WO2023280867A1 (de) Verfahren und vorrichtung zum bestimmen von verschiebungs parametern sowie vorrichtung zur strömungsanalyse
Bobkowska et al. Image correlation as a toll for tracking facial changes causing by external stimuli
EP0693200B1 (de) Verfahren zur klassifizierung von objekten
DE102019210518A1 (de) Verfahren zum Erkennen eines Objektes in Sensordaten, Fahrerassistenzsystem sowie Computerprogramm
DE10136649B4 (de) Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8125 Change of the main classification

Ipc: G06T 7/20

8181 Inventor (new situation)

Free format text: EILS, ROLAND, ., ZZ

8181 Inventor (new situation)

Free format text: EILS, ROLAND, DR., 69120 HEIDELBERG, DE

8181 Inventor (new situation)

Free format text: EILS, ROLAND, DR., 69120 HEIDELBERG, DE TVARUSKO, WOLFGANG, 69121 HEIDELBERG, DE BERTELE, MARTIN, 69115 HEIDELBERG, DE

8110 Request for examination paragraph 44
8139 Disposal/non-payment of the annual fee