DE19930598A1 - Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen - Google Patents
Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen SystemenInfo
- Publication number
- DE19930598A1 DE19930598A1 DE19930598A DE19930598A DE19930598A1 DE 19930598 A1 DE19930598 A1 DE 19930598A1 DE 19930598 A DE19930598 A DE 19930598A DE 19930598 A DE19930598 A DE 19930598A DE 19930598 A1 DE19930598 A1 DE 19930598A1
- Authority
- DE
- Germany
- Prior art keywords
- time
- dynamic
- space
- visualization
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Die Erfindung betrifft die zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen und insbesondere ein Verfahren und eine Vorrichtung zur zeitaufgelösten Bildanalyse und kontinuierlichen Zeit-Raum-Visualisierung durch Erfassen eines Objektes, Verfolgen der Bahn des Objektes im Zeit-Raum und Visualisieren der verfolgten Bahn des Objektes und Rekonstruieren der dynamischen räumlichen Struktur des Objektes im Zeit-Raum (Fig- 5a-5d).
Description
Die Erfindung betrifft die zeitaufgelöste Analyse und/oder Visualisierung
dynamischer Prozesse in dynamischen biologischen Systemen und insbesondere
ein Verfahren und eine Vorrichtung zur zeitaufgelösten Bildanalyse und kontinuier
lichen Zeit-Raum-Visualisierung und Rekonstruktion von Objekten, insbesondere
lebenden Zellen.
Jüngste Entwicklungen bei in vivo-Mikroskopietechniken und anderen zeit
aufgelösten Videoaufnahmesystemen erlauben die Visualisierung eines breiten
Bereichs dynamischer Prozesse in biologischen Systemen. Insbesondere hat die
Entwicklung von in vivo-Mikroskopietechniken und fluoreszierenden Reagenzien
(u. a. grün fluoreszierende Proteine (GFP)) das Interesse an der Untersuchung
der Dynamik zellulärer Prozesse geweckt. Damit verbundene Experimente erzeu
gen jedoch große und komplexe Datensätze und erfordern entsprechende Hilfs
mittel zur visuellen und quantitativen Analyse der beobachteten dynamischen Pro
zesse in Raum und Zeit. Die aufgenommenen Zeitserien werden herkömmlich
beispielsweise in Form von Filmen angezeigt. Die Anzeige von Zeitserien als Fil
me weist jedoch den Nachteil auf, daß sie keine Informationen über die kontinuier
liche Entwicklung der beobachteten Prozesse zwischen den abgebildeten Zeit
schritten (zeitliche Subpixelauflösung) liefert und auch keine quantitativen Infor
mationen erkennen läßt. Allgemein beruht bisher eine quantitative Interpretation
auf manueller oder halbinteraktiver Auswertung einer vom Nutzer beeinflussten
Auswahl von Objekten mit der scheinbar höchsten Motilität. Unter Motilität ist zu
verstehen die Beweglichkeit bzw. das Bewegungsvermögen von Organismen,
Zellorganellen oder anderer Zellsubstrukturen, wie z. B. Vesikeln.
Eine Abbildung von Strukturen in beispielsweise lebenden Zellen mit hoher
Geschwindigkeit und hoher räumlicher Auflösung weist allgemein ein geringes
Signal-Rausch-Verhältnis auf (Fig. 1A), was die genaue Objekterfassung behin
dert. Außerdem ist als Folge des optischen Aperturproblems die Verfolgung (Trac
king) gerade kleiner Objekte auf der Grundlage visueller Ähnlichkeitskriterien
schwierig, da viele Objekte sehr ähnlich erscheinen und somit nicht unterscheid
bar sind. Ferner besteht ein Problem darin, daß die abzubildenden Objekte mehr
dimensional sind (2-D, 3-D und eventuell < 3-D), unterschiedliche Größen
maßstäbe haben und zu unterschiedlichen Zeitmaßstäben untersucht werden.
Im Stand der Technik sind zwei verschiedene Ansätze zur Analyse von dy
namischen Prozessen bekannt. Die eine Klasse von Verfahren bedient sich Tech
niken des Optischen Fluß im Gesamtbild, die andere basiert auf Berechnungen
von Bewegungs- oder Geschwindigkeitsfeldern für ausgewählte Strukturen.
Optische-Fluß-Methoden (für einen Überblick siehe Barron J. L. et al., Per
formance of optical flow techniques, International Journal of Computer Vision,
12 : 1, 43-77, Kluwer Acadenic Publishers, 1994) basieren auf der Annahme, daß
die optischen Dichten (Intensitäten) über die Zeit erhalten bleiben. Diese Metho
den berechnen für jeden Bildpunkt einen Bewegungsvektor und setzen daher vor
aus, daß der Zeitabstand im Vergleich zur örtlichen Veränderung von Strukturen
im Bild klein sind. Ein Nachteil von diesen Methoden ist, daß resultierende Bewe
gungsvektorfelder nicht mit dem tatsächlichen übereinstimmen, vor allem wenn
Beleuchtungsänderungen, Gesamtintensitätsabfälle oder andere Störungen im
Zeitverlauf auftreten, oder wenn Veränderungen der beobachteten biologischen
Objekte bzw. Prozesse auftreten. In der Regel sind die Voraussetzungen für opti
sche Flußmethoden in biologischen dynamischen Systemen nicht erfüllt, da in
vielen Applikationen der zeitliche Abstand zwischen zwei aufeinanderfolgenden
Bildern zu groß ist. Ein Grund dafür ist entweder, daß die zu untersuchende Dy
namik der untersuchten Strukturen die Aufnahmemöglichkeiten des Bildgebungs
systems aufgrund optischer Limitationen überschreiten oder aber, wie z. B. in der
Fluoreszensmikroskopie, die zu untersuchenden Strukturen sich sensitiv gegen
über Photonillumination verhalten und somit die Gesamtzahl der Zeitbilder be
schränkt ist (siehe unten).
Andere Verfahren beruhen auf der sogenannten selektiven Teilchenverfol
gung (Particle Tracking). Diese Verfahren basieren auf dem Ansatz, daß einzelne
Teilchen in jedem Zeitbild erfaßt (segmentiert) und über zwei oder mehrere Zeit
schritte verfolgt werden können. Diese Verfahren sind in vielfältiger Form vor allem
zur Analyse der Dynamik von Festkörpern, Blasen oder Tröpfchen in Flüssigkeiten
eingesetzt worden (siehe dazu z. B. Kobayashi, T. et al., Automatic analysis of
photographs of trace particles by microcomputer system, in: Flow Visualization III
(Ed. Yang W. J.) 231-235, Ann Arbor, New York, 1983; Some considerations on
automated image processing of pathline photographs, in: Flow Visualization IV
(Ed. Véret C.) 241-246, Springer Verlag, Paris, 1986; Gogineni, S. et al., Two
color digital PIV employing a single CCD camera, Experiments in Fluids 25,
320-328, Springer Verlag, 1998). Mit der neuerlichen Verfügbarkeit von geeigneten
zeitaufgelösten Bildgebungsverfahren in der Biologie haben diese Verfahren auch
vermehrt Einzug in die Erforschung dynamischer biologischer Prozesse gefunden.
So untersuchten Fisher und Kollaborateure die Dynamik der Herzwand mittels der
Verfolgung spezieller Marker, die mit der MNR-Mikroskopie zeitaufgelöst abgebil
det wurden. Zum Matchen einzelner Marker verwandten sie dabei Nachbar
schafts- und Geschwindigkeitsinformationen (Fisher, D. J., Automatic Traching of
Cardiac Wall Motion Using Magnetic Resonance Markers, PhD Thesis, university
of Iowa, Iowa City, IA, 1990; Fisher, D. J. et al., Automated detection of non
invasive magnetic resonance markers, in: Computers in Cardiology, 11, 493-496,
IEEE, Los Alamitos, CA, 1991). Einen interessanten Ansatz basierend auf dem
Konzept der Teilchenverfolgung lieferten Nguyen Ngoc et al. (Adaptive detection
for tracking moving biological objects in video microscopy sequences, ICIP 97,
484-486, 1997), die nach einem adaptiven Erfassungsschritt einen Optimierungs
schritt einsetzen, um das Matchingproblem zu lösen.
Die genannten Verfahren sind zur Lösung spezieller Aufgabenstellung ent
wickelt worden, die aber nicht unmittelbar auf andere Anwendungsbereiche über
tragbar sind. Weiterhin erlauben sie im wesentlichen die Analyse der Dynamik von
speziellen Strukturen, ohne aber ein Konzept für das komplexe Problem einer ge
eigneten Darstellung der extrahierten Parameter zu liefern. Zudem ist bislang kein
Konzept basierend auf der Teilchenverfolgung bekannt, das nicht nur das punkt
förmige Matchen von Strukturen, sondern auch das Matchen von Oberflächen
punkten komplex geformter Strukturen erlaubt.
Somit besteht ein Bedarf an einem Verfahren und einer Vorrichtung für eine
zeitaufgelöste Bildanalyse und Zeit-Raum-Visualisierung, die eine kontinuierliche
quantitative und visuelle Interpretation solcher Prozesse ermöglichen.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrich
tung für eine zeitaufgelöste Bildanalyse und/oder Zeit-Raum-Visualisierung bereit
zustellen, die eine kontinuierliche quantitative und visuelle Interpretation dynami
scher Prozesse in dynamischen biologischen Systemen ermöglichen. Diese Auf
gabe wird mit den Merkmalen der Ansprüche gelöst.
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur
vollautomatischen Analyse und/oder Zeit-Raum-Visualisierung von Zeitserien, die
Segmentierung und Verfolgung (Tracking) zellulärer Strukturen sowie kontinuierli
che Visualisierung und Messung quantitativer Parameter mit Subpixelauflösung im
Zeit-Raum beinhalten. Insbesondere betrifft die Erfindung ein Verfahren und eine
Vorrichtung zur zeitaufgelösten Bildfolgenanalyse und computergrafischen Visua
lisierung unter Verwendung von Fuzzy-Logik-Techniken. Wie nachfolgend be
schrieben, wurde das Verfahren u. a. auf die Analyse des sekretorischen Mem
branverkehrs und der funktionellen Dynamik nukleärer Kompartimenten angewen
det, die in prä-mRNA-Spleißfaktoren angereichert sind.
Das erfindungsgemäße Verfahren bietet einen allgemein anwendbaren An
satz, der den gesamten Bereich von der Objekterfassung, Teilchen- und Oberflä
chenverfolgung bis hin zu der multidimensionalen Darstellung der analysierten
Dynamik erlaubt. Es erlaubt nicht nur das punktförmige Matchen von Strukturen,
sondern auch das Matchen von Oberflächenpunkten komplex geformter Struktu
ren.
Das erfindungsgemäße Verfahren weist drei Abschnitte bzw. Module auf,
ein Modul "Objekterfassung", ein Modul "Verfolgung" und ein Modul "Visualisie
rung".
Die Aufnahme der Bilder erfolgt beispielsweise mit einem Lichtmikroskop
(Epifloureszensmikroskop). Als Kamera wird bevorzugt eine Videokamera oder
auch eine CCD-Kamera verwendet.
Erfindungsgemäß erfolgt die Objekterfassung zweistufig.
In einem ersten Schritt erfolgt eine erzwungene Bildglättung, die vorhande
nes Rauschen beseitigt, ohne wesentliche Kanteninformationen zu entfernen (Fig.
1B). Diese Bildglättung verwendet nichtlineare anisotrope Diffusion zur Signalver
stärkung. Bei anisotroper Diffusion handelt es sich um einen adaptiven Filter, der
Bereiche mit homogenen Bildinformationen glättet, ohne relevante Kanteninforma
tionen zu entfernen. Anisotrope Diffusion zerlegt ein Bild in homogene Regionen.
Das Glättungsverfahren im Perona-Malik-Modell wird durch einen abstrakten
Zeitmaßstab überwacht, d. h. höhere Zeitwerte bedeuten stärkere Filterung (P.
Perona und J. Malik, Proc. IEEE Comp. Soc. Workshop on Computer Vision, Mi
ami Beach, 30. Nov.-2. Dez. 1987 (IEEE Computer Society Press, Washington,
1987)). Das Diffusionsverfahren ist einzig von lokalen Bildeigenschaften abhängig
und wird durch die Form der sogenannten "Kantenstopp"-Funktion bestimmt. Er
findungsgemäß wird eine vom Objektmaßstab abhängige Kantenstoppfunktion auf
der Grundlage der robusten Doppelgewicht-Schätzfunktion nach Tukey angewen
det, da eine Diffusion mit der Tukey-Norm schärfere Grenzen als die Lorentzsche
(Perona-Malik-) Norm erzeugt (M. J. Black und D. Heeger, IEEE Trans. Image
Processing 7, 421 (1998)). Alternativ können auch andere Bildglättungsverfahren
verwendet werden, z. B. Gaußsche Glättung. Hierzu ist anzumerken, daß sich als
Spezialfall der Diffusionsglättung die Gaußglättung ergibt (linear isotrope Diffusi
on). Allerdings ist diese Glättung nicht örtlich adaptiv und kleinskaligen Strukturen
gehen verloren, nicht jedoch das Rauschen (weißes Rauschen), daß auch in hö
heren Skalen vorhanden ist. Ein weiteres alternatives Glättungsverfahren ist bei
spielsweise Wavelet-Zerlegung mit nachfolgender Manipulation der Wavelet-
Koeffizienten.
In einem zweiten Schritt erfolgt eine kantenorientierte Objekterfassung un
ter Einsatz eines Konzepts lokaler Orientierung zur Segmentierung (Fig. 1C-D).
Auf der Basis der geglätteten Darstellung werden Kantenpixelkandidaten be
stimmt. Zur Kantenerfassung wird erfindungsgemäß eine modifizierte Form des
Nicht-Maximum-Unterdrückungsalgorithmus (R. Nevatia und K. R. Babu, Com
puter Graphics and Image Processing 13, 257 (1980)) mit einem schwachen Hy
stereseansatz angewendet, was zu verdünnten und verknüpften Kantenfragmen
ten führt. Ein Pixel wird als Kantenpixel klassifiziert, wenn es einen potentiellen
Vorgänger und Nachfolger hat (Hysterese) und wenn die Größe des Gradienten
verglichen mit den beiden Nachbarn in Richtung des Gradienten maximal ist
(Nicht-Maximum-Unterdrückung). Die erste Bedingung unterstützt die Bildung un
unterbrochener Konturen, während die zweite Bedingung Mehrfachreaktionen auf
eine in den Daten vorhandene einzelne Kante unterbindet. Um geschlossene
Grenzlinien zu erhalten, wird erfindungsgemäß angenommen, daß Kanten zwei
homogene Nachbarregionen bzw. -segmente trennen. Eine Region bzw. ein
Segment gilt als homogen, wenn ihre Lichtstärkewerte durch eine Gaußsche Nor
malverteilung modelliert werden können.
Kanten werden auf der Grundlage zweier Parameter verfolgt: (i) lokale Ori
entierung und (ii) gleiche Wahrscheinlichkeit der Zugehörigkeit zu benachbarten
Regionen. Das Konzept lokaler Orientierung ist maßstabsabhängig. Für Klein
strukturen läßt sich lokale Orientierung durch die Gradientenrichtung approximie
ren. Dabei folgt die Orientierung der stärksten Grauwertänderung, so daß eine
Kante senkrecht zur Orientierung verläuft. Dies induziert ein lokales Koordinaten
system, so daß die Orthogonalachse zur Isophote (Linie konstanter Lichtstärke)
parallel zur Grenzlinie ausgerichtet ist. Die Kanten werden solange verfolgt, bis
bereits vorhandene Kanten getroffen werden oder der Bildrand erreicht ist. Ein
Pixel gehört zu einer Kante, wenn es mit gleicher Wahrscheinlichkeit allen angren
zenden Regionen zuzuordnen ist. Dies läßt sich aber nur bestimmen, wenn man
die Grauwertverteilung der Regionen kennt, die man aber erst nach der Kanten
vervollständigung erhält. Folglich werden die Parameter der Verteilung geschätzt.
Von jedem bisher bestimmten Kantenpixel gehen zu beiden Seiten Unschärfeke
gel aus, in denen mögliche Pixel liegen, die einer der beiden Regionen zuzuord
nen sind. Regionenpixel, die in mehreren Unschärfekegeln liegen, werden stärker
gewichtet, als solche, die von nur einem überstreift werden. Die regionenspezifi
schen statistischen Parameter wie Mittelwert und Standardabweichung werden
über die gewichteten Grauwerte in den Unschärfekeilen geschätzt. Man kennt also
während der Kantenverfolgung Schätzwerte der Parameter der noch zu trennen
den Regionen. Erst jetzt fließt approximativ die gesamte Information der Regionen
in die Kantenvervollständigung. Als Ergebnis erhält man geschlossene Grenzlini
en, die homogene Regionen einschließen. Auf der Grundlage der Bildpartition wird
ein Region-Nachbarschafts-Graph erstellt. Jeder Knoten des Graphen ist einer
Region und zugewiesenen morphologischen Parametern, z. B. mittlere Lichtstär
ke, Form und Größe der jeweiligen Region, zugeordnet. Interessierende Regionen
(z. B. Vesikel) werden als Regionen mit lokal maximaler Lichtstärke erfaßt. Auch
schwache und rauschbehaftete Signale werden mit dem erfindungsgemäßen
Verfahren erfaßt.
Zur dynamischen Analyse müssen die erfaßten Objekte im Zeit-Raum ver
folgt werden. Bevorzugt werden Regionen maximaler Intensität relativ zu ihren
Nachbarregionen verfolgt. Da aber eine Segmentierung des Bildes in Form eines
Regionengraphen vorliegt, ist es alternativ möglich, Regionen im Nachbarschafts
graphen nach anderen Kriterien auszusuchen. Allgemein können daher im Nach
barschaftsgraphen detektierte Regionen verfolgt werden.
Zur Verfolgung dienen Objektmerkmale wie Bewegungsrichtung, Ge
schwindigkeit, Größe, Form, Gesamtlichtstärke, Informationen über Nachbarschaft
oder Textur (allg. Grauwertinformation) der Objekte. Auf der Grundlage solcher
Objektmerkmale läuft die Verfolgung eines Objekts oder auch mehrerer Objekte
darauf hinaus, seine beste Entsprechung in aufeinanderfolgenden Bildern festzu
stellen. Auch sehr viele Objekte können verfolgt werden, wenn sie unterschiedli
che Merkmale haben. Je ähnlicher die Objekte, umso geringer darf die Anzahl pro
Bildfläche sein. Nach der Kontinuitätsgleichung des optischen Flusses sollten ent
sprechende Objekte in aufeinanderfolgenden Bildern ähnlich sein. Allerdings kön
nen Verzerrungen im Abbildungsverfahren, z. B. durch Rauschen, Entfärbung,
Beleuchtungsunterschiede sowie Änderungen der Fokusposition, die Zeit-Raum-
Kontinuitätsannahme erheblich beeinflussen. Aus diesem Grund liefern herkömli
che Entsprechungstechniken auf der Basis von Regionen keine zufriedenstellen
den Ergebnisse. Die Erfindung verwendet demgegenüber ein Fuzzy-Logik-System
zur Bildfolgeanalyse auf der Grundlage der Annahme, daß Objektmerkmale in ei
nem unscharfen Sinn bewahrt bleiben. (Die Fuzzy-Theorie geht davon aus, daß
alles Sache des Grades ist (D. Nauck, F. Klawonn, R. Cruse, Foundations of
Neuro-Fuzzy-Systems (Wiley, Chichester, 1997)). Fuzzy-Systeme verhalten sich
wie Assoziativspeicher, die aus engen Eingaben enge Ausgaben abbilden, ohne
eine mathematische Beschreibung zu benötigen, wie die Ausgabe funktionell von
der Eingabe abhängt. Ein Fuzzy-System beruht auf einer in einer numerischen
Fuzzy-Assoziativspeicher-Abbildung (FAM-Abbildung) codierten linguistischen
"Regel", der FAM-Regel).
Nach einem dynamischen Partikelmodell wird für die Geschwindigkeit eines
Objekts angenommen, daß sie im wesentlichen konstant bleibt. Zum Vergleich
zweier Objekte in aufeinanderfolgenden Bildern werden Geschwindigkeitsdifferen
zen und Abweichungen der erwarteten extrapolierten Position von der potentiellen
neuen Position gemessen. Zusätzlich werden beispielsweise Differenzen der Ge
samtlichtstärke, des mittleren Grauwerts und der Fläche berechnet und in Fuzzy-
Regeln übersetzt. Objekte in einem Bild entsprechen dem Objekt mit dem höch
sten "defuzzyfizierten" Ähnlichkeitsmaß im darauffolgenden Bild. Jeder der ge
nannten fünf Parameter (Geschwindigkeitsdifferenz, Positionsabweichung, Diffe
renzen in der Gesamtlichtstärke, des mittleren Grauwertes und der Fläche) akti
viert dabei jede FAM-Regel in unterschiedlichem Grad. (Die Anzahl und Art der
Parameter ist frei wählbar, bevorzugt werden mindestens drei Parameter verwen
det, insbesondere Geschwindigkeitsänderung, Positionsänderung und Textur).
Der skalare Aktivierungswert des Konsequenten der FAM-Regeln ist gleich dem
Minimum der Antesequentenkonjunktwerte. Durch Korrelationsproduktcodierung
wird der Wert des Konsequenten mit dem Aktivierungswert multipliziert. Durch Be
rechnen des Fuzzy-Schwerpunkts wird die Ausgabe zu einem einzelnen numeri
schen Wert, dem zusammengesetzten Ähnlichkeitsmaß, defuzzyfiziert. Wurde
kein entsprechendes Objekt mit einem Ähnlichkeitswert unterhalb eines bestimm
ten Schwellwerts festgestellt, bleibt dieses Objekt ohne Entsprechung, und die
jeweilige Objektspur endet. Eine Korrespondenzabbildung zusammen mit den bi
när codierten Bildern bilden die Ausgabe des Moduls Verfolgung (Tracking) und
dienen zur kontinuierlichen Visualisierung und Quantifizierung im Zeit-Raum.
In einer bevorzugten Ausführungsform gehen alle Objektmerkmale in die
Fuzzy-Logik ein. Die Gewichtung der resultierenden FAM-Regeln kann jedoch
dann von Aufgabenstellung zu Aufgabenstellung unterschiedlich sein. Lassen sich
die Daten und Bewegungen simulieren, so kann die Gewichtung im Rahmen einer
Clusteranalyse mittels neuronaler Netze erlernt werden, bevor sie in der eigentli
chen Datenauswertung zur Anwendung kommt.
Die Visualisierung erfolgt in Form von Bahnen im Zeit-Raum. Dynamische
Strukturen werden im Zeit-Raum rekonstruiert und dynamische Parameter werden
berechnet. Erfindungsgemäß werden zwei unterschiedliche Ansätze zur kontinu
ierlichen Zeit-Raum-Rekonstruktion bereitgestellt.
Die erste Ausführungsform betrifft Objekte mit zeitlich unveränderter Form.
Die Dynamik von Objekten mit zeitlich unveränderter Form wird durch die dynami
sche Neupositionierung ihrer Schwerpunkte gut beschrieben. Entsprechend der
Korrespondenzabbildung werden diskrete Bahnen im Zeit-Raum erzeugt. Durch
beispielsweise kubische b-Spline-Interpolation zwischen entsprechenden Schwer
punkten werden sie anschließend in kontinuierliche Bahnen transformiert
(Fig. 2A). Kubische b-Splines werden zur Interpolation zwischen entsprechenden Punk
ten ausgewählt, da sie in geometrischem Sinn stabil sind, d. h. sie neigen nicht zu
Schwingungen, auch bei einer großen Anzahl von Stichprobenpunkten. Außerdem
liegen kontinuierliche Ableitungen bis zur zweiten Ordnung vor. Zu beachten ist
hierbei, daß die erste und zweite Ableitung Geschwindigkeit bzw. Beschleunigung
entsprechen, die für die Dynamikquantifizierung entscheidend sind (siehe unten).
Das Visualisierungsmodul ist in ein leistungsstarkes mehrdimensionales Betrach
terprogramm eingebettet (beispielsweise der Szenenbetrachter "Open Inventor
Scene Viewer" von Silicon Graphics Inc., CA, der systemunabhängig und für alle
wichtigen Hardware-Plattformen erhältlich ist (Silicon Graphics, Windows95/NT,
Sun, HP, IBM und Linux Workstations)), das eine differenzierte Visualisierung ei
ner großen Anzahl von Bahnen im Zeit-Raum vorsieht (Fig. 2B).
Die zweite Ausführungsform betrifft Objekte, die ihre Struktur dynamisch
ändern. Diese Ausführungsform ist als Formrekonstruktion im Zeit-Raum zur Vi
sualisierung von dynamisch ihre Struktur ändernden Objekten gestaltet. In einem
ersten Schritt wird die binär codierte Objektdarstellung in eine parametrisierte
Konturdarstellung transformiert (Fig. 3A-C). Dabei werden die Pixel der Kontur
als diskrete Stützpunkte eines b-Splines verstanden. Danach werden entspre
chende Grenzpunkte in benachbarten Zeitschnitten durch eine lokale Optimierung
ermittelt. Unter der Annahme, daß die Transformation einer Kontur in ihre benach
barte Kontur ausreichend glatt ist und die Reihenfolge von Konturpunkten unver
ändert läßt, wird die optimale Transformation durch Minimieren des Integrals über
allen euklidischen Abständen zwischen entsprechenden Konturpunkten ermittelt.
Zur Minimierung dieses Energieterms wird ein rekursiver Konturaufspaltungsan
satz gewählt. Eine kontinuierliche Oberflächenrekonstruktion im Zeit-Raum wird
durch b-Spline-Interpolation entsprechender Grenzpunkte erhalten (Fig. 3D) und
im grafischen Szenenbetrachter visualisiert. Hierbei sind Dreiecke wesentliche
Grundelemente für die computergrafische Anzeige. Somit müssen kontinuierliche
Oberflächen durch Dreiecksnetze approximiert sein. Zur Reduzierung der Kom
plexität des Dreiecksnetzes unter Beibehaltung einer engen Annäherung an die
ursprüngliche b-Spline-Interpolation wird eine Mehrfach-Auflösungsstrategie zur
Visualisierung entwickelt. Auf jeder Auflösungsebene werden Dreiecke gemäß der
Korrespondenzabbildung im Zeit-Raum gebildet. Da eine homogene Unterteilung
des Parameterraums nicht unbedingt eine gleichermaßen homogene Triangulation
im physikalischen Raum impliziert, wird der Verfeinerungsprozeß adaptiv ausge
löst. Ein Dreieck wird nur dann weiter unterteilt, wenn seine maximale Verschie
bung von der interpolierten b-Spline-Oberfläche einen voreingestellten Schwell
wert überschreitet.
Während mehrdimensionale Visualisierung für eine qualitative Auswertung
dynamischer Prozesse entscheidend ist, sind morphologische und dynamische
Parameter für quantitative Messungen notwendig. Auf der Basis von Objektkontu
ren und der Zeit-Raum-Korrespondenzabbildung wurde ein Quantifizierungsmodul
entwickelt. In diesem Modul werden morphologische Parameter wie Größe und
Form sowie dynamische Parameter wie Weglänge, Geschwindigkeit, Beschleuni
gung, mittlere quadratische Entfernungen und Diffusionskoeffizienten vollautoma
tisch berechnet. Eine Softwareschnittstelle zu Standard-Statistiksoftware erleich
tert die weitere Auswertung und Anzeige von Parametern (siehe unten).
Alternativ können an Stelle der b-Spline-Interpolation andere Interpolations
verfahren verwendet werden. Als weitere Interpolationsverfahren wären Lineare
Interpolation (nur zwei Objektpunkte vorhanden und keine Anfangsbedingungen
an die Objekte gestellt), kubische b-Spline (finite Elemente)-Interpolation (i) mit
zentripedaler Parametrisierung 2-D/3-D, (ii) mit Zeitparametrisierung, (iii) mit
äquidistanter Parametrisierung, Interpolation von Kurven mit Monomen, Interpola
tion mit Lagrange-Polynomen, Interpolation mit Newton-Polynomen, Splinekurve
5. Grades, Tension-Splines, Hermite-Splines oder Bezier-Kurven zu nennen. Auch
anstelle der bezüglich der Oberflächenrekonstruktion im Zeit-Raum genannten b-
Spline Interpolation sind diese alternativen Interpolationsverfahren anwendbar.
Entscheidend bei der Oberflächen-Interpolation ist die Bestimmung von Stütz
punkten, die auf der Oberfläche liegen. Hat man diese Stützpunkte einmal gefun
den, so sind oben aufgeführte Interpolationsverfahren auch auf höhere Dimensio
nen übertragbar. Bevorzugt sind b-Spline-Flächen, da dies eine Finite-Elemente
Methode ist. Dies kann notwendig sein für eine genauere Quantifizierung, auch
wenn die Visualisierung ohnehin auf Dreiecken basiert. Eine andere Bestimmung
von Oberflächenpunkten kann aus einer Segmentierung der Raumzeit erhalten
werden. Voraussetzung dazu ist allerdings das Vorliegen einer kontinuierliche
Raumzeitinformation.
Im folgenden wird beispielhaft aufgezeigt, wie die Verarbeitung höherdi
mensionaler, dynamischer Datensätze erfolgen kann. Unter der Annahme, daß
man nicht nur eine, sondern mehrere Strukturen mit geeigneten Farbstoffen si
multan darstellt, erhöht sich die Komplexität der Datensätze um eine (Farb-) Di
mension. Unter Vielfarben-Lebend-Zell-Mikroskopie versteht man erfindungsge
mäß die gleichzeitige videomikroskopische Aufnahme mehrerer unterschiedlicher
und spezifisch markierter Strukturen in beispielsweise lebenden Zellen. Dabei
werden jeweils Bildfolgen für die unterschiedlichen Farbkanäle generiert. Die
Segmentierung der Bildfolgen und das Verfolgen erfolgt wie beschrieben getrennt
in den aufgenommenen Farbkanälen. Für die Visualisierung werden den Trajekt
orien unterschiedlicher Farbkanäle jeweils ein dem Kanal entsprechender
Farbcode zugeordnet (Fig. 8). Die Strukturen unterschiedlicher Kanäle können in
der Raum-Zeit in Beziehung gesetzt werden. Beispielsweise kann die Kolokalisie
rung, also der Abstand zu benachbarten Strukturen anderer Farbkanäle bestimmt
werden. Für die Darstellung derartiger Parameter wird als zusätzliche Dimension
die Farbe gewählt, wobei von der Farbe der jeweiligen Kanäle in eine frei defi
nierte Farbe für den Grad der Kolokalisierung übergeblendet wird. Damit aber
weiterhin erkennbar bleibt, zu welchem Kanal eine Trajektorie gehört, wird die ur
sprüngliche Farbe als Ring in regelmäßigen Abständen entlang der Trajektorie
beibehalten.
Betrachtet man Zeitsequenzen räumlicher 3-D-Strukturen, so erhöht sich
die Komplexität der Bildanalyse ebenfalls um eine (Raum-) Dimension. Die 4-D-
Daten werden als eine Folge von Bildstapeln bereitgestellt (drei räumliche Dimen
sionen und Zeit). Räumliche Zeitsequenzen können prinzipiell genauso wie die
oben exemplizierten flächigen 2-D-Zeitsequenzen behandelt werden. Aus Prakti
kabilitäts- und Darstellungsgründen ist es aber in manchen Anwendungen sinnvoll,
die 3-D-Information der einzelnen Datenwürfel zu jedem Zeitpunkt auf ein flächi
ges 2-D-Bild zu reduzieren. Hierzu werden die 3-D-Daten zunächst in die x-y-
Ebene projeziert. Für diese Projektion wird ein Maximum-Intensität-Algotithmus
verwendet. Jeder Zeitrahmen wird anschließend wie beschrieben in zwei räumli
chen Dimensionen segmentiert. Schließlich erfolgt die Rekonstruktion im Zeit-
Raum und die Visualisierung.
Die Erfindung wird im folgenden mit Bezug auf die beigefügten Zeichnun
gen näher erläutert. Es zeigen:
Fig. 1 die Erfassung von Vesikeln in hCgB-GFP-transfizierten Verozellen;
Fig. 2 das Zeit-Raum-Tracking von Vesikeln für die Zelle von Fig. 1;
Fig. 3A-C eine Folge von drei Bildern nach Transkriptionsinduktion des BK-
Virus, aufgenommen zu den angegebenen Zeitschritten;
Fig. 3D eine Zeit-Raum-Visualisierung der dynamischen Evolution von
Speckles in Relation zum induzierten RNA-Signal;
Fig. 3E eine Nahaufnahme des Speckles, das das induzierte RNA-Signal
schneidet;
Fig. 3F eine Zeit-Raum-Rekonstruktion von 20 Bildern (Zeitverlauf: 1 min)
von einem Speckle, visualisiert nach Inhibition von RNA-Polymerase II;
Fig. 4 die zeitabhängigen mittleren quadratischen Entfernungen für die Zelle
von Fig. 1 und 2 sowie eine mit Nocodazol behandelten Zelle mit zerstörten Mi
krotubuli (nicht gezeigt);
Fig. 5A-D eine zeitlich-räumliche Rekonstruktion und Visualisierung der
funktionellen Beziehung zwischen Transkripion und prä-mRNA-Spleißen.
Fig. 6 eine Veranschaulichung des Diffusionsfilterungsprozesses; Fig. 6A:
Originalbild; Fig. 6B: Bild nach Diffusionsfilterung; Fig. 6C, D: Vergleich zwischen Zeilenprofil des Originalbildes und dem diffundierten Bild; und
Originalbild; Fig. 6B: Bild nach Diffusionsfilterung; Fig. 6C, D: Vergleich zwischen Zeilenprofil des Originalbildes und dem diffundierten Bild; und
Fig. 7 eine Visualisierung von ermittelten Bahnen.
Fig. 8 eine Veranschaulichung von rekonstruierten Mehrfarbendaten.
Im folgenden werden beispielhaft Anwendungen in zwei unterschiedlichen
Bereichen dargestellt, um die Anwendungsmöglichkeiten der beschriebenen
Technik aufzuzeigen.
In einer ersten Studie wurde die Motilität sekretorischer Vesikel untersucht,
die den biosynthetischen Transport vom Trans-Golgi-Netzwerk zur Plasmamem
bran vermitteln. Mit GFP wurde das sekretorische Protein Humanchromogranin B
(hCgB-GFB) in Verozellen markiert, gefolgt von in vivo-Zeitraffermikroskopie.
Nach adaptiver Glättung und Segmentierung (Fig. 1) wurden die Objektinformatio
nen dem Bildfolgenmodul zur Objekt-Verfolgung übermittelt. In diesem Beispiel
erfolgten Bildanalyse, grafische Vorverarbeitung und Berechnung dynamischer
Parameter vollautomatisch in 60 Minuten auf einem Standard-Pentium PC oder
einer Silicon-Graphics-Workstation. Zum Vergleich benötigte die manuelle Aus
wertung mehr als vier Stunden im Benutzerdialog für eine Teilmenge von 40 vom
Benutzer ausgewählten Vesikeln mit höchster Motilität. Alle manuell erfaßten Ve
sikel wurden auch durch das Objekterfassungsverfahren erfaßt. Aus einem Ver
gleich des Ergebnisses der manuellen und automatisierten Objektverfolgung ging
hervor, daß über 95% der manuell bestimmten Bahnen auch durch das automati
sierte Bildfolgen-Analysenmodul erhalten wurden.
Im Zeit-Raum-Rekonstruktionsmodul wurden die resultierenden 391 Bahnen nach
ihrer Motilität automatisch als stationär, unidirektional oder bidirektional kategori
siert (Fig. 2B). Als stationär gilt eine Bahn, wenn ihre mittlere Geschwindigkeit
unter der Durchschnittsgeschwindigkeit aller Bahnen liegt. Die Gruppe der restli
chen Vesikel wurde in zwei Klassen unterteilt: unidirektionale Bewegungen vollfüh
rende Vesikel und ihre Bewegungsrichtung umkehrende Vesikel. Als Richtungs
umkehr bei einem Vesikel in einem bestimmten Zeitschritt galt, wenn sich der über
drei vorhergehende Zeitschritte gemittelte Geschwindigkeitsvektor in der Richtung
um mindestens 130° gegenüber drei Zeitschritten danach unterschied. Zur leich
ten Motilitätsinterpretation wurden Bahnen farbcodiert (Fig. 2C). Berechnet wur
den dynamische Parameter, z. B. mittlere quadratische Entfernungen, Diffusions
koeffizienten und Geschwindigkeiten (Fig. 4). Festgestellt wurde, daß die große
Mehrheit der Vesikel (64%) stationär ist, während 31% Abschnitte schneller ge
richteter Bewegungen zeigten, die von Abschnitten langsamer Zufallsbewegungen
durchsetzt waren. Die mittlere Geschwindigkeit nichtstationärer Vesikel betrug
0,587 µm/s gegenüber 0,252 µm/s für stationäre Vesikel. Die für diese Zelle ge
messene Maximalgeschwindigkeit betrug 1,23 µm/s. Ein kleinerer Anteil (5%)
zeigte eine Richtungsumkehr, wobei die Hälfte dieser Vesikel ihre Richtung um
176°-180° umkehrte. Aus den Kurven der mittleren quadratischen Entfernungen
und Diffusionskonstanten (Fig. 4) geht hervor, daß stationäre Vesikel in normalen
Zellen sowie Vesikel in Zellen mit zerstörten Mikrotubuli nach Nocodazol-Zugabe
Brownsche Bewegungen vollführen. Diese Feststellungen unterstützen ein Ver
such-und-Irrtum-Modell für den Transport sekretorischer Vesikel. Nach diesem
Modell werden Vesikel schnell, aber auf Zufallswegen transportiert, wobei einfach
eine beliebige Richtung erprobt wird, um eine Zielmembran zu finden. Ferner
spricht es dafür, daß Vesikel schnelle gerichtete Bewegungen vollführen, wenn sie
mit Mikrotubuli assoziiert sind, und langsame zufällige Suchbewegungen zum
nächsten Mikrotubulus nach Dissoziation. Die beschriebenen Verfahren bilden ein
schnelles und leistungsfähiges Werkzeug, um zu prüfen, wie der sekretorische
Verkehr reguliert wird, z. B. um den Effekt der Zellmotilität oder Zell-Zell-
Kontaktbildung auf den Transport sekretorischer Vesikel zu untersuchen.
In einer zweiten Studie wurde das beschriebene Verfahren angewendet, um
Genexpressionsereignisse in vivo zu untersuchen, insbesondere die zeitlich
räumliche und funktionale Beziehung zwischen Transkription und prä-mRNA-
Spleißen. Im Säugerzellkern sind die meisten Spleißfaktoren in 20-40 charakteri
stischen Domänen konzentriert, die als Flecken bzw. Speckles bezeichnet wer
den. GFP wurde frame-intern mit dem Amino-Terminus des wesentlichen Spleiß
faktors SF2/ASF fusioniert und durch Zeitraffermikroskopie visualisiert. Aus der
Zeitraffermikroskopie wird deutlich, daß diese Speckles überaus dynamische
Strukturen sind. BKT-1B-Zellen, transfiziert mit GFP-SF2/ASF cAMP
induzierbaren Frühgenen des BK-Virus, wurden in vivo getriggert, gefolgt von Zeit
raffermikroskopie. Nach automatisierter Bildanalyse wurden Konturen von Speck
les und BK-induzierter RNA berechnet (Fig. 3A-C), gefolgt von einer kontinuierli
chen Zeit-Raum-Rekonstruktion und Berechnung der Oberflächendynamik für die
se Speckles (Fig. 3D). Die kontinuierliche Rekonstruktion zeigt, daß sich eines
der Speckles zum BK-Virusgen erstreckt und das Gensignal schneidet (Fig. 3E).
Bemerkenswert ist, daß sich die Oberflächendynamik aller benachbarten Speckles
nach Transkriptionsaktivierung erhöht und ihren Höchstwert erreicht, wenn das
erste Speckle auf das Gen trifft (die zeitabhängige Oberflächendynamik für ein
Speckle wurde anhand der mittleren Beschleunigung von Oberflächenpunkten
(Daten nicht gezeigt) bei jedem interpolierten Zeitschritt gemessen). Danach zei
gen die Speckles eine abrupte Verlangsamung der Oberflächendynamik und eine
geringfügige Verkleinerung der Oberfläche. In einer anderen Zelle wurden Speck
les nach Zugabe von α-Amanitin, einem spezifischen Inhibitor von RNA-
Polymerase II, abgebildet. Auffallend ist, daß die Speckles abrundeten und nur
geringe Oberflächendynamik zeigten (Fig. 3F). Diese Feststellungen legen nahe,
daß Speckles prä-mRNA-Spleißfaktoren zu nahegelegenen aktivierten Transkrip
tionsstellen führen und daß die Dynamik von Speckles in direkter Beziehung zu
nahen Transkriptionsereignissen steht. Derzeit kommen diese Werkzeuge zum
Einsatz, um die Oberflächendynamik und intranukleäre Positionierung der Spleiß
faktor-Kompartimenten quantitativ zu charakterisieren. Fig. 5A-D veranschaulicht
die zeitlich-räumliche und funktionelle Beziehung zwischen Transkription und prä-
mRNA-Spleißen. Fig. 5A zeigt das ursprüngliche Bild, Fig. 5B veranschaulicht die
extrahierten Kanten, Fig. 5C verdeutlicht die komplettierten Kanten und Fig. 5D
zeigt das erfaßte Objekt.
Fig. 1 zeigt die Erfassung von Vesikeln in hCgB-GFP-transfizierten Ve
rozellen. Nach Sekretionsauslösung wurden 40 Bilder mit einem Zeitverlauf von
0,5 s aufgenommen. Fig. 1A zeigt ein nicht bearbeitetes Bild im Anfangszeit
schritt. Fig. 1B zeigt, daß nach Diffusionsfilterung der Rauschpegel ohne Verlust
wesentlicher Objektinformationen erheblich reduziert ist. Auch Fig. 6C und 6D
zeigen deutlich den Unterschied zwischen dem ursprünglichen, unbearbeiteten
Bild des Objektes und dem Bild nach erfolgter Glättung und Verstärkung durch
anisotrope Diffusion. Fig. 1C zeigt, daß nach Kantenerfassung innerhalb des ge
filterten Bilds die Kanten verbunden werden, um Regionen aufzubauen. In Fig. 1D
ist gezeigt, wie auf der Basis des induzierten Nachbarschaftsgraphen Vesikel als
Regionen mit lokal maximaler Lichtstärke erfaßt werden. Zum Vergleich ist das
nicht bearbeitete Bild (Fig. 1A) mit den erfaßten Vesikeln in roter Falschfarbe
überlagert. Zu beachten ist, daß selbst schwache und rauschbehaftete Vesikelsi
gnale (mit Pfeil bezeichnet) problemlos erfaßt werden. Der Maßstabbalken in Fig.
1A bezeichnet 5 µm.
Auch Fig. 6A und B veranschaulichen die kantenorientierte Segmentierung
zur Objekterfassung. Fig. 6A zeigt die kantenorientierte Segmentierung, während
in Fig. 6B Vesikel als Regionen mit lokal maximaler Lichtstärke erfaßt sind und
auch schwache und rauschbehaftete Signale festgestellt werden.
Fig. 2 zeigt die Zeit-Raum-Verfolgung von Vesikeln für die Zelle von Fig. 1.
In Fig. 2A ist Verfolgung und Interpolation zwischen aufeinanderfolgenden Zeit
schritten für 4 von 40 Schnitten zu den angegebenen Zeitschritten demonstriert.
Die Folge von Originalbildern ist in den kontinuierlichen Zeit-Raum eingebettet, in
dem die senkrechte Achse den Zeitverlauf wiedergibt. Die hervorgehobenen Ringe
an Bahnen entsprechen Schnitten der Bildfolge mit interpolierten Bahnen. Gemäß
Fig. 2B werden nach erfolgter Zeit-Raum-Interpolation Bahnen in drei Klassen
kategorisiert: stationäre (oben), unidirektionale (Mitte) und bidirektionale (unten).
Fig. 2C zeigt die Visualisierung ausgewählter Bahnen im OpenInventor-
Szenenbetrachterprogramm. Sich schnell bewegende Bahnen sind farbcodiert,
während stationäre Bahnen grau visualisiert sind. Aus Anzeigegründen sind nur
20% der stationären Bahnen gezeigt. Fig. 2D: im Szenenbetrachter kann der Be
nutzer den Zeit-Raum aus unterschiedlichen Richtung betrachten, den Fokus än
dern und ausgewählten Bahnen andere Farben und Texturen zuweisen (nicht ge
zeigt).
Fig. 3A-C zeigen eine Folge von drei Bildern nach Transkriptionsinduktion
des BK-Virus, aufgenommen zu den angegebenen Zeitschritten. Erfaßte Speckles
sind grün konturiert. Nach in vivo-Abbildung wurde die induzierte RNA durch in
situ-Fluoreszenzhybridisierung visualisiert. Zum Vergleich ist die Kontur erfaßter
RNA (rot) innerhalb der Zeitserien visualisiert. Der Maßstabbalken in Fig. 3A be
zeichnet 1 µm. Fig. 3D zeigt eine Zeit-Raum-Visualisierung der dynamischen
Evolution von Speckles (grün) in Relation zum induzierten RNA-Signal (rot). Die
hervorgehobenen Ringe an den rekonstruierten Formen entsprechen Schnitten
der Bildfolge mit interpolierten Bahnen. Fig. 3E ist eine Nahaufnahme des
Speckles, das das induzierte RNA-Signal schneidet. Fig. 3F ist eine Zeit-Raum-
Rekonstruktion von 20 Bildern (Zeitverlauf: 1 min) von einem Speckle, visualisiert
nach Inhibition von RNA-Polymerase II.
Fig. 7 zeigt eine Zeit-Raum-Visualisierung der ermittelten Bahnen.
Fig. 4 zeigt zeitabhängige mittlere quadratische Entfernungen für die Zelle
von Fig. 1 und 2 sowie eine mit Nocodazol behandelten Zelle mit zerstörten Mi
krotubuli (nicht gezeigt). Die Berechnung der mittleren quadratischen Entfer
nungsänderung erfolgt als <Δd2< = <[d(t) - d(t + Δt)]2<, worin d(t) die Bahnlänge im
Zeitschritt t und Δt das Zeitintervall bezeichnen. Entsprechend der Bahnklassifizie
rung läßt sich eine klare Trennung zwischen Kurven für stationäre (⬩), bidirektio
nale (Δ) und unidirektionale (∎) bewegliche Vesikel ablesen. Zu beachten ist, daß
die mittleren quadratischen Entfernungen für stationäre Vesikel den für Vesikel in
Nocodazol behandelten Zellen (⚫) stark ähneln. Die Diffusionskonstanten (D =
9,260 × 10-11 cm2/s für stationäre Vesikel und D = 8,223 × 10-11 cm2/s für Vesikel in
Nocodazol behandelten Zellen) zeigen eine zeitunabhängige Übereinstimmung
mit dem Anstieg der mittleren quadratischen Entfernungskurven, was darauf ver
weist, daß diese Vesikel Brownsche Bewegungen vollführen. Im Gegensatz dazu
zeigen die mittleren quadratischen Entfernungen für unidirektionale Vesikel eine
aufwärts gebogene Parabolkurve, was auf ein motorproteingesteuertes Motilitäts
modell verweist.
Die Erfindung stellt eine breit anwendbare Technik zur genauen Analyse
dynamischer Prozesse in dynamischen biologischen Systemen und insbesondere
lebenden Zellen bereit. In dem ersten Beispiel wurde die Vesikelmotilität im se
kretorischen Membranverkehr quantitativ charakterisiert. Das Verfahren bildet die
Grundlage für einen quantitativen Vergleich experimenteller Daten und Ergebnisse
von Computersimulationen unter Einbeziehung unterschiedlicher Motilitätsmodelle
und Transportintermediaten. Für den Nukleus scheint die Technik von besonde
rem Nutzen zur Untersuchung der dynamischen funktionellen nukleären Organi
sation und der räumlichen Regulierung nukleärer Prozesse zu sein. Die vorliegen
de Technik bietet einen vollautomatischen Ansatz mit Subpixelgenauigkeit im Zeit-
Raum, mit dem ein Zugriff auf bisher unerreichbare quantitative und visuelle In
formationen möglich ist. Als weitere Anwendungsmöglichkeiten des erfindungs
gemäßen Verfahrens sind zu nennen: die Untersuchung der Dynamik von GFP
markierten Zell-Peroxisomen, die physiologische Untersuchung der Ca2+-
regulierten Kraftentwicklung im Herz- und Skelettmuskel und die Untersuchung
des Wachstums von Pflanzenwurzeln mittels der Videoaufnahme von an der Wur
zel angebrachten fluoreszierenden Markern.
Claims (21)
1. Verfahren zur Analyse und/oder Visualisierung dynamischer Prozesse in dy
namischen biologischen Systemen mit den Schritten:
- a) Erfassen mindestens eines Objektes;
- b) Verfolgen der Bahn des Objektes im Zeit-Raum; und
- c) Visualisieren der verfolgten Bahn des Objektes und Rekonstruieren der dynamischen räumlichen Struktur des Objektes im Zeit-Raum.
2. Verfahren nach Anspruch 1, wobei der Objekterfassungsschrill die Schritte
umfaßt:
- 1. Beseitigen von Rauschen durch nichtlineare anisotrope Diffusion;
- 2. Segmentieren des Objektes.
3. Verfahren nach Anspruch 2, wobei in Schritt a2) Kantenpixel des Objektes
bestimmt werden.
4. Verfahren nach Anspruch 3, wobei die Kantenpixel anhand der lokalen Ori
entierung der Pixel bestimmt werden.
5. Verfahren nach Anspruch 3 oder 4, wobei die Kantenpixel anhand der Wahr
scheinlichkeit der Zugehörigkeit der Pixel zu benachbarten Regionen be
stimmt werden.
6. Verfahren nach Anspruch 5, wobei ein Kantenpixel vorliegt, wenn es mit glei
cher Wahrscheinlichkeit zu benachbarten Segmenten gehört.
7. Verfahren nach Anspruch 6, wobei die bestimmten Kantenpixel geschlosse
ne Grenzlinien bilden, die homogene Segmente einschließen.
8. Verfahren nach Anspruch 7, ferner mit dem Schritt Erstellen eines Segment-
Nachbarschafts-Graphen.
9. Verfahren nach einem der Ansprüche 1 bis 8, wobei die Bahnverfolgung des
Objektes anhand mindestens eines Objektmerkmals ausgewählt aus der
Gruppe Gesamtlichtstärke, Bewegungsrichtung, Informationen über Nach
barschaft, Geschwindigkeit, Größe, Form, Informationen über Textur des
Objektes erfolgt.
10. Verfahren nach Anspruch 9, wobei der Verfolgungsschritt einen Schritt zur
Feststellung der Entsprechung eines Objektes in aufeinanderfolgenden Bil
dern aufweist.
11. Verfahren nach einem der Ansprüche 1 bis 10, wobei die Verfolgung der
Bahn mindestens eines Objektes mittels Fuzzy-Logik erfolgt.
12. Verfahren nach einem der Ansprüche 1 bis 11, wobei Schritt c) ferner den
Schritt Abbilden diskreter Bahnen des Schwerpunktes des Objektes im Zeit-
Raum aufweist.
13. Verfahren nach Anspruch 12, ferner mit dem Schritt Transformieren der dis
kreten Bahn in eine kontinuierliche Bahn unter Verwendung von kubischer b-
Spline Interpolation.
14. Verfahren nach einem der Ansprüche 1 bis 13, wobei Schritt c) ferner die
Schritte aufweist:
Transformieren der Objektdarstellung in eine parametrisierte Konturdarstel lung;
Ermitteln entsprechender Grenzpunkte in benachbarten Zeitschnitten durch lokale Optimierung; und
Ermitteln einer kontinuierlichen Oberflächenrekonstruktion durch Interpolation entsprechender Grenzpunkte.
Transformieren der Objektdarstellung in eine parametrisierte Konturdarstel lung;
Ermitteln entsprechender Grenzpunkte in benachbarten Zeitschnitten durch lokale Optimierung; und
Ermitteln einer kontinuierlichen Oberflächenrekonstruktion durch Interpolation entsprechender Grenzpunkte.
15. Verfahren nach einem der Ansprüche 1 bis 14, ferner mit dem Schritt:
Berechnen mindestens eines dynamischen Parameters des Objektes aus der Gruppe bestehend aus Weglänge, Geschwindigkeit, Beschleunigung, mittle re quadratische Entfernungen und Diffusionskoeffizienten.
Berechnen mindestens eines dynamischen Parameters des Objektes aus der Gruppe bestehend aus Weglänge, Geschwindigkeit, Beschleunigung, mittle re quadratische Entfernungen und Diffusionskoeffizienten.
16. Vorrichtung zur Analyse und/oder Visualisierung dynamischer Prozesse in
dynamischen biologischen Systemen, insbesondere zur Durchführung des
Verfahrens nach einem der Ansprüche 1 bis 15, mit:
einer Einrichtung zum Erfassen eines Objektes;
einer Einrichtung zum Verfolgen der Bahn des Objektes im Zeit-Raum; und
einer Einrichtung zum Visualisieren der verfolgten Bahn des Objektes und zum Rekonstruieren der dynamischen räumlichen Struktur des Objektes im Zeit-Raum.
einer Einrichtung zum Erfassen eines Objektes;
einer Einrichtung zum Verfolgen der Bahn des Objektes im Zeit-Raum; und
einer Einrichtung zum Visualisieren der verfolgten Bahn des Objektes und zum Rekonstruieren der dynamischen räumlichen Struktur des Objektes im Zeit-Raum.
17. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der
Vorrichtung nach Anspruch 16 zur Untersuchung der Dynamik von GFP
markierten Zell-Peroxisomen.
18. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der
Vorrichtung nach Anspruch 16 zur physiologischen Untersuchung der Ca2+-
regulierten Kraftentwicklung im Herz- und Skelettmuskel.
19. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der Vor
richtung nach Anspruch 16 zur Untersuchung des Wachstums von Pflanzen
wurzeln unter Verwendung einer Videoaufnahme von an den Wurzeln ange
brachten fluoreszierenden Markern.
20. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der Vor
richtung nach Anspruch 16 zur Untersuchung von Transportvorgängen in Zel
len.
21. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 15 oder der Vor
richtung nach Anspruch 16 zur Untersuchung funktioneller Prozesse in Zellen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19930598A DE19930598A1 (de) | 1998-12-16 | 1999-07-02 | Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19858123 | 1998-12-16 | ||
DE19930598A DE19930598A1 (de) | 1998-12-16 | 1999-07-02 | Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen |
Publications (1)
Publication Number | Publication Date |
---|---|
DE19930598A1 true DE19930598A1 (de) | 2000-07-13 |
Family
ID=7891334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19930598A Withdrawn DE19930598A1 (de) | 1998-12-16 | 1999-07-02 | Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE19930598A1 (de) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10036842A1 (de) * | 2000-07-28 | 2002-02-07 | Biotronik Mess & Therapieg | Auswerteverfahren zur Bestimmung der zeitlichen Stationarität gemessener physiologischer Signale |
WO2002071333A2 (de) * | 2001-03-08 | 2002-09-12 | Université Joseph Fourier | Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen |
DE102005012385A1 (de) * | 2005-03-17 | 2006-09-21 | Siemens Ag | Ansteuerung für eine durch mehrere Eingangsgrößen parametrierte Funktionseinheit |
US7907764B2 (en) * | 2004-08-09 | 2011-03-15 | Hirochika Matsuoka | Apparatus, program and method for motion analysis in internal body |
CN101572781B (zh) * | 2008-04-28 | 2011-06-29 | 联咏科技股份有限公司 | 内插特征值处理装置与方法以及影像内插处理装置与方法 |
DE102016215500A1 (de) * | 2016-08-18 | 2018-02-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Sensorsystem zur Charakterisierung des Zustandes von in einem Kultivierungsgefäß enthaltenen Proben einer heterogenen Biomassestruktur |
CN109357975A (zh) * | 2018-10-31 | 2019-02-19 | 福州大学 | 一种测量生物分子有效扩散系数的方法 |
DE102018104913A1 (de) * | 2018-03-05 | 2019-09-05 | Prüftechnik Dieter Busch AG | Schwingungsüberwachung eines Objekts mittels Videokamera |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0385384A2 (de) * | 1989-03-01 | 1990-09-05 | Siemens Aktiengesellschaft | Verfahren zur Detektion und Verfolgung bewegter Objekte in digitaler Bildfolge mit bewegtem Hintergrund |
DE19741982A1 (de) * | 1996-09-23 | 1998-10-08 | Blazek Vladimir Prof Dr Ing | Vorrichtung zur ortsaufgelösten, berührungslosen und funktionellen Visualisierung der dermalen Blutperfusion |
-
1999
- 1999-07-02 DE DE19930598A patent/DE19930598A1/de not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0385384A2 (de) * | 1989-03-01 | 1990-09-05 | Siemens Aktiengesellschaft | Verfahren zur Detektion und Verfolgung bewegter Objekte in digitaler Bildfolge mit bewegtem Hintergrund |
DE19741982A1 (de) * | 1996-09-23 | 1998-10-08 | Blazek Vladimir Prof Dr Ing | Vorrichtung zur ortsaufgelösten, berührungslosen und funktionellen Visualisierung der dermalen Blutperfusion |
Non-Patent Citations (4)
Title |
---|
BISTER,D., u.a.: Automatische Bestimmung der Trajektorien von sich bewegenden Objekten aus einer Bildfolge, Mustererkennung 1990, 12.DAGM- Symposium, Oberkochen-Aachen, Springer-Verlag, S.44-51 * |
HARTMUT,Ernst: Einführung in die digitale Bildverarbeitung: Grundlagen und industrieller Einsatz mit zahlreichen Beispielen, Franzis- Verlag, 1991, S.260-263 * |
HaSoTec Bewegungsanalyse/FG30Path V.2.0, Produktinformation HaSoTec gmbH, CBit 03/97 * |
HAUßECKER,Horst, JÄHNE,Bernd: Ein Mehrgitter- verfahren zur Bewegungssegmentierung in Bildfolgen, Mustererkennung 1993, 15.DAGM- Symposium, Lübeck, Springer-Verlag, S.27-34 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6731972B2 (en) | 2000-07-28 | 2004-05-04 | BIOTRONIK MESS- UND THERAPIEGERäTE GMBH & CO. INGENIEURBüRO BERLIN | Evaluation method and apparatus for determining the time stationarity of measured physiological signals |
DE10036842A1 (de) * | 2000-07-28 | 2002-02-07 | Biotronik Mess & Therapieg | Auswerteverfahren zur Bestimmung der zeitlichen Stationarität gemessener physiologischer Signale |
US7590264B2 (en) | 2001-03-08 | 2009-09-15 | Julian Mattes | Quantitative analysis, visualization and movement correction in dynamic processes |
WO2002071333A2 (de) * | 2001-03-08 | 2002-09-12 | Université Joseph Fourier | Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen |
WO2002071333A3 (de) * | 2001-03-08 | 2004-05-13 | Univ Joseph Fourier | Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen |
US7907764B2 (en) * | 2004-08-09 | 2011-03-15 | Hirochika Matsuoka | Apparatus, program and method for motion analysis in internal body |
DE102005012385A1 (de) * | 2005-03-17 | 2006-09-21 | Siemens Ag | Ansteuerung für eine durch mehrere Eingangsgrößen parametrierte Funktionseinheit |
US7925685B2 (en) | 2005-03-17 | 2011-04-12 | Siemens Aktiengesellschaft | Driver for a function unit parametrized by a number of input variables |
CN101572781B (zh) * | 2008-04-28 | 2011-06-29 | 联咏科技股份有限公司 | 内插特征值处理装置与方法以及影像内插处理装置与方法 |
DE102016215500A1 (de) * | 2016-08-18 | 2018-02-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Sensorsystem zur Charakterisierung des Zustandes von in einem Kultivierungsgefäß enthaltenen Proben einer heterogenen Biomassestruktur |
DE102016215500B4 (de) * | 2016-08-18 | 2020-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Sensorsystem zur Charakterisierung des Zustandes von in einem Kultivierungsgefäß enthaltenen Proben einer heterogenen Biomassestruktur |
DE102018104913A1 (de) * | 2018-03-05 | 2019-09-05 | Prüftechnik Dieter Busch AG | Schwingungsüberwachung eines Objekts mittels Videokamera |
CN109357975A (zh) * | 2018-10-31 | 2019-02-19 | 福州大学 | 一种测量生物分子有效扩散系数的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69226512T2 (de) | Verfahren zur Bildverarbeitung | |
EP2284795A2 (de) | Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen | |
EP0721631B1 (de) | Verfahren zur segmentation von digitalen farbbildern | |
DE19636028C1 (de) | Verfahren zur Stereobild-Objektdetektion | |
DE102006005044B4 (de) | Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung | |
DE68928895T2 (de) | Verfahren und Gerät für universelle adaptiv lernende Bildmessung und -erkennung | |
DE602004008471T2 (de) | Verfahren und anordnung zur bestimmung einer objektkontur | |
DE69530566T2 (de) | Hough-Transform mit Fuzzy-Gradient und Wahl | |
DE10043460C2 (de) | Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation | |
DE69027402T2 (de) | Verfahren und Vorrichtung zur Steuerung von Robotern und ähnlichem zum Gebrauch hierarchisch organisierter "Bubble-Daten", die entlang einer Mittelachse angeordnet sind | |
DE69322095T2 (de) | Verfahren und gerät zur identifizierung eines objekts mittels eine geordneten folge von grenz-pixel-parametern | |
DE3505331C2 (de) | Verfahren und Gerät zur Vermessung des bei der Eindringhärteprüfung in einer Probe hinterlassenen Eindrucks | |
EP2528042B1 (de) | Verfahren und Vorrichtung zum Re-Meshing von 3D-Polygonmodellen | |
EP3688725B1 (de) | Verfahren und vorrichtung zum erzeugen einer 3d-rekonstruktion eines objekts | |
WO2007012098A2 (de) | Verfahren und einrichtung zur segmentierung von bereichen | |
DE19928231C2 (de) | Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung | |
DE19633693C1 (de) | Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur | |
CN103778616A (zh) | 基于区域的对比度金字塔图像融合方法 | |
DE19930598A1 (de) | Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen | |
DE102005049017B4 (de) | Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum | |
EP2064672A2 (de) | Verfahren und vorrichtung zur bildverarbeitung | |
EP1766579A2 (de) | Verfahren zur detektion geometrischer strukturen in bildern | |
WO2023280867A1 (de) | Verfahren und vorrichtung zum bestimmen von verschiebungs parametern sowie vorrichtung zur strömungsanalyse | |
Bobkowska et al. | Image correlation as a toll for tracking facial changes causing by external stimuli | |
EP0693200B1 (de) | Verfahren zur klassifizierung von objekten |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
8125 | Change of the main classification |
Ipc: G06T 7/20 |
|
8181 | Inventor (new situation) |
Free format text: EILS, ROLAND, ., ZZ |
|
8181 | Inventor (new situation) |
Free format text: EILS, ROLAND, DR., 69120 HEIDELBERG, DE |
|
8181 | Inventor (new situation) |
Free format text: EILS, ROLAND, DR., 69120 HEIDELBERG, DE TVARUSKO, WOLFGANG, 69121 HEIDELBERG, DE BERTELE, MARTIN, 69115 HEIDELBERG, DE |
|
8110 | Request for examination paragraph 44 | ||
8139 | Disposal/non-payment of the annual fee |