DE10111226A1

DE10111226A1 - Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen

Info

Publication number: DE10111226A1
Application number: DE10111226A
Authority: DE
Inventors: Julian Mattes; Eils Roland; Johannes Fieres
Original assignee: Deutsches Krebsforschungszentrum DKFZ
Current assignee: Deutsches Krebsforschungszentrum DKFZ
Priority date: 2001-03-08
Filing date: 2001-03-08
Publication date: 2002-09-19

Description

Die Erfindung betrifft die quantitative Analyse und/oder Visualisierung (virtueller oder realer) bewegter Prozesse, sowie dabei die Erfassung, Beschreibung und Korrektur globaler Bewegungsmechanismen innerhalb des Bildraums (Zeit-Raums). Insbesondere betrifft sie ein Verfahren und eine Vorrichtung zur präzisen und auf wenige Parameter beschränkten (konzisen) quantitativen Beschreibung der globalen und lokalen im Bildraum stattfindenden Bewegung (nicht nur von Objekten sondern auch innerhalb und zwischen Objekten) und zur eingängigen Darstellung der Bewegung und der quantitativen Parameter in Bezug auf den Bildraum. Hierbei verstehen wir unter einem virtuellen bewegten Prozess die Hintereinanderschaltung von Bildern (oder Punktmengen) vergleichbarer Objekte (z. B. gleicher Organe verschiedener Individuen).

Durch bildgebende Vorrichtungen sind neue Möglichkeiten gegeben worden, Objekte (oder allgemeiner: Materie/Stoffe) zu vergleichen oder verschiedene Zustände oder die Bewegung eines Objekts zu analysieren und visuell eingängig (leicht erfassbar) darzustellen. Dies kann mittels eines Computers durchgeführt und automatisiert werden. Große Fortschritte sind dabei in der Extrahierung und Darstellung von Oberflächen, aber auch in der Berechnung von Geschwindigkeitsfeldern erzielt worden. Für Bilder, die mehrere nebeneinanderliegende Objekte enthalten, sind Verfahren vorgeschlagen worden, die einzelne Objekte verfolgen und die Bahnen der Objekte als 3D gerenderte (surface rendering) Linien oder Schläuche zu visualisieren.

Treten globale Bewegungsmechanismen auf, die die Bewegung der einzelnen Objekte dominieren, so führt dies zu einer falschen Zuordnung der Objekte auf den verschiedenen Bildern und damit auch zu falschen Bahnen. Schwierigkeiten stellen auch große lokale Verschiebungen von einem Bild zum nächsten dar, die einen rein grauwertbasierten Ansatz zur Bestimmung der Bewegung (wie z. B. bei Optischen-Fluss-Methoden) sehr erschweren. Beide Fälle kommen beispielsweise dann vor, wenn die zeitliche Auflösung zugunsten der räumlichen Auflösung nicht besonders fein gewählt wurde.

Die präzise und konzise quantitative Beschreibung der Bewegung ist eine weitere Schwierigkeit, die weit über das Berechnen von Geschwindigkeitsfeldern hinaus geht. Dabei geht es sowohl darum, den globalen Bewegungstyp zu erfassen und quantitativ mit wenigen Parametern zu beschreiben, als auch darum (insbesondere falls keine dominierende globale Dynamik vorherrscht), einige wenige lokal verschiedene Bewegungsarten zu erkennen und räumlich zu trennen; und schließlich darum, lokale Phänomene zu bewerten. Ein besonderes Problem stellt es dar, in Bildern, die verhältnismäßig wenig Struktur aufweisen, die also nur an Stellen der Oberfläche weniger Objekte eine nicht gleichförmige Grauwerttextur aufweisen, möglichst die Bewegung zu rekonstruieren, die der realen im Bildraum stattfindenden Bewegung entspricht.

Im Stand der Technik wurden für die Analyse und Visualisierung bewegter Prozesse Methoden zur Bestimmung des optischen Flusses, sowie Partickle-Tracking und Oberflächen- Tracking und -Registrierung vorgeschlagen.

Optische-Fluss-Methoden (für einen Überblick siehe Barron J. L. et al., Performance of optical flow techniques, Int. J. Comp. Vision, 12: 43-77,1994) basieren auf der Annahme, dass die optischen Dichten (Intensitäten) über die Zeit erhalten bleiben. Sie berechnen für jeden Bildpunkt einen Bewegungsvektor und gestatten es daher, Geschwindigkeiten für jeden Punkt in Raum und Zeit zu quantifizieren und als Geschwindigkeitsvektorfeld zu visualisieren. Sie gestatten jedoch keine kontinuierliche Visualisierung (über mehr als 2 Bilder), und sie setzen voraus, dass der Zeitabstand im Vergleich zur örtlichen Veränderungen von Strukturen im Bild klein ist, sowie dass keine Beleuchtungsänderungen oder andere Störungen im Zeitverlauf auftreten, und sie sind lokal formuliert (mit Regularisierungsterm). Eine Ausnahme ist F. Germain et al. (Characterization of Cell Deformation and Migration using a parametric estimation of image motion, IEEE Trans. Biomed. Eng., 46, 584-600, 1999) wo die Parameter eines affines Bewegungsmodells berechnet und analysiert werden. Diese Berechnung und Analyse geschieht aber zeitlich nur lokal, d. h. sie wird für je zwei Zeitschritte getrennt ausgeführt. So kann zum Beispiel der Unterschied, ob Objekte stets in die gleiche Richtung verzerrt werden oder aber in jeweils verschiedene Richtungen, nicht quantifiziert werden. Dies ist jedoch für die resultierende Verformung des Objekts essentiell. Unser Ansatz gestattet eine kontinuierliche quantitative Analyse und bietet zudem die Möglichkeit einer Visualisierung des Fehlers zur Referenzdynamik für jeden Punkt.

Beim Partikel-Tracking (Eils, Tvarusko und Bentele, Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen, Offenlegungsschrift DPMA 199 30 598.6, 1998/9) werden zuvor extrahierte Objekte (bzw. Objektschwerpunkte) innerhalb von Bildfolgen verfolgt, deren Dynamik quantifiziert und die Bahnen kontinuierlich dargestellt. Dafür ist entscheidend, die individuellen Objekte in aufeinanderfolgenden Bildern zu identifizieren (wiederzufinden). Dies wird durch eine Kombination von Kriterien der Objektnähe und Objektähnlichkeit (ähnlicher Flächeninhalt, druchschnittlicher Grauwert, etc.) ermöglicht. Diese Verfahren (insbesondere das Verfahren nach Eils et al.) schlagen fehl, falls sich alle Objekte ähneln und falls die Dynamik der individuellen Partikel von einer globalen Dynamik dominiert wird. Diese Situation wird in der Fig. 1 (s. Patentschrift) dargestellt. Unser Verfahren, das auch einen Registrierungsschritt enthält, erlaubt eine korrekte Erfassung der Bewegung auch in diesen Fällen und bietet im Teil Visualisierung und Quantifizierung neue und bessere Möglichkeiten (animiertes, 3D gerendertes Referenzgitter, Verwendung von charakteristischen Bild/Oberflächenpunkten deren 3D gerenderte Bahnen dargestellt werden, u. a.). In diesem Zusammenhang möchten wir darauf hinweisen, dass wir den Begriff Matching (und matchen) im Sinne von Registrierung verwenden, das heisst das Bestimmen von Parametern eines Bewegungsmodells, durch die ein Bild (oder ein Objekt) so transformiert wird, dass es möglichst gut in ein anderes übergeht, und nicht wie Eils et al. im Sinne einer Identifizierung (Zuordnung) von Punkten zweier Punktmengen, z. B. Oberflächenpunkten zweier Oberflächen.

In (J. M. Odobez and P. Bouthemy, Detection of multiple moving objects using multiscale MRF with camera motion compensation, ICIP'94) wird ein Ansatz zur Analyse (Objekterkennung) in bewegten Prozessen vorgeschlagen, der die Kompensierung der globalen Kamerabewegung einschließt. Der Ansatz kompensiert die globale Bewegung jedoch implizit um das optische Fluß Feld zu berechnen, ohne Möglichkeiten einer bewegungskompensierten Visualisierung aufzuzeigen oder Objektbahnen zu visualisieren (weder mit Korrektur der globalen Bewegung noch Objektbahnen überhaupt), und ohne eine Zwei-Schritte-Strategie zu beinhalten, bei der die Kompensierung der globalen Bewegung die lokale Identifizierung von Objekten im zweiten Schritt erst ermöglicht.

Die Korrektur von Bewegung kann auch dann nötig sein, wenn Stellen veränderter Graufärbung (z. B. in Angiogrammen) in Bildern bewegter Objekte (z. B. Patienten) detektiert werden sollen. LA. Boesnach et al. (Compensation of motion artifacts in MR mammography by elastic deformation, SPIE Medical Imaging 2001) schlagen einen Ansatz lokaler Registrierung zur Kompensierung von Patientenbewegungen vor, die es erlaubt, Stellen erhöhter Konzentration eines Kontrastmittels von Stellen veränderter Grauwerten, die durch Bewegung hervorgerufen wurden, zu unterscheiden. Dieser Ansatz enthält jedoch nur eine lokale Registrierung und sieht daher auch nicht vor, globale (Referenz-)Dynamiken zu quantifizieren, zu visualisieren und zu kompensieren. Er ist ebenfalls nicht für das tracking in Bildfolgen, die auch eine globale Dynamik enthalten, geeignet und vorgesehen.

Für die Visualisierung dynamischer Parameter bei der Bewegung von Oberflächen wurde die Oberfläche solchermaßen gefärbt, dass die Länge der Bewegungsvektoren farbkodiert dargestellt wird (Ferrant et al., Real-time simulation and visualization of volumetric brain deformation for image guided neurosurgery, SPIE Medical Imaging 2001). Bei der Registrierung wurde nur die Oberfläche und nicht der gesamte Raum transformiert. Wir stellen hier nicht nur ein umfassenderes Visualisierungskonzept vor, das den gesamten Bildraum einschließt, sondern visualisieren auch Parameter, die nur als Ergebnis des Gesamtverfahrens erhalten werden können.

Das "Active Shape Model" (ASM) oder Point Distribution Model (PDM) wurde in (T. F. Cootes, C. J. Taylor, D. H. Cooper, and J. Graham, Active shape models - their training and their application, Computer Vision and Image Understanding 61, 38-59, 1995) eingeführt, um statistisches Vorwissen bei der Objektsegmentierung einbringen zu können. Dabei wird für eine Anzahl von vorgegebenen Oberflächen, die Variationen einer Form darstellen, ein Oberflächenmodell mittels n Landmarken erstellt, die für jede Oberfläche so bestimmt werden, dass jede Landmarke auf allen Oberflächen vorkommt. Für ein Objekt wird dann ein Landmarkenvektor definiert, der die Raumkoordinaten für alle n Landmarken enthält und daher von der Dimension 3n ist. Die Menge aller Landmarkenvektoren bildet eine Punkteverteilung im R³ⁿ. Auf diese Punkteverteilung wird eine Hauptkomponenten Analyse angewandt (bei besonders inhomogenen Verteilungen auch ein multimodales Mischmodell oder sogar eine kernel-Analyse) und die Punkteverteilung wird durch wenige Eigenwerte und Eigenräume charakterisiert, die nur einen Teilraum des Ausgangsraums darstellen. Zur Anwendung in der Modell-gestützten Segmentierung wird dann das Optimierungsproblem gelöst, das in dem so bestimmten Teilraum die Objektoberfläche findet, die sich den Bilddaten besonders gut anpasst. Eine andere Anwendung ist die Extrapolierung von aufgenommenen Daten mit Hilfe des Models, um aus wenigen Daten die Oberfläche eines Objekts möglichst gut zu rekonstruieren (M. Fleute, S. Lavallée, Building a Complete Surface Model from sparse datausing statistical shape models: application to computer assisted knee surgery, MICCAI'98, 880-887, LCNS Springer-Verlag, 1998). Das "Active Shape Model" gestattet auch die Unterschiede verschiedener Objekte gleichen Typs anschaulich zu visualisieren. Es wurde jedoch nicht zur quantitativen Analyse in (virtuellen oder realen) bewegten Prozessen verwendet. Auch nicht zu einer automatischen Aufteilung der Oberfläche (oder des Raumes) in Regionen mit homogener (räumlich linearer) Dynamik.

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur präzisen und konzisen quantitativen Beschreibung der globalen und lokalen im Bildraum stattfindenden Bewegung und zur eingängigen Darstellung der Bewegung und der quantitativen Parameter in Bezug auf den Bildraum, die Registrierung, Objekt/Punkte-Verfolgung, Visualisierung und die Bestimmung quantitativer Parameter von Bewegungsmodellen und Bewegungseigenschaften beinhalten. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung, die es gestatten die Übereinstimmung von Objektbewegung und Referenzdynamiken (räumlich und zeitlich) zu quantifizieren und zu visualisieren, sowie einige wenige lokal verschiedene Bewegungsarten zu erkennen und räumlich zu trennen und lokale Bewegungs-Phänomene zu bewerten. Darüber hinaus gestattet es durch eine Grob-zu- Fein Registrierung das Erfassen und Kompensieren globaler Bewegungsmechanismen, was in der gezeigten Anwendung (Fig. 1) die Verfolgung erst erlaubt und auch eine korrigierte Visualisierung ermöglicht. Das Erfassen der Bewegung, die der realen im Bildraum (im gesamten Raumvolumen) stattfindenden Bewegung möglichst genau entspricht, erfolgt durch eine "splines à plaques minces"-Registrierungstechnik, die es zudem gestattet, die Anzahl der Bewegungsparameter gering zu halten. Ein vollautomatischer Ablauf aller Teilschritte ist ermöglicht.

Das erfindungsgemäße Verfahren weist drei Teile bzw. Module auf, ein Modul "Bildvorverarbeitung/Punktextrahierung", ein Modul "Registrierung" und ein Modul "Visualisierung/Quantitative Analyse", wobei Modul 2 und 3 auf verschiedene in Modul 1 extrahierten Punktmengen zurückgreifen können und eventuell Modul 2 nicht auf Punkte (Modul 1) zurückgreift.

BILDVORVERARBEITUNG PUNKTEXTRAHIERUNG

In der Bildvorverarbeitung werden Strukturen des Bildraums als Bildpunkte extrahiert. In stark verrauschten Bildern wird hierbei zunächst das Rauschen beseitigt ohne wesentliche Strukturen des Bildes zu zerstören. Je nach Struktur der Bildobjekte wird dafür ein Reaktion- Diffusions-Operator (G.-H. Cottet, and L. Germain, Image processing through reaction combined with nonlinear diffusion, Math. Comp., 61 (1993), pp. 659-673, oder als diskretes Äquivalent: J. Mattes, D. Trystram and J. Demongeot, Parallel image processing using neural networks: applications in contrast enhancement of medical images, Parallel Processing Letters, 8: 63-76, 1998) oder ein Operator der anisotropen Diffusion mit einer Kantenstoppfunktion auf Grundlage der Tuckeynorm (M. J. Black NS D. Heeger, IEEE Trans. on Image Processing 7, 421 (1998)) angewandt, wodurch das Bild in homogene Regionen zerlegt wird. Andere Glättungsverfahren sind Gaußsche Glättung oder Wavelet basierte Verfahren.

Die bevorzugte Technik zur Strukturextraktion ist die Confinement- Tree-Technik (Mattes und Demongeot, Tree representation and implicit tree matching for a coarse to fine image matching algorithm MICCAI, 1999). Hierbei wird ein Grauwertbild als Baumstruktur repräsentiert. Jeder Knoten des Baumes entspricht hierbei einer Region (genannt confiner) des Bildes, die mittels eines gegebenen Grauwert-Niveau definiert wird (als eine der Zusammenhangskomponenten der Menge aller Bildpunkte mit höherem Grauwert). Die Verbindung zwischen Knoten ist durch die Teilmengen-Beziehung zwischen den Regionen festgelegt, wobei nur direkt aufeinanderfolgende Grauwert-Niveaus betrachtet werden. Nach Kriterien wie zu geringe Fläche, Grauwertmasse, etc. werden Knoten gelöscht, u. a. da sie Rauschartefakte sein können aber auch, um die Anzahl der Punkte zu reduzieren. Als Punkte werden entweder die Schwerpunkte aller confiner extrahiert und/oder deren Konturpunkte. Um die Punktemenge zu reduzieren können auch nur die Schwerpunkte weiterverwendet werden, die Knoten zugeordnet sind, die sich direkt nach einer Gabelung im Baum befinden.

Alternativen bei der Punktextraktion, sind (i) die Anwendung eines Canny-Deriche-Kanten- Detektors (R. Deriche, Using Canny's criteria to derive a recursively implemented optimal edge detector, Int. J. Comput. Vision, 1987, 167-187) (ii) Extrahieren von Crest/ridge-lines (O. Monga, S. Benayoun, and O. Faugeras, From partial derivatives of 3D density images to ridge lines, IEEE, CVPR'92, 354-359, Champaign, Illinois, 1992) oder von (iii) Extremal- Punkten (J.-P. Thirion, New feature points based on geometric invariants for 3D image registration, Int. J. Comput. Vision, 18: 121-137, 1996, K. Rohr, On 3D differential operators of detecting point landmarks. Image and Vision Computing, 15: 219-233, 1997).

Es kann auch, falls dies vom Benutzer für die gewünschte Quantifizierung, Visualisierung oder das Tracking für hilfreich erachtet wird, eine komplette Objektsegmentierung durchgeführt werden, bei der Objekte identifiziert werden und Konturpunkte dem Objekt zugeordnet sind. Dazu wird, wie im nächsten Abschnitt beschrieben, eine Ausgangsform, z. B. eine Kugel, mit den zuvor extrahierten Punkten registriert (in diesem Falle sind Punkte, die mit dem Canny-Deriche-Kanten-Detektor gefunden wurden zu bevorzugen). Für die Segmentierung von Objekten, die zu ihrer Umgebung einen deutlichen Kontrast aufweisen, genügt es einen confiner auszuwählen, der ein zusätzliches Kriterium erfüllt, wie z. B. einen maximalen Wert (durchschnittlicher Grauwert)/(Anzahl der Kontur(Grenzlinien)-Pixel) oder (Fläche)/(Anzahl der Konturpixel)². Für die Segmentierung von kleinen Objekten in stark verrauschten Bildern verfahren wir wie Eils et al. und lassen einen Schritt der Kantenvervoll ständigung auf einen Schritt der Kantenextrahierung (siehe oben) folgen.

Schließlich ist eine Punktextrahierung unnötig, falls die Aufnahmevorrichtung bereits Punkte liefert. Dies ist z. B. bei Laserscannern der Fall. Der Benutzer hat im Anschluss an die Punktextrahierung die Möglichkeit, interaktiv Punkte zu löschen oder Regionen auszuwählen.

REGISTRIERUNG

Zur Registrierung zweier Bilder wird eine parametrisierte Transformation auf eines der Bilder angewandt. Die Parameter werden dann so bestimmt, dass das transformierte Bild möglichst genau dem anderen Bild gleicht und zudem eine realistische Verformung beschrieben wird, die die tatsächliche Verformung der Objekte des Bildraums möglichst gut beschreibt. Hierbei wird durch ein Funktional beschrieben wie gut das eine Bild dem anderen gleicht.

Das Funktional basiert auf den in der Bildvorverarbeitung extrahierten Punkten. Wurden dabei in beiden Bildern Confiner-Konturen oder Confiner-Schwerpunkte berechnet, so werden gemäß J. Mattes und J. Demongeot (Structural outlier detection for automatic landmark extraction, SPIE Medical Imaging 2001, in Druck) Ausreißer (outlier) bestimmt und entfernt. Für die verbleibenden Confiner in einem Bild sucht man den entsprechenden Confiner im anderen Bild, wobei man entweder den Confiner mit geringstem strukturellen Fehler wählt (s. ebenfalls Mattes und Demongeot 2001), oder einfach den mit nächstgelegenem Schwerpunkt. Die individuelle Identifizierung der Confiner-Konturen hat den Vorteil, dass in den nachfolgenden Schritten für einen Konturpunkt nur noch der nächste Nachbar innerhalb der zugeordneten Confiner-Kontur gesucht werden muß. Diese Identifizierung muss jedoch für einen Teil der Confiner (schrittweise) erneuert werden, falls die nachstehend berechnete Transformation weitere Zuordnungen ermöglicht oder eine Korrektur bestehender Zuordnungen erfordert.

Für die Definition des Fehlerfunktionals (oder Fehlermaßes) werden die extrahierten Punkte von zwei aufeinander folgenden Zeitschritten unterschieden: Die Punkte einer der Mengen werden als Modellpunkte, die anderen als Datenpunkte bezeichnet. Für jeden Datenpunkt wird die euklidische Distanz zum nächstgelegene Modellpunkt bestimmt. Die aufsummierten quadratischen Distanzen stellen das Fehlerfunktional dar. Um eine wiederholte Überprüfung aller Modellpunkte zu vermeiden kann zuvor eine Distanzkarte bestimmt (Lavallee und Szeliski, IEEE Trans. PAMI, 1995) und in einem octree abgespeichert (wie auch zugehörige Gradienten der so definierten Abstandsfunktion). Andere Möglichkeiten beruhen auf k-d-trees oder dem Voronoidiagramm. Auch ein symmetrischen Fehlermaß ist denkbar, bei dem nicht nur die Abstände jedes Datenpunktes zu der Modellmenge einfließt, sondern auch die Abstände jedes Modellpunktes zur Datenmenge. Die Verwendung eines symmetrischen Fehlermaßes führt in vielen Fällen zu besseren Ergebnissen, ist aber wegen seiner hohen Rechenkomplexität nicht immer zu bevorzugen. . . .

Alternativ können sogenannte ikonische oder grauwertbasierte Fehlermaße benutzt werden (s. z. B. Roche, Malandaine, Ayache, Prima, MICCAI'99, LNCS Springer Verlag, 1999), die ohne Bildvorverarbeitung auskommen und die die Güte der Registrierung auf Grundlage eines Vergleichs der überlagerten Grauwerte für eine gegebene Transformation bestimmen. Dies ist dann sinnvoll und von Nutzen, wenn die Positionsänderung zwischen den einzelnen Bildern relativ klein ist und die anschließende Visualisierung und quantitative Analyse nicht auf extrahierten oder segmentierten Daten beruht.

Die Minimierung des oben beschriebenen Fehlerfunktionals allein ist jedoch noch kein Kriterium für eine gute Überlagerung. Z. b. minimiert die Transformation, die alle Datenpunkte auf einen bestimmten Modellpunkt abbildet, das (unsymmetrische) Funktional, ist aber nicht die gesuchte Lösung. Andere Beispiele sind leicht vorstellbar, in denen die reine Minimierung selbst des symmetrischen Fehlermaßes zu unerwünschten Lösungen führt.

Ziel ist es aber, eine Deformation zu errechnen, die einer natürlichen Verformung Bewegung des Objekts/der Substanz/Materie möglichst nahe kommt. Zudem sollen charakteristische Punkte der Datenmenge auf die logisch korrespondierenden Punkte der Modellmenge abgebildet werden.

Erfindungsgemäß gibt es einige Methoden, den Lösungsraum auf realistische Lösungen zu beschränken. Eine Möglichkeit ist ein möglichst realistisches (räumliches) Bewegungsmodell zu wählen. Für die globale Transformation sind unsere bevorzugten Bewegungsmodelle die rigide und affine Transformation. Wie unten ausgeführt, beschreiben wir lokale Deformationen mit Kontrollpunkten. Bei nicht-linearen Transformationen wird daher das Bewegungsmodell erfindungsgemäß (bevorzugt) durch die geeignete Positionierung der Kontrollpunkte (im Ausgangsbild) bestimmt, durch die eine realistische (Volumen-) Transformation erzeugt wird (s. Figur). Dabei wird das Bewegungsmodell zusätzlich durch die Regularisierung-Technik mitbestimmt, die einen zusätzlichen Term im Fehlerfunktional einführt, der die Minimierung der Biegung erzwingt. Der hier verwendete Term ist die Summe aller quadratischen zweiten Ableitungen der Transformation. Als zweite Möglichkeit wird eine Grob-zu-Fein-Strategie angewandt, wobei die Anzahl der freien Parameter der Transformation und somit auch die Genauigkeit der Überlagerung schrittweise erhöht wird (s. unten). Diese Strategie führt zur Vermeidung unerwünschter Minima, da der verwendete Optimierungsalgorithmus nach Lösungen in der Nähe der Initialisierungswerte sucht.

Bei der erfindungsgemäßen Optimierung des bevorzugten (quadratischen) Fehlerfunktionals werden die Parameter der Transformation mittels des Levenberg-Marquardt Algorithmus bestimmt (Gradient des Fehlerfunktionals wird hier benötigt). Dies gilt sowohl für die globale als auch für die lokale Registrierung. Für andere Funktionale können andere Optimierungsstrategien sinnvoller sein. Als solche sind zu nennen: der down-hill Simplex Algorithmus, Simulated Annealing, . . . (Press et al. Numerical Recipes in C, 1992). Für rigide und affine Registrierung kann die Optimierung auch durch den ICP Algorithmus durchgeführt werden (Besl und McKay, IEEE Trans. PAMI, 1992).

Der Ablauf der Registrierung umfasst drei Schritte (Grob-zu-Fein), wobei der dritte noch schrittweise verfeinert wird. Von Schritt zu Schritt wächst die Anzahl der freien Parameter der zu bestimmenden Transformation, und somit die Genauigkeit der Überlagerung. Zunächst wird eine rigide Registrierung vorgenommen, bei der die Parameter für Rotation und Translation bestimmt werden. Im zweiten Schritt wird affin-linear registriert, im dritten Schritt werden auch lokale Deformationen zugelassen. Erfindungsgemäß wird diese dritte Transformation durch eine Anzahl von Verschiebungsvektoren festgelegt, die an bestimmten Positionen im Raum, den Kontrollpunkten, definiert sind. Um die auf dem gesamten Raum definierte Transformation zu erhalten, werden die Verschiebungsvektoren mittels "splines à plaques minces" interpoliert. Die Verschiebungsvektoren der Kontrollpunkte sind die freien Parameter der Transformation.

Prinzipiell können die Kontrollpunkte überall positioniert werden. Erfindungsgemäß werden die Kontrollpunkte automatisch gesetzt und deren Anzahl schrittweise vergrößert: Zunächst wird die beste Überlagerung für eine relativ geringe Anzahl von Kontrollpunkten bestimmt, resultierend in der noch relativ globalen Transformation T₁. Nach Einfügen zusätzlicher Kontrollpunkte (wobei die neuen Verschiebungsvektoren gemäß T₁ initialisiert werden), erhält man die nächst lokalere Transformation T₂, usw., bis der gewünschte Grad an Lokalität erreicht ist.

Die automatische Positionierung der Kontrollpunkte kann z. B. durch eine Octree- Repräsentation der Datenpunkte erfolgen, wobei jeder Würfel des Octrees einen Kontrollpunkt in der Mitte enthält. Durch Variation der Tiefe des Octrees ist eine schrittweise Verfeinerung der Transformation leicht möglich.

Zur Repräsentation der Nichtrigiden Transformation sind auch andere Methoden denkbar, z. B. der Octree-Spline von Szeliski und Lavallee (1994).

Erfindungsgemäß wird im dritten Registrierungsschritt - wie oben beschrieben - eine schwache Regularisierung vorgenommen, d. h. es wird ein Term zum Fehlerfunktional addiert, der Biegung bestraft. Es lässt sich zeigen, dass sowohl die Unterbindung übermäßiger Biegung als auch das Grob-zu-fein-Vorgehen die Qualität der Überlagerung meist verbessert (z. B. die korrekte Zuordnung logisch korrespondierender Punkte).

Es lassen sich Referenzdynamiken auswählen, die entweder an die gefundene Bewegung gefittet werden können, oder die, falls die Referenzdynamik als parametrisierte Transformation darstellbar ist, sich direkt an die Daten fitten lässt. Als Referenzdynamiken kommen z. B. in Frage: lineare Dynamik (affine Transformation, mit beliebiger Zeitabhängigkeit), Diffusionsdynamik, Hamiltonsche Dynamik (z. B. Hydrodynamik), elastische (harmonische) Schwingungen. Diese Dynamiken können auch kombiniert werden, gleichzeitig und nacheinander.

Die Transformation (insbesondere die Referenzdynamik) wird erfindungsgemäß auch zwischen mehreren Zeitschritten t_n bis t_n+k bestimmt. Betrachten wir zunächst die Zeitschritte t_n, t_n+1 und t_n+2. Als erstes bestimmen wir die Transformation T_n1, die die Punkte aus t_n auf die Punkte aus t_n+1 registriert. Nun wird die Punktemenge, die durch die Transformation T_n1 der Punkte aus Schritt t_n definiert wird, mit den Punkten aus Schritt t_n+2 registriert; dies ergibt Transformation T_n2' und schließlich T_n2 = T_n2' o T_n1. Und so weiter bis T_nk.

Für eine (eventuell nur global) bewegungskorrigierte Wiedergabe der Objekte/Bilder aus den Zeitschritten t_n bis t_n+k ist ein zeitlich absoluter Bezugspunkt nötig. Wählen wir als solchen Zeitschritt t_n aus, so ist eine Möglichkeit, die Inverse zu berechnen. Um die Berechnung der inversen Transformation (zumindest im nicht rigiden und nicht affinen Fall) z. B. zwischen t_n und t_n+1 zu vermeiden, ist es i. a. am einfachsten die Punkte von t_n+1 auf diejenigen von t_n zu registrieren. Kombiniert mit dem oben beschriebenen Verfahren kann auch dies zwischen je zwei beliebigen Zeitschritten durchgeführt werden.

Um dies in Echtzeit durchzuführen, d. h. gleichzeitig mit der Aufnahme der Bilder, kann jedoch z. B. im Zeitschritt t_n+3 noch nicht auf die Bilder/Punkte aus Zeitschritt t_n+4 und höher zurückgreifen. Zur Lösung (wieder erklärt für die Zeitschritte t_n, t_n+1 und t_n+2) gehen wir wie folgt vor: Wir berechnen die Transformation T_n1 wie oben und die Transformation T_n2* als die Transformation, die die Punkte aus t_n+2 auf die Punkte aus t_n+1 registriert und setzten T_n2*' = T_n2* o T_n1. Anschließend registrieren wir die um T_n2*' transformierten Punkte aus t_n+2 mit den Punkten aus t_n und erhalten T_n2*". Schließlich erhalten wir T_n2 = T_n2*" o T_n2*'. Für die Berechnung von T_n3 spielt dann T_n2 die Rolle von T_n1, usw. Ist die Bewegung/Verformung der Objekte nicht zu groß, kann es besser sein, die Punkte von t_n+1 auf diejenigen von t_n zu registrieren und anschließend diejenigen von t_n+2auf die transformierten Punkte von t_n+1 zu registrieren.

Direkte Registrierung der Grauwertbilder ohne vorherige Punktextrahierung . . .

Für die wie oben beschrieben registrierten Punktemengen der Zeitschritte t_n bis t_n+k wird nun das bereits im Teil "Beschreibung" dargelegte "Point Distribution Model" erstellt. Dabei werden die Hauptkomponenten ausgewählt, die mehr als a% der Form Variation repräsentieren. Typische Werte sind a = 95 oder a = 90. Einen gegebenen Punkt auf der Oberfläche/im Raum ordnen wir dann der Hauptkomponente zu, die zur gößten Distanz d zwischen dem durch Auslenkung (aus dem Durchschnittsmodell) in Richtung Hauptkomponente um die positive Standartabweichung verschobenen Punkt und dem um die negative Standartabweichung verschobenen Punkt führt. Oder die alternativ zum größten Wert d/b führt, wobei b der zur jeweiligen Hauptkomponente gehörende Eigenwert ist. Die Punkte jeder Region dieser Unterteilung, können dann getrennt mit der oben beschriebenen Auslenkung affin registriert werden, um jeder Teilregion quantitative Bewegungsparameter zuordnen zu können.

Stellen die bei der Bildvorverarbeitung extrahierten Punkte verschiedene Objekte dar, die als solche identifiziert sind, so können diese nach der Registrierung des Bildraums noch individuell getrackt oder sogar registriert werden. Hierbei ist zunächst eine Identifizierung der jeweils gleichen (oder entsprechenden) Objekte auf den verschiedenen Bilder nötig. Anders als in Eils et al. ist dafür nur noch die Anwendung eines strukturellen Ähnlichkeitsmaß nötig (Mattes und Demongeot, SPIE Medical Imaging 2001), da die Registrierung die einzelnen Objekte schon aufeinander zubewegt hat. Die anschließende individuelle Registrierung ist z. B. bei Zellbildern interessant, wo man sich auch für Drehungen und Dehnungen der individuellen Zelle interessiert.

VISUALISIERUNG UND QUANTIFIZIERUNG

Die Berechnung der Grauwertbildfolge, die alle Grauwertbilder der Folge korrigiert um die Bewegung der Referenzdynamik ausgibt (oder auch korrigiert um die gesamte registrierte Bewegung), ist eine erste Visualisierungs-Anwendung. Hierbei umgeht man schrittweise wie oben beschrieben eine explizite Berechnung der Inversen (s. Teil Registrierung): Matche Bild 2 auf Bild 1 und erhalte die Transformation T1, transformiere die Grauwerte von Bild 2 um T1 und verwende eine Interpolation zum Resampling für die Wiedergabe auf einem regelmässigen diskreten Raster (Diskretisierung; s. . . .); matche dann Bild 3 auf Bild 2 um T2 zu erhalten und transformiere die Grauwerte um die verkettete Transformation T1 o T2 (oder für mehr Präzision zunächst um die Transformation T2 und registriere anschließend erneut die neu-dikretisierten Grauwerte auf diejenigen von Bild 1), etc.

Die solchermaßen neuberechnete Bildfolge kann anschließend animiert und als Video dargestellt werden. Aber auch alle anderen Methoden der Bildfolgenanalyse und Visualisierung können darauf angewandt werden. Insbesondere verwenden wir diese korrigierte Bildfolge, falls die bewegungskorrigierten Bahnen von individuellen Objekten visualisiert werden sollen, die wie im Teil Registrierung beschrieben verfolgt wurden.

Die Erfindung umfasst mehrere Quantifizierungs- und Visualisierungsmodule, die als die unten aufgezählten Punkte einzeln oder kombiniert verwendet werden können.

Erfindungsgemäß sollen sowohl die Bewegung der Objekt-/Bildpunkte visualisiert werden, als auch gewonnene quantitative Werte und diese insbesondere in Bezug auf den Bildraum. Dies erfolgt durch eine Farbkodierung der Punkte im Bildraum und/oder durch verschiedene Muster, die verschiedene Werte quantifizierter Parameter darstellen (durch ein immer dichter werdendes Muster wird ein kontinuierlicher Parameter repräsentiert).

Quantifizierungs- und Visualisierungsmodule:

1. Segmentierte Objekte oder ausgewählte Confiner im Ausgangsbildraum werden als geschlossene aber transparente, 3D gerenderte (surface rendering) Oberflächen visualisiert, im Zielbildraum als Traiangulationsgitter. Beide werden sowohl vor als auch nach der Registrierung überlagert (und verschiedenfarbig) dargestellt. Auch die nur extrahierten Punktmengen können so dargestellt werden. Anhand der gefundenen Transformation werden mittels einer Unterteilung des Parameterintervalls Zwischenschritte interpoliert, die dann animiert dargestellt werden können.
2. Die interaktive Confinerauswahl (mit anschliessender Visualisierung) erfolgt entweder durch anklicken eines Knotens im Confinement-Tree oder durch Vorgabe eines Grauwertniveaus und das Anklicken eines Punktes im Bild, womit der Confiner auf dem gegebenen Niveau spezifiziert wird, der den Punkt enthält (oder eventuell kein Confiner). Die visualisierten Oberflächen können dann auch (z. B. an der Frontseite abgeschnitten) mit dem Zielgrauwertbild überlagert dargestellt werden.
3. Die Deformation wird durch ein in 3D gerendertes (surface rendering) Referenzgitter dargestellt. Dieses kann animiert dargestellt werden und mit den Oberflächen oder einem der Grauwertbilder überlagert. Für verschieden Farbkanäle werden die Referenzgitter (und evt. auch die extrahierten Punkte) verschiedenfarbig überlagert dargestellt.
4. Die farbkodierte/musterkodierte Darstellung quantifizierter Werte, die für jeden Punkt im Bildraum berechnet wurden, geschieht auf folgende Weise:
- a) Objekte werden segmentiert oder Confiner werden ausgewählt; dann werden die 3D gerenderten Oberflächenpunkte farbkodiert/musterkodiert.
- b) Es werden entweder charakteristische Punkte anhand der Ausganspunktmenge bestimmt (s. Teil Bildvorverarbeitung/Punktextrahierung und Mattes und Demongeot, SPIE Medical Imaging 2001 für den gesamten Bildraum und Brett und Taylor, Image and Vision Computing 18: 739-748, 2000 für Punkte auf der Oberfläche) oder regelmäßig Punkte ausgewählt oder der Benutzer klickt auf mindestens einen Punkt im Raum oder auf einer segmentierten/Confiner-Oberfläche. Für diese/diesen wird dann die Bahn mit Fehlerfarbkodierung angezeigt.
  Es werden folgende Parameter auf diese Art und Weise dargestellt:
  - a) Fehler zur Referenzdynamik (für extrahierte Punkte), als euklidischer Abstand zwischen Punkt transformiert mit Referenzdynamik und nächstgelegenem Punkt im Zielraum;
  - b) normierte lokale Biegung (Bookstein, Principal Warps: Thin-plate splines and the decomposition of deformations, IEEE Trans. PAMI 11: 567-585, 1995, siehe auch Duchon, Interpolation des fonctions de deux variables suivant le principe de la flexion des plaques minces, RAIRO Analyse Numérique, 10: 5-12, 1976) integriert über eine Kugel von vorgegebenem Radius um einen gegebenen Punkt im Bildraum;
  - c) ii) für jeden principal warp (Bookstein, IEEE Trans. PAMI, 1995) und/oder für verschiedene Tiefen des Kontrollpunkt-octrees;
  - d) Geschwindigkeit, Beschleunigung.
5. Visualisierung der Bahnen getrackter Objekte/Confiner (farbkodiert).
6. Visualisierung der (mittels Registrierung bestimmten) Bahnen von Oberflächenpunkten, die (im Ausgangsbild) entweder interaktiv oder regelmäßig verteilt oder als charakteristische Punkte (automatisch berechnet wie in Punkt 4b)) definiert werden.
7. Interaktives Löschen von Punkten (z. B. in einer bounding box) oder Oberflächen oder visualisierten Bahnen.
8. Farbkodierung der Partitionierung, die gemäß dem Abschnitt Registrierung jedem Punkt im Raum eine Bewegungshauptkomponente zuordnet (womit man Regionen mit einheitlichem Bewegungstyp erhält) und jeder Bewegungshauptkomponente eine Farbe.
9. Visualisierung der Bewegung gemäß 1) für jede Hauptkomponente, für jeden principal warp, und/oder für verschiedene Tiefen des Kontrollpunkt-octrees.
10. Interpolation für Animationen und Bahnen wie in 1) beschrieben.
11. Quantifizierung globaler Parameter, wie globale Biegung (insbesondere für jeden principal warp, aber auch für verschiedene Tiefen des Kontrollpunkt-octrees), globaler Fehler zur Referenzdynamik (insbesondere für jede Hauptkomponente), Parameter der Referenzdynamik, sowohl für aufeinanderfolgende Schritte als auch, wie in Registrierung besprochen, über mehrere Zeitschritte hinweg und beide Werte in Relation gesetzt.
12. Lokale Parameter, wie Geschwindigkeit oder Beschleunigung, können mit klassischen statistischen Methoden weiteranalysiert werden, wie z. B. Histogrammanalyse oder Clusteranalyse.

BEISPIELE

Globale Mikroskop- oder Zellkernbewegung kompensieren (s. Figuren), Kniebeispiel für Visualisierung und quantitative Analyse, s. Fieres et al. sowie Figuren Anwendung zur Analyse der Zellmembran-, sowie Chromatindynamik, Visualisierung der Bahnen einzelner Zellen

Analyse und Visualisierung der Bewegung des Herzens, der Lunge, bei Tumorwachstum aber auch bei Gewebeschnitten

a) Welches technische Problem soll durch die Erfindung gelöst werden?
Durch bildgebende Vorrichtungen sind neue Möglichkeiten gegeben worden, Objekte (oder allgemeiner: Materie/Stoffe) zu vergleichen oder verschiedene Zustände oder die Bewegung eines Objekts zu analysieren und visuell eingängig (leicht erfassbar) darzustellen. Dies kann mittels eines Computers durchgeführt und automatisiert werden. Große Fortschritte sind dabei in der Extrahierung und Darstellung von Oberflächen, aber auch in der Berechnung von Geschwindigkeitsfeldern erzielt worden. Für Bilder, die mehrere nebeneinanderliegende Objekte enthalten, sind Verfahren vorgeschlagen worden, die einzelne Objekte verfolgen und die Bahnen der Objekte als 3D gerenderte (surface rendering) Linien oder Schläuche zu visualisieren.

Treten globale Bewegungsmechanismen auf, die die Bewegung der einzelnen Objekte dominieren, so führt dies zu einer falschen Zuordnung der Objekte auf den verschiedenen Bildern und damit auch zu falschen Bahnen. Schwierigkeiten stellen auch große lokale Verschiebungen von einem Bild zum nächsten dar, die einen rein grauwertbasierten Ansatz zur Bestimmung der Bewegung (wie z. B. bei Optischen-Fluss- Methoden) sehr erschweren. Beide Fälle kommen beispielsweise dann vor, wenn die zeitliche Auflösung zugunsten der räumlichen Auflösung nicht besonders fein gewählt wurde.

a) In welcher Weise wurde das Problem bisher gelöst (Ergebnis der Datenbank- bzw. Literaturrecherche zum Stand der Technik mit wichtigen Fundstellen)?
b) Welche Nachteile besitzen die bekannten Lösungen (Kritik des Standes der Technik)?
c) + c) :
Im Stand der Technik wurden für die Analyse und Visualisierung bewegter Prozesse Methoden zur Bestimmung des optischen Flusses, sowie Partickle-Tracking und Oberflächen-Tracking und -Registrierung vorgeschlagen.

Optische-Fluss-Methoden (für einen Überblick siehe Barron J. L. et al., Performance of optical flow techniques, Int. J. Comp. Vision, 12: 43-77, 1994) basieren auf der Annahme, dass die optischen Dichten (Intensitäten) über die Zeit erhalten bleiben. Sie berechnen für jeden Bildpunkt einen Bewegungsvektor und gestatten es daher, Geschwindigkeiten für jeden Punkt in Raum und Zeit zu quantifizieren und als Geschwindigkeitsvektorfeld zu visualisieren. Sie gestatten jedoch keine kontinuierliche Visualisierung (über mehr als 2 Bilder), und sie setzen voraus, dass der Zeitabstand im Vergleich zur örtlichen Veränderungen von Strukturen im Bild klein ist, sowie dass keine Beleuchtungsänderungen oder andere Störungen im Zeitverlauf auftreten, und sie sind lokal formuliert (mit Regularisierungsterm).

Eine Ausnahme ist F. Germain et al. (Characterization of Cell Deformation and Migration using a parametric estimation of image motion, IEEE Trans. Biomed. Eng., 46, 584-600, 1999) wo die Parameter eines affines Bewegungsmodells berechnet und analysiert werden. Diese Berechnung und Analyse geschieht aber zeitlich nur lokal, d. h. sie wird für je zwei Zeitschritte getrennt ausgeführt. So kann zum Beispiel der Unterschied, ob Objekte stets in die gleiche Richtung verzerrt werden oder aber in jeweils verschiedene Richtungen, nicht quantifiziert werden. Dies ist jedoch für die resultierende Verformung des Objekts essentiell. Unser Ansatz gestattet eine kontinuierliche quantitative Analyse und bietet zudem die Möglichkeit einer Visualisierung des Fehlers zur Referenzdynamik für jeden Punkt.

Das "Active Shape Model" (ASM) oder Point Distribution Model (PDM) wurde in (T. F. Cootes, C. J. Taylor, D. H. Cooper, and J. Graham, Active shape models - their training and their application, Computer Vision and Image Understanding 61, 38-59, 1995) eingeführt, um statistisches Vorwissen bei der Objektsegmentierung einbringen zu können. Dabei wird für eine Anzahl von vorgegebenen Oberflächen, die Variationen einer Form darstellen, ein Oberflächenmodell mittels n Landmarken erstellt, die für jede Oberfläche so bestimmt werden, dass jede Landmarke auf allen Oberflächen vorkommt. Für ein Objekt wird dann ein Landmarkenvektor definiert, der die Raumkoordinaten für alle n Landmarken enthält und daher von der Dimension 3n ist. Die Menge aller Landmarkenvektoren bildet eine Punkteverteilung im R³ⁿ. Auf diese Punkteverteilung wird eine Hauptkomponenten Analyse angewandt (bei besonders inhomogenen Verteilungen auch ein multimodales Mischmodell oder sogar eine kernel-Analyse) und die Punkteverteilung wird durch wenige Eigenwerte und Eigenräume charakterisiert, die nur einen Teilraum des Ausgangsraums darstellen. Zur Anwendung in der Modell-gestützten Segmentierung wird dann das Optimierungsproblem gelöst, das in dem so bestimmten Teilraum die Objektoberfläche findet, die sich den Bilddaten besonders gut anpasst. Eine andere Anwendung ist die Extrapolierung von aufgenommenen Daten mit Hilfe des Models, um aus wenigen Daten die Oberfläche eines Objekts möglichst gut zu rekonstruieren (M. Fleute, S. Lavallee, Building a Complete Surface Model from sparse datausing statistical shape models: application to computer assisted knee surgery, MICCAI'98, 880-887, LCNS Springer-Verlag, 1998). Das "Active Shape Model" gestattet auch die Unterschiede verschiedener Objekte gleichen Typs anschaulich zu visualisieren. Es wurde jedoch nicht zur quantitativen Analyse in (virtuellen oder realen) bewegten Prozessen verwendet. Auch nicht zu einer automatischen Aufteilung der Oberfläche (oder des Raumes) in Regionen mit homogener (räumlich linearer) Dynamik.

a) Welche Aufgabe liegt der Erfindung zugrunde?
Die Erfindung betrifft die quantitative Analyse und/oder Visualisierung (virtueller oder realer) bewegter Prozesse, sowie dabei die Erfassung, Beschreibung und Korrektur globaler Bewegungsmechanismen innerhalb des Bildraums (Zeit-Raums). Insbesondere betrifft sie ein Verfahren und eine Vorrichtung zur präzisen und auf wenige Parameter beschränkten (konzisen) quantitativen Beschreibung der globalen und lokalen im Bildraum stattfindenden Bewegung (nicht nur von Objekten sondern auch innerhalb und zwischen Objekten) und zur eingängigen Darstellung der Bewegung und der quantitativen Parameter in Bezug auf den Bildraum. Hierbei verstehen wir unter einem virtuellen bewegten Prozess die Hintereinanderschaltung von Bildern (oder Punktmengen) vergleichbarer Objekte (z. B. gleicher Organe verschiedener Individuen).
Die Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen ermöglicht ein besseres Verständnis für Ursachen der Bewegung zu entwickeln, Vorhersagen zu treffen und Zusammenhänge zwischen Bewegungsparametern und Begleitumständen zu finden. Ein Beispiel ist die Untersuchung der Elastizitätseigenschaften von Zellstrukturen.
b) Wie wird die Aufgabe durch die Erfindung gelöst? Bitte beschreiben Sie hier ihre Erfindung ausführlich.
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur präzisen und konzisen quantitativen Beschreibung der globalen und lokalen im Bildraum stattfindenden Bewegung und zur eingängigen Darstellung der Bewegung und der quantitativen Parameter in Bezug auf den Bildraum, die Registrierung, Objekt/Punkte-Verfolgung, Visualisierung und die Bestimmung quantitativer Parameter von Bewegungsmodellen und Bewegungseigenschaften beinhalten. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung, die es gestatten die Übereinstimmung von Objektbewegung und Referenzdynamiken (räumlich und zeitlich) zu quantifizieren und zu visualisieren, sowie einige wenige lokal verschiedene Bewegungsarten zu erkennen und räumlich zu trennen und lokale Bewegungs-Phänomene zu bewerten. Darüber hinaus gestattet es durch eine Grob-zu-Fein Registrierung das Erfassen und Kompensieren globaler Bewegungsmechanismen, was in der gezeigten Anwendung (Fig. 1) die Verfolgung erst erlaubt und auch eine korrigierte Visualisierung ermöglicht. Das Erfassen der Bewegung, die der realen im Bildraum (im gesamten Raumvolumen) stattfindenden Bewegung möglichst genau entspricht, erfolgt durch eine "splines à plaques minces"-Registrierungstechnik, die es zudem gestattet, die Anzahl der Bewegungsparameter gering zu halten. Ein vollautomatischer Ablauf aller Teilschritte ist ermöglicht.
Das erfindungsgemäße Verfahren weist drei Teile bzw. Module auf, ein Modul "Bildvorverarbeitung/Punktextrahierung", ein Modul "Registrierung" und ein Modul "Visualisierung/Quantitative Analyse", wobei Modul 2 und 3 auf verschiedene in Modul 1 extrahierten Punktmengen zurückgreifen können und eventuell Modul 2 nicht auf Punkte (Modul 1) zurückgreift.

Erste Versuche wurden erfolgreich an Punktdaten (scatterd data) von menschlichen Femurknochen (von Leichen) durchgeführt, aber auch an Mikroskopiebildern von Zentromeren und von fluoreszenzmarkiertem Chromatin und Zellkernmembranen. Experimente an Mikroskopie-Bilddaten von Metallblöcken unter Erhitzung und von Fibroblasten der Maus L929 sind in Untersuchung.

Neben der Anwendung auf zellbiologische Datensätze ist auch eine Anwendung im medizinischen Bereich naheliegend: sowohl zur Analyse von dynamischen Prozessen, wie Herzbewegung oder Tumorwachstum, als auch zum Vergleich von Patientenbildern (z. B. vor und nach einer Operation) zur Korrektur von Patientenbewegungen (intraoperativ oder für diagnostische Zwecke: Messung von Gehirnaktivität, etc.).

Prinzipiell kann die Erfindung auch auf Bilder aus ganz anderen Bereichen angewandt werden, z. B. Verfolgung von Planetenflecken in astronomischen Bildern oder zur Bestimmung der Teilchendynamik in Metall beim Erhitzungsprozess.

Das Software-Produkt "Analyse" richtet sich in erster Linie an Ärzte an Universitätskliniken und Forscher im medizinischen Bereich die mit der Analyse von Bilddaten konfrontiert sind. Prozeduren zur Segmentierung in medizinischen Bilddatensätzen sind bereits gegeben, für 4D Daten können jedoch nur Movies erstellt werden. Die Möglichkeiten der Erfindung zur quantitativen Analyse und Visualisierung in dynamischen Prozessen können diesem Kundenkreis z. B. helfen, Zusammenhänge zwischen abnormalem Wachstum (z. B. im Vergleich zu einem gesunden Referenzmodell) und Pathologien aufzuzeigen. Gerade dabei erlauben die Visualisierungsmöglichkeiten der Erfindung (Farbkodierungen) die bewegten Prozesse zu überwachen und leicht Besonderheiten (Anomalien) zu erkennen. Gelingt es, solche Zusammenhänge nachzuweisen, so kann die Erfindung auch in der Bildverarbeitungssoftware von Siemens zur Diagnostik verwendet werden.

Die Erfindung ermöglicht grundsätzlich (physikalische) Ursachen und Zusammenhänge von Bewegungsmechanismen zu untersuchen, wie auch Zusammenhänge zu Begleitphänomenen, was insbesondere in der Forschung von Bedeutung ist. Das Produkt "Amira", das von seinen Möglichkeiten ein direktes Konkurrenzprodukt zu Analyse ist, richtet sich allgemein an einen Kundenkreis aus dem Forschungsbereich. Es enthält zwar einen Registrierungsalgorithmus, der aber langsam und unzuverlässig ist und auch die Möglichkeit zur Interpolation mit "splines à plaques minces", wobei aber die einzelnen Landmarken von Hand gesetzt und einander zugeordnet werden müssen. Dies ist besonders in 3D sehr zeitaufwendig. Hier ist die Erfindung nicht nur eine deutliche technische Verbesserung, sondern enthält auch Möglichkeiten zur quantitativen Analyse und Visualisierung, die die schon in Amira implementierten Prozeduren optimal ergänzen. ORME (www.orme-toulouse.com) bietet Dienstleistungen und das Software-Produkt "Trackimage" für Forscher an, die mit bewegten Prozessen zu tun haben. Ein Modul ist dabei zur Verfolgung (tracking) von Objektbewegungen und -deformationen vorgesehen. Dessen Möglichkeiten zur Erfassung und quantitativen Beschreibung von Bewegung, wie auch zur Visualisierung liegen weit unterhalb derer unserer Erfindung. Zum Beispiel treten bereits Schwierigkeiten bei der Deformationsanalyse auf, wenn sich das untersuchte Objekt global dreht.

Claims

1. Verfahren zur quantitativen und visuellen Analyse von Bewegung mit den Schritten:

a) rigide, affine und/oder lokal nicht-rigide Überlagerung von Bildern und Berechnung der Transformations-Parameter zwischen Bildern von direkt oder nicht direkt aufeinanderfolgenden Zeitschritten (s. Text)
b) Rekonstruktion der Raum-Zeit Struktur des Bildraums und Visualisierung selbiger mittels
- 1. eines Referenzgitters, deformiert gemäß der in a) berechneten Transformation, animiert oder nicht, dem Bildraum überlagert oder nicht bzw.
- 2. Farbkodierung von quantitativen Parametern (s. 7)), die einem Punkt im Bildraum zugeordnet sind

2. Verfahren nach 1), das in einem Vorverarbeitungsschritt a1) charakteristische Punkte des Bildraums oder Oberflächenpunkte von Objekten im Bildraum extrahiert und das folgende zusätzliche weitere Visualisierungsmöglichkeiten enthält:

a) Darstellung der Punktbahnen
b) Farbkodierung der nur der charakteristischen Punkte

3. Verfahren nach 2), das als Vorverarbeitung die Confinement-Tree-Technik verwendet

4. Verfahren nach 1)-3), das in 1a) die Parameter einer Referenzdynamik berechnet: lineare Dynamik, Diffusionsdynamik

5. Verfahren nach 1a) mit anschließender Generierung von Volumenbildern oder Objektpunkte korrigiert um die in 1a) berechnete Transformation, insbesondere für mehr als zwei Zeitschritte (wie genau siehe Text)

6. Verfahren nach 1)-5) mit anschließender lokalen Verfolgung der Objektpunkte und Bestimmen sowie Visualisieren der Objektbahnen

7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren den Bezug zum Referenzsystem erst nach mehreren Zeitschritten herstellt.

8. Verfahren gemäß eines oder mehrerer Merkmale der Beschreibung.

9. Computerprogramm mit einer Programmcode-Einrichtung, um ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.

10. Computerprogrammprodukt mit einer Programmcode-Einrichtung die auf einem Computerlesbaren Datenträger gespeichert ist, um ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird.

11. Datenverarbeitungssystem, insbesondere zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche.