EP1444654A2 - Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen - Google Patents

Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen

Info

Publication number
EP1444654A2
EP1444654A2 EP02702403A EP02702403A EP1444654A2 EP 1444654 A2 EP1444654 A2 EP 1444654A2 EP 02702403 A EP02702403 A EP 02702403A EP 02702403 A EP02702403 A EP 02702403A EP 1444654 A2 EP1444654 A2 EP 1444654A2
Authority
EP
European Patent Office
Prior art keywords
point
points
transformation
image
confiner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02702403A
Other languages
English (en)
French (fr)
Inventor
Julian Mattes
Roland Eils
Johannes Fieres
Jacques Demongeot
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite Joseph Fourier Grenoble 1
Original Assignee
Universite Joseph Fourier Grenoble 1
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10111226A external-priority patent/DE10111226A1/de
Application filed by Universite Joseph Fourier Grenoble 1 filed Critical Universite Joseph Fourier Grenoble 1
Priority to EP10182175A priority Critical patent/EP2284795A2/de
Publication of EP1444654A2 publication Critical patent/EP1444654A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the invention relates to the quantitative analysis and / or visualization (virtual or real) of moving processes, as well as the detection, description, correction and comparison of global movement mechanisms within the image space (time-space).
  • it relates to a method and a device for the precise and concise quantitative description of the global and local movement taking place in the image space (not only of objects but also within and between objects) and for a catchy representation of the movement and the quantitative parameters in terms of image space.
  • a virtual moving process to be the sequencing of images (or point sets) of comparable objects (e.g. the same organs from different individuals).
  • the quantitative analysis, visualization and movement correction in dynamic processes enables a better understanding of the causes of movement to be developed, to make predictions and to find connections between movement parameters and accompanying circumstances.
  • One example is the investigation of the elastic properties of cell structures.
  • Imaging devices have given new possibilities to compare objects (or more generally: matter / substances) or to analyze different states or the movement of an object and to present them visually in a way that is easy to grasp. This can be done and automated using a computer. Great progress has been made in the extraction and display of surfaces, but also in the calculation of speed fields. For images that contain several objects lying next to one another, methods have been proposed which track individual objects and visualize the paths of the objects as 3D rendered (surface rendering) lines or hoses. If global movement mechanisms occur that dominate the movement of the individual objects, this leads to an incorrect assignment of the objects on the different images and thus also to wrong paths.
  • 3D rendered surface rendering
  • Difficulties also represent large local shifts from one image to the next, which make a purely gray value-based approach to determining the movement (such as with optical flow methods) very difficult. Both cases occur, for example, if the temporal resolution in favor of the spatial resolution was not chosen to be particularly fine.
  • Optical flow methods are based on the assumption that the optical densities (intensities) are preserved over time. They calculate a motion vector for each pixel and therefore allow Quantify velocities for each point in space and time and visualize them as a velocity vector field. However, they do not allow continuous visualization (over more than 2 images) and they require that the time interval is small compared to the local changes in structures in the image, that there are no changes in lighting or other disturbances over time, and they are formulated locally (with regularization term).
  • matching and matching
  • the term matching (and matching) in the sense of registration i.e. the determination of parameters of a movement model by which an image (or an object) is transformed in such a way that it is as good as possible another passes over, and not like Eils et al. in the sense of identifying (assigning) points to two sets of points, e.g. Surface points of two surfaces.
  • the correction of movement can also be necessary if spots of changed gray color (eg in angiograms) are to be detected in images of moving objects (eg patients).
  • IA Boesnach et al. (Compensation of motion artifacts in MR mammography by elastic deformation, SPIE Medical Imaging 2001) propose an approach of local registration to compensate for patient movements, which makes it possible to distinguish areas of increased concentration of a contrast medium from areas of changed gray values caused by movement , This approach also does not contain continuous visualization and only local registration and therefore does not provide for global (reference) dynamics quantify, visualize and compensate. It is also not suitable and intended for tracking in image sequences that also contain global dynamics.
  • the surface was colored in such a way that the length of the motion vectors is color-coded (Ferrant et al., Real-time Simulation and visualization of Volumetry brain deformation for image guided neurosurgery, SPIE Medical Imaging 2001) , When registering, only the surface and not the entire room was transformed. We not only present a more comprehensive visualization concept that encompasses the entire image space, but also visualize parameters that can only be obtained as a result of the overall process.
  • point data are often first extracted from image data (if point data is not already available, as with contact scanners), on the basis of which the overlay is then determined.
  • Mattes and Demongeot (Structural outlier detection for automatic landmark extraction, SPIE Medical Imaging 2001, Vol. 4322 I: 602-610) extract the contours of confiners. For a given gray value density function, these are defined as the maximum contiguous subsets of the level sets. You define (by quantity inclusion) a tree structure (confinement tree) if they are extracted for different gray value levels including the zero level. You can then delete irrelevant confiners when you filter the tree.
  • confiners corresponding in pairs are first searched for, the match of the confiners of a pair is evaluated, and then pairs are discarded if the match is too low.
  • the images are then overlaid on the basis of the remaining pairs (for example their focus or contours). So far, however, there is no evaluation for an iterative application of this method, which could also examine the role of the parameters (eg, number of rejected confiner pairs or number of confiner used).
  • a motion model In order to non-rigidly overlay extracted points in this way, a motion model must be specified.
  • Use Szeliski and Lavallee (IJCV 1996) trilinear B-splines, whose control points are arranged on an octree grid around the extracted point set, with higher resolution closer to the surface.
  • the invention in addition to the better and more concise quantitative detection of the movement (just described), especially when large local deformations occur, the invention has the advantages of enabling a continuous time-space visualization even within complex objects (and on their surface) and thereby Avoid source of error in object determination (detection).
  • the method described here also enables regions of homogeneous movement to be determined.
  • ASM Active Shape Model
  • PDM Point Distribution Model
  • a main component analysis is applied to this point distribution (in the case of particularly inhomogeneous distributions also a multimodal mixed model or even a kernel analysis) and the point distribution is characterized by a few eigenvalues and eigenspaces that represent only a subspace of the original space.
  • the optimization problem is then solved, which finds the object surface in the subspace so determined, which adapts particularly well to the image data.
  • Another application is the extrapolation of recorded data with the help of the model in order to reconstruct the surface of an object as well as possible from a few data (M. Fleute, S.
  • the present invention is intended to avoid the aforementioned disadvantages individually or, preferably, all together.
  • the present invention relates to a method and an apparatus for the precise and concise quantitative description of the global and local movement taking place in the image space and for the catchy representation of the movement and the quantitative parameters in relation to the image space, the registration, object / points. Tracking, visualization and the determination of quantitative parameters of movement models and movement properties.
  • the invention relates to a method and a device which allow the movement that has taken place to be determined quantitatively, the correspondence of object movement and reference dynamics (spatial and temporal) to be quantified and visualized, and to recognize and spatially separate a few locally different types of movement and to evaluate local movement phenomena.
  • object movement and reference dynamics spatial and temporal
  • Module 1 only permits tracking and also enables corrected visualization.
  • the movement which corresponds as closely as possible to the real movement taking place in the image space (in the entire volume of the room), is carried out using a "splines a plaques minces" registration technique, which also allows the number of movement parameters to be kept low.
  • the method according to the invention has three parts or modules: module 1 "image preprocessing / point extraction”, module 2 "registration” and module 3 "visualization / quantitative analysis", modules 2 and 3 being able to use various points extracted in module 1 and possibly Module 2 does not use points (module 1).
  • Module 3 uses the quantitative data determined in Module 2.
  • a gray-scale image is represented as a tree structure.
  • Each node of the tree corresponds to a region (called confiner) of the image, which is defined using a given gray level (as one of the connected components of the set of all pixels with a higher gray level).
  • confiner region
  • the connection between nodes is determined by the subset relationship between the regions, whereby only directly successive gray value levels are considered.
  • nodes are deleted (filtering the tree), etc. since they can be noise artifacts but also to reduce the number of points.
  • Either the focal points of all confiner and / or their contour points are extracted as points. In order to reduce the amount of points, only the focal points can be used that are assigned to nodes that are located directly after a fork in the tree.
  • a complete object segmentation is carried out, in which objects are identified and contour points are assigned to the object.
  • an initial shape for example a sphere, is registered with the previously extracted points (in this case, points found using the Canny-Deriche edge detector are preferred).
  • a confiner that fulfills an additional criterion, such as a maximum value (average gau value) / (number of contour (boundary lines) pixels) or (area ) / (Number of contour pixels) 2 .
  • an additional criterion such as a maximum value (average gau value) / (number of contour (boundary lines) pixels) or (area ) / (Number of contour pixels) 2 .
  • point extraction is unnecessary if the recording device already delivers points. This is e.g. the case with laser scanners.
  • the user has the option of interactively deleting points or selecting regions.
  • a parameterized transformation is applied to one of the images (namely A in our terminology).
  • the parameters are then determined in such a way that the transformed image resembles the other image as precisely as possible and, in addition, a realistic deformation is described which describes the actual deformation of the objects of the image space as well as possible.
  • a functional (error functional) describes how well the one image resembles the other.
  • the functional is a function that assigns an error value to a given transformation, the smaller the closer the images are to each other.
  • the parameters of the transformation are determined by an optimization algorithm so that the error functional assumes a local minimum.
  • the functional is preferably based on the points extracted in the image preprocessing. If confiner contours or confiner centers of gravity were calculated in both images, then according to J. Mattes and J. Demongeot (SPIE Medical Imaging 2001) searched for the corresponding confiner in one picture for the confiner in the other picture, either choosing the confiner with the least structural error (see also Mattes and Demongeot 2001, there the value of the structural Error labeled relPos), or simply the one with the closest center of gravity.
  • the individual identification of the Confiner contours has the advantage that in the subsequent steps only the nearest neighbor within the assigned Confiner contour has to be searched for a contour point. However, this identification must be renewed (step by step) for some of the confiners if the transformation calculated below enables further assignments or requires a correction of existing assignments. According to the evaluation of the Confiner pairs using relPos (whereby the normalization factor in relPos can also be chosen to be 1 here), the different Confiner pairs can be weighted differently in the error function (see also below).
  • the points of set B are model points, the others as data points aj (1 ⁇ i ⁇ N).
  • the transformation prototype T is a map T: R 3 x ⁇ ⁇ R 3 , which depends on a parameter vector P ⁇ Tl ( ⁇ is the parameter space), and we get a transformation T (P) of the space for each P.
  • the Euclidean distance of a point x to the nearest model point is denoted by d (x, B).
  • the weighting factors ⁇ ⁇ make it possible to deal with outliers.
  • the value of ⁇ j depends on the distribution of all distances dyder the transformed data points a / to ß and is 1 if the d / is smaller than the average distance ⁇ d j >, for larger values this value increases like a Gaussian function ⁇ d y > ab.
  • the standard deviation of this Gaussian function is chosen as ⁇ dj> 2 / ⁇ d, where ⁇ d is the standard deviation of the distances d.
  • a distance map can be determined beforehand (Lavallee and Szeliski, IEEE Trans.
  • PAMI PAMI, 1995
  • PAMI PAMI, 1995
  • octree PAMI, 1995
  • Other options are based on kd-trees or the voronoid diagram.
  • a symmetrical error measure is also conceivable, in which not only the distances of each data point to the model set are included, but also the distances of each model point to the data set. The use of a symmetrical error measure leads to better results in many cases, but is not always preferable due to its high computational complexity.
  • the goal is to calculate a deformation that comes as close as possible to natural deformation / movement of the object / substance / matter.
  • physically / anatomically corresponding points of the data and model set should overlap.
  • a realistic (spatial) movement model i.e. to find a suitable transformation prototype.
  • our preferred movement models are the rigid and affine transformation.
  • the control point displacement vectors are interpolated using the splines.
  • We prefer to use thin-plate splines "splines a plaques minces", Duchon 1976, thin-plate splines, Bookstein 1989, see Figure 3).
  • the transformation prototype is therefore preferred by the suitable starting position of the control points (in the initial image) through which realistic (volume) transformation can be generated (see FIG. 3).
  • the movement model is also determined by the regulation-1 technology, which introduces an additional term in the error function that forces the bending to be minimized.
  • the term Exercise Ü b en d (P) used here is the integral of the sum of all quadratic second derivatives (according to the spatial coordinates x) of the transformation Tp k (P, x), integrated over the space R 3 (see Bookstein 1989) , This gives us the error functional
  • the parameters of the transformation are preferably determined using the Levenberg-Marquardt algorithm.
  • the registration process comprises three steps (rough-to-fine), with the third being refined step by step.
  • the number of free parameters of the transformation to be determined grows from step to step, and thus the accuracy of the overlay.
  • a rigid registration is carried out, in which the parameters for rotation and translation are determined.
  • affinlinear registration is carried out; in the third step, local deformations are also permitted.
  • this third transformation is restricted to the prototype described above, which is determined by the A landmarks.
  • the automatic positioning of the A landmarks can be done, for example, by an octree representation of the data points, with each cube of the octree containing a control point in the middle.
  • the (preferred) automatic determination of the A landmarks according to the invention consists in weighting each point aj of the data point set with its distance to the closest point of the model set (or with the 3rd power of this distance or with another monotonic function of the distance) to apply the weighted point set using the k-means cluster method (Fromel bottom, Fieres et al. 2001).
  • the number of clusters can be chosen freely. It is gradually increased according to the coarse-to-fine principle. For a given level of fineness v of the transformation, we define the cluster focal points CSJ in each step of the k-mean procedure:
  • CSj ( ⁇ j ⁇ ijaj d (T ⁇ v) (aj), Bf) I ( ⁇ te n dtT (v) a / j, Bf), where I, is the set of indexes of the data points that the ith cluster Closest to the center.
  • the cluster focal points CSj which we obtain after the process has converged, are used as control points. They are located in regions with a large distance between data and model points. At the start of the process, the 8 corner points of the bounding box around the data point set are used. In our evaluations, we gradually increased the number of control points by 1 + 3v. Both methods for setting the control points are compared in FIGS. 4-7.
  • the third registration step - as described above weak regularization is carried out, i.e. a term is added to the error functional that punishes bending. It can be shown that the suppression of excessive bending as well as the rough-to-fine approach usually improve the quality of the overlay considerably (e.g. the correct assignment of logically corresponding points). Without these procedural steps, local shape features are destroyed.
  • Reference dynamics can be selected which can either be fitted to the movement (transformation) found or which, if the reference dynamics can be represented as a parameterized transformation, can be fitted directly to the data.
  • Examples of possible reference dynamics are: linear dynamics (affine transformation, with any time dependency), diffusion dynamics, Hamiltonian dynamics (e.g. hydrodynamics), elastic (harmonic) vibrations. These dynamics can also be combined, simultaneously and one after the other. Transformation across multiple time steps. The transformation (as well as the reference dynamics) is also determined according to the invention between several time steps t n -i to t n to tn + k .
  • image t n can also be transformed by means of T n ⁇ and the image thus obtained (after correction for new structures) can also be registered. And so on.
  • Regions of homogeneous movement For the point sets of the time steps t n to registered as described above, the "Point Distribution Model" already set out in the "Description” part is now created.
  • We then assign a given point on the surface / in space to the main component which is the greatest distance d between the point displaced by the deflection (from the average model) and the main component by the positive standard deviation and the point shifted by the negative standard deviation. Or alternatively leading to the largest value d / b, where b is the eigenvalue belonging to the respective main component.
  • the points of each region of this subdivision can then be registered separately with the deflection described above so that quantitative movement parameters can be assigned to each sub-region.
  • Object determination If the points extracted during image preprocessing represent different objects that are identified as such, these can still be individually tracked or even registered after the image space has been registered. First of all, it is necessary to identify the same (or corresponding) objects on the different images. Unlike in Eils et al. (1998/9), only a structural similarity measure is necessary (Mattes and Demongeot, SPIE Medical Imaging 2001) because the registration has already moved the individual objects towards each other. The subsequent individual registration is interesting, for example, for cell images, where one is also interested in rotations and strains of the individual cell.
  • step by step bypasses an explicit calculation of the inverse (see part registration).
  • the image sequence recalculated in this way can then be animated and displayed as a video. But all other methods of image sequence analysis and visualization can also be used. In particular, we use this corrected image sequence if the motion-corrected paths are to be visualized by individual objects that were tracked as described in the Registration section.
  • the invention comprises several quantification and visualization modules which can be used individually or in combination as the points listed below. According to the invention, both the movement of the object / image points are to be visualized, as well as quantitative values obtained and these in particular in relation to the image space.
  • Quantification and visualization modules This is done by color coding the dots in the image space and / or using different patterns that represent different values of quantified parameters (a continuous parameter is represented by a pattern that is becoming denser). Quantification and visualization modules:
  • Segmented objects or selected confiners in the original image space are visualized as closed but transparent, 3D rendered (surface rendering) surfaces, in the target image space as a triangulation grid (which was transformed with the calculated transformation). Both are superimposed (and in different colors) both before and after registration (see Figure 8).
  • the extracted point sets can also be displayed in this way.
  • intermediate steps are interpolated by dividing the parameter interval (the transformation parameters), the interpolated transformations are applied to the starting object, the movement of which can then be represented in an animated manner.
  • the interactive confiner selection (with subsequent visualization) is carried out either by clicking on a node in the confinement tree or by specifying a gray value level and clicking on a point in the image, with which the confiner is specified at the given level that contains the point (or possibly no confiner). Without specifying the gray value level, the smallest confiner in the filtered tree that contains the point is determined.
  • the visualized surfaces can then also be displayed overlaid with the target gray value image. In order not to obscure the target gray value image, the parts of the surfaces above the plane under consideration can be cut away in the target gray value image (see also FIG. 4c).
  • the overlaid display also enables a visual check of how well it has been registered.
  • the deformation is represented by a 3D rendered (surface rendering) reference grid. This can be displayed in an animated manner and overlaid with the surfaces or one of the gray value images (FIG. 8). For different color channels, the reference grids (and possibly also the extracted points) are displayed in different colors superimposed.
  • the color-coded / pattern-coded (including gray value-coded) representation of quantified values, which were calculated for each point in the image space, is carried out as follows: a) objects are segmented or confiners are selected; then the 3D rendered surface points are color coded / pattern coded. b) Either characteristic points are determined on the basis of the starting point set (see part image preprocessing / point extraction and Mattes and Demongeot, SPIE Medical Imaging 2001 for the entire image space and Brett and Taylor, Image and Vision Computing 18: 739-748, 2000 for points the surface) or regularly selected points or the user clicks on at least one point in space or on a segmented / confiner surface.
  • the path is then displayed with (error) color (/ pattern) coding (see FIG. 10).
  • All points in a plane interactively determined by the user through the volume of the room are color / pattern-coded. For 2D images, this is the entire image space.
  • FIG. 9 shows an example of the gray value-coded variable speed.
  • PAMI 11 567-585, 1995, see also Duchon, Interpolation dessolvs de mar mar variables treat le 3, 14, 14, 16: 5-12, 1976) integrated over a sphere of a given radius around a given point in the image space; iii) ii) for each principal warp (Bookstein, IEEE Trans. PAMI, 1995) and / or for different depths of the checkpoint octree; iv) speed, acceleration.
  • Local parameters such as speed or acceleration
  • Histogram analysis number of pixels for each value of the local parameter
  • density-based cluster analysis The confinement tree analysis can e.g. can be applied to the gray value-coded level determined in 4c). This is shown in FIG. 9 and allows an abstract description of the movement, which is suitable for a comparison of movements.
  • the homogeneity of the direction of movement is characterized by the size of the clusters.
  • value ranges of the local parameters can be identified (e.g. as a 1D confiner), the values of which are particularly often represented in the image space.
  • the associated pixels can be marked in the image / on the surface (e.g. as color regions).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Die Erfindung betrifft die quantitative Analyse und/oder Visualisierung (virtueller oder realer) bewegter Prozesse, sowie die Erfassung, Beschreibung, Korrektur und den Vergleich globaler Bewegungsmechanismen innerhalb des Bildraums. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung zur präzisen und auf wenige Parameter beschränkten quantitativen Beschreibung der globalen und lokalen im Bildraum stattfindenden Bewegung und zur eingängigen Darstellung der Bewegung der quantitativen Parameter in Bezug auf den Bildraum. Es findet eine Grob-zu-Feinregistrierung und ein Erfassen und Kompensieren globaler Bewegungsmechanismen statt, was eine Verfolgung erlaubt und eine korrigierte Visualisierung ermöglicht. Das Erfassen der Bewegung, die der realen im Bildraum stattfindenden Bewegung möglichst genau entspricht, erfolgt durch eine 'splines à plaques minces' - Registrierungstechnik, die es gestattet, die Anzahl der Bewegungsparameter gering zu halten. Ein vollautomatischer Ablauf aller Teilschritte wird ermöglicht.

Description

Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen
Prozessen
Die Erfindung betrifft die quantitative Analyse und/oder Visualisierung (virtueller oder realer) bewegter Prozesse, sowie dabei die Erfassung, Beschreibung, Korrektur und der Vergleich globaler Bewegungsmechanismen innerhalb des Bildraums (Zeit-Raums). Insbesondere betrifft sie ein Verfahren und eine Vorrichtung zur präzisen und auf wenige Parameter beschränkten (konzisen) quantitativen Beschreibung der globalen und lokalen im Bildraum stattfindenden Bewegung (nicht nur von Objekten sondern auch innerhalb und zwischen Objekten) und zur eingängigen Darstellung der Bewegung und der quantitativen Parameter in Bezug auf den Bildraum. Hierbei verstehen wir unter einem virtuellen bewegten Prozess die Hintereinanderschaltung von Bildern (oder Punktmengen) vergleichbarer Objekte (z.B. gleicher Organe verschiedener Individuen). Die Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen ermöglicht ein besseres Verständnis für Ursachen der Bewegung zu entwickeln, Vorhersagen zu treffen und Zusammenhänge zwischen Bewegungsparametern und Begleitumständen zu finden. Ein Beispiel ist die Untersuchung der Elastizitätseigenschaften von Zellstrukturen.
Durch bildgebende Vorrichtungen sind neue Möglichkeiten gegeben worden, Objekte (oder allgemeiner: Materie/Stoffe) zu vergleichen oder verschiedene Zustände oder die Bewegung eines Objekts zu analysieren und visuell eingängig (leicht erfassbar) darzustellen. Dies kann mittels eines Computers durchgeführt und automatisiert werden. Große Fortschritte sind dabei in der Extrahierung und Darstellung von Oberflächen, aber auch in der Berechnung von Geschwindigkeitsfeldern erzielt worden. Für Bilder, die mehrere nebeneinanderliegende Objekte enthalten, sind Verfahren vorgeschlagen worden, die einzelne Objekte verfolgen und die Bahnen der Objekte als 3D gerenderte (surface rendering) Linien oder Schläuche zu visualisieren. Treten globale Bewegungsmechanismen auf, die die Bewegung der einzelnen Objekte dominieren, so führt dies zu einer falschen Zuordnung der Objekte auf den verschiedenen Bildern und damit auch zu falschen Bahnen. Schwierigkeiten stellen auch große lokale Verschiebungen von einem Bild zum nächsten dar, die einen rein grau wertbasierten Ansatz zur Bestimmung der Bewegung (wie z.B. bei Optischen-Fluss- Methoden) sehr erschweren. Beide Fälle kommen beispielsweise dann vor, wenn die zeitliche Auflösung zugunsten der räumlichen Auflösung nicht besonders fein gewählt wurde.
Die präzise und konzise quantitative Beschreibung der Bewegung ist eine weitere Schwierigkeit, die weit über das Berechnen von Geschwindigkeitsfeldern hinaus geht. Dabei geht es sowohl darum, den globalen Bewegungstyp zu erfassen und quantitativ mit wenigen Parametern zu beschreiben, als auch darum (insbesondere falls keine dominierende globale Dynamik vorherrscht), einige wenige lokal verschiedene Bewegungsarten zu erkennen und räumlich zu trennen; und schließlich darum, lokale Phänomene zu bewerten. Die konzise Beschreibung vereinfacht den Vergleich verschiedener Bewegungen in unterschiedlichen Bildfolgen. Ein besonderes Problem stellt es dar, in Bildern, die verhältnismäßig wenig Struktur aufweisen, die also nur an Stellen der Oberfläche weniger Objekte eine nicht gleichförmige Grauwerttextur aufweisen, möglichst die Bewegung zu rekonstruieren, die der realen im Bildraum stattfindenden Bewegung entspricht. Treten dabei (nicht-rigide aber) relativ globale Deformierungen auf, so stellt es ein Problem dar, eiri Bewegungsmodell zu definieren, das keine lokalen Strukturen des Bildes/der Oberflächenform zerstört und robust ist gegenüber Rauschen bzw. Punkten, die nicht zum untersuchten Objekt gehören.
Im Stand der Technik wurden für die Analyse und Visualisierung bewegter Prozesse Methoden zur Bestimmung des optischen Flusses, sowie Partikel-Tracking und Oberflächen-Tracking und -Registrierung vorgeschlagen.
Optische-Fluss-Methoden (für einen Überblick siehe Barron J. L. et al., Performance of optical flow techniques, Int. J. Comp. Vision, 12: 43-77,1994) basieren auf der Annahme, dass die optischen Dichten (Intensitäten) über die Zeit erhalten bleiben. Sie berechnen für jeden Bildpunkt einen Bewegungsvektor und gestatten es daher, Geschwindigkeiten für jeden Punkt in Raum und Zeit zu quantifizieren und als Geschwindigkeitsvektorfeld zu visualisieren. Sie gestatten jedoch keine kontinuierliche Visualisierung (über mehr als 2 Bilder), und sie setzen voraus, dass der Zeitabstand im Vergleich zur örtlichen Veränderungen von Strukturen im Bild klein ist, sowie dass keine Beleuchtungsänderungen oder andere Störungen im Zeitverlauf auftreten, und sie sind lokal formuliert (mit Regularisierungsterm).
Eine Ausnahme ist F. Germain et al. (Characterization of Cell Deformation and Migration using a parametric estimation of image motion, IEEE Trans. Biomed. Eng., 46, 584-600, 1999) wo die Parameter eines affines Bewegungsmodells berechnet und analysiert werden. Diese Berechnung und Analyse geschieht aber zeitlich nur lokal, d.h. sie wird für je zwei Zeitschritte getrennt ausgeführt . So kann zum Beispiel der Unterschied, ob Objekte stets in die gleiche Richtung verzerrt werden oder aber in jeweils verschiedene Richtungen, nicht quantifiziert werden. Dies ist jedoch für die resultierende Verformung des Objekts essentiell. Unser Ansatz gestattet eine kontinuierliche quantitative Analyse und bietet zudem die Möglichkeit einer Visualisierung des Fehlers zur Referenzdynamik für jeden Punkt - auch für globale Deformationen, beschrieben mit mehr Freiheitsgraden als für eine affine Abbildung, und für lokale Bewegungen.
Beim Partikel-Tracking (Eils, Tvarusko und Bentele, Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen, Offenlegungsschrift DPMA 199 30 598.6, 1998/9) werden zuvor extrahierte Objekte (bzw. Objektschwerpunkte) innerhalb von Bildfolgen verfolgt, deren Dynamik quantifiziert und die Bahnen kontinuierlich dargestellt. Dafür ist entscheidend, die individuellen Objekte in aufeinanderfolgenden Bildern zu detektieren und zu identifizieren (wiederzufinden). Dies wird durch eine Kombination von Kriterien der Objektnähe und Objektähnlichkeit (ähnlicher Flächeninhalt, durchschnittlicher Grauwert, etc.) ermöglicht. Diese Verfahren (insbesondere das Verfahren nach Eils et al.) schlagen fehl, falls sich alle Objekte ähneln, falls für einen Zeitschritt ein Objekt nicht segmentiert (detektiert) wurde und falls die Dynamik der individuellen Partikel von einer globalen Dynamik dominiert wird. Diese Situation wird in der Figur 1 dargestellt. Unser Verfahren, das auch einen Registrierungsschritt enthält, erlaubt eine korrekte Erfassung der Bewegung auch in diesen Fällen und bietet im Teil Visualisierung und Quantifizierung neue und bessere Möglichkeiten besonders für komplexe Bildstrukturen (animiertes, 3D gerendertes Referenzgitter, Verwendung von charakteristischen
Bild/Oberflächenpunkten deren 3D gerenderte Bahnen dargestellt werden, die Bahn durch einen interaktiv wählbaren Punkt, der an einem beliebigen Ort im Zeit-Raum liegen kann, die Bestimmung von Regionen homogener oder lokal besonders starker Bewegung u.a.). In diesem Zusammenhang möchten wir darauf hinweisen, dass wir den Begriff Matching (und matchen) im Sinne von Registrierung verwenden, das heisst das Bestimmen von Parametern eines Bewegungsmodells, durch die ein Bild (oder ein Objekt) so transformiert wird, dass es möglichst gut in ein anderes übergeht, und nicht wie Eils et al. im Sinne einer Identifizierung (Zuordnung) von Punkten zweier Punktmengen, z.B. Oberflächenpunkten zweier Oberflächen.
In (J.M. Odobez and P. Bouthemy, Detection of multiple moving objects using multiscale MRF with camera motion compensation, ICIP'94) wird ein Ansatz zur Analyse (Objekterkennung) in bewegten Prozessen vorgeschlagen, der die Kompensierung der globalen Kamerabewegung einschließt. Der Ansatz kompensiert die globale Bewegung jedoch implizit um das optische Fluß Feld zu berechnen, ohne Möglichkeiten einer bewegungskompensierten Visualisierung aufzuzeigen oder Objektbahnen zu visualisieren (weder mit Korrektur der globalen Bewegung noch Objektbahnen überhaupt), und ohne eine Zwei-Schritte-Strategie zu beinhalten, bei der die Kompensierung der globalen Bewegung die lokale Identifizierung von Objekten im zweiten Schritt erst ermöglicht.
Die Korrektur von Bewegung kann auch dann nötig sein, wenn Stellen veränderter Graufärbung (z.B. in Angiogrammen) in Bildern bewegter Objekte (z.B. Patienten) detektiert werden sollen. I.A. Boesnach et al. (Compensation of motion artifacts in MR mammography by elastic deformation, SPIE Medical Imaging 2001) schlagen einen Ansatz lokaler Registrierung zur Kompensierung von Patientenbewegungen vor, die es erlaubt, Stellen erhöhter Konzentration eines Kontrastmittels von Stellen veränderter Grauwerten, die durch Bewegung hervorgerufen wurden, zu unterscheiden. Dieser Ansatz enthält ebenfalls keine kontinuierliche Visualisierung und zudem nur eine lokale Registrierung und sieht daher auch nicht vor, globale (Referenz-) Dynamiken zu quantifizieren, zu visualisieren und zu kompensieren. Er ist ebenfalls nicht für das tracking in Bildfolgen, die auch eine globale Dynamik enthalten, geeignet und vorgesehen.
Für die Visualisierung dynamischer Parameter bei der Bewegung von Oberflächen wurde die Oberfläche solchermaßen gefärbt, dass die Länge der Bewegungsvektoren farbkodiert dargestellt wird (Ferrant et al., Real-time Simulation and visualization of Volumetrie brain deformation for image guided neurosurgery, SPIE Medical Imaging 2001). Bei der Registrierung wurde nur die Oberfläche und nicht der gesamte Raum transformiert. Wir stellen hier nicht nur ein umfassenderes Visualisierungskonzept vor, das den gesamten Bildraum einschließt, sondern visualisieren auch Parameter, die nur als Ergebnis des Gesamtverfahrens erhalten werden können.
Um Datensätze verschiedener Zeitschritte zu überlagern, werden oft zunächst Punktdaten aus Bilddaten extrahiert (falls nicht schon Punktdaten vorliegen, wie bei Kontakt-Scannern), aufgrund derer dann die Überlagerung bestimmt wird. Mattes und Demongeot (Structural outlier detection for automatic landmark extraction, SPIE Medical Imaging 2001, Vol. 4322 I: 602-610) extrahieren dabei die Konturen von Confinern. Diese sind für eine gegebene GrauwertdichteFunktion als die maximal zusammenhängenden Teilmengen der level-sets definiert. Sie definieren (durch Mengeninklusion) eine Baumstruktur (Confinement-Tree), falls sie für verschiedene Grauwert-Niveaus einschließlich des Null-Niveaus extrahiert werden. Unrelevante Confiner können anschließend beim Filtern des Baumes gelöscht werden. Für zwei Grauwertbilder werden dann zunächst paarweise korrespondierende Confiner gesucht, die Übereinstimmung der Confiner eines Paares wird bewertet, und danach werden Paare verworfen mit zu geringer Übereinstimmung. Auf Grundlage der verbleibenden Paare (z.B. ihrer Schwerpunkte oder Konturen) werden dann die Bilder überlagert. Es existiert bisher jedoch noch keine Auswertung für eine iterative Anwendung dieses Verfahrens, die auch die Rolle der Parameter (z.B., Anzahl der verworfenen Confiner- Paare oder Anzahl der gestutzten Confiner) untersuchen könnte. Um solchermaßen extrahierte Punkte nicht-rigid zu überlagern, muss ein Bewegungsmodell vorgegeben werden. Szeliski und Lavallee (IJCV 1996) verwenden trilineare B-splines, deren Kontrollpunkte auf einem Octree-Gitter um die extrahierte Punktmenge angeordnet sind, mit höherer Auflösung näher zur Oberfläche. Durch die verschiedenen Niveaus im Octree können zunächst wenige, dann immer mehr Kontrollpunkte verwendet werden, wodurch "von Grob-zu-Fein" registriert werden kann. Um die Punktmengen präzise zu überlagern, sind jedoch (wegen mangelnder Glattheit der trilinearen B-Splines) viele Kontrollpunkte (das heißt Freiheitsgrade der Transformation) nötig, die zudem nach dem regelmäßigen Octree-Schema angeordnet sein müssen und nicht einfach beliebig im Raum verteilt werden können. Das Registrieren mit zu vielen Freiheitsgraden birgt jedoch die Gefahr, lokale Strukturen zu zerstören und sehr sensitive Regularisierungsparameter zu erhalten. Chui und Rangarajan (CVPR 2000) verwenden thin-plate splines und jeden extrahierten Punkt als Kontrollpunkt. Dies ist schon vom Rechenaufwand her jedoch höchstens bei kleinen Punktmengen sinnvoll. Wir werden ein Verfahren vorschlagen, Kontrollpunkte zu setzen, das die gewünschte Bewegung mit besonders wenigen Freiheitsgraden präzise auffindet. Neben dem reduzierten Rechenaufwand hat dies die Vorteile, dass auf der einen Seite die Zerstörung von lokalen Formmerkmalen und das Fitten von Rauschen besser vermieden werden können, auf der anderen Seite haben die Regularisierungs- Parameter weniger Bedeutung (geringer Sensitivität), da die Transformation mit wenigen Parametern ohnehin glatter ist. Zudem erhält der Anwender eine konzisere Beschreibung der Bewegung, die auch für nachfolgende Schritte vorteilhaft sein kann, z.B. bei der Erstellung eines Active Shape Models (s. unten) auf Basis der initialen und finalen Position der Kontrollpunkte.
Zusammenfassend hat die Erfindung neben der (gerade beschriebenen) besseren und konziseren quantitativen Erfassung der Bewegung, gerade wenn große lokale Deformierungen auftreten, die Vorteile, eine kontinuierliche Zeit-Raum-Visualisierung auch innerhalb komplexer Objekte (und an deren Oberfläche) zu ermöglichen und dabei die Fehlerquelle der Objektbestimmung (-detektion) zu vermeiden. Das hier beschriebene Verfahren ermöglicht auch die Bestimmung von Regionen homogener Bewegung.
Das "Active Shape Model" (ASM ) oder Point Distribution Model (PDM) wurde in (T. F. Cootes, C.J. Taylor, D.H. Cooper, and J. Graham, Active shape modeis - their training and their application, Computer Vision and Image Understanding 61, 38-59, 1995) eingeführt, um statistisches Vorwissen bei der Objektsegmentierung einbringen zu können. Dabei wird für eine Anzahl von vorgegebenen Oberflächen, die Variationen einer Form darstellen, ein Oberflächenmodell mittels n Landmarken erstellt, die für jede Oberfläche so bestimmt werden, dass jede Landmarke auf allen Oberflächen vorkommt. Für ein Objekt wird dann ein Landmarkenvektor definiert, der die Raumkoordinaten für alle n Landmarken enthält und daher von der Dimension 3n ist. Die Menge aller Landmarkenvektoren bildet eine Punkteverteilung im R3n. Auf diese Punkteverteilung wird eine Hauptkomponenten Analyse angewandt (bei besonders inhomogenen Verteilungen auch ein multimodales Mischmodell oder sogar eine kernel-Analyse) und die Punkteverteilung wird durch wenige Eigenwerte und Eigenräume charakterisiert, die nur einen Teilraum des Ausgangsraums darstellen. Zur Anwendung in der Modellgestützten Segmentierung wird dann das Optimierungsproblem gelöst, das in dem so bestimmten Teilraum die Objektoberfläche findet, die sich den Bilddaten besonders gut anpasst. Eine andere Anwendung ist die Extrapolierung von aufgenommenen Daten mit Hilfe des Models, um aus wenigen Daten die Oberfläche eines Objekts möglichst gut zu rekonstruieren (M. Fleute, S. Lavallee, Building a Complete Surface Model from sparse data using statistical shape modeis: application to Computer assisted knee surgery, MICCAI'98, 880-887, LCNS Springer-Verlag, 1998). Das "Active Shape Model" gestattet auch die Unterschiede verschiedener Objekte gleichen Typs anschaulich zu visualisieren. Es wurde jedoch nicht zur quantitativen Analyse in (virtuellen oder realen) bewegten Prozessen verwendet. Auch nicht zu einer automatischen Aufteilung der Oberfläche (oder des Raumes) in Regionen mit homogener (räumlich linearer) Dynamik.
Die vorliegende Erfindung soll die zuvor genannten Nachteile einzeln oder bevorzugt alle zusammen vermeiden.
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur präzisen und konzisen quantitativen Beschreibung der globalen und lokalen im Bildraum stattfindenden Bewegung und zur eingängigen Darstellung der Bewegung und der quantitativen Parameter in Bezug auf den Bildraum, die Registrierung, Objekt/Punkte- Verfolgung, Visualisierung und die Bestimmung quantitativer Parameter von Bewegungsmodellen und Bewegungseigenschaften beinhalten. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung, die es gestatten die stattgefundene Bewegung quantitativ zu bestimmen, die Übereinstimmung von Objektbewegung und Referenzdynamiken (räumlich und zeitlich) zu quantifizieren und zu visualisieren, sowie einige wenige lokal verschiedene Bewegungsarten zu erkennen und räumlich zu trennen und lokale Bewegungs-Phänomene zu bewerten. Darüber hinaus gestattet es durch eine Grob-zu-Fein Registrierung das Erfassen und Kompensieren globaler Bewegungsmechanismen, was in der gezeigten Anwendung (Figur 1) die Verfolgung erst erlaubt und auch eine korrigierte Visualisierung ermöglicht. Das Erfassen der Bewegung, die der realen im Bildraum (im gesamten Raumvolumen) stattfindenden Bewegung möglichst genau entspricht, erfolgt durch eine "splines ä plaques minces"- Registrierungstechnik, die es zudem gestattet, die Anzahl der Bewegungsparameter gering zu halten. Ein vollautomatischer Ablauf aller Teilschritte ist ermöglicht. Das erfindungsgemäße Verfahren weist drei Teile bzw. Module auf: Modul 1 "Bildvorverarbeitung/Punktextrahierung", Modul 2 "Registrierung" und Modul 3 "Visualisierung/Quantitative Analyse", wobei Modul 2 und 3 auf verschiedene in Modul 1 extrahierten Punktmengen zurückgreifen können und eventuell Modul 2 nicht auf Punkte (Modul 1) zurückgreift. Modul 3 greift auf die in Modul 2 bestimmten quantitativen Daten zurück.
BILDVORVERARBEITUNG: PUNKTEXTRAHIERUNG
In der Bildvorverarbeitung werden Strukturen des Bildraums als Bildpunkte extrahiert. In stark verrauschten Bildern wird hierbei zunächst das Rauschen beseitigt ohne wesentliche Strukturen des Bildes zu zerstören. Je nach Struktur der Bildobjekte wird dafür ein Reaktion-Diffusions-Operator (G.-H. Cottet, and L. Germain, Image processing through reaction combined with nonlinear diffusion, Math. Comp., 61 (1993), pp. 659-- 673, oder als diskretes Äquivalent: J. Mattes, D. Trystram and J. Demongeot, Parallel image processing using neural networks: applications in contrast enhancement of medical images, Parallel Processing Letters, 8: 63-76, 1998) oder ein Operator der anisotropen Diffusion mit einer Kantenstoppfunktion auf Grundlage der Tuckeynorm (M. J. Black NS D. Heeger, IEEE Trans, on Image Processing 7, 421 (1998)) angewandt, wodurch das Bild in homogene Regionen zerlegt wird. Andere Glättungsverfahren sind Gaußsche Glättung oder Wavelet basierte Verfahren.
Die bevorzugte Technik zur Strukturextraktion ist die Confinement-Tree-Technik (Mattes und Demongeot, Tree representation and implicit tree matching for a coarse to fine image matching algorithm MICCAI, 1999). Hierbei wird ein Grauwertbild als Baumstruktur repräsentiert. Jeder Knoten des Baumes entspricht hierbei einer Region (genannt confiner) des Bildes, die mittels eines gegebenen Grauwert-Niveau definiert wird (als eine der Zusammenhangskomponenten der Menge aller Bildpunkte mit höherem Grauwert). Die Verbindung zwischen Knoten ist durch die Teilmengen- Beziehung zwischen den Regionen festgelegt, wobei nur direkt aufeinanderfolgende Grauwert-Niveaus betrachtet werden. Nach Kriterien wie zu geringe Fläche, Grauwertmasse, etc. werden Knoten gelöscht (Filtern des Baums), u.a. da sie Rauschartefakte sein können aber auch, um die Anzahl der Punkte zu reduzieren. Als Punkte werden entweder die Schwerpunkte aller confiner extrahiert und/oder deren Konturpunkte. Um die Punktemenge zu reduzieren können auch nur die Schwerpunkte weiterverwendet werden, die Knoten zugeordnet sind, die sich direkt nach einer Gabelung im Baum befinden.
Alternativen bei der Punktextraktion, sind (i) die Anwendung eines Canny-Deriche- Kanten-Detektors (R. Deriche, Using Canny's criteria to derive a recursively implemented optimal edge detector, Int. J. Comput. Vision, 1987, 167-187) (ii) Extrahieren von Crest/ridge-lines (O. Monga, S. Benayoun, and O. Faugeras, From partial derivatives of 3D density images to ridge lines, IEEE, CVPR'92, 354-359, Champaign, Illinois, 1992) oder von (iii) Extremal- Punkten (J.-P. Thirion, New feature points based on geometric invariants for 3D image registration, Int. J. Comput. Vision, 18:121-137, 1996, K. Rohr, On 3D differential Operators of detecting point landmarks. Image and Vision Computing, 15:219-233, 1997).
Es kann auch, falls dies vom Benutzer für die gewünschte Quantifizierung, Visualisierung oder das Tracking für hilfreich erachtet wird, eine komplette Objektsegmentierung durchgeführt werden, bei der Objekte identifiziert werden und Konturpunkte dem Objekt zugeordnet sind. Dazu wird, wie im nächsten Abschnitt beschrieben, eine Ausgangsform, z.B. eine Kugel, mit den zuvor extrahierten Punkten registriert (in diesem Falle sind Punkte, die mit dem Canny-Deriche-Kanten-Detektor gefunden wurden zu bevorzugen). Für die Segmentierung von Objekten, die zu ihrer Umgebung einen deutlichen Kontrast aufweisen, genügt es einen confiner auszuwählen, der ein zusätzliches Kriterium erfüllt, wie z.B. einen maximalen Wert (durchschnittlicher Gauwert) / (Anzahl der Kontur(Grenzlinien)-Pixel) oder ( Fläche)/(Anzahl der Konturpixel)2. Für die Segmentierung von kleinen Objekten in stark verrauschten Bildern verfahren wir wie Eils et al. und lassen einen Schritt der Kantenvervollständigung auf einen Schritt der Kantenextrahierung (siehe oben) folgen.
Schließlich ist eine Punktextrahierung unnötig, falls die Aufnahmevorrichtung bereits Punkte liefert. Dies ist z.B. bei Laserscannern der Fall. Der Benutzer hat im Anschluss an die Punktextrahierung die Möglichkeit, interaktiv Punkte zu löschen oder Regionen auszuwählen.
REGISTRIERUNG
Wir bezeichnen den Raum, indem sich die Bilder oder Punktmengen, oder - allgemeiner
- räumliche Datenmengen befinden als Bildraum.
Zur Registrierung zweier Bilder (/räumlicher Datenmengen) A und B wird eine parametrisierte Transformation auf eines der Bilder (nämlich A in unserer Terminologie) angewandt. Die Parameter werden dann so bestimmt, dass das transformierte Bild möglichst genau dem anderen Bild gleicht und zudem eine realistische Verformung beschrieben wird, die die tatsächliche Verformung der Objekte des Bildraums möglichst gut beschreibt. Hierbei wird durch ein Funktional (Fehlerfunktional) beschrieben wie gut das eine Bild dem anderen gleicht. Das Funktional ist eine Funktion, die einer gegebenen Transformation einen Fehlerwert zuordnet, der umso kleiner ist, je genauer sich die Bilder gleichen. Durch einen Optimierungsalgorithmus werden die Parameter der Transformation so bestimmt, dass das Fehlerfunktional ein lokales Minimum annimmt.
Confiner Zuordnung, Bewertung und Auswahl. Das Funktional basiert bevorzugt auf den in der Bildvorverarbeitung extrahierten Punkten. Wurden dabei in beiden Bildern Confiner-Konturen oder Confiner-Schwerpunkte berechnet, so werden gemäß J. Mattes und J. Demongeot (SPIE Medical Imaging 2001) für die Confiner in einem Bild die entsprechenden Confiner im anderen Bild gesucht , wobei man entweder jeweils den Confiner mit geringstem strukturellen Fehler wählt (s. ebenfalls Mattes und Demongeot 2001 , dort wird der Wert des strukturellen Fehlers mit relPos bezeichnet), oder einfach den mit nächstgelegenem Schwerpunkt. Danach werden Paare mit zu geringer Übereinstimmung als Ausreißer (outlier) verworfen (um diese Übereinstimmung zu bestimmen wird wieder relPos gewählt, allerdings kann hier als Normalisierungsfaktor in relPos 1 gewählt werden; vor der Anwendung von relPos können die Confiner lokal affine gemacht werden). Auf Grundlage der verbleibenden Paare (z.B. ihrer Schwerpunkte oder Konturen) werden dann die Bilder überlagert. Dieser Prozess kann iterativ wiederholt werden, da aufgrund der Überlagerung für einen gegebenen Confiner eine bessere Wahl des ihm entsprechenden Confiners möglich wurde. In einer ersten Auswertung für eine iterative Anwendung des Verfahrens, erzielten wir bessere Resultate je weniger Confiner beim Stutzen gelöscht wurden (was dann allerdings auch zu einer erhöhten Rechenzeit führte) und für nur 15-20% beibehaltene Confiner-Paare (s. Figur 2) bei der Registrierung auf Grundlage der Confiner-Schwerpunkte. Werden zur Registrierung die Confiner-Konturen herangezogen, so hat die individuelle Identifizierung der Confiner-Konturen den Vorteil, dass in den nachfolgenden Schritten für einen Konturpunkt nur noch der nächste Nachbar innerhalb der zugeordneten Confiner-Kontur gesucht werden muß. Diese Identifizierung muss jedoch für einen Teil der Confiner (schrittweise) erneuert werden, falls die nachstehend berechnete Transformation weitere Zuordnungen ermöglicht oder eine Korrektur bestehender Zuordnungen erfordert. Gemäß der Bewertung der Confiner-Paare mittels relPos (wobei der Normalisierungsfaktor in relPos hier auch gleich 1 gewählt werden kann) können die verschiedenen Confiner-Paare im Fehlerfunktional (s. auch unten) verschieden stark gewichtet werden.
Fehlerfunktional. Für die Definition des Fehlerfunktionais (oder Fehlermaßes) werden die Mengen der extrahierten Punkte aus A und B (diese Mengen werden ebenfalls mit A und B bezeichnet) unterschieden: Die Punkte der Menge B werden als Modellpunkte, die anderen als Datenpunkte aj (1 < i < N) bezeichnet. Wir definieren den Transformations-Prototyp T als eine Abbildung T: R3 x π → R3, die von einem Parametervektor P ε Tl abhängt (π ist der Parameterraum), und wir erhalten für jedes P eine Transformation T(P) des Raumes. Die euklidische Distanz eines Punktes x zum nächstgelegene Modellpunkt wird mit d(x, B) bezeichnet. Die aufsummierten quadratischen Distanzen stellen das provisorische Fehlerfunktional Cprov dar: Cprov (P) = (1/σ)ΣM...N <5id(T(P B)f.
Dabei ist σ = ΣJ=I...N σj. Die Gewichtungsfaktoren σ \ ermöglichen es mit Ausreissem (outlier) umzugehen. Der Wert von σj hängt von der Verteilung aller Distanzen dyder transformierten Datenpunkte a/ zu ß ab und ist 1 , falls die d/kleiner als die durchschnittliche Distanz < dj > ist, für größere Werte nimmt dieser Wert wie eine Gauss-Funktion um < dy > ab. Die Standart-Abweichung dieser Gauss-Funktion ist als < dj >2 / σd gewählt, wobei σd die Standart-Abweichung der Distanzen d, ist. Um eine wiederholte Überprüfung aller Modellpunkte zu vermeiden kann zuvor eine Distanzkarte bestimmt (Lavallee und Szeliski, IEEE Trans. PAMI, 1995) und in einem octree abgespeichert (wie auch zugehörige Gradienten der so definierten Abstandsfunktion, s. unten). Andere Möglichkeiten beruhen auf k-d-trees oder dem Voronoidiagramm. Auch ein symmetrischen Fehlermaß ist denkbar, bei dem nicht nur die Abstände jedes Datenpunktes zu der Modellmenge einfließt, sondern auch die Abstände jedes Modellpunktes zur Datenmenge. Die Verwendung eines symmetrischen Fehlermaßes führt in vielen Fällen zu besseren Ergebnissen, ist aber wegen seiner hohen Rechenkomplexität nicht immer zu bevorzugen.
Alternativ können sogenannte ikonische oder grauwertbasierte Fehlermaße benutzt werden (s. z.B. Röche, Malandaine, Ayache, Prima, MICCAI'99, LNCS Springer Verlag, 1999), die ohne Bildvorverarbeitung auskommen und die die Güte der Registrierung auf Grundlage eines Vergleichs der überlagerten Grauwerte für eine gegebene Transformation bestimmen. Dies ist dann sinnvoll und von Nutzen, wenn die Positionsänderung zwischen den einzelnen Bildern relativ klein ist und die anschließende Visualisierung und quantitative Analyse nicht auf extrahierten oder segmentierten Daten beruht.
Bewegungsmodell und Optimierung (Fieres et al. A point set registration algorithm using a motion model based on thin-plate splines and point clustering, in Pattern recognition, DAGM 2001 , vol. 2191 of LNCS, 76-83, Springer-Verlag, 2001). Die Minimierung des oben beschriebenen Fehlerfunktionals allein ist jedoch noch kein Kriterium für eine gute Überlagerung. Z.B. minimiert die Transformation, die alle Datenpunkte auf einen bestimmten Modellpunkt abbildet, das (unsymmetrische) Funktional, ist aber nicht die gesuchte Lösung. Andere Beispiele sind leicht vorstellbar, in denen die reine Minimierung selbst des symmetrischen Fehlermaßes zu unerwünschten Lösungen führt.
Ziel ist es aber, eine Deformation zu errechnen, die einer natürlichen Verformung/Bewegung des Objekts/ der Substanz/Materie möglichst nahe kommt. Zudem sollen sich - nach der Registrierung - physikalisch/anatomisch entsprechende Punkte der Daten- und der Modellmenge überlagern.
Erfindungsgemäß gibt es einige Methoden, den Lösungsraum auf realistische Lösungen zu beschränken. Eine Möglichkeit ist ein möglichst realistisches (räumliches) Bewegungsmodell zu wählen, das heisst einen geeigneten Transformations-Prototypen zu finden. Für die globale Transformation sind unsere bevorzugten Bewegungsmodelle die rigide und affine Transformation. Wie unten ausgeführt, beschreiben wir lokale Deformationen durch die Verschiebung von Kontrollpunkten von Volumen-Splines. Um die auf dem gesamten Raum definierte Transformation zu erhalten, werden die Kontrollpunkt-Verschiebungsvektoren mittels der Splines interpoliert. Wir verwenden bevorzugt dünne-Platten Splines („splines ä plaques minces", Duchon 1976, thin-plate splines, Bookstein 1989, s. Figur 3). Bei nicht-affinen Transformationen wird daher der Transformations-Prototyp bevorzugt durch die geeignete Ausgans-Position der Kontrollpunkte (im Ausgangsbild) bestimmt, durch die realistische (Volumen-) Transformation erzeugt werden können (s. Figur 3). Wir nennen diese Ausgangspositionen A-Landmarken pk (1 ≤ k < n, wobei n die Anzahl der A-Landmarken ist) und bezeichnen den durch sie festgelegten Transformations-Prototyp mit Tpk. Die Endpositionen qk der der Kontrollpunkte (im Zielbild) nennen wir B-Landmarken. Sie sind die freien Parameter der Transformation: P = (qi qn). Wir haben also Tpk((qι, ..., qn), Pι) = qi. und pk(qι qn) : R3 → R3, x → Tpk((qι qn), x). Tpk((qι qn), x) kann als geschlossener Term dargestellt werden, analytisch ableitbar nach P = (qi qn), der in
Bookstein (1989) angegeben wird. Das ermöglicht Cprov und auch C (s. nächster Absatz) nach P abzuleiten, was für die Optimierung sehr wichtig ist.
Das Bewegungsmodell wird zusätzlich durch die Regula sierung-1 echnik mitbestimmt, die einen zusätzlichen Term im Fehlerfunktional einführt, der die Minimierung der Biegung erzwingt. Der hier verwendete Term Übend = Übend (P) ist das Integral der Summe aller quadratischen zweiten Ableitungen (nach den Raumkoordinaten x) der Transformation Tpk(P, x), integriert über den Raum R3 (s. Bookstein 1989). Damit erhalten wir das Fehlerfunktional
C = Cpro + O Ubend ■
Als zweite Möglichkeit wird eine Grob-zu-Fein-Strategie angewandt, wobei die Anzahl der freien Parameter der Transformation und somit auch die Genauigkeit der Überlagerung schrittweise erhöht wird (s. unten). Diese Strategie führt zur Vermeidung unerwünschter Minima, da der verwendete Optimierungsalgorithmus nach Lösungen in der Nähe der Initialisierungswerte sucht.
Bei der erfindungsgemäßen Optimierung des bevorzugten (quadratischen) Fehlerfunktionals ist Parametervektor P* zu bestimmen, der C(P*) = minpε π C(P) erfüllt. Bevorzugt werden dabei die Parameter der Transformation mittels des Levenberg- Marquardt Algorithmus bestimmt. Der hier benötigte Gradient des Fehlerfunktionals nach P = (qi, ..., qn) lässt sich auf Grund der einfachen algebraischen Darstellung von
Tp ((qι qn), x) (s. oben) leicht berechnen. Dies gilt sowohl für die globale als auch für die lokale Registrierung.
Für andere Funktionale können andere Optimierungsstrategien sinnvoller sein. Als solche sind zu nennen: der down-hill Simplex Algorithmus, Simulated Annealing, und andere (Press et al. Numerical Recipes in C, 1992).
Für rigide und affine Registrierung kann die Optimierung auch durch den ICP
Algorithmus durchgeführt werden (Besl und McKay, IEEE Trans. PAMI, 1992).
Der Ablauf der Registrierung umfasst drei Schritte (Grob-zu-Fein), wobei der dritte noch schrittweise verfeinert wird. Von Schritt zu Schritt wächst die Anzahl der freien Parameter der zu bestimmenden Transformation, und somit die Genauigkeit der Überlagerung. Zunächst wird eine rigide Registrierung vorgenommen, bei der die Parameter für Rotation und Translation bestimmt werden. Im zweiten Schritt wird affinlinear registriert, im dritten Schritt werden auch lokale Deformationen zugelassen. Erfindungsgemäß wird diese dritte Transformation auf den oben beschriebenen Prototyp eingeschränkt, der durch die A-Landmarken bestimmt ist.
Prinzipiell können die A-Landmarken überall positioniert werden. Erfindungsgemäß werden sie automatisch gesetzt und deren Anzahl schrittweise vergrößert: Zunächst wird die beste Überlagerung für eine relativ geringe Anzahl von Kontrollpunkten bestimmt (8 in den unten beschriebenen 3D Beispielen, 4 in den 2D Beispielen), resultierend in der noch relativ globalen Transformation T(1) = Tpk (1)(P?) (definitionsgemäß ist T(0)die Identität). Nach Einfügen zusätzlicher Kontrollpunkte (wobei die neuen Verschiebungsvektoren (d.h. B-Landmarken) gemäß T(1) initialisiert werden), erhält man die nächst lokalere Transformation T(2), usw., bis der gewünschte Grad an Lokalität erreicht ist. Die automatische Positionierung der A-Landmarken kann z.B. durch eine Octree- Repräsentation der Datenpunkte erfolgen, wobei jeder Würfel des Octrees einen Kontrollpunkt in der Mitte enthält. Durch Variation der Tiefe des Octrees ist eine schrittweise Verfeinerung der Transformation leicht möglich. Die erfindungsgemäße (bevorzugte) automatische Bestimmung der A-Landmarken besteht jedoch darin, jeden Punkt aj der Datenpunktmenge mit seinem Abstand zum nächstgelegenen Punkt der Modellmenge (oder mit der 3. Potenz dieses Abstand oder mit einer anderen monotonen Funktion des Abstands) zu gewichten und auf die so gewichtete Punktmenge das k-means-Cluster-Verfahren anzuwenden (Fromel unten, Fieres et al. 2001). Die Anzahl der Cluster kann frei gewählt werden. Sie wird gemäß dem Grob-zu-Fein-Prinzip schrittweise erhöht. Für eine gegebene Feinheitsstufe v der Transformation, definieren wir also in jedem Schritt des k-mean Verfahrens die Cluster- Schwerpunkte CSJ:
CSj = ( ∑jεijaj d(T{v)(aj), Bf ) I (∑ten dtT(v) a/j, Bf ), wobei I, die Menge der Indizes der Datenpunkte ist, die dem iten Cluster-Zentrum am nächsten liegen. Die Cluster-Schwerpunkte CSj, die wir nach Konvergenz des Verfahrens erhalten, werden als Kontrollpunkte verwendet. Sie liegen in Regionen mit noch großer Entfernung zwischen Daten- und Modellpunkten. Beim Start des Verfahrens werden die 8 Eckpunkte der bounding box um die Datenpunktmenge verwendet. Bei unseren Auswertungen haben wir die Zahl der Kontrollpunkte schrittweise um 1 + 3v erhöht. Beide Verfahren zum setzten der Kontrollpunkte werden in den Figuren 4-7 verglichen.
Zur Repräsentation der nicht-rigiden Transformation sind auch andere Methoden denkbar, z.B. der Octree-Spline von Szeliski und Lavallee (1994).
Erfindungsgemäß wird im dritten Registrierungsschritt - wie oben beschrieben - eine schwache Regularisierung vorgenommen, d.h. es wird ein Term zum Fehlerfunktional addiert, der Biegung bestraft. Es lässt sich zeigen, dass sowohl die Unterbindung übermäßiger Biegung als auch das Grob-zu-fein-Vorgehen die Qualität der Überlagerung meist erheblich verbessert (z.B. die korrekte Zuordnung logisch korrespondierender Punkte). Ohne diese Verfahrensschritte werden lokale Formmerkmale zerstört.
Referenzdynamik. Es lassen sich Referenzdynamiken auswählen, die entweder an die gefundene Bewegung (Transformation) gefittet werden können, oder die, falls die Referenzdynamik als parametrisierte Transformation darstellbar ist, sich direkt an die Daten fitten lässt. Als Referenzdynamiken kommen z.B. in Frage: lineare Dynamik (affine Transformation, mit beliebiger Zeitabhängigkeit), Diffusionsdynamik, Hamiltonsche Dynamik (z.B. Hydrodynamik), elastische (harmonische) Schwingungen. Diese Dynamiken können auch kombiniert werden, gleichzeitig und nacheinander. Transformation über mehrere Zeitschritte hinweg. Die Transformation (ebenso wie die Referenzdynamik) wird erfindungsgemäß auch zwischen mehreren Zeitschritten tn-i bis tn bis tn+k bestimmt. Um eine Aufsummierung von Fehlern zu vermeiden, die bei einer bloßen Verkettung der Transformationen zwischen je zwei Zeitschritten entstehen würde, wählen wir folgende Verfahrensweise: Soll von tn ausgehend die Transformation nach tn+k berechnet werden, gehen wir wie für tn, tn+ι, tn+2, tn+3 beschrieben vor. Durch Registrierung berechnen wir die Transformationen Tnι,Tn2* ,Tn3*, die die Bilder tn mit Bild tn+1, tn+ι mit tn+2 und tn+2 mit tn+3 registrieren. Wir transformieren Bild tn (oder die entsprechende extrahierte Punktmenge) mittels Tn2*oTnι (Tn2* und Tnι verkettet), und registrieren zur Korrektur das resultierende Bild nochmals mit dem Bild aus tn+2. Das liefert die Transformation Tn2 zwischen Bild tn und Bild tn+2. Danach transformieren wir Bild tn mittels Tn3*oTn2 und registrieren zur Korrektur das resultierende Bild nochmals mit dem Bild aus tn+3- Das liefert Tn3. Wir verfahren entsprechend für die Transformation von tn nach tn-i, indem wir das für tn, tn+ι, , tn+3 beschriebene Verfahren auf tn, tn.ι, tn-2, tn-3 anwenden. Erscheinen in einem Bild, z.B. in tn+2, neue Strukturen (evt. gegeben als weitere Punkte), so werden in einem weiteren, vorgeschalteten Korrekturschritt diese, transformiert um Tn3*, dem mittels Tn3*oTn2 transformierten Bild hinzuaddiert vor der Korrekturregistrierung mit Bild tn+3-
Alternativ kann, z.B. um zu Tn2 erhalten, auch Bild tn mittels Tnι transformiert werden und das so erhaltene Bild (nach Korrektur um neue Strukturen) mit registriert werden. Und so weiter.
Für eine (eventuell nur global) bewegungskorrigierte Wiedergabe der Objekte/Bilder aus den Zeitschritten tn bis ist ein zeitlich absoluter Bezugspunkt nötig. Wählen wir als solchen Zeitschritt tn aus, so ist, um alle Bilder auf tn abzubilden, eine Möglichkeit, jeweils die Inverse (zunächst der Transformation zwischen tn und tn+ι) zu berechnen. Um die Berechnung dieser Inversen (zumindest im nicht rigiden und nicht affinen Fall) zu vermeiden, ist es i.a. am einfachsten die Punkte von tn+ι auf diejenigen von tn zu registrieren. Kombiniert mit dem oben beschriebenen Verfahren kann auch dies zwischen je zwei beliebigen Zeitschritten durchgeführt werden. Um dies in Echtzeit durchzuführen, d.h. gleichzeitig mit der Aufnahme der Bilder, sollte für jedes neue Bild nur zweimal registriert werden. Daher verfahren wir mit den beiden Korrekturschritten wie oben, wobei wir aber zunächst die Transformation zwischen tn+ιund tn berechnen, dann zwischen tn+2 und tn (unter Verwendung der ersten Transformation), etc.
Wird diese Vorgehensweise im Fall einer direkten Registrierung der Grauwertbilder ohne vorherige Punktextrahierung Angewandt, so werden die Grauwerte transformiert, wobei eine Interpolation zum Resampling für die Wiedergabe auf einem regelmäßigen diskreten Raster (Diskretisierung) verwendet wird.
Regionen homogener Bewegung. Für die wie oben beschrieben registrierten Punktemengen der Zeitschritte tn bis wird nun das bereits im Teil "Beschreibung" dargelegte "Point Distribution Model" ersteilt. Dabei werden die Hauptkomponenten ausgewählt, die mehr als a% der Form Variation repräsentieren. Typische Werte sind a = 95 oder a = 90. Einen gegebenen Punkt auf der Oberfläche/im Raum ordnen wir dann der Hauptkomponente zu, die zur gößten Distanz d zwischen dem durch Auslenkung (aus dem Durchschnittsmodell) in Richtung Hauptkomponente um die positive Standartabweichung verschobenen Punkt und dem um die negative Standartabweichung verschobenen Punkt führt. Oder die alternativ zum größten Wert d/b führt, wobei b der zur jeweiligen Hauptkomponente gehörende Eigenwert ist. Die Punkte jeder Region dieser Unterteilung, können dann getrennt mit der oben beschriebenen Auslenkung affin registriert werden, um jeder Teilregion quantitative Bewegungsparameter zuordnen zu können.
Objektbestimmung. Stellen die bei der Bildvorverarbeitung extrahierten Punkte verschiedene Objekte dar, die als solche identifiziert sind, so können diese nach der Registrierung des Bildraums noch individuell getrackt oder sogar registriert werden. Hierbei ist zunächst eine Identifizierung der jeweils gleichen (oder entsprechenden) Objekte auf den verschiedenen Bilder nötig. Anders als in Eils et al. (1998/9) ist dafür nur noch die Anwendung eines strukturellen Ähnlichkeitsmaß nötig (Mattes und Demongeot, SPIE Medical Imaging 2001), da die Registrierung die einzelnen Objekte schon aufeinander zubewegt hat. Die anschließende individuelle Registrierung ist z.B. bei Zellbildern interessant, wo man sich auch für Drehungen und Dehnungen der individuellen Zelle interessiert.
VISUALISIERUNG UND QUANTIFIZIERUNG
Die Berechnung der Grauwertbildfolge, die alle Grauwertbilder der Folge korrigiert um die Bewegung der Referenzdynamik ausgibt (oder auch korrigiert um die gesamte registrierte Bewegung), ist eine erste Visualisierungs-Anwendung. Hierbei umgeht man schrittweise wie oben beschrieben eine explizite Berechnung der Inversen (s. Teil Registrierung).
Die solchermaßen neuberechnete Bildfolge kann anschließend animiert und als Video dargestellt werden. Aber auch alle anderen Methoden der Bildfolgenanalyse und Visualisierung können darauf angewandt werden. Insbesondere verwenden wir diese korrigierte Bildfolge, falls die bewegungskorrigierten Bahnen von individuellen Objekten visualisiert werden sollen, die wie im Teil Registrierung beschrieben verfolgt wurden.
Die Erfindung umfasst mehrere Quantifizierungs- und Visualisierungsmodule, die als die unten aufgezählten Punkte einzeln oder kombiniert verwendet werden können. Erfindungsgemäß sollen sowohl die Bewegung der Objekt-/Bildpunkte visualisiert werden, als auch gewonnene quantitative Werte und diese insbesondere in Bezug auf den Bildraum.
Dies erfolgt durch eine Farbkodierung der Punkte im Bildraum und/oder durch verschiedene Muster, die verschiedene Werte quantifizierter Parameter darstellen (durch ein immer dichter werdendes Muster wird ein kontinuierlicher Parameter repräsentiert). Quantifizierungs -und Visualisierungsmodule:
1) Segmentierte Objekte oder ausgewählte Confiner im Ausgangsbildraum werden als geschlossene aber transparente, 3D gerenderte (surface rendering) Oberflächen visualisiert, im Zielbildraum als Triangulationsgitter (das mit der berechneten Transformation transformiert wurde). Beide werden sowohl vor als auch nach der Registrierung überlagert (und verschiedenfarbig) dargestellt (s. Figur 8). Auch die nur extrahierten Punktmengen können so dargestellt werden. Anhand der gefundenen Transformation werden mittels einer Unterteilung des Parameterintervalls (der Transformationsparameter) Zwischenschritte interpoliert, die interpolierten Transformationen werden auf das Ausgangsobjekt angewandt, dessen Bewegung dann animiert dargestellt werden kann.
2) Die interaktive Confinerauswahl (mit anschliessender Visualisierung) erfolgt entweder durch anklicken eines Knotens im Confinement-Tree oder durch Vorgabe eines Grauwertniveaus und das Anklicken eines Punktes im Bild, womit der Confiner auf dem gegebenen Niveau spezifiziert wird, der den Punkt enthält (oder eventuell kein Confiner). Ohne Vorgabe des Grauwertniveaus wird der kleinste Confiner im gefilterten Baum bestimmt, der den Punkt enthält. Die visualisierten Oberflächen können dann auch mit dem Zielgrauwertbild überlagert dargestellt werden. Um das Zielgrauwertbild nicht zu verdecken, können die Teile der Oberflächen oberhalb der betrachteten Ebene im Zielgrauwertbild (s. auch 4c)) weggeschnitten werden. Die überlagerte Darstellung ermöglicht auch eine visuelle Kontrolle wie gut registriert wurde.
3) Die Deformation wird durch ein in 3D gerendertes (surface rendering) Referenzgitter dargestellt. Dieses kann animiert dargestellt werden und mit den Oberflächen oder einem der Grauwertbilder überlagert (Figur 8). Für verschieden Farbkanäle werden die Referenzgitter (und evt. auch die extrahierten Punkte) verschiedenfarbig überlagert dargestellt.
4) Die farbkodierte/musterkodierte (einschließlich grauwertkodiert) Darstellung quantifizierter Werte, die für jeden Punkt im Bildraum berechnet wurden, geschieht auf folgende Weise: a) Objekte werden segmentiert oder Confiner werden ausgewählt; dann werden die 3D gerenderten Oberflächenpunkte farbkodiert/musterkodiert. b) Es werden entweder charakteristische Punkte anhand der Ausganspunktmenge bestimmt (s. Teil Bildvorverarbeitung/Punktextrahierung und Mattes und Demongeot, SPIE Medical Imaging 2001 für den gesamten Bildraum und Brett und Taylor, Image and Vision Computing 18:739-748, 2000 für Punkte auf der Oberfläche) oder regelmäßig Punkte ausgewählt oder der Benutzer klickt auf mindestens einen Punkt im Raum oder auf einer segmentierten/Confiner-Oberfläche. Für diese/diesen wird dann die Bahn mit (Fehler-) Farb(/Muster-)kodierung angezeigt (s. Figur 10). c) Alle Punkte in einer vom Benutzer interaktiv bestimmten Ebene durch das Raumvolumen werden farb-/musterkodiert dargestellt. Bei 2D Bildern ist dies der gesamte Bildraum. Die Figur 9zeigt ein Beispiel für die grauwertkodierte Größe Geschwindigkeit. d) Es werden in a) - c) folgende Größen auf diese Art und Weise dargestellt: i) Fehler zur Referenzdynamik (für extrahierte Punkte), als euklidischer Abstand zwischen Punkt transformiert mit Referenzdynamik und nächstgelegenem Punkt im Zielraum (oder zum ursprünglich gleichen Punkt transformiert mit mittels Registrierung berechneter Bewegung); ii) normierte lokale Biegung (Bookstein, Principal Warps: Thin-plate splines and the decomposition of deformations, IEEE Trans. PAMI 11 : 567-585, 1995, siehe auch Duchon, Interpolation des fonctions de deux variables suivant le principe de la flexion des plaques minces, RAIRO Analyse Numerique, 10: 5-12,1976) integriert über eine Kugel von vorgegebenem Radius um einen gegebenen Punkt im Bildraum; iii) ii) für jeden principal warp (Bookstein, IEEE Trans. PAMI, 1995) und/oder für verschiedene Tiefen des Kontrollpunkt-octrees; iv) Geschwindigkeit, Beschleunigung.
5) Visualisierung der Bahnen getrackter Objekte/Confiner (farbkodiert).
6) Visualisierung der (mittels Registrierung bestimmten) Bahnen von Oberflächenpunkten, die (im Ausgangsbild) entweder interaktiv oder regelmäßig verteilt oder als charakteristische Punkte (automatisch berechnet wie in Punkt 4 b)) definiert werden.
7) Interaktives Löschen von Punkten (z.B. in einer bounding box) oder Oberflächen oder visualisierten Bahnen.
8) Farbkodierung der Partitionierung, die gemäß dem Abschnitt Registrierung jedem Punkt im Raum eine Bewegungshauptkomponente zuordnet (womit man Regionen mit einheitlichem Bewegungstyp erhält) und jeder Bewegungshauptkomponente eine Farbe.
9) Visualisierung der Bewegung gemäß 1) für jede Hauptkomponente, für jeden principal warp, und/oder für verschiedene Tiefen des Kontrollpunkt-octrees.
10) Interpolation für Animationen und Bahnen wie in 1) beschrieben.
1 ^Quantifizierung globaler Parameter, wie globale Biegung (insbesondere für jeden principal warp, aber auch für verschiedene Tiefen des Kontrollpunkt-octrees), globaler Fehler zur Referenzdynamik (insbesondere für jede Hauptkomponente), Parameter der Referenzdynamik, sowohl für aufeinanderfolgende Schritte als auch, wie in Registrierung besprochen, über mehrere Zeitschritte hinweg und beide Werte in Relation gesetzt.
12)Lokale Parameter, wie Geschwindigkeit oder Beschleunigung, können mit klassischen statistischen Methoden weiteranalysiert werden, wie z.B. Histogrammanalyse (Anzahl der Pixel für jeden Wert des lokalen Parameters) oder (dichte-basierte) Clusteranalyse. Dabei kann die Confinement-Tree-Analyse z.B. auf die in 4c) bestimmte grauwertkodierte Ebene angewendet werden. Dies ist in Figur 9 dargestellt und gestattet eine abstrahierte Beschreibung der Bewegung, die sich für einen Vergleich von Bewegungen eignet. Die Homogenität der Bewegungsrichtung ist durch die Größe der Cluster gekennzeichnet.
Mittels des Histogramms können Wertebereiche der lokalen Parameter identifiziert werden (z.B. als 1D confiner), deren Werte besonders häufig im Bildraum vertreten sind. Die zugehörigen Pixel können im Bild/auf der Oberfläche gekennzeichnet werden (z.B. als Farbregionen).
BEISPIELE Beispiele für Anwendungen der Visualisierung und der Verfahren zur quantitativen Analyse sind: Globale Mikroskop- oder Zellkernbewegung kompensieren (s. Figur 1), Femurbeispiel für Visualisierung und quantitative Analyse, s. Fieres et al. (DAGM 2001) sowie Figuren 8-10;
Anwendung zur Analyse der Zellmembran-, sowie Chromatindynamik (Figur 10),
Visualisierung der Bahnen von Punkten in einzelnen Zellen. Dynamik von körnigen
Strukturen in Metall während des Erhitzungsprozesses;
Analyse und Visualisierung der Bewegung des Herzens, der Lunge, bei
Tumorwachstum aber auch bei Gewebeschnitten;
Dynamik der Zellkernhülle (Membranen und Lamina) während der Mitose (insbesondere im Anfangsstadium ihres Zusammenbruchs (Figur 9, Beaudouin et al. Nuclear envelope breakdown proceeds by microtubule-induced tearing of the lamina. Gell Vol. 108, 83-96,
2002, Mattes et al. New tools for visualization and quantification in dynamic processes :
Application to the nuclear envelope dynamics during mitosis. MICCAI 1323-1325, 2001)

Claims

ANSPRÜCHE
1) Verfahren zur quantitativen und visuellen Analyse von Bewegung in einer Zeitreihe von Bildern mit den Schritten: a) Bestimmung des Bewegungsvektors für jeden Punkt im Bildraum zwischen Bildern von direkt oder nicht direkt aufeinanderfolgenden Zeitschritten (d.h. der Transformation des entsprechenden Bildraums) bevorzugt mittels rigider, affiner und/oder "elastischer" (lokale Deformierungen einschließender) Überlagerung/Registrierung von Bildern der Bildreihe und Berechnung der Transformations-Parameter mit den folgenden weiteren Verfahrensschritten: a1) Bei der nicht-rigiden Registrierung werden schrittweise von grob zu fein zunächst globale und dann immer lokalere Transformationstypen vorgegeben, a2) Bei mehr als zwei Zeitschritten wird, um die Transformation für nicht direkt aufeinanderfolgende Zeitschritte zu erhalten, die Transformation nicht nur paarweise für aufeinanderfolgende Bildpaare berechnet, sondern es wird noch ein Korrektur- Registrierungsschritt nachgeschaltet; a3) aus der Transformation ergeben sich unmittelbar die lokalen, für jeden Punkt im Bild-/Zeitraum definierten, Größen Geschwindigkeit, Beschleunigung, Biegung, Spannung, Abweichung zu feinster Registrierung (d.h. Abstand zwischen Punkt transformiert bei Transformationstyp auf ausgewählter und auf lokalster Feinheitsstufe), etc., sowie die globalen Größen Biegungsenergie für die gesamte Bewegung, sowie für jeden "principal warp" getrennt (Bookstein 1989), Entropie, "Gerichtetheit" der Bewegung und die Transformationsparameter für verschiedene Feinheitsstufen der Transformation, b) Rekonstruktion der Raum-Zeit-Struktur innerhalb des Bildraums und Visualisierung selbiger mittels b1) (evt. interaktiver) Bestimmung eines Punktes (oder einer Region; oder nach regelmäßigem Schema ausgewählte Punkte im Raum oder auf der Oberfläche einer Region) für einen wählbaren Zeitpunkt, der automatischen Berechnung seiner (bzw. ihrer) Position für alle anderen Zeitpunkte anhand der in a) berechneten Transformation (für nicht aufeinanderfolgende Zeitschritte) sowie der interpolierten Darstellung als 3D gerenderte (surface rendering) Bahn (bzw. "Schlauch" für Regionen); und/oder b2) eines 3D gerenderten Referenzgitters, deformiert gemäß der in a) berechneten Transformation, animiert (Interpolation von Zwischenzeitschritten) oder nicht (Animation auch kontinuierlich über mehrere Zeitschritte hinweg), dem Bildraum überlagert (eingeblendet) oder nicht; bei einer Bildaufnahme mit mehreren Farbkanälen können die Referenzgitter, die zu den verschiedenen, getrennt betrachteten Farbkanälen gehören, verschiedenfarbig aber gleichzeitig dargestellt werden; und/oder b3) Farbkodierung/Musterkodierung (einschließlich Grauwertkodierung) von quantitativen Größen (vektorwertige Größen mittels Absolutbeträgen), die einem Punkt im Bild-/Zeitraum zugeordnet sind wie in a) beschrieben, insbesondere für (i) alle Punkte, die in einer interaktiv wählbaren Ebene im Bildraum liegen, (ii) interaktiv (oder regelmäßig) gewählte Punkte oder Oberflächenpunkte interaktiv gewählter Regionen/Konturen/Oberflächen (iii) die Punkte der in b1) bestimmten Bahnen (bzw. Schläuche) des Zeitraums; und/oder b4) einer bewegungskorrigierten Darstellung der Bahnen (bzw. Schläuche), korrigiert um rigide, affine oder eine ausgewählte Stufe der nicht-globalen Transformation, oder mittels eines bewegungskorrigierten Abspielen der
Ausgangsbildsequenz; insbesondere kann die Farbkodierung auf das Ausgangsbild oder einen anderen gegebenen Zeitpunkt rückprojiziert werden.
2) Verfahren nach Anspruch 1 , das in einem Vorverarbeitungsschritt aO) kritische (charakteristische) Punkte des Bildraums oder Oberflächenpunkte von Regionen im Bildraum extrahiert und diese in den Schritten b1), b3) und b4) anstelle interaktiv gewählter Punkte verwendet, wobei in Schritt b2) die (kritischen/Oberflächen-) Punkte des Ausgangsraums anstelle der Referenzgitter verwendet werden können.
3) Verfahren nach Anspruch 2, das zur Vorverarbeitung die Confinement-Tree-Technik (CTT) verwendet, wobei a) zur Visualisierung einer Region (eines confiners) der Anwender entweder auf einen Knoten im Baum klickt oder auf einen Punkt im Bild, worauf die Oberfläche/Kontur des kleinsten confiners (im gefilterten Baum) angezeigt wird, der diesen Punkt enthält; und/oder b) die Registrierung auf Grundlage der extrahierten Punkte (confiner- Oberflächenpunkte oder kritische Punkte, z.B. confiner-Schwerpunkte) mittels eines Punktregistrierungs-Algorithmus erfolgt, wobei sich entsprechende confiner in Ausgangs- und Zielbild vorbestimmt werden bzw. ein Algorithmus basierend auf der Minimierung eines "ikonischen" Ähnlichkeitsmasses nachgeschaltet werden können; und/oder c) transformierte confiner des Ausgangsbilds mit nicht transformierten confinem im Zielbild überlagert dargestellt werden, wobei die confiner-Oberflächen an die Stelle des Referenzgitters in 1 2) treten, und zu den Größen aus 1a3) der Abstand eines Punktes zum nächstgelegenen Punkt extrahiert im anderen Bild hinzukommt.
4) Verfahren zur Registrierung mittels CTT, das entweder a) Confiner-Schwerpunkte (CS) oder -Dichtemaxima (CD) als kritische Punkte zur Registrierung verwendet und unter Anwendung der Methodik der strukturellen outlier Bestimmung (mittels relPos, s. Mattes und Demongeot 2001) ausgehend von einer initialen Überlagerung (evt. verbessert durch direkte Anwendung einer Punktregistrierungsmethode, s. 6)) zunächst sich entsprechende confiner-Paare bestimmt und dabei nur die Paare mit bestem relPos beibehält (evt. Gemäß 6(i)), auf Grund dieser (deren CD, CS, oder Confiner-Konturen) die best fittende (im Sinne des Fehlerfunktinals s. 6) sowie Fieres et al. 2001) Transformation bestimmt, auf die Daten-Confiner anwendet und diesen Prozess iterativ wiederholt, wobei die so bestimmten Landmarken zur Erstellung eines "Point distribution model" verwendet werden können; oder b) zusammengehörige Confiner wie folgt bestimmt werden: Für die Knoten, die nach einer Bifurkation im CT eines der Bilder auftreten, werden die Knoten/Confiner mit geringstem relPos-Wert im CT des anderen Bildes gesucht, dabei werden Punkt- outlier wie in Anspruch 6) unterdrückt, danach wird für alle Confiner-Paare die rel Pos-Verteilung betrachtet, und es werden Confiner-outlier, wie in 6)(i) für Punkt- outlier beschrieben vorübergehend eliminiert, anschliessend wird eine Punktregistrierungsmethode unter Berücksichtigung zusammengehöriger Confiner angewandt, durch eventuelles Verwenden zunächst stark gestutzter CTs und danach immer weniger stark gestutzter CTs kann in a) und b) ein grob-zu-fein-Effekt erzielt werden, der auch durch/mit folgende/n Verfahren ersetzt/kombiniert werden kann und die Bilder werden zunächst sehr stark (d.h. auf grossen Skalen) (z.B. Gauss-) geglättet (bzw. in sehr grober Pixelauflösung dargestellt), und im Verlauf des Verfahrens immer schwächer geglättet (bzw. in immer feinerer Auflösung dargestellt).
5) Verfahren nach Anspruch 3, das die CTT wie in Anspruch 4 einsetzt.
6) Verfahren nach Anspruch 3, das anstelle der Vorverarbeitung mittels CTT in einem Segmentierungsschritt Objekte im Bildraum identifiziert und deren Oberfläche und/oder Schwerpunkt berechnet, die Objekte treten an die Stelle der Confiner, werden nur (unzusammenhängende) Punkte an der Objektoberfläche identifiziert (z.B. mittels eines Canny edge detectors), so können nicht nach 3b) sich entsprechende confiner/Objekte vorbestimmt werden undfür die segmentierten Objekte können insbesondere auch individuelle Translation und Rotation oder Deformierungen bestimmt werden und die Objektbahnen individuell um ausgewählte Transformationstypen korrigiert werden.
7) Verfahren zur Registrierung von einer Datenpunkt(DP)menge auf eine Referenzpunkt(RP)menge, das iterativ für eine Reihe vorgegebener Transformationstypen, die immer mehr lokale Deformierungen zulassen, deren freie Parameter so bestimmt, dass ein Fehlerfunktional minimiert wird, das die Positionen der transformierten DPe mit denjenigen der RPe vergleicht, dabei werden als Transformationstypen zunächst eine rigide (Rotation und Translation), dann eine affine Transformation gewählt und danach Transformationstypen, definiert durch eine Anzahl von Kontrollpunkten, die frei verschoben werden können (die freien Parameter der Transformation) und zwischen deren Verschiebungsvektoren mit thin-plate splines interpoliert wird (Bookstein 1989) und,die Anzahl der Kontrollpunkte wird iterativ erhöht (um immer mehr lokale Deformierungen zulassen), und die initiale Position der Kontrollpunkte wird der Form der DPe und/oder RPe oder deren relativer Lage angepasst, insbesondere kann zur Bestimmung der initialen Position der Kontrollpunkte auf die DPmenge - wobei jeder Punkt in Abhängigkeit seiner Distanz zum nächstgelegenen RP gewichtet werden kann - ein Punkt-Clustering-Algorithmus angewandt werden und die Cluster-Schwerpunkte (oder jeweils der Punkt mit höchster Dichte innerhalb eines Clusters, etc.) könnenals die initiale Position gewählt werden, insbesondere kann auch die Summe der quadratischen Abstände jedes DPs zum nächstgelegenen RP (diesem Term können die Abstände jedes Rps zum nächsten DP hinzuaddiert werden und/oder ein Regularisierungsterm der zu starke Biegung bestraft) als Fehlerfunktional gewählt werden,
Outlier können auf mehrere Arten unterdrückt werden: (i) ausgehend von der Verteilung der Distanzen zwischen DPen und dem jeweils nächstgelegenen RP werden alle DPe/RPe mit grösserer Distanz als der Mediän oder Mittelwert+Standartabweichung der Verteilung eliminiert oder (ii) anstelle der quadratischen Distanzen wird eine andere Funktion der Distanz verwendet (z.B. Betragsfunktion oder siehe M-estimator in Press et al. 1992).
8) Verfahren nach Anspruch 3, 4, und/oder 6, das zur Punktregistrierung das Verfahren aus Anspruch 7 verwendet wird.
9) Verfahren nach Anspruch 1-3, 4, 5, 6, und/oder 8, das die in 1a) (oder entsprechend) bestimmte Transformation automatisch (auch partiell) mit idealisierten dynamischen Referenztypen vergleicht (zeitlich und räumlich) wie z.B. räumlich lineare Dynamik, Diffusionsdynamik, Hamiltonsche Dynamik, elastische/harmonische Schwingungen, etc., wobeidies mit den folgenden Schritten geschieht:
OSuche der bestpassenden Referenzdynamik und Bestimmung ihrer Parameter und des punktweisen und absoluten Fehlers zur Transformation, 1evt. alternativ zu 1b): farb-/musterkodierte Darstellung des (punktweisen) Fehlers an der Oberfläche/im Bildvolumen.
10) Verfahren zur Partition des Raumes in Regionen unterschiedlicher, in sich homogener Bewegung, wobei für die einzelnen Regionen eine getrennte Bestimmung der dynamischen Parameter durchgeführt wird und dabei zunächst für die Punktemengen einer Reihe von Zeitschritten ein "Point distribution model" erstellt wird, für das die dominanten Hauptkomponenten der Bewegung ausgewählt werden, danach wird jeder Punkt des Raumes der Komponente zugeordnet, die an seiner Verschiebung während der betrachteten Zeitschritte den dominierenden Anteil hat, die verschiedenen Regionen werden durch verschiedene Farben dargestellt.
11) Verfahren zur stetigen numerischen Beschreibung der Bewegung mittels statistischer Techniken, wie Clustering und Histogramm Analyse, was den Vergleich von Bewegungen vereinfacht, Anwenden dieser Techniken auf die punktweise bestimmten lokalen Größen (z.B. auf die in 1b3) (i) ausgewählte Ebene), um Regionen zu kennzeichnen, in denen eine bestimmte Größe besonders intensiv vorkommt oder in denen gerade die Werte, die besonders oft angenommen werden, vertreten sind (clustering auf Basis des Histogramms).
12) Computerprogramm mit einer Programmcode-Einrichtung, um ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.
13) Computerprogrammprodukt mit einer Programmcode-Einrichtung, die auf einem computerlesbaren Datenträger gespeichert ist, um ein Verfahren nach einem der Ansprüche 1-11 durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird.
14) Datenverarbeitungssystem, insbesondere zum Ausführen eines Verfahrens nach einem der Ansprüche 1-11.
EP02702403A 2001-03-08 2002-03-08 Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen Withdrawn EP1444654A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP10182175A EP2284795A2 (de) 2001-03-08 2002-03-08 Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE10111226 2001-03-08
DE10111226A DE10111226A1 (de) 2001-03-08 2001-03-08 Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen
DE10144629 2001-09-11
DE10144629 2001-09-11
PCT/EP2002/002580 WO2002071333A2 (de) 2001-03-08 2002-03-08 Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen

Publications (1)

Publication Number Publication Date
EP1444654A2 true EP1444654A2 (de) 2004-08-11

Family

ID=26008719

Family Applications (2)

Application Number Title Priority Date Filing Date
EP02702403A Withdrawn EP1444654A2 (de) 2001-03-08 2002-03-08 Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen
EP10182175A Withdrawn EP2284795A2 (de) 2001-03-08 2002-03-08 Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP10182175A Withdrawn EP2284795A2 (de) 2001-03-08 2002-03-08 Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen

Country Status (4)

Country Link
US (1) US7590264B2 (de)
EP (2) EP1444654A2 (de)
AU (1) AU2002235939A1 (de)
WO (1) WO2002071333A2 (de)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787927B2 (en) * 2003-06-20 2010-08-31 Merge Cad Inc. System and method for adaptive medical image registration
US7764838B2 (en) * 2004-09-14 2010-07-27 Siemens Medical Solutions Usa, Inc. System and method for extracting an object of interest from an image using a robust active shape model
DE102005008131A1 (de) * 2005-01-31 2006-08-03 Daimlerchrysler Ag Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
EP1914683A3 (de) * 2006-06-23 2009-12-02 Julian Mattes Quantifizierung und Sichtbarmachung der Bewegung und Deformation eines oder mehrerer Objekte innerhalb einer lebenden Einheit
US20070297657A1 (en) * 2006-06-23 2007-12-27 Julian Mattes Quantification and visualization of the motion and deformation of one or several objects inside a living entity
US8064664B2 (en) * 2006-10-18 2011-11-22 Eigen, Inc. Alignment method for registering medical images
US8385687B1 (en) * 2006-12-06 2013-02-26 Matrox Electronic Systems, Ltd. Methods for determining a transformation between images
JP2008181216A (ja) * 2007-01-23 2008-08-07 Mitsubishi Electric Corp 判別器生成装置及び物体検出装置
US8035643B2 (en) * 2007-03-19 2011-10-11 Lucasfilm Entertainment Company Ltd. Animation retargeting
EP1990607A1 (de) * 2007-05-10 2008-11-12 Leica Geosystems AG Positionsbestimmungsverfahren für ein geodätisches Vermessungsgerät
US9342912B1 (en) 2007-06-06 2016-05-17 Lucasfilm Entertainment Company Ltd. Animation control retargeting
EP2161689A1 (de) * 2008-09-04 2010-03-10 Julian Mattes Auf Einschränkungsvorrichtungen basierende Registrierung und Visualisierung von Bildstrukturen
US9286691B2 (en) * 2009-04-17 2016-03-15 The Hong Kong University Of Science And Technology Motion estimation and compensation of feature-motion decorrelation
US20100266188A1 (en) * 2009-04-17 2010-10-21 Riverain Medical Group, Llc Chest x-ray registration, subtraction and display
CN102438526B (zh) * 2009-05-22 2014-05-28 株式会社岛津制作所 同步型栅格的箔影去除方法以及使用了该方法的放射线摄影装置
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US8630454B1 (en) * 2011-05-31 2014-01-14 Google Inc. Method and system for motion detection in an image
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US12260023B2 (en) 2012-01-17 2025-03-25 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
US9269140B2 (en) * 2012-12-10 2016-02-23 The Cleveland Clinic Foundation Image fusion with automated compensation for brain deformation
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9412040B2 (en) * 2013-12-04 2016-08-09 Mitsubishi Electric Research Laboratories, Inc. Method for extracting planes from 3D point cloud sensor data
US9679197B1 (en) 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US20160004983A1 (en) * 2014-07-07 2016-01-07 GM Global Technology Operations LLC Method and apparatus for quantifying dimensional variations and process capability independently of datum points
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9600929B1 (en) * 2014-12-01 2017-03-21 Ngrain (Canada) Corporation System, computer-readable medium and method for 3D-differencing of 3D voxel models
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
WO2016139925A1 (en) * 2015-03-04 2016-09-09 Sony Corporation Image processing apparatus, image processing method and image processing system
JP6759550B2 (ja) 2015-03-04 2020-09-23 ソニー株式会社 情報処理装置、プログラム、情報処理方法及び観察システム
JP6500535B2 (ja) * 2015-03-23 2019-04-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN107133549B (zh) 2016-02-29 2020-11-24 上海联影医疗科技有限公司 Ect运动门控信号获取方法及ect图像重建方法
CN106251380B (zh) * 2016-07-29 2022-07-15 上海联影医疗科技股份有限公司 图像重建方法
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
CN107392935B (zh) * 2017-07-06 2021-06-29 苏州蜗牛数字科技股份有限公司 一种基于积分公式的粒子计算方法及粒子系统
JP7091673B2 (ja) * 2018-01-25 2022-06-28 富士通株式会社 可動自由度推定装置、及び可動自由度推定プログラム
JP6973285B2 (ja) * 2018-05-15 2021-11-24 日本電信電話株式会社 テンプレート姿勢推定装置、方法、及びプログラム
CN109242759B (zh) * 2018-07-16 2022-12-13 杭州电子科技大学 基于密度聚类的图收缩分组配准方法
CN109635308A (zh) * 2018-10-15 2019-04-16 西北工业大学 管路灵敏度分析方法、装置、存储介质及电子设备
US11151731B2 (en) * 2019-08-06 2021-10-19 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion
CN111860962A (zh) * 2020-06-22 2020-10-30 国网甘肃省电力公司电力科学研究院 一种太阳辐射度变化趋势特征分析方法
CN111881205B (zh) * 2020-07-28 2022-06-10 浙江大学 多变量拍类体育运动数据的可视分析方法和系统
US11361508B2 (en) 2020-08-20 2022-06-14 Qualcomm Incorporated Object scanning using planar segmentation
CN113781531A (zh) * 2021-07-27 2021-12-10 武汉市异方体科技有限公司 一种运动物体点云模型配准方法
CN114049253B (zh) * 2021-10-14 2024-07-05 长沙韶光半导体有限公司 基于光流信息的图像处理方法及相关设备
CN114266191B (zh) * 2021-11-29 2024-04-30 武汉数字化设计与制造创新中心有限公司 一种基于密度峰值聚类的多模型时空建模方法
CN114359357B (zh) * 2021-12-29 2025-11-18 北京大学 非刚性图像配准方法及其系统和用途
CN116642440B (zh) * 2023-05-05 2024-07-23 首都师范大学 一种基于小波滤波的小基线集干涉测量方法
CN116485658B (zh) * 2023-06-19 2023-09-12 旷智中科(北京)技术有限公司 基于蒙特卡洛树搜索的多通道图像拼接的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
US6169817B1 (en) * 1998-11-04 2001-01-02 University Of Rochester System and method for 4D reconstruction and visualization
DE19930598A1 (de) 1998-12-16 2000-07-13 Univ Ruprecht Karls Heidelberg Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02071333A2 *

Also Published As

Publication number Publication date
WO2002071333A3 (de) 2004-05-13
US7590264B2 (en) 2009-09-15
AU2002235939A1 (en) 2002-09-19
US20060034545A1 (en) 2006-02-16
EP2284795A2 (de) 2011-02-16
WO2002071333A2 (de) 2002-09-12

Similar Documents

Publication Publication Date Title
WO2002071333A2 (de) Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen
DE102008046859B4 (de) 3D Segmentierung von allgemeiner Läsion in CT
EP1191476B1 (de) Vorrichtung und Verfahren zur Berechnung einer zwei Abbildungen verbindenden Transformation
DE69937897T2 (de) System und verfahren zur 4d rekonstruktion und darstellung
DE102008032006B4 (de) Verfahren zur Steurung der Bildaufnahme bei einer Bildaufnahmeeinrichtung, sowie eine Bildaufnahmeeinrichtung
DE602004009960T2 (de) System und verfahren zum erkennen und vergleichen anatomischer strukturen unter verwendung von erscheinungsbild und form
DE112004000393B4 (de) System und Verfahren zum Verfolgen einer globalen Form eines in Bewegung befindlichen Objekts
DE10296836T5 (de) System zur Modellierung statischer und dynamischer dreidimensioner anatomischer Strukturen durch 3D-Modelle
EP2584493B1 (de) Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess
DE102006030709A1 (de) Verfahren für die kenntnisbasierte Bildsegmentierung unter Verwendung von Formmodellen
DE602004008471T2 (de) Verfahren und anordnung zur bestimmung einer objektkontur
DE10392259T5 (de) Objektkorrespondenzidentifikation ohne volle Volumenregistration
DE102006035637A1 (de) Verfahren zum Erfassen und Verfolgen von deformierbaren Objekten
DE112004000381T5 (de) System und Verfahren zur Bereitstellung einer automatischen 3D-Läsionssegmentierung und von Läsionsmessungen
DE102007046582A1 (de) System und Verfahren zum Segmentieren von Kammern eines Herzens in einem dreidimensionalen Bild
WO2002021427A2 (de) Auswerten von kantenrichtungsinformation
DE102004030084B4 (de) Computerimplementiertes Verfahren zur Segmentation von Lungenknoten
DE10304360A1 (de) Unstarre Bilderfassung unter Verwendung von Abstandsfunktionen
DE19928231C2 (de) Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung
DE102006017112A1 (de) Effiziente Kerndichteschätzung von früheren Form- und Intensitätsbeispielen für die Niveausatz-Segmentierung
DE102006050364A1 (de) Verfahren zum Detektieren und Verfolgen deformierbarer Objekte unter Verwendung eines adaptiven zeitvariierenden autoregressiven Modells
WO2002093931A2 (de) Verfahren und vorrichtung zum ermitteln von bewegung in zeitlich aufeinander folgenden digitalen bildern
DE102021202784A1 (de) Verarbeitung mehrerer 2-D-Projektionsbilder mit Hilfe eines Algorithmus basierend auf einem neuronalen Netz
EP1425709A2 (de) Modellbasierte objektklassifikation und zielerkennung
DE102008036812B4 (de) Verfahren und Vorrichtung zur Segmentierung eines Objekts aus einem Bilddatensatz

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20031002

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH DE FR GB LI

17Q First examination report despatched

Effective date: 20070821

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20131001