EP1563460A1 - Image registration method - Google Patents
Image registration methodInfo
- Publication number
- EP1563460A1 EP1563460A1 EP03778261A EP03778261A EP1563460A1 EP 1563460 A1 EP1563460 A1 EP 1563460A1 EP 03778261 A EP03778261 A EP 03778261A EP 03778261 A EP03778261 A EP 03778261A EP 1563460 A1 EP1563460 A1 EP 1563460A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- criterion
- displacement
- distance
- control points
- smoothness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000006073 displacement reaction Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims abstract description 3
- 238000013459 approach Methods 0.000 claims description 4
- 238000005452 bending Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004613 tight binding model Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Abstract
Disclosed is an image registration method by iteratively determining a transformation that is optimal regarding a given distance criterion and smoothness criterion. Said method allows corresponding landmarks in the images to be definitely represented on top of each other and comprises the following steps: (1) an iteration counter and the initial displacement field are initialized; (2) the numerical solutions of the non-linear partial differential equation (PDE) are determined by means of the differential operator that can be derived from a predefined smoothness criterion and the point evaluation functionals located at given landmarks; (3) the interpolation conditions are combined; (4) a special numerical solution of the PDE is calculated by means of the force that is determined based on the distance criterion and the actual displacement field as well as the differential operator derived from the smoothness criterion; (5) the special solution is evaluated at the landmarks; (6) the coefficients are calculated in order to calculate an updated displacement; (7) the displacement field is updated and the iteration counter is increased; (8) the displacement is verified regarding convergence; and (9) steps (4) to (8) are repeated if the convergence criterion is not satisfied.
Description
Verfahren zur Bildregistrierung Image registration procedure
Die Erfindung betrifft ein Verfahren zur Bildregistrierung, also zur Korrektur von geometrischen Differenzen in unterschiedlichen Darstellungen eines Objektes. Diese Verfahren spielen z.B. in der Medizintechnik und insbesondere bei der Analyse von Gewebeveränderungen im Rahmen der Krebsfrüherkennung eine wichtige Rolle.The invention relates to a method for image registration, ie for correcting geometric differences in different representations of an object. These processes play e.g. play an important role in medical technology and especially in the analysis of tissue changes in the context of early cancer detection.
Es sind bereits Verfahren bekannt, die eine Bildregistrierung aufgrund eines Distanzkriteriums durchführen (Lisa Gottesfeld Brown: A survey of Image registration techniques, ACM Computing Surveys, 24(4): 325-376, 1992, Jan Modersitzki: Numerical Methods or Image Registration, Habilitation, Institute of Mathematics; University of Lübeck, Germany, 2002). Die allgemeine Methodik basiert auf der Optimierung einer anwendungskonform zu wählenden Zielfunktion, die typischerweise auf Bildintensitäten basiert. Bei derartigen Verfahren werden außer der Bildinformation keine weiteren Kenntnisse zur Registrierung herangezogen. Das Ergebnis der Registrierung ist nur im Sinne einer globalen Mittelung optimal. Kommen in einer Anwendung speziellen, charakteristischen Punkten (wie z.B. in medizintechnischen Anwendungen den sogenannten anatomischen Landmarken) eine besondere Bedeutung zu, sind diese Verfahren also nicht empfehlenswert.Methods are already known that perform image registration based on a distance criterion (Lisa Gottesfeld Brown: A survey of Image registration techniques, ACM Computing Surveys, 24 (4): 325-376, 1992, Jan Modersitzki: Numerical Methods or Image Registration, Habilitation , Institute of Mathematics; University of Lübeck, Germany, 2002). The general methodology is based on the optimization of an application-specific target function, which is typically based on image intensities. In the case of such methods, no further knowledge is used for registration apart from the image information. The result of the registration is only optimal in the sense of global averaging. If special, characteristic points (such as the so-called anatomical landmarks) are of particular importance in an application, these methods are therefore not recommended.
Neben der Bildregistrierung auf der Basis eines Distanzkriteriums sind auch Verfahren bekannt, die die Bildregistrierung ausschließlich auf der Basis von Kontrollpunkten durchführen (Karl Rohr: Landmark-based Image Analysis. Computational Imaging and Vision. Kluwer Academic Publishers, Dordrecht, 2001). Bei diesen Verfahren werden den zu registrierenden Ansichten prospektiv oder retrospektiv korrespondierende Kontrollpunkte assoziiert, die dann mittels Registrierung zum Abgleich gebracht werden. Der Nachteil dieser Verfahren besteht darin, dass die Registrierung ausschließlich Kontrollpunkte berücksichtigt. Weitere Bildinformationen wie z.B. Bildintensitäten können bei diesen Verfahren nicht berücksichtigt werden. Bei unbefriedigenden Registrierungsergebnissen kann ein Anwendet nur versuchen, das Ergebnis durch geschicktes Einfügen weiterer Kontrollpunkte zu verbessern. Das Einfügen weiterer Kontrollpunkte basiert auf subjektivem Ausprobieren. Hierzu gibt es keine Richtlinien und insbesondere kein automatisiertes Vorgehen.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bildregistrierung zu entwickeln, das sowohl zu einer perfekten, garantierbaren Korrespondenz einer Anzahl vorgegebener Kontrollpunkte führt, als auch zu einem im Sinne des Distanzkriterium optimalen Ergebnis.In addition to image registration based on a distance criterion, methods are also known that perform image registration exclusively on the basis of control points (Karl Rohr: Landmark-based Image Analysis. Computational Imaging and Vision. Kluwer Academic Publishers, Dordrecht, 2001). In this procedure, the checkpoints to be registered are associated prospectively or retrospectively with corresponding checkpoints which are then compared by means of registration. The disadvantage of this method is that the registration only takes control points into account. Further image information, such as image intensities, cannot be taken into account with this method. If the registration results are unsatisfactory, an application can only try to improve the result by cleverly inserting further control points. The insertion of further control points is based on subjective trial and error. There are no guidelines for this and in particular no automated procedure. The invention has for its object to develop a method for image registration that leads to a perfect, guaranteed correspondence of a number of predetermined control points, as well as to an optimal result in terms of the distance criterion.
Diese Aufgabe wird erfindungsgemäß gelöst durch iterative Bestimmung einer hinsichtlich eines vorgegebenen Distanz- und Glattheitskriteriums optimalen Transformation, bei dem in den Bildern korrespondierende Kontrollpunkte garantierbar aufeinander abgebildet werden, durch (1.) Initialisieren eines Iterationszählers und des initialen Verrük- kungsfeldes, (2.) Bestimmen der numerischen Lösungen der nicht-linearen partiellen Differentialgleichung (PDE) mit dem aus einem vorgegebenen Glattheitskriterium ableitbarem Differentialoperator und den an vorgegebenen Kontrollpunkten lokalisierten Punkt- auswertefunktionalen, (3.) Zusammenfassen der Interpolationsbedingungen, (4.) Berechnen einer speziellen numerischen Lösung der PDE mit der auf der Basis des Distanzkriteriums und des aktuellen Verruckungsfeldes bestimmten Kraft und dem aus dem Glattheitskriterium abgeleiteten Differentialoperator, (5.) Auswerten der speziellen Lösung an den Kontrollpunkten, (6.) Bestimmen der Koeffizienten zur Berechnung einer aktualisierten Verrückung, (7.) Aufdatieren des Verruckungsfelds und Erhöhen des Iterationszählers, (8.) Überprüfen der Verrückung auf Konvergenz und (9.) bei Nichterfüllen des Konvergenzkriteriums erneutes Durchlauf der Schritte (4.) bis (8.).This object is achieved according to the invention by iteratively determining a transformation which is optimal with regard to a predetermined distance and smoothness criterion, in which corresponding control points are guaranteed to be mapped to one another by (1.) initializing an iteration counter and the initial displacement field, (2.) Determination of the numerical solutions of the non-linear partial differential equation (PDE) with the differential operator derived from a given smoothness criterion and the point evaluation functionals located at given control points, (3.) summarizing the interpolation conditions, (4.) calculating a special numerical solution of the PDE with the force determined on the basis of the distance criterion and the current displacement field and the differential operator derived from the smoothness criterion, (5.) evaluating the special solution at the control points, (6.) determining the coefficients to calculate an updated displacement, (7.) update the displacement field and increase the iteration counter, (8.) check the displacement for convergence and (9.) if the convergence criterion is not met, repeat steps (4.) to (8.).
Der Verfahrensablauf wird durch das Flußdiagramm der Figur 1 beschreibend abgebildet.The process sequence is depicted in a descriptive manner by the flow chart in FIG. 1.
Zur Vereinfachung bezeichnen wir eine Ansicht als Referenzbild (Referenz R) und eine weitere, zu korrigierende Ansicht als Template (Template T). Formal handelt es sich hierbei um Funktionen eines ύf-dimensionalen reellen Raumes bzw. einer Teilmenge Ω a Rrf in die Menge der reellen Zahlen. Jedem -dimensionalen Punkt x e Ω wird also durch i?(x)und T(x) ein Wert zugewiesen, der z.B. als Färb- oder als Grauwert interpretiert werden kann.To simplify matters, we refer to one view as a reference image (reference R) and another view to be corrected as a template (template T). Formally, these are functions of an ύf-dimensional real space or a subset Ω a R rf in the set of real numbers. Each? -Dimensional point xe Ω is assigned a value by i? (X) and T (x), which can be interpreted as a color or gray value, for example.
In praktischen Anwendungen - insbesondere bei jeder Programmierung des hier erläuterten Verfahrens - können Referenz und Template in diskreter Form vorliegen. Die Bilder sind dann Funktionen auf einem Gitter (z.B. Ω = {l,...,«, }x {l,...,«2 }} ^a die Dimension d = 2) in eine diskrete Menge (z.B. in die Menge {θ,...,255}) und können als aus Pixeln
aufgebaut interpretiert werden. Für das Registrierungsverfahren sind diese Einschränkungen und insbesondere die konkrete Art der Diskretisierung unerheblich und unwesentlich. Die Einschränkungen werden lediglich zum Zwecke einer vereinfachten Beschreibung vorgenommen. Das Verfahren lässt sich analog auf beliebige -dimensionale Datensätze anwenden.In practical applications - especially when programming the method explained here - the reference and template can be in discrete form. The images are then functions on a grid (eg Ω = {l, ..., «,} x {l, ...,« 2 }} ^ a the dimension d = 2) in a discrete set (eg in the Set {θ, ..., 255}) and can be made up of pixels constructed to be interpreted. These restrictions and in particular the specific type of discretization are irrelevant and insignificant for the registration process. The restrictions are only made for the purpose of a simplified description. The method can be applied analogously to any one-dimensional data sets.
Die Aufgabe der Bildregistrierung besteht in der Bestimmung einer Verrückungsfunktion u, so dass die Forderung R(x) = Tu (x) mit der Abkürzung Tu (x) := T(x -u(x)) für alle x e Ω möglichst gut erfüllt wird. Zur Berechnung des durch u deformierten Templates Tu wird bei diskret vorgegebenen Bildern wie in der Bildverarbeitung allgemein üblich eine Interpolation (z.B. -linear) durcrizuführen sein, da die verrückten Koordinaten x - u(x) nicht notwendig auch auf dem diskreten Gitter liegen müssen. Wie eine solche Interpolation erfolgt, ist für das Registrierungsverfahren nicht wesentlich.The task of image registration is to determine a displacement function u, so that the requirement R (x) = T u (x) with the abbreviation T u (x): = T (x -u (x)) for all xe Ω if possible is well fulfilled. To calculate the by u deformed template T u, will be common durcrizuführen an interpolation (eg -linear) as in the image processing at discrete predetermined images because the crazed coordinates x - do not necessarily need also lie on the discrete grid u (x). How such an interpolation is carried out is not essential for the registration procedure.
Über die oben formulierte Ähnlichkeit hinaus müssen sowohl Forderungen an die Glattheit der Verrückung gestellt werden sowie an Abbildungseigenschaften in Bezug auf eine Anzahl von vorab gewählten Kontrollpunkten. Im einfachsten Fall sollen die Koordinaten jedes der m Kontrollpunkte KT des Templates auf den jeweils korrespondierenden Kontrollpunkt KR der Referenz abgebildet werden, j = \,...,m . Stimmen die Koordinaten der Kontrollpunkte bereits überein, was ggf. durch eine Vorregistrierung gewährleistet werden kann, so gilt also u = 0 in diesen Punkten.In addition to the similarity formulated above, demands must be made on the smoothness of the displacement as well as on imaging properties in relation to a number of pre-selected control points. In the simplest case, the coordinates of each of the m control points K T of the template are to be mapped to the corresponding control point K R of the reference, j = \, ..., m. If the coordinates of the control points already match, which can possibly be ensured by pre-registration, then u = 0 applies in these points.
Wie bei Optimierungsproblemen üblich kann die Bestimmung eines Minimierers des oben genannten Distanzkriteriums mittels eines Gradientenabstiegsverfahren in iterativer Weise erfolgen. Im Prinzip kann hierbei jedes beliebige Distanzkriterium gewählt werden. Die den gängigen Distanzkriterien assoziierten Kräfte finden sich in der Literatur (Modersitzki 2002). Die konkrete Art der Berechnung dieser Kräfte ist für das Registrierungsverfahren jedoch nicht wesentlich.As is customary in the case of optimization problems, a minimizer of the abovementioned distance criterion can be determined in an iterative manner by means of a gradient descent method. In principle, any distance criterion can be selected. The forces associated with the common distance criteria can be found in the literature (Modersitzki 2002). However, the specific way in which these forces are calculated is not essential for the registration process.
Als Glattheitskriterium kann wiederum prinzipiell jedes aus der Literatur bekannte Funktional genutzt werden. Aus dem Glattheitskriterium lässt sich ein partieller Differentialoperator A ableiten. Für die in der Literatur verwendeten Kriterien sind diese Operatoren bekannt (Modersitzki 2002). Die gesuchte Verrückung u lässt sich dann als Lösung einer nicht-linearen partiellen Differentialgleichung (PDE) charakterisieren.
Zur Bestimmung einer numerischen Lösung dieser PDE verwenden wir eine finite Differenzen Approximation des Differentialoperators, die dann auf ein Gleichungssystem für die Gitterwerte der Verrückung führt. Die konkrete Diskretisierung der Differentialgleichung ist jedoch für das Registrierungsverfahren ohne Bedeutung.In principle, any functional known from the literature can be used as a smoothness criterion. A partial differential operator A can be derived from the smoothness criterion. These operators are known for the criteria used in the literature (Modersitzki 2002). The desired shift u can then be characterized as a solution of a non-linear partial differential equation (PDE). To determine a numerical solution of this PDE we use a finite difference approximation of the differential operator, which then leads to an equation system for the lattice values of the displacement. However, the concrete discretization of the differential equation is irrelevant for the registration process.
Diese Vorgehensweise deckt sich mit dem Verfahren für die ausschließlich auf dem Distanzkriterium und dem Glattheitskriterium basierende Methode. Der neue Aspekt besteht in einer geeigneten Einbindung der vorgegebenen Kontrollpunkte in die Berechnung der Verrückung, bei der eine Korrespondenz der Kontrollpunkte garantiert werden kann. Da bereits Verfahren zur Bestimmung der Verrückung auf der Basis des Distanz- und des Glattheitskriteriums bekannt sind, geben wir ein Verfahren an, welches Teillösungen in geeigneter Weise zu einer Gesamtlösung kombiniert, z.B. als m ue(x) = v°(x) + ∑λJ evj (x) , e Ω, £ = l,...,d .This procedure coincides with the procedure for the method based solely on the distance criterion and the smoothness criterion. The new aspect consists in a suitable integration of the specified control points in the calculation of the displacement, in which correspondence between the control points can be guaranteed. Since methods for determining the displacement based on the distance and smoothness criteria are already known, we specify a method that combines partial solutions in a suitable manner to form an overall solution, e.g. as mu e (x) = v ° (x) + ∑ λ J e vj (x), e Ω, £ = l, ..., d.
Bezeichnet A den zum Glattheitsterm gehörigen Differentialoperator und / das zum Distanzkriterium gehörige Kraftfeld, dann ist v° eine numerische Lösung von Av° = -f , die Funktionen vJ sind numerische Lösungen der distributioneilen PDE AvJ = δJ , j = \,...,.m wobei δJ das Punktauswertefunktional (Dirac-Stoß) lokalisiert am Kontrollpunkt KT'J bezeichnet. Die konkrete numerische Methode für die Lösung der PDE ist für das Registrierungsverfahren unerheblich.If A denotes the differential operator belonging to the smoothness term and / or the force field belonging to the distance criterion, then v ° is a numerical solution of Av ° = -f, the functions v J are numerical solutions of the distribution parts PDE Av J = δ J , j = \ ,. .., m. J wherein δ the Punktauswertefunktional (Dirac) located at the control point K T 'j. The specific numerical method for the solution of the PDE is irrelevant for the registration procedure.
Aus mathematischer Sicht sind die vJ ,j ~ \,...,m , Greensche Funktionen des Differentialoperators A, die eine Lösung der PDE bei vorgegebener Einzelpunktverrückung darstellen. Eine geeignete Linearkombination dieser Greenschen Funktionen stellt daher sicher, dass bei dem Gesamtverfahren alle Kontrollpunkte wie gefordert aufeinander abgebildet werden.From a mathematical point of view, the v J , j ~ \, ..., m, are Green's functions of the differential operator A, which represent a solution of the PDE for a given single point shift. A suitable linear combination of these Green functions therefore ensures that all control points are mapped onto one another as required in the overall process.
Die Funktion v° wird über ein iteratives Verfahren so bestimmt, dass das Distanzkriterium unter Einhaltung der geforderten Glattheit minimiert wird. Die Gewichtsfaktoren /L* werden dabei so angepasst, dass die Kontrollpunkte in der geforderten Weise abgebildet werden.The function v ° is determined using an iterative process so that the distance criterion is minimized while maintaining the required smoothness. The weighting factors / L * are adjusted so that the control points are mapped in the required manner.
Die Initialisierung des Programms erfordert die Wahl eines Distanz- und eines Glattheitskriteriums bzw. der aus diesen Kriterien ableitbaren Kraft und des Differentialoperators. Auf der Basis der an den Kontrollpunkten lokalisierten Punktauswertefunktio-
nale können dann die Greenschen Funktionen vJ , j = 1,..., m mit einem numerischen Verfahren bestimmt werden. Diese werden im weiteren Verlauf des Verfahrens nicht mehr geändert.The initialization of the program requires the selection of a distance and a smoothness criterion or the force derived from these criteria and the differential operator. Based on the point evaluation function located at the control points Then the Green functions v J , j = 1, ..., m can be determined using a numerical method. These will not be changed in the further course of the procedure.
Der erfindungsgemäßen Initialisierung folgt eine gängige Iterationsprozedur, in deren Verlauf ein Gradientenabstieg unter Berücksichtigung der Kontrollpunkte durchgeführt wird. Menschliches Eingreifen ist nicht von Nöten. Das beschriebene Verfahren kombiniert also die Vorteile der auf Distanzkriterien basierenden Methoden (also insbesondere die Automatisierbarkeit und eine im Mittel optimale Registrierung) mit denen des Kontrollpunktverfahrens (garantierte Registrierung ausgezeichneter Punkte) und liefert bei Vorgabe eines initialen Satzes von Kontrollpunkten reproduzierbare, optimale Ergebnisse unabhängig vom Anwender bzw. Computerprogramm. Die Details des Computercodes spielen für das Endergebnis der Bildregistrierung keine wesentliche Rolle und beeinflussen nur die benötigte Rechenzeit und die Speicheranforderungen.The initialization according to the invention is followed by a common iteration procedure, in the course of which a gradient descent is carried out taking into account the control points. Human intervention is not necessary. The described method thus combines the advantages of the methods based on distance criteria (in particular the ability to be automated and an optimal registration on average) with those of the checkpoint procedure (guaranteed registration of excellent points) and, when specifying an initial set of checkpoints, provides reproducible, optimal results regardless of the user or computer program. The details of the computer code do not play a significant role in the final result of the image registration and only influence the required computing time and the storage requirements.
Bei den zu registrierenden Bildern kann es sich um digitale Bilder, Pixel, JPEG, wavelet basierte Objekte oder akustische Signale handeln.The images to be registered can be digital images, pixels, JPEG, wavelet-based objects or acoustic signals.
Die in dem Verfahren auftretenden linearen Gleichungssysteme können direkt, indirekt, iterativ oder mittels Multigrid gelöst werden und es kann für das Verfahren ein Referenzkoordinatensystem verwendet werden, das durch Euler- bzw. Lagrange-Koordinaten abgebildet wird.The linear equation systems occurring in the method can be solved directly, indirectly, iteratively or by means of multigrid and a reference coordinate system can be used for the method, which is represented by Euler or Lagrange coordinates.
Im übrigen schlägt die Erfindung vor ein-, zwei- oder drei-dimensionale sowie Sequenzen von ein-, zwei- und drei-dimensionalen Objekten zu registrieren, und Kontrollpunkte zu verwenden, die anatomische Landmarken, fiducial marker oder andere charakteristische Kenngrößen sind.In addition, the invention proposes to register one-, two- or three-dimensional objects as well as sequences of one-, two- and three-dimensional objects and to use control points which are anatomical landmarks, fiducial markers or other characteristic parameters.
Als Distanzkriterium wird ein solches vorgeschlagen, daß auf Intensitäts-, Kanten-, Ek- ken-, Oberflächennormalen- oder Level-Set basiert oder auf der ,Sum of Squared Diffe- rences', I2-Distanz, Korrelation, Varianten der Korrelation, Mutual-Information oder Varianten der Mutual-Information beruht.One proposed distance criterion is based on intensity, edge, corner, surface normal or level set or on the sum of squared differences, I 2 distance, correlation, variants of the correlation, Mutual information or variants of the mutual information is based.
Die dem Distanzmaß assoziierten Kraftterme sollten über Finite-Differenzen- Verfahren oder Gradientenbildung berechnet werden und das verwendete Glattheitskriterium über ein elastisches Potential oder einen fluidalen Ansatz physikalisch motiviert sein oder
über Diffusive oder Curvature-Ansätze auf zeitlichen oder räumlichen Ableitungen der Verrückung basieren.The force terms associated with the distance measure should be calculated using finite difference methods or gradient formation and the smoothness criterion used should be physically motivated via an elastic potential or a fluid approach based on temporal or spatial derivations of the displacement via diffusive or curvature approaches.
Die Randbedingungen des Differentialoperators sollten vorteilhafterweise über explizite oder implizite, Neumann-, Dirichlet-, sliding-, bending- oder periodische Randbedingungen gegeben sein.The boundary conditions of the differential operator should advantageously be given via explicit or implicit, Neumann, Dirichlet, sliding, bending or periodic boundary conditions.
Die Art der Diskretisierung des Differentialoperators sollte auf finiten Differenzen, fini- ten Volumen, finiten Elemente, Fourier-Methoden, Reihenentwicklung, Filtertechniken, Kollokationen oder Multigrid beruhen und die Interpolation -dimensional über Splines oder Wavelets durchgeführt werden.The type of discretization of the differential operator should be based on finite differences, finite volumes, finite elements, Fourier methods, series development, filter techniques, collocations or multigrid, and the interpolation should be carried out one-dimensionally using splines or wavelets.
Schließlich kann die Verrückung explizit über das Inkrement der Verrückung oder deren Zeitableitung aufdatiert werden.
Finally, the move can be explicitly updated using the increment of the move or its time derivative.
Claims
1. Verfahren zur Registrierung von Bildern durch iterative Bestimmung einer hinsichtlich eines vorgegebenen Distanz- und Glattheitskriteriums optimalen Transformation, dadurch gekennzeichnet, dass1. A method for registering images by iteratively determining an optimal transformation with regard to a given distance and smoothness criterion, characterized in that
in den Bildern korrespondierende Kontrollpunkte garantierbar aufeinander abgebildet werden, durchCorresponding control points are guaranteed to be mapped onto one another in the pictures, by
(1) initialisieren eines Iterationszählers und des initialen Verruckungsfeldes,(1) initialize an iteration counter and the initial shift field,
(2) Bestimmen der numerischen Lösungen der nicht-linearen partiellen Differentialgleichung (PDE) mit dem aus einem vorgegebenen Glattheitskriterium ableitbarem Differentialoperator und den an vorgegebenen Kontrollpunkten lokalisierten Punktaus- wertefunktionalen,(2) determining the numerical solutions of the non-linear partial differential equation (PDE) with the differential operator which can be derived from a given smoothness criterion and the point evaluation functionals located at given control points,
(3) Zusammenfassen der Interpolationsbedingungen,(3) summarizing the interpolation conditions,
(4) Berechnen einer speziellen numerischen Lösung der PDE mit der auf der Basis des Distanzkriteriums und des aktuellen Verruckungsfeldes bestimmten Kraft und dem aus dem Glattheitskriterium abgeleiteten Differentialoperator,(4) calculating a special numerical solution of the PDE with the force determined on the basis of the distance criterion and the current displacement field and the differential operator derived from the smoothness criterion,
(5) Auswerten der speziellen Lösung an den Kontrollpunkten,(5) evaluating the special solution at the control points,
(6) Bestimmen der Koeffizienten zur Berechnung einer aktualisierten Verrückung,(6) determining the coefficients for calculating an updated displacement,
(7) Aufdatieren des Verruckungsfelds und Erhöhen des Iterationszählers,(7) updating the displacement field and increasing the iteration counter,
(8) Überprüfen der Verrückung auf Konvergenz und(8) Check the madness for convergence and
(9) bei Nichterfüllen des Konvergenzkriteriums erneuter Durchlauf der Schritte (4) bis (8). (9) if the convergence criterion is not met, repeat steps (4) to (8).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein- zwei- oder dreidimensionale sowie Sequenzen von ein-, zwei- und drei-dimensionalen Objekten registriert werden.2. The method according to claim 1, characterized in that one- two- or three-dimensional and sequences of one-, two- and three-dimensional objects are registered.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kontrollpunkte anatomische Landmarken, fiducial marker oder andere charakteristische Kenngrößen sind.3. The method according to any one of the preceding claims, characterized in that the control points are anatomical landmarks, fiducial markers or other characteristic parameters.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Distanzkriterium Intensitäts-, Kanten-, Ecken-, Oberflächennormalen- oder Level-Set basiert oder auf der Sum of Squared Differences, Z2-Distanz, Korrelation, Varianten der Korrelation, Mutual-Information oder Varianten der Mutual-Information beruht.4. Method according to one of the preceding claims, characterized in that the distance criterion is based on intensity, edge, corner, surface normal or level set or on the sum of squared differences, Z 2 distance, correlation, variants of the correlation, Mutual information or variants of the mutual information is based.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die dem Distanzmaß assoziierten Kraftterme über Finite-Differenzen- Verfahren oder Gradientenbildung berechnet werden.5. The method according to any one of the preceding claims, characterized in that the force terms associated with the distance measure are calculated via finite difference methods or gradient formation.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das verwendete Glattheitskriterium über ein elastisches Potential oder einen fluidalen Ansatz physikalisch motiviert oder über Diffusive oder Curvature-Ansätze auf zeitlichen oder räumlichen Ableitungen der Verrückung basiert.6. The method according to any one of the preceding claims, characterized in that the smoothness criterion used is physically motivated via an elastic potential or a fluidic approach or based on temporal or spatial derivatives of the displacement via diffusive or curvature approaches.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Randbedingungen des Differentialoperators explizite oder implizite, Neumann-, Di- richlet-, sliding-, bending- oder periodische Randbedingungen sind.7. The method according to any one of the preceding claims, characterized in that the boundary conditions of the differential operator are explicit or implicit, Neumann, Richlet, sliding, bending or periodic boundary conditions.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Art der Diskretisierung des Differentialoperators auf finiten Differenzen, finiten Volumen, finiten Elemente, Fourier-Methoden, Reihenentwicklung, Filtertechniken, Kollokationen oder Multigrid beruht. 8. The method according to any one of the preceding claims, characterized in that the type of discretization of the differential operator is based on finite differences, finite volumes, finite elements, Fourier methods, series development, filter techniques, collocations or multigrid.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Interpolation -dimensional über Splines oder Wavelets durchgeführt wird.9. The method according to any one of the preceding claims, characterized in that the interpolation is carried out dimensionally via splines or wavelets.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verrückung explizit über das Inkrement der Verrückung oder deren Zeitableitung aufdatiert wird. 10. The method according to any one of the preceding claims, characterized in that the displacement is explicitly updated via the increment of the displacement or its time derivative.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10253784 | 2002-11-19 | ||
DE10253784A DE10253784A1 (en) | 2002-11-19 | 2002-11-19 | Image registration process |
PCT/DE2003/003805 WO2004047024A1 (en) | 2002-11-19 | 2003-11-18 | Image registration method |
Publications (1)
Publication Number | Publication Date |
---|---|
EP1563460A1 true EP1563460A1 (en) | 2005-08-17 |
Family
ID=32318525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP03778261A Ceased EP1563460A1 (en) | 2002-11-19 | 2003-11-18 | Image registration method |
Country Status (5)
Country | Link |
---|---|
US (1) | US20060008179A1 (en) |
EP (1) | EP1563460A1 (en) |
AU (1) | AU2003285277A1 (en) |
DE (1) | DE10253784A1 (en) |
WO (1) | WO2004047024A1 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7639896B2 (en) | 2004-08-09 | 2009-12-29 | Carestream Health, Inc. | Multimodal image registration using compound mutual information |
WO2006095221A2 (en) * | 2005-03-11 | 2006-09-14 | Philips Intellectual Property & Standards Gmbh | Imaging method |
JP4398919B2 (en) * | 2005-08-22 | 2010-01-13 | 株式会社東芝 | Image matching apparatus, image matching method, and image matching program |
US8064664B2 (en) * | 2006-10-18 | 2011-11-22 | Eigen, Inc. | Alignment method for registering medical images |
CN103533973B (en) * | 2011-05-16 | 2016-12-28 | 泰尔茂株式会社 | Clip and blood bag system |
US9939509B2 (en) * | 2014-01-28 | 2018-04-10 | Ohio State Innovation Foundation | Variable density incoherent spatiotemporal acquisition (VISTA) for highly accelerated magnetic resonance imaging |
US10607334B2 (en) | 2014-12-09 | 2020-03-31 | Asml Netherlands B.V. | Method and apparatus for image analysis |
WO2016091534A1 (en) | 2014-12-09 | 2016-06-16 | Asml Netherlands B.V. | Method and apparatus for image analysis |
CN107437253B (en) * | 2017-08-07 | 2020-10-23 | 江西农业大学 | Drill crop row extraction pretreatment method based on vanishing point |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5850486A (en) * | 1996-04-29 | 1998-12-15 | The Mclean Hospital Corporation | Registration of image data |
US6226418B1 (en) * | 1997-11-07 | 2001-05-01 | Washington University | Rapid convolution based large deformation image matching via landmark and volume imagery |
US6633686B1 (en) * | 1998-11-05 | 2003-10-14 | Washington University | Method and apparatus for image registration using large deformation diffeomorphisms on a sphere |
WO2002056241A1 (en) * | 2001-01-12 | 2002-07-18 | University Of Florida | Computational algorithms for image registration |
-
2002
- 2002-11-19 DE DE10253784A patent/DE10253784A1/en not_active Withdrawn
-
2003
- 2003-11-18 AU AU2003285277A patent/AU2003285277A1/en not_active Abandoned
- 2003-11-18 WO PCT/DE2003/003805 patent/WO2004047024A1/en not_active Application Discontinuation
- 2003-11-18 EP EP03778261A patent/EP1563460A1/en not_active Ceased
- 2003-11-18 US US10/535,682 patent/US20060008179A1/en not_active Abandoned
Non-Patent Citations (1)
Title |
---|
See references of WO2004047024A1 * |
Also Published As
Publication number | Publication date |
---|---|
US20060008179A1 (en) | 2006-01-12 |
DE10253784A1 (en) | 2005-06-02 |
WO2004047024A1 (en) | 2004-06-03 |
AU2003285277A1 (en) | 2004-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1191476B1 (en) | Device and method for calculating a matching transformation between two images | |
CN104008538B (en) | Based on single image super-resolution method | |
DE102008032006B4 (en) | Method for controlling the image recording in an image recording device, and an image recording device | |
EP1958154B1 (en) | Method for topographical presentation of alterations in an examined brain | |
EP2284795A2 (en) | Quantitative analysis, visualization and motion correction in dynamic processes | |
DE10392259T5 (en) | Object correspondence identification without full volume registration | |
WO2005059831A1 (en) | Elastic image registration | |
DE102007019514A1 (en) | Subject e.g. patient head, three-dimensional digital image data`s target structures segmenting method for medical imaging application, involves segmenting structure based on optimal sequence and limiting segmenting area to segment structure | |
DE102005003605A1 (en) | Previous knowledge, level representation and visual grouping | |
DE102010016034A1 (en) | Methods and systems for displaying quantitative segmental data in 4D rendering | |
EP1563460A1 (en) | Image registration method | |
DE102006050364A1 (en) | Method for detecting and tracking deformable objects, requires obtaining time-varying auto-regressive model of previous movement of object | |
Attia et al. | Spatially aware melanoma segmentation using hybrid deep learning techniques | |
Rogelj et al. | Validation of a nonrigid registration algorithm for multimodal data | |
Freiman et al. | A curvelet-based patient-specific prior for accurate multi-modal brain image rigid registration | |
EP3391337A1 (en) | Image processing systems and methods | |
Boone et al. | ROOD-MRI: Benchmarking the robustness of deep learning segmentation models to out-of-distribution and corrupted data in MRI | |
Oeuvray et al. | A new derivative-free algorithm for the medical image registration problem | |
DE102020210136A1 (en) | Magnetic resonance imaging reconstruction using machine learning | |
CN100550056C (en) | In image sequence, carry out the method and system of motion correction | |
Färber et al. | Live-wire-based segmentation using similarities between corresponding image structures | |
DE19829170C2 (en) | Calculation and representation of 2- or 3-dimensional deformations of spatial structures | |
Kasiri et al. | Multi-modal image registration using structural features | |
Boukellouz et al. | Evaluation of several similarity measures for deformable image registration using T1-weighted MR images of the brain | |
Escalante-Ramírez et al. | Motion estimation and segmentation in ct cardiac images using the hermite transform and active shape models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20050510 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL LT LV MK |
|
DAX | Request for extension of the european patent (deleted) | ||
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED |
|
18R | Application refused |
Effective date: 20060623 |