DE69919464T2 - Elektronische Vorrichtung zur Bildausrichtung - Google Patents

Elektronische Vorrichtung zur Bildausrichtung Download PDF

Info

Publication number
DE69919464T2
DE69919464T2 DE69919464T DE69919464T DE69919464T2 DE 69919464 T2 DE69919464 T2 DE 69919464T2 DE 69919464 T DE69919464 T DE 69919464T DE 69919464 T DE69919464 T DE 69919464T DE 69919464 T2 DE69919464 T2 DE 69919464T2
Authority
DE
Germany
Prior art keywords
image
data
transformation
module
overlay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69919464T
Other languages
English (en)
Other versions
DE69919464D1 (de
Inventor
Alexis Roche
Nicholas Ayache
Gregoire Malandain
Xavier Pennec
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut National de Recherche en Informatique et en Automatique INRIA
Original Assignee
Institut National de Recherche en Informatique et en Automatique INRIA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut National de Recherche en Informatique et en Automatique INRIA filed Critical Institut National de Recherche en Informatique et en Automatique INRIA
Application granted granted Critical
Publication of DE69919464D1 publication Critical patent/DE69919464D1/de
Publication of DE69919464T2 publication Critical patent/DE69919464T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Description

  • Die Erfindung betrifft das Gebiet der Verarbeitung vergleichbarer "zweidimensionaler" (2D) oder "dreidimensionaler" (3D) digitaler Bilder und insbesondere die Überlagerung bzw. Ausrichtung eines ersten Bilds in Bezug auf ein zweites Bild.
  • Unter Ausrichtung versteht man, aufgrund der die beiden vergleichbaren digitalen Bilder darstellenden Datensätze eine Transformation zu bestimmen, die ermöglicht, von einem der Bilder, "Bezugsbild" genannt, zum "Schwebebild" genannten anderen Bild überzugehen. Mit anderen Worten handelt es sich darum, in zwei vergleichbaren Bildern enthaltene Strukturen bestmöglich zu überlagern bzw. auszurichten.
  • Das Wort "vergleichbar" muss hier im weitesten Sinne verstanden werden. Es qualifiziert also insbesondere "monomodal" genannte Bilder, aufgenommen bzw. erfasst mit Hilfe einer selben Aufnahme- bzw. Erfassungstechnik, entweder von im Wesentlichen identischen Bereichen eines selben Objekts zu unterschiedlichen Zeitpunkten oder von im Wesentlichen identischen Bereichen zweier unterschiedlicher Objekte. Aber es qualifiziert auch sogenannte "multimodale" Bilder, aufgenommen mit Hilfe zweier unterschiedlicher Aufnahme- bzw. Erfassungstechniken, entweder von im Wesentlichen identischen Bereichen eines selben Objekts zu eventuell unterschiedlichen Zeitpunkten oder von im Wesentlichen identischen Bereichen zweier unterschiedlicher Objekte.
  • Eine bestimmte Anzahl Ausrichtungs- bzw. Überlagerungstechniken sind dem Fachmann bekannt. Dies ist insbesondere der Fall bestimmter Techniken, Voxel-Überlagerungstechniken genannt, bei denen es darum geht, die Überlagerungstransformation zu bestimmen, die ein gewisses Maß an Ähnlichkeit zwischen den überlagerbaren Voxeln zweier vergleichbarer Bilder maximiert. Das Voxel ist das kleinste Volumenelement (3D) oder Flächenelement (2D) eines Bildes. Generell ordnet man jedem Voxel ein Datenelement aus dem Datensatz zu, der dieses Bild repräsentiert. Ein Datenelement umfasst wenigstens eine Positionskomponente, die ermöglicht, das entsprechende Element zu identifizieren, und eine Intensitätskomponente, die den Wert einer gewählten physikalischen Größe in dieser Position darstellt.
  • Solche Voxel-Überlagerungstechniken arbeiten zum Beispiel mit dem WOODS-Kriterium oder dem VIOLA-Kriterium oder auch der sogenannten Umkehrinformation. Diese Techniken sind nicht vollkommen zufriedenstellend, insbesondere wenn sie zur Ausrichtung bzw. Überlagerung multimodaler Bilder benutzt werden.
  • Die vorliegende Erfindung schlägt eine Änderung der oben genannten Techniken vor.
  • Sie schlägt zu diesem Zweck eine elektronische Bildverarbeitungsvorrichtung vor, die einen Überlagerungsmodul umfasst, der einerseits einen ersten Modul umfasst, fähig zur Berechnung einer Hauptfunktion, welche die Korrelationsverhältnisse (so wie weiter unten definiert) zwischen den Daten eines ersten Datensatzes, repräsentativ für ein "Bezugsbild" genanntes erstes Bild, und den Daten eines zweiten Datensatzes, repräsentativ für ein "Schwebebild" genanntes zweites Bild, darstellt, und andererseits einen zweiten Modul umfasst, fähig eine Überlagerungstransformation zu bestimmen, die ermöglicht, aufgrund der durch den ersten Modul berechneten Hauptfunktion das Schwebebild dem Bezugsbild zu überlagern.
  • Unter einer "die Korrelationsverhältnisse darstellenden Funktion" versteht man die Funktion der Wahrscheinlichkeitstheorie, die üblicherweise nicht symmetrisch ist und die für einen ersten Datensatz dessen Ähnlichkeitsgrad mit einem zweiten Datensatz misst, unabhängig von den Intensitätsniveaus eines der beiden Datensätze. Mit dem Zweck der sprachlichen Vereinfachung assimiliert man in allem was folgt die Hauptfunktion dem Korrelationsverhältnis. Selbstverständlich wird jedes Mal darauf Bezug genommen, wenn man den Wert des Korrelationsverhältnisses bezeichnet und nicht die Funktion, die sie darstellt.
  • Außerdem muss das Korrelationsverhältnis (als Funktion) sowohl entsprechend seiner klassischen Annahme verstanden werden, das heißt begleitet von einer euklidischen Norm "zweiter Ordnung" als auch entsprechend einer sehr allgemeinen Annahme, bei der es entweder von einer nicht-euklidischen Norm von beliebiger aber nicht zweiter Ordnung begleitet wird oder irgendeiner quadratischen Form zweiter Ordnung.
  • Bei einer besonders vorteilhaften Ausführungsart umfasst der Überlagerungsmodul einen dritten Modul, fähig aufgrund der genannten ersten und zweiten Datensätze eine Verbundfunktion der Wahrscheinlichkeitsdichte (oder ein zweidimensionales Histogramm) zu berechnen, die repräsentativ ist für die Intensität des zweiten Bildes (Schwebebild) in Abhängigkeit von der Intensität des ersten Bildes (Bezugsbild), wobei der erste Modul dann fähig ist, das Korrelationsverhältnis aufgrund dieser Wahrscheinlichkeitsdichte-Verbundfunktion zu berechnen. Dies ermöglicht, die Berechnung des Korrelationsverhältnisses zu erleichtern.
  • Nach einer anderen Charakteristik der Erfindung sieht man mechanische oder elektronische Einrichtungen vor, die ermöglichen, unter den beiden Bildern dasjenige zu bestimmen, das als Bezugsbild dient (erstes Bild), und jenes, das als "Schwebebild" dient (zweites Bild), wobei man weiß, dass das Schwebebild jenes ist, das dem Bezugsbild durch die Überlagerungsoperation überlagert werden muss.
  • Bei einer Variante, die dazu bestimmt ist, die Bestimmung des Korrelationsverhältnisses (als Funktion) zu erleichtern, sieht man einen vierten Modul vor, um den ersten und den zweiten Datensatz (Bezugssatz und Schwebesatz in einen dritten Datensatz zu transformieren, der Daten enthält, deren Positionskomponenten jeweils jeder der Positionskomponenten des zweiten Satzes (Schwebesatz) oder des ersten Satzes (Bezugssatz) entspricht. Die Intensitätskomponenten des dritten und zweiten (oder ersten) Satzes können also direkt in jedem Voxel verglichen werden, da die einander zugeordneten Positionskomponenten sich entsprechen. Je nach Variante versorgt der vierte Modul direkt entweder der ersten Modul für die Berechnung des Korrelationsverhältnisses oder den dritten Modul für die Berechnung der Wahrscheinlichkeitsdichte-Verbundfunktion.
  • Vorteilhafterweise erfolgt die Transformation des ersten (oder zweiten) Datensatzes zum dritten Datensatz durch Anwendung einer Initialisierungs-Überlagerungstransformation, gefolgt von einer Interpolation, vorzugsweise de trilinearen Typs.
  • Nach wieder einer anderen Charakteristik der Erfindung bestimmt der zweite Modul die Hauptfunktion (Korrelationsverhältnis), indem er nach einem ausgewählten Kriterium ein Maximum dieser Funktion unter dem Maximum oder den Maxima, welche sie besitzt, selektiert, wobei die Überlagerungstransformation dann aufgrund dieses selektierten Maximums bestimmt wird.
  • Die Überlagerungstransformationen werden vorzugsweise ausgewählt unter beliebigen n-dimensionalen geometrischen Transformationen, wobei n wenigstens zwischen den Werten 2 und 3 ausgewählt wird, je nach Dimension der Bilder.
  • Noch besser ist es, die Überlagerungstransformation bei der Gesamtheit n-dimensionalen Affintransformationen zu bestimmen und insbesondere bei den sogenannten "rigiden" Transformationen. Aber man kann sie vor allem auch bei den sogenannten "nichtrigiden" Transformationen bestimmen.
  • Bei einer besonders vorteilhaften Variante wird die Überlagerungstransformation iterativ berechnet. Zu diesem Zweck bestimmt der zweite Modul, ob die Überlagerungstransformation, die aufgrund der Hauptfunktion bestimmt wird (Korrelationsverhältnis), ein ausgewähltes Kriterium verifiziert. Im Falle einer Nicht-Verifizierung dieses Kriteriums wird die soeben verifizierte Überlagerungstransformation an den vierten Modul adressiert hinsichtlich eines Austauschs der vorhergehend zur Erlangung des dritten Datensatzes benutzten Transformation. Es wird dann ein neues Korrelationsverhältnis berechnet und eine neue Überlagerungstransformation durchgeführt. Diese Operation wird dann solange wiederholt, bis eine Überlagerungstransformation das Verifizierungskriterium befriedigt, oder bis die Anzahl der Wiederholungen der Operation einen festgelegten, eventuell anpassbaren Wert erreicht hat.
  • Mit dem Zweck, die Berechnungen zu vereinfachen, kann das Korrelationsverhältnis aufgrund eines Teils (von Teilen) des ersten und/oder zweiten Datensatzes, die ein ausgewähltes Kriterium zum Beispiel der Intensität oder der Zugehörigkeit zu einem Bereich verifizieren, geschätzt werden.
  • Die Erfindung wird insbesondere aber nicht ausschließlich auf digitale medizinische Bilder angewendet und noch spezieller auf Bilder, die von unterschiedlichen Aufnahme- bzw. Erfassungstechniken stammen.
  • Die Erfindung schlägt auch ein Verfahren zur Bearbeitung von zwei Datensätzen vor, die jeweils erste und zweite vergleichbare digitale Bilder darstellen, das einen Schritt zur Überlagerung des ersten Bildes durch das zweite Bild enthält, der einen ersten Teilschritt umfasst, darin bestehend, eine Hauptfunktion zu berechnen, die repräsentativ ist für die Korrelationsverhältnisse zwischen den Daten des ersten Satzes und den Daten des zweiten Satze, und einen zweiten Teilschritt umfasst, darin bestehend, ausgehend von dieser berechneten Hauptfunktion eine Transformation zur Überlagerung des einen Bildes durch das andere zu bestimmen.
  • Weitere Merkmale und Vorteile der Erfindung gehen aus der nachfolgenden detaillierten Beschreibung hervor, die sich auf die folgenden beigefügten Figuren bezieht:
  • die 1 zeigt schematisch eine bevorzugte Ausführungsart der Erfindung;
  • die 2 ist ein Blockdiagramm, das die Verarbeitungsschritte eines bevorzugten erfindungsgemäßen Verfahrens darstellt;
  • die 3 zeigt eine Wahrscheinlichkeitsdichte-Verbundfunktion (FDPC) von Bildern, die man durch Magnetresonanz oder durch computerunterstützte Tomographie oder Scanographie erlangt hat;
  • die 4A bis 4C zeigen das mit der Wahrscheinlichkeits-Verbundfunktion der 3 verbundene Korrelationsverhältnis in Abhängigkeit von einer der Gold-Strandardtransformation nahen Transformation mit dem Parameter tx gleich ungefähr 26,3 mm jeweils für Teilabtastungen der Verhältnisse 2 × 2 × 1 (A), 8 × 8 × 1 (B) und 12 × 12 × 1 (C); und
  • die 5A und 5B zeigen jeweils in ihrem linken Teil zwei Scanographie-Bilder, die auf vergleichbare Magnetresonanzbildern eines Gehirns ausgerichtet sind, und in ihrem rechten Teil die beiden Magnetresonanzbilder des Gehirns, deren Konturen den ausgerichteten Scanographiebilder des linken Teils überlagert sind; diese Bilder entsprechen im Wesentlichen der Wahrscheinlichkeitsdichte-Verbundfunktion (FDPC) und den jeweils in den 3 und 4 dargestellten Korrelationsverhältnissen.
  • Die Zeichnungen sind im Wesentlichen verlässlich und können infolgedessen nicht nur einem besseren Verständnis der Erfindung dienen, sondern auch zu ihrer Definition beitragen.
  • Die Bildüberlagerung ist auf zahlreichen Gebieten von immer größerer Bedeutung, wenn es darum geht, vergleichbare Analysen von Bildern durchzuführen, die man entweder durch unterschiedliche Techniken oder durch dieselbe Technik aber zu unterschiedlichen Zeitpunkten erhält.
  • In der Folge wird zum Beispiel Bezug genommen auf eine Verarbeitung vergleichbarer digitaler Bilder auf dem Gebiet der Medizin. Es handelt sich um Bilder von der Art, wie sie im linken Teil der 5A und 5B partiell dargestellt sind, wobei es sich um Bilder des Gehirns desselben Menschen handelt.
  • Auf dem Gebiet der Medizin erlangt man einen Datensatz, der ein n-dimensionales Bild (nD) repräsentiert, mit Hilfe von Geräten wie Röntgenstrahlen-Scannern oder Kernspinresonanz-Geräten oder – allgemeiner – jeder Geräteart, mit der man Bilder von Intensitätsschwankungen aufnehmen bzw. erfassen kann. Die häufig benutzten Techniken sind die der Magnetresonanz, der computerunterstützten Tomographie oder Scanographie und der Positonenemissionstomographie.
  • Jedes Bild wird aufgeteilt in Elementarteile, Voxel genannt (oder Pixel, wenn das Bild nur zweidimensional ist). Ein Datenelement eines ein Bild Nd darstellenden Datensatzes umfasst also wenigstens eine Postionskomponente, die n räumliche Koordinaten darstellt, bezogen auf ein dreidimensionales Bezugssystem, und eine Intensitätskomponente, die den Wert der in dieser Position gemessenen physikalischen Größe darstellt, generell enthalten zwischen den Werten 0 und 1 oder 1 und 256. Die gemessene physikalische Größe hängt selbstverständlich von der benutzten Aufnahme- bzw. Erfassungstechnik ab. Tatsächlich, um genauer zu sein, bilden die Daten eines Satzes eine Liste (oder Tabelle) und die Position des Datenelements in dieser Liste liefert die Positionskoordinaten.
  • Im Falle einer Magnetresonanzerfassungstechnik wird das erfasste 3D-Bild durch eine Vielzahl gestapelter 2D-Schnitte gebildet, in denen die Intensitätsschwankungen die Protonendichte des Gewebes darstellen.
  • Die erfindungsgemäße Vorrichtung ist angepasst an die Verarbeitung von solchen Datensatzpaaren, die repräsentativ sind für erste und zweite Bilder. Sie ist noch genauer angepasst an die Überlagerung des Bezugsbild Ir genannten ersten Bildes durch das Schwebebild If genannte zweite Bild. Diese Vorrichtung umfasst im Allgemeinen einen Rechner, verbunden mit Mensch/Maschine-Schnittstellen und Anzeigeeinrichtungen des Typs Videomonitor, welche die Sichtbarmachung der unverarbeiteten und verarbeiteten Bilder möglich machen.
  • Die erfindungsgemäße Vorrichtung umfasst einen Überlagerungsmodul 1 (partiell und schematisch dargestellt in der 1), der einen ersten J1[I1] und einen zweiten J2[I2] Datensatz erhält, entweder direkt oder über einen Bestimmungsmodul 2.
  • Dieser Bestimmungsmodul hat die Aufgabe, eines der beiden Bilder als "Bezugsbild" Ir zu bestimmen und das andere als "Schwebebild" If, wobei das Schwebebild If dem Bezugsbild Ir überlagert werden muss. Ein solcher Bestimmungsmodul kann durch einen Operator "mechanisch" realisiert werden, zum Beispiel über die Mensch/Maschine-Schnittstelle, und in diesem Fall kann der Operator selbst das Bezugsbild und das Schwebebild bestimmen, nachdem er das erste und zweite Bild gesehen hat. Er kann aber auch "autonom" sein, wenn er einen Entscheidungs-Teilmodul umfasst, fähig das erste und zweite Bild zu unterscheiden nach einem Kriterium zu vergleichen, das ausgewählt wurde, um das Bezugsbild und das Schwebebild zu bestimmen.
  • Selbstverständlich kann man eine Variante der erfindungsgemäßen Vorrichtung vorsehen, bei das erste und das zweite Bild, mit denen der Überlagerungsmodul 1 gespeist wird, direkt und respektiv das Bezugsbild Ir und das Schwebebild If sind.
  • In der Folge wird das erste Bild I1 dem Bezugsbild Ir assimiliert und das zweite Bild I2 dem Schwebebild If.
  • Der Überlagerungsmodul 1 hat die Aufgabe, eine Überlagerungstransformation zwischen dem ersten und dem zweiten bild zu bestimmen. Diese Transformation ermöglicht, eine Überlagerung des ersten und zweiten Bildes mit einer Genauigkeit herzustellen, die ein Zehntel eines Volumenelements (oder Voxel) erreichen kann und von irgendwelcher Art sein kann, vorzugsweise aber von der "rigiden" Art ist.
  • Dieser Überlagerungsmodul 1 umfasst wenigstens einen ersten Modul zu Berechnen einer Ähnlichkeitsfunktion zwischen den beiden Bildern If und Ir, sowie einen zweiten Modul 5, eher dazu bestimmt, die Überlagerungsfunktion T zu bestimmen, die ermöglicht, das zweite Bild (oder Schwebebild) dem ersten Bild (oder Bezugsbild) zu überlagern, und die auf einem Ausgang 3 geliefert wird.
  • Wenn der Überlagerungsmodul 1 Teil eines Rechners ist, speist der Ausgang 3 generell einen Analysemodul, der zum Beispiel ermöglicht, aufgrund er überlagerten Bilder Verformungsfelder zu messen.
  • Die Ähnlichkeitsfunktion, auch Hauptfunktion oder Korrelationsverhältnis (als Funktion) genannt, wird in der Folge mit η(If/I ~r(T)) bezeichnet.
  • Vorzugsweise, aber nicht obligatorisch, bestimmt der erste Modul 4 das Korrelationsverhältnis η aufgrund eines zweidimensionalen Verbund-Histogramms, geliefert durch einen dritten Modul 6.
  • Noch genauer bestimmt man eine Wahrscheinlichkeitsdichte-Verbundfunktion FDPC, oder Verbund-Histogramm, repräsentativ für die Intensität des zweiten Bildes in Abhängigkeit von der Intensität des ersten Bildes, und ordnet dann jedem Bild ein Histogramm zu, das interpretiert wird als eine Marginal-Wahrscheinlichkeitsdichte-Verbundfunktion.
  • Diese Wahrscheinlichkeitsdichte-Verbundfunktion FDPC wird aufgrund erster und zweiter Bilder oder genauer erster J1[I1] und zweiter J2[I2] Datensätze bestimmt.
  • Folglich, obgleich dies nicht obligatorisch ist, sieht man in dem Überlagerungsmodul 1 einen vierten Modul 7 vor, der dazu dient, den ersten Datensatz J1 (repräsentativ für das Bezugsbild Ir) in einen dritten Datensatz J3[I ~r(Tn)] zu transformieren, der Daten aufweist, deren Positionskomponenten im Wesentlichen identisch sind mit den Positionskomponenten des zweiten Datensatzes J2, der repräsentativ ist für das Schwebebild If. Selbstverständlich könnte man den zweiten Datensatz in einen dritten Datensatz transformieren, anstelle des ersten Datensatzes.
  • Um die Berechnung des Korrelationsverhältnisses n zu beschleunigen, ist es vorteilhaft, über Datensätze zu vertilgen, die sich in Bezug auf die Position entsprechen.
  • Man geht von der Tatsache aus, dass die Zerlegung jedes Bildes in Voxel entsprechend zum Beispiel regelmäßigen Gittern erfolgen kann. Mit anderen Worten hat jedes Gitter eine Struktur mit einfachen kubischen Maschen, wobei die Spitzen jeder Masche ein Voxel darstellen. Man vertilgt also über ein erstes Gitter G1 für das Bezugsbild Ir und ein zweites Gitter G2 für das Schwebebild If. Selbstverständlich könnten die Gitter andere Konfigurationen sein.
  • Im Allgemeinen entspricht das zweite Gitter des Schwebebilds nicht dem ersten Gitter des Bezugsbilds. Man versucht also, die beiden Gitter G1 und G2 zu paaren, vorzugsweise gemäß einer Affintransformation. In bestimmten Fällen beschränkt man sich auf sogenannte "rigide" Affintransformationen, die sich aus einer Rotation und einer Translation zusammensetzen.
  • Sobald das zweite Gitter G2 mit dem ersten Gitter G1 gepaart ist, präsentieren die Daten des ersten Datensatzes neue Positionskomponenten (wenigstens ein Teil von ihnen), da sie in einem Bezugssystem gemessen werden, das verknüpft ist mit dem Schwebebild If und folglich mit dem zweiten Gitter G2. Man muss dann neue Intensitätskomponenten der Daten bestimmen, deren Positionskomponenten aufgrund der Anwendung der Transformation Tn modifiziert worden sind.
  • Dazu führt man vorzugsweise eine Interpolation des trilinearen Typs durch. Wenn die Werte der Intensitätskomponenten in der Menge enthalten sind, die von 1 bis 255 geht, kann auf die Interpolation eine Rundungsoperation folgen, so dass der in eine bestimmte Positionskomponente interpolierte Intensitätswert auf die nächste ganze Zahl gerundet wird. Außerdem – und noch immer vorzugsweise – werden die Daten (oder Voxel) des ersten transformierten Gitters, die keine ausgewählte Anzahl – zum Beispiel 8 – von Nachbarn in dem zweiten Gitter G2 besitzen, eliminiert. Die Transformation, gefolgt von der Interpolation und eventuell von Operationen zur Rundung und Elimination besonderer Voxel, angewendet auf den ersten Datensatz, liefert den dem transformierten Bild [I ~r(Tn)] zugeordneten dritten Datensatz J3.
  • In dem in der 1 dargestellten Beispiel liefert der vierte Modul 7 dem dritten Modul 6 die zweiten J2[If] und dritten J3[I ~r(Tn)], damit er die Wahrscheinlichkeitsdichte-Verbundfunktion FDPC (oder Verbund-Histogramm) bestimmt. Diese Funktion und der mathematische Weg, die seine Erlangung ermöglichen, findet sich im Anhang 1. Ein Beispiel eines solchen FDPC-Histogramms zeigt die 3, wo das überlagerte Bild (zweites Bild) durch Scanographie hergestellt wurde, während das Bezugsbild (erstes Bild) mit Hilfe einer Magnetresonanztechnik hergestellt wurde.
  • Mit dem oben beschriebenen Formalismus wird also die Variable X oder Y, welche die Intensitätskomponente jedes Datenelements eines Datensatzes darstellt, einer Zufallsvariablen gleichgesetzt. Mit anderen Worten: wenn man nach dem Zufallsprinzip ein Voxel (oder ein Datenelement) eines Bilds auswählt, zum Beispiel des ersten I1, ist die Wahrscheinlichkeit, eine Intensität des Werts i zu erhalten gleich dem Verhältnis zwischen der Anzahl der Voxel Ni des ersten Bilds (oder der Anzahl seiner Datenelemente), die eine Intensität des Werts i besitzen, und der Gesamtzahl N der Voxel dieses Bildes (N = ΣNi).
  • Man muss hier präzisieren, dass dieser Zufallscharakter künstlich ist und nicht verwechselt werden darf mit der stochastischen Art einer Geräuschmessung.
  • Die Wahrscheinlichkeitsdichte-Verbundfunktion FDPC, geschätzt durch den dritten Modul 6, wird an den ersten Modul geliefert, damit dieser das Konelationsverhältnis (als Funktion) η bestimmt.
  • Um ein Konelationsverhältnis zu bestimmen, so wie definiert in der Wahrscheinlichkeitstheorie, muss man zunächst den Raum definieren, in dem dieses Verhältnis berechnet wird, sowie die assoziierte Norm.
  • Die Erfindung kann in zahlreichen mit unterschiedlichen Normen assoziierten Raumtypen angewendet werden. So kann man sich in den Raum L2(R) der reellen Zufallsvariablen eines summierbaren Quadrats versetzen. Dieser Raum ist ein Hilbert-Raum für das Skalarprodukt und besitzt eine euklidische Norm des Standardtyps (zweiter Ordnung). Aber man kann auch in einem mit der Standard-Norm 1 versehenen Raum L1(R) oder in anderen Systemen arbeiten, die mit einer nicht-euklidischen Norm beliebiger, sich von der zweiten unterscheidenden Ordnung versehen sind. Man kann auch in Räumen arbeiten, die eine beliebige quadratische Form zweiter Ordnung haben.
  • Die mathematische Definition des Korrelationsverhältnisses η liefert der Anhang 1 im Rahmen des Raums L2(R) der reellen Summierquadrat-Zufallsvariablen. Resümierend ist das Korrelationsverhältnis eine Funktion der beiden reellen Zufallsvariablen X und Y, die diesem Zufallsvariblenpaar (X, Y) einen reellen Wert zuordnet, der zu dem geschlossenen System [0;1] gehört. In dem Maße, wie X und Y die Intensitätskomponenten von I ~r(Tn) und If darstellen, misst diese Funktion die Ähnlichkeit der beiden "Objekte", dargestellt durch das Bezugsbild Ir und das Schwebebild If, unabhängig von den Intensitätsniveaus eines der beiden Bilder und vorzugsweise von denen des Bezugsbilds Ir. Mit anderen Worten ermöglicht diese Funktion (Korrelationsverhältnis), den Grad funktionaler Abhängigkeit zwischen den beiden Zufallsvariablen zu quantifizieren, welche die Intensitätskomponenten des ersten und zweiten Bildes darstellen.
  • Das bestimmte Korrelationsverhältnis (als Funktion) η, geliefert durch den ersten Modul 4, wird dann zum zweiten Modul 5 übertragen. In der Informatiksprache sagt man, dass man dem zweiten Modul 5 einen Pointer über die Funktion η (Korrelationsverhältnis) sendet.
  • Der zweite Modul 5 umfasst einen Rechenmodul 8, der die Überlagerungstransformation T bestimmt, die das Korrelationsverhältnis η maximiert. Man kann dies in mathematischer Form neu formulieren:
    T = argmax [η(YT/X)], wo YT und X die den Bildern I ~f(Tn) und Ir zugeordneten Zufallsvariablen bezeichnen (in diesem Beispiel), wobei argmax[f] die Gruppe der Werte bezeichnet, für die eine Funktion f maximal ist.
  • Da die Funktion η mehrere lokale Maxima haben kann, auch desselben Werts, ist der Rechenmodul 8 so eingerichtet, dass er eines dieser Maxima wählt und ihm die Überlagerungstransformation zuordnet. Das zum Wählen eines Maximums angewendete Verfahren hängt von dem durch den Rechenmodul 8 benutzten Rechenmodul ab. Ein Auswahlkriterium kann darin bestehen, jedes Maximum von η mit einem Schwellenwert zu vergleichen. Unter der Annahme, dass η nur ein einziges Maximum aufweist, so wie dargestellt in der 4 (die das von der in der 3 dargestellten Wahrscheinlichkeitsdichte-Verbundfunktion abgeleitete Korrelationsverhältnis darstellt), ist die Bestimmung der Überlagerungstransformation T besonders einfach und es ist nicht wirklich notwendig, auf sie das Auswahlkriterium anzuwenden.
  • Vorzugsweise wird die Überlagerungstransformation T unter den Fachmann gut bekannten dreidimensionalen rigiden Transformationen bestimmt. Aber es ist klar, dass man andere Transformationstypen benutzen könnte, um die Überlagerungstransformation T zu bestimmen, insbesondere nicht-rigide Transformationen.
  • Ebenfalls vorzugsweise, wie dargestellt in der 1, erfolgt die Bestimmung der Überlagerungstransformation iterativ. Wenn man nämlich eine Überlagerungstransformation von großer Genauigkeit realisieren will, muss man verifizieren, ob die durch den Rechenmodul 8 bestimmte Transformation Tn den erwünschten Genauigkeitsgrad aufweist, der durch den Operator festgelegt werden kann.
  • Dazu ist am Ausgang des Rechenmodul 8 ein Testmodul 9 vorgesehen, der die Transformation Tn einem Test unterzieht, indem er sie zum Beispiel mit einem Wahlstopp-Kriterium vergleicht. Ein solches Kriterium kann sich auf den Schwankungsabstand zwischen zwei aufeinanderfolgenden Transformationen Tn-1 und Tn beziehen, wobei auf Stopp entschieden wird, wenn der Schwankungsabstand kleiner ist als ein gewählter Schwellenwert (sogenanntes Konvergenzkriterium). Ein solches Konvergenzkriterium ist üblicherweise direkt in den angewendeten Optimierungsalgorithmus integriert. Selbstverständlich könnte man andere bzw. weitere Testkriterien vorsehen, zum Beispiel ein Kriterium, das sich auf den Grad der Überlagerung des Bezugsbilds durch das Schwebebild bezieht.
  • Der Testmodul 9 hat in dem in der 1 dargestellten Beispiel zwei Ausgänge, nämlich den Ausgang 3 des Überlagerungsmoduls 1, der die "finale" Überlagerungstransformation T liefert, wenn Tn das gewählte Kriterium verifiziert, und einen Ausgang 10, der mit dem vierten Modul 7 verbunden ist, um ihm die Überlagerungstransformation Tn zu liefern, wenn sie das gewählte Kriterium nicht verifiziert.
  • Mit anderen Worten, wenn die durch den Rechenmodul 8 bestimmte Überlagerungstransformation Tn durch den Testmodul 9 als ausreichend gut beurteilt wird, liefert dieser auf seinem Ausgang 3 die finale Überlagerungstransformation T, während, wenn Tn als nicht ausreichend gut beurteilt wird, der Testmodul 9 die Überlagerungstransformation Tn dem vierten Modul 7 durch seinen Ausgang 10 liefert.
  • Es ist klar, dass bei den vereinfachten Varianten der Erfindung, die keinen vierten Modul und/oder dritten Modul besitzen, die Überlagerungstransformation Tn direkt dem ersten Modul 4 oder dem dritten Modul 6 geliefert wird.
  • Die Überlagerungstransformation Tn, die (in diesem Beispiel) der vierte Modul 7 erhält, ersetzt dann die vorhergehende Transformation, die gespeichert war und die ermöglicht hatte, den dritten Datensatz J3[I ~r(Tn)] zu bestimmen.
  • Bei der ersten Verarbeitung der Datensätze kann die durch den vierten Modul 7 angewendete Transformation T0 als eine Initialisierungs-Transformation betrachtet werden. Selbstverständlich betrifft diese Realisierungsart nur die Vorrichtungen, bei denen der Überlagerungsmodul 1 eine iterative Verarbeitung durchführt, wie dargestellt in der 1.
  • Versehen mit dieser neuen Transformation Tn (bei der zweiten Iteration n = 1) bestimmt der vierte Modul 7 dann einen neuen dritten Datensatz J3[I ~r(Tn)], den er dann zum dritten Modul 6 überträgt (wenn die Vorrichtung einen solchen umfasst), so dass die Wahrscheinlichkeitsdicht-Verbundfunktion FDPC neu berechnet und dann zum ersten Modul 4 übertragen wird, hinsichtlich der Bestimmung eines der letzten Transformation Tn zugeordneten neuen Korrelationsverhältnisses η. Dieses neue Korrelationsverhältnis wird dann dem zweiten Modul 5 geliefert, damit sein Rechenmodul 8 eine neue Überlagerungstransformation Tn bestimmt (bei der zweiten Iteration, n = 2 am Ausgang des Rechenmoduls 8).
  • Vorzugsweise umfasst der zweite Modul 5 einen Speicher 11, in dem alle durch den Rechenmodul 8 bestimmten Überlagerungstransformationen Ti (i = n) abgespeichert werden (nach und nach). Dieserart kann der Rechenmodul 8 einen Optimierungsalgorithmus anwenden, zum Beispiel des Typs Powell, dem Fachmann gut bekannt. Dieser Powell-Algorithmus beruht auf einem Verfahren mit multidimensionalen Richtungssätzen, gekoppelt mit einer Brent-Linien-Optimierung von der Art wie beschrieben in der Veröffentlichung von W. H. Press, B. P. Flannery, S. A. Teukolski und W. T. Vetterling, Numerical Recipes in C. Cambridge University Press, 2. Ausgabe, 1992. Selbstverständlich können andere Algorithmen benutzt werden.
  • Um die neue Überlagerungstransformation Tn zu bestimmen, bedient sich der Rechenmodul 8 zugleich des neuen Korrelationsverhältnisses η, das soeben durch den ersten Modul 4 neu berechnet wurde, und der vorhergehenden Überlagerungstransformationen Ti, gespeichert in dem Speicher 11. Die neue Überlagerungstransformation Tn, die aus dieser Berechnung resultiert, wird dann zum Testmodul 9 übertragen, der durch Anwendung des gewählten Kriteriums entscheidet, sie entweder am Ausgang 3 in Form der finalen Überlagerungstransformation T auszugeben, oder sie am Ausgang 10 auszugeben, sodass eine neue Iteration durchgeführt wird. Dieser Mechanismus wird wiederholt, entweder bis zur Erlangung einer finalen Überlagerungstransformation T, welche das gewählte Kriterium verifiziert oder wenn die Anzahl der Iterationen einen vorher festgelegten Schwellenwert überschreitet, den der Operator eventuell anpassen kann.
  • Die Verarbeitungsschritte eines erfindungsgemäßen Verfahrens, das die oben beschriebene Iteration anwendet, sind in der 2 in Form eines schematischen Blockdiagramms dargestellt.
  • Das in dieser 2 dargestellte erfindungsgemäße Verfahren umfasst einen ersten Schritt 100, in dem das erste Bild als Bezugsbild Ir bezeichnet ist und das zweite Bild als Schwebebild If. In einem zweiten Schritt 110 führt man eine Transformation des das Bezugsbild Ir(Tn) repräsentierenden ersten Datensatzes durch, um eine Überlagerung der Positionskomponenten der Daten des zweiten Datensatzes durch die Positionskomponenten der Daten des ersten Datensatze zu erhalten. Anschließend, in einem dritten Schritt 120, führt man mit den transformierten Daten des ersten Datensatzes eine Interpolation durch, vorzugsweise des trilinearen Typs, um die neuen Intensitätskomponenten zu bestimmen, die den neuen Positionskomponenten des ersten Satzes J1 entsprechen. Dies liefert einen mit dem ersten Datensatz J1 verknüpften dritten Datensatz J3[I ~r(Tn)].
  • Anschließend, in einem vierten Schritt 130, bestimmt man eine Wahrscheinlichkeitsdichte-Verbundfunktion FDPC aufgrund des zweiten Datensatzes J2 und des dritten Datensatzes J3[I ~r(Tn)], um eine wahrscheinliche Darstellung des Bezugsbilds J3[I ~r(Tn)] und des Schwebebilds If zu erhalten.
  • Dann, in einem fünften Schritt 140, berechnet man eine Hauptfunktion, repräsentativ für die Korrelationsverhältnisse zwischen den Daten des ersten Satzes J1 (tatsächlich die des dritten Satzes J3) und den Daten des zweiten Satzes J2.
  • In einem sechsten Schritt 150 schreitet man zu der Bestimmung einer Überlagerungstransformation Tn, dazu bestimmt, die Überlagerung des Bezugsbilds Ir durch das Schwebebild If zu ermöglichen.
  • Vorzugsweise führt man am Ende dieses sechsten Schritts mit der Überlagerungstransformation Tn einen Test 160 durch, um zu bestimmen, ob sie einen ausreichenden Qualitätsgrad aufweist. Wenn die am Ende des Schritts 150 bestimmte Überlagerungstransformation Tn das Kriterium verifiziert, das man beim Tests 160 auf sie anwendet, wird die Überlagerungstransformation Tn als die finale Überlagerungstransformation T betrachtet, was das Verfahren beendet. Wenn hingegen die Überlagerungstransformation Tn das beim Test 160 auf sie angewendete Kriterium nicht verifiziert, dann wird die genannte Überlagerungstransformation Tn zurückgeschleift zum zweiten Schritt 110, wo sie die vorhergehende Transformation ersetzt, die auf das durch den ersten Datensatz repräsentierte Bezugsbild Ir angewendet worden ist. Die Schritte 110 bis 160 werden dann ebenso oft wie nötig neu begonnen, um eine finale Transformation T zu erhalten, deren Qualitätsgrad ausreichend gut ist, oder eben so oft wie das Verfahren erlaubt, wenn dieses eine gewählte, eventuell anpassbare maximale Anzahl Iterationen umfasst.
  • Selbstverständlich sind einige der Schritte des oben mit Bezug auf die 2 beschriebenen Verfahrens nicht notwendig. So könnte man von Schritt 100 direkt zu Schritt 140 gehen, ohne die Transformation des ersten Satzes, die Interpolation und die Berechnung der Wahrscheinlichkeitsdichte-Verbundfunktion FDPC durchzuführen. Außerdem könnte man nur Schritt 130 weglassen und die Schritte 110 und 120 behalten.
  • Das gleiche gilt für die erfindungsgemäßen Vorrichtungen, wie schon weiter oben erläutert. Man kann nämlich beweisen, dass es möglich ist, das Korrelationsverhältnis (als Funktion) zu bestimmen, ohne vorher ein Verbund-Histogramm des Bezugs- und Schwebebilds (oder FDPC) zu bestimmen. Dazu genügt es, die im Anhang 1 angegebenen Gleichungen in einem lokalen Formalismus neu zu schreiben, da die Verbund-Wahrscheinlichkeit der beiden Bilder durch eine einfache Normalisierung ihres zweidimensionalen Histogramms definiert wird. Es ist folglich möglich, eine einfache Relation zwischen der sogenannten marginalen Wahrscheinlichkeit der Zufallsvariablen, welche die Intensitätskomponenten des Bezugsbilds repräsentiert, und den Ni Intensitätskomponenten der das genannte Bezugsbild repräsentierenden Daten auszudrücken, die eine selbe Intensität des Werts i aufweisen. Diese Berechnung ist im Anhang 2 detailliert angegeben.
  • Außerdem ist es, um die Berechnungen zu vereinfachen und folglich die Rechenzeiten zu verkürzen, möglich, die Bestimmung der Überlagerungstransformation aufgrund bestimmter Daten der Datensätze der Bezugs- und Schwebebilder durchzuführen. Mit anderen Worten ist es möglich, bestimmte Daten der Datensätze vorher auszuwählen, so dass nur diese selektierten Daten verarbeitet werden müssen, wobei die anderen Daten in Bezug auf die Überlagerungsoperation als unerheblich betrachtet werden.
  • In den 4A bis 4C sind drei Verarbeitungsbeispiele der Datensätze der Bezugs- und Schwebebilder für drei verschiedene Selektionen dargestellt (auch Unter- bzw. Teilabtastungen genannt). Das in der 4A dargestellte Konelationsverhältnis wurde aufgrund einer Teilabtastung des zweiten Datensatzes erlangt, der das Schwebebild (Scanographie) mit einem Faktor 2 × 2 × 1 repräsentiert. Mit anderen Worten wurden jedes zweite Datenelementen in der X-Richtung und jedes zweite Datenelement in der Y-Richtung weggelassen.
  • Die 4B und 4C zeigen jeweils die Korrelationsverhältnisse für die Teilabtastungen der Daten des zweiten Datensatzes eines Schwebebilds (Scanographie) mit jeweils den Faktoren 8 × 8 × 1 und 12 × 12 × 1.
  • Zwei Beispiele von Bildüberlagerungen (erlangt durch Scanographie) sind in den 5A und 5B dargestellt, wobei die linken Teile dieser Figuren das ausgerichtete Bild (Scanographie) darstellen, während die rechten Teile dieser Figuren die Bezugsbilder des Magnetresonanztyps darstellen, denen die Konturen der wichtigen Teile des ausgerichteten Bildes (Scanographie) überlagert wurden.
  • Die erfindungsgemäße Vorrichtung kann in Form von Software- bzw. Programmmodulen in einen Speicher integriert sein – zum Beispiel einen Massenspeicher – von einer oder mehreren Recheneinrichtungen des Typs Arbeitsstation und/oder Computer.
  • Für detailliertere Beschreibungselemente kann man die Veröffentlichung "Multimodal Image Registration by Maximization of the Correlation Ratio" von A. Roche, G. Malandain, N. Ayache und X. Pennec in dem INRIA-Forschungsbericht konsultieren, der nach der Einreichung der vorliegenden Patentanmeldung veröffentlicht wird.
  • Die Erfindung ist nicht auf die oben nur beispielhaft beschriebenen Ausführungsarten beschränkt, sondern schließt alle Varianten mit ein, die sich der Fachmann im Rahmen der Patentansprüche vorstellen kann.
  • Es wurden also eine 2D- oder 3D-Bildverarbeitungsvorrichtung – und das dazugehörende Verfahren – zur Verarbeitung von vor allem medizinischen Bildern insbesondere des Gehirns beschrieben. Aber es ist klar, dass die Erfindung nicht auf dieses Gebiet beschränkt ist. Sie kann auch auf anderen medizinischen sowie auf nichtmedizinischen Gebieten angewendet werden, wo das Ausrichten bzw. Überlagern von 2D- oder 3D-Objekten von Interesse ist.
  • Außerdem ist eine Bildverarbeitungsart beschrieben worden, bei der n-dimensionale Ausrichtungs- bzw. Überlagerungs-Affintransformationen benutzt wurden, insbesondere des rigiden Typs. Aber die Erfindung umfasst allgemeiner auch die nicht-rigiden Ausrichtungs- bzw. Überlagerungstransformationen, vor allem beliebige n-dimensionale geometrische Transformationen wie zum Beispiel die Transformationen des Spline-Typs.
  • ANHANG 1
  • Es sei L2 der Raum der reellen Summierquadrat-Zufallsvariablen:
    Figure 00140001
    wo E den Operator "Erwartung" bezeichnet.
  • L2 ist ein Hilbert-Raum bezüglich des Skalar-Produkts <X, Y> = E(XY), und es entspricht ihm die Norm:
    Figure 00150001
    was man neu schreiben kann:
    Figure 00150002
    wo die Operatoren Var und StdDev jeweils die "Varianz" und die "Standard"-Abweichung bezeichnen.
  • Aufgrund der hilbertschen Struktur von L2 ist es möglich, einen Orthogonalitätsbegriff zwischen zwei Variablen X und Y zu definieren: X ⫠ Y ←→ E(XY) = 0was ermöglicht, zu beweisen, dass: X und Y unabhängig → X – E(X) ⫠ Y – E(Y)
  • Man kann folglich dank der fundamentalen Eigenschaften des Skalarprodukts den Winkel zwischen den beiden Variablen X und Y bestimmen: (X, Y) = ∥X∥2∥Y∥2cosα
  • L2 enthält außerdem den eindimensionalen Raum Δ der Determinationsvariablen, das heißt denen, die konstant sind in dem Raum der Zustände Ω. Folglich – gegeben eine Variable X – kann die Erwartung E neu geschrieben werden:
  • Figure 00150003
  • E(X) ist folglich die orthogonale Projektion von X auf Δ. Man kann E(X) dann folgendermaßen neu schreiben:
  • Figure 00150004
  • Mit Hilfe dieses Formalismus kann man die funktionale Abhängigkeit zwischen zwei unabhängigen Variablen X und Y bestimmen. In diesem Fall liefert die Kenntnis eines Ereignisses X = x eine neue Information über Y und jedes Ereignis X = x induziert eine konditionelle Wahrscheinlichkeitsdichtefunktion für Y:
    Figure 00150005
    dieser Funktion entspricht a posteriori die Erwartung von Y: Φ*(x) = E(Y|X = x) = ∫yp(y|x)dy man erhält also für jedes Ereignis X: E(Y|X) = Φ*(X)und man kann verifizieren, dass: E[E(Y|X] = E(Y)was ausdrückt, dass E(Y|X) eine Zufallsvariable Funktion von X ist, die Y am nächsten ist: Φ* = arg minΦ ∥Y – Φ(X)∥2
  • Die geometrische Interpretation des konditionellen Raums ist anschließend angegeben. Es sei Lx der Unter- bzw. Teilraum jeder möglichen Funktion φ von X: Lx = L2 ∩{Φ(X)|Φ : R → R}man hat also: Y – E(Y|X) ⫠ E(Y|X) – E(Y)und durch Anwendung des pythagoreischen Theorems findet man die Varianz:
  • Figure 00160001
  • Wenn man schreibt:
    Figure 00160002
    und EX, Operator definiert durch
    Figure 00160003
    dann kann man die Varianz neu schreiben: Var(Y) = Var[E(Y|X)] + Ex[Var(Y|X = x)]
  • Das Konelationsverhältnis wird definiert durch das Verhältnis:
    Figure 00160004
    was man neu schreiben kann:
  • Figure 00160005
  • Wenn man nun zwei Variable X und Y betrachtet, die zwei zu übelagernde Bilder repräsentieren, wobei T eine bestimmte Transformation ist, die ermöglicht, von dem Bild Y zum Bild X überzugehen, wird das Korrelationsverhältnis η für die Transformation T durch folgende Gleichung geliefert:
    Figure 00170001
    was man neu schreiben kann:
  • Figure 00170002
  • PT ist hier die gemeinsame Wahrscheinlichkeitsdichte der beiden Variablen X und YT und PX,T und PY,T sind die marginalen Wahrscheinlichkeiten dieser beiden Variablen.
  • ANHANG 2
  • Sogenannte "lokale" Wahrscheinlichkeits-Annäherung
  • Gegeben X und Y, zwei Bilder, und gegeben P(i, j), die Verbund-Wahrscheinlichkeit von X und Y. Die marginalen Wahrscheinlichkeiten von X(Px(i)) und von Y(Py(j)) werden jeweils geliefert durch:
  • Figure 00170003
  • Die konditionelle Wahrscheinlichkeit von Y bei Kenntnis von X wird dann geliefert durch:
  • Figure 00170004
  • Ausgehend von der im Anhang 1 angegebenen Definition des Korrelationsverhältnisses:
    Figure 00180001
    kann man es neu schreiben:
    Figure 00180002
    wobei σ2 und m jeweils die Varianz und das Mittel bzw. der Mittelwert des Bildes Y sind.
  • Gegeben Ω als gemeinsamer Bereich der beiden Bilder X und Y, N als Gesamtzahl der Voxel (der Koordinaten ω), welche dieser Bereich enthält, und Si als Iso-Dichte-Menge von X, einer Intensität i und Ni als seiner Kardinalzahl (son cardinal) entsprechd, dann erhält man: Si = {ω,X(ω) = i}, Ni = Card Si
  • Die Si bilden dann einen Bereich von Ω, und folglich:
  • Figure 00180003
  • Man kann dann die marginale Wahrscheinlichkeit von X neu ausdrücken als Funktion der Ni: Px(i) = Ni/N
  • Daraus leitet man dann die Varianzen und Mittel bzw. Mittelwerte ab:
  • Figure 00180004
  • Bei einem Intensitätsniveau i in dem Bild X sind die konditionellen Momente von Y, wissend dass X = i, folglich Momente der Restriktion von Y auf die Unter- bzw. Teilmenge Si. Man kann also die konditionellen Varianzen und Mittel in einer den totalen Momenten analogen Weise neu schreiben:
    Figure 00180005
    was ermöglicht, das Korrelationsverhältnis η zu bestimmen.

Claims (17)

  1. Elektronische Datenverarbeitungsvorrichtung, die dazu bestimmt ist, einen ersten und einen zweiten Datensatz zu empfangen, die ein erstes und ein vergleichbares zweites digitales Bild darstellen, wobei jedes Datenelement eine Positionskomponente und eine Intensitätskomponente enthält, und die Überlagerungseinrichtungen (1) umfasst, fähig aufgrund dieser beiden Datensätze eine Überlagerungstransformation zwischen dem einen und dem anderen Bild zu bestimmen, dadurch gekennzeichnet, dass die genannten Überlagerungseinrichtungen (1) einen ersten Modul (4) umfassen, fähig eine für die Korrelationsverhältnisse zwischen den Daten des genannten ersten Satzes und den Daten des genannten zweiten Satzes repräsentative Hauptfunktion zu berechnen, und einen zweiten Modul (5) umfassen, fähig die genannte Überlagerungstransformation aufgrund der genannten Hauptfunktion zu bestimmen.
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Berechnung der genannten Hauptfunktion in einem Raum mit einer gewählten Norm erfolgt.
  3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass der genannte Raum ein Hilbert-Raum ist.
  4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die genannten Überlagerungseinrichtungen (1) einen dritten Modul (6) umfassen, fähig aufgrund der genannten ersten und zweiten Datensätze eine Wahrscheinlichkeitsdichte-Verbundfunktion zu schätzen, und dadurch, dass der erste Modul (4) eingerichtet ist, um die genannte Hauptfunktion aufgrund der Wahrscheinlichkeitsdichte-Verbundfunktion zu berechnen.
  5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass die Berechnung der Wahrscheinlichkeitsdichte-Verbundfunktion sich auf die Intensitätskomponenten der Daten der genannten Sätze bezieht.
  6. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass sie Einrichtungen (2) zur Bezeichnung eines der beiden Bilder, erstes Bild genannt, als "Bezugsbild" und des anderen Bilds, zweites Bild genannt, als "Schwebebild" umfasst, so dass die genannte Überlagerungstransformation für die Überlagerung des genannten Bezugsbilds durch das genannte Schwebebild bestimmt wird.
  7. Vorrichtung nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass sie einen vierten Modul (7) umfasst, eingerichtet um den genannten ersten Datensatz umzuwandeln in einen dritten Datensatz, der Daten umfasst, deren Positionskomponenten jeder der Positionskomponenten der Daten des zweiten Satzes entsprechen.
  8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die genannte Transformation des ersten Datensatzes die Anwendung einer Initialisierungs-Überlagerungsfunktion und eine Interpolation umfasst.
  9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die genannte Interpolation vom trilinearen Typ ist.
  10. Vorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der genannte zweite Modul (5) eingerichtet ist, um einen Maximalwert der Hauptfunktion nach einem ausgewählten Kriterium zu wählen und die Überlagerungstransformation aufgrund des gewählten Maximalwerts zu bestimmen.
  11. Vorrichtung nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die genannten Überlagerungstransformationen bei der Gesamtheit der beliebigen n-dimensionalen geometrischen Transformationen bestimmt werden, wobei n wenigstens zwischen den Werten 2 und 3 ausgewählt wird, je nach der Dimension des Bildes.
  12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die genannten n-dimensionalen geometrischen Transformationen bei der Gesamtheit der n-dimensionalen Affintransformationen bestimmt werden, insbesondere bei den sogenannten "rigiden" Transformationen.
  13. Vorrichtung nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass der genannte zweite Modul (5) eingerichtet ist, um zu bestimmen, ob die genannte Überlagerungstransformation ein gewähltes Kriterium verifiziert, wobei im Falle einer Nicht-Verifikation des genannten Kriteriums die Überlagerungstransformation an den dritten Modul (6) adressiert wird, um die genannte, vorhergehend zur Erlangung des genannten dritten Datensatzes benutzte Transformation hinsichtlich einer neuen Überlagerungstransformationsbestimmung zu ersetzen bzw. auszutauschen.
  14. Vorrichtung nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Überlagerungseinrichtungen (1) eingerichtet sind, um die genannte Hauptfunktion aufgrund von Daten des ersten und zweiten Satzes zu bestimmen, die ein gewähltes Kriterium verifizieren.
  15. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die vergleichbaren digitalen Bilder medizinische Bilder sind.
  16. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das erste und das zweite Bild von unterschiedlichen Erfassungstechniken stammen.
  17. Verfahren zur Verarbeitung von zwei Datensätzen, jeweils ein erstes und ein vergleichbares zweites digitales Bild darstellend, das einen Schritt umfasst, in dem man aufgrund der beiden Datensätze eine Überlagerungstransformation zwischen dem einen und dem anderen Bild bestimmt, dadurch gekennzeichnet, dass der genannte Schritt folgende Teilschritte umfasst: a) Berechnen einer Hauptfunktion, die repräsentativ ist für die Korrelationsverhältnisse zwischen den Daten des genannten ersten Satzes und des genannten zweiten Satzes, und b) Bestimmen der genannten Überlagerungsfunktion aufgrund der genannten berechneten Hauptfunktion.
DE69919464T 1998-07-28 1999-07-23 Elektronische Vorrichtung zur Bildausrichtung Expired - Lifetime DE69919464T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9809649 1998-07-28
FR9809649A FR2781906B1 (fr) 1998-07-28 1998-07-28 Dispositif electronique de recalage automatique d'images

Publications (2)

Publication Number Publication Date
DE69919464D1 DE69919464D1 (de) 2004-09-23
DE69919464T2 true DE69919464T2 (de) 2004-12-23

Family

ID=9529115

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69919464T Expired - Lifetime DE69919464T2 (de) 1998-07-28 1999-07-23 Elektronische Vorrichtung zur Bildausrichtung

Country Status (4)

Country Link
US (1) US6539127B1 (de)
EP (1) EP0977148B1 (de)
DE (1) DE69919464T2 (de)
FR (1) FR2781906B1 (de)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728424B1 (en) * 2000-09-15 2004-04-27 Koninklijke Philips Electronics, N.V. Imaging registration system and method using likelihood maximization
US7106891B2 (en) * 2001-10-15 2006-09-12 Insightful Corporation System and method for determining convergence of image set registration
WO2006103644A1 (en) * 2005-03-31 2006-10-05 Paieon Inc. Method and apparatus for positioning a device in a tubular organ
US7398116B2 (en) * 2003-08-11 2008-07-08 Veran Medical Technologies, Inc. Methods, apparatuses, and systems useful in conducting image guided interventions
US8150495B2 (en) * 2003-08-11 2012-04-03 Veran Medical Technologies, Inc. Bodily sealants and methods and apparatus for image-guided delivery of same
GB0320973D0 (en) 2003-09-08 2003-10-08 Isis Innovation Improvements in or relating to similarity measures
JP2007515714A (ja) * 2003-12-08 2007-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 適応型である点ベースの弾性的画像照合
US20050207674A1 (en) * 2004-03-16 2005-09-22 Applied Research Associates New Zealand Limited Method, system and software for the registration of data sets
US7639896B2 (en) * 2004-08-09 2009-12-29 Carestream Health, Inc. Multimodal image registration using compound mutual information
CN101061508B (zh) * 2004-11-17 2012-06-13 皇家飞利浦电子股份有限公司 改进的弹性图像重合功能
US7532214B2 (en) * 2005-05-25 2009-05-12 Spectra Ab Automated medical image visualization using volume rendering with local histograms
US7259762B2 (en) * 2005-06-29 2007-08-21 General Electric Company Method and system for automatically transforming CT studies to a common reference frame
US7738683B2 (en) * 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
EP1924198B1 (de) 2005-09-13 2019-04-03 Veran Medical Technologies, Inc. Vorrichtung zur bildgelenkten präzisionsprüfung
US20070066881A1 (en) 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
EP1960966B1 (de) * 2005-12-08 2009-05-27 Koninklijke Philips Electronics N.V. System und verfahren zur ermöglichung der auswahl einer bildregistrations-transformation
US20070167784A1 (en) * 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
CA2640802A1 (en) * 2005-12-20 2007-09-13 University Of Maryland, Baltimore Method and apparatus for accelerated elastic registration of multiple scans of internal properties of a body
US8041129B2 (en) 2006-05-16 2011-10-18 Sectra Ab Image data set compression based on viewing parameters for storing medical image data from multidimensional data sets, related systems, methods and computer products
WO2008085193A2 (en) * 2006-08-14 2008-07-17 University Of Maryland Quantitative real-time 4d strees test analysis
US7830381B2 (en) * 2006-12-21 2010-11-09 Sectra Ab Systems for visualizing images using explicit quality prioritization of a feature(s) in multidimensional image data sets, related methods and computer products
US9597041B2 (en) * 2007-03-30 2017-03-21 General Electric Company Sequential image acquisition with updating method and system
US20090324041A1 (en) * 2008-01-23 2009-12-31 Eigen, Llc Apparatus for real-time 3d biopsy
WO2012169990A2 (en) 2010-05-04 2012-12-13 Pathfinder Therapeutics, Inc. System and method for abdominal surface matching using pseudo-features
EP2605693B1 (de) 2010-08-20 2019-11-06 Veran Medical Technologies, Inc. Vorrichtung für vierdimensionale weichgewebenavigation
EP2816966B1 (de) 2012-02-22 2023-10-25 Veran Medical Technologies, Inc. Lenkbarer chirurgischer katheter mit einer biopsievorrichtung an seinem distalen endteil
US20150305612A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
AU2016266019A1 (en) 2016-11-30 2018-06-14 Canon Kabushiki Kaisha Image registration method
CN108171738B (zh) * 2018-01-25 2022-02-01 北京雅森科技发展有限公司 基于脑功能模板的多模态医学图像配准方法
US11436761B2 (en) * 2020-03-18 2022-09-06 International Business Machines Corporation Preventing feature loss when compressing images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1437161A (de) * 1973-02-12 1976-05-26
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
EP0602730B1 (de) * 1992-12-18 2002-06-19 Koninklijke Philips Electronics N.V. Ortungszurückstellung von relativ elastisch verformten räumlichen Bildern durch übereinstimmende Flächen
US5911035A (en) * 1995-04-12 1999-06-08 Tsao; Thomas Method and apparatus for determining binocular affine disparity and affine invariant distance between two image patterns
AU2928097A (en) * 1996-04-29 1997-11-19 Government Of The United States Of America, As Represented By The Secretary Of The Department Of Health And Human Services, The Iterative image registration process using closest corresponding voxels
US6269323B1 (en) * 1996-10-04 2001-07-31 At&T Support vector method for function estimation
US5944669A (en) * 1997-11-20 1999-08-31 Lifecor, Inc. Apparatus and method for sensing cardiac function

Also Published As

Publication number Publication date
FR2781906B1 (fr) 2000-09-29
US6539127B1 (en) 2003-03-25
EP0977148B1 (de) 2004-08-18
FR2781906A1 (fr) 2000-02-04
EP0977148A1 (de) 2000-02-02
DE69919464D1 (de) 2004-09-23

Similar Documents

Publication Publication Date Title
DE69919464T2 (de) Elektronische Vorrichtung zur Bildausrichtung
DE60023447T2 (de) Verfahren zur berechnung der lage und ausrichtung eines objektes im dreidimensionalen raum
DE69623642T2 (de) Vektorkorrelationssystem zum automatischen auffinden von mustern in einem bild
DE102019207238A1 (de) Bereitstellen eines Ergebnisbilddatensatzes
DE60133840T2 (de) Vorrichtung und verfahren zur erzeugung einer dreidimensionalen darstellung aus einem zweidimensionalen bild
DE102019100575A1 (de) Verfahren und system zum erzeugen eines bereichsbildes unter verwendung von daten mit geringer tiefe
DE102006023093A1 (de) Verfahren und Vorrichtung zur Korrektur eines Bildes
DE112018002793T5 (de) Bildverarbeitungssystem und bildverarbeitungsverfahren
DE4224568C2 (de) Vorrichtung und Verfahren zur Bildung der Anzeige eines dreidimensionalen sequentiellen tomografischen Flächenschattierungsbildes
DE69733965T2 (de) Intelligentes hypersensorisches verarbeitungssystem
DE102019208496A1 (de) Bereitstellen eines Differenzbilddatensatzes und einer trainierten Generatorfunktion
DE69921608T2 (de) Verfahren und vorrichtung zum zoomen von digitalen bilddateien
DE69819269T2 (de) Bildverarbeitungssystem
DE19648016A1 (de) Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
DE10017551C2 (de) Verfahren zur zyklischen, interaktiven Bildanalyse sowie Computersystem und Computerprogramm zur Ausführung des Verfahrens
EP1869620B1 (de) Verfahren zur verarbeitung von bild- und volumendaten auf basis statistischer modelle
DE102006012943B4 (de) Verfahren zur automatischen Auswertung eines Abbildungsdatensatzes eines Objektes und medizinisches Abbildungssystem
DE69814482T2 (de) Verfahren und Vorrichtung zur Darstellung von Oberflächen aus volumetrischen Daten
DE3837068B4 (de) Bildverarbeitungsverfahren zur Gewinnung eines Schattenbildes
DE69008637T2 (de) Iteratives Bewegungsabschätzungsverfahren zwischen einem Referenzbild und einem aktuellen Bild, und Verfahren zu ihrer Herstellung.
DE10145608B4 (de) Modellbasierte Objektklassifikation und Zielerkennung
EP0844591A1 (de) Verfahren zur Bestimmung von Massstabsfaktoren für fraktale Bildkodierung
DE10196664T5 (de) Szenenrekonstruktion und Kamerakalibrierung bei robuster Verwendung von Chiralität
WO2001086585A1 (de) Verfahren und anordnung zum ermitteln eines objekts in einem bild

Legal Events

Date Code Title Description
8364 No opposition during term of opposition