-
Die
vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung
zum Verarbeiten von Bilddaten und insbesondere zum Verarbeiten einer
Sequenz von Bildern eines nichtstarren Körpers, um Bewegung des nichtstarren
Körpers
zwischen den Bildern zu korrigieren.
-
Es
gibt viele Anwendungen, in denen es nützlich ist, entsprechende Merkmale
in aufeinanderfolgenden Bildern eines Körpers zu detektieren, um beispielsweise
die Bewegung des Körpers
detektieren und seine Bewegung korrigieren zu können. Zum Detektieren derartiger
entsprechender Merkmale sind viele Verfahren vorgeschlagen worden.
Die erfolgreiche Detektion von entsprechenden Merkmalen in aufeinanderfolgenden Bildern
gestattet die Registrierung der Bilder, d.h. es gestattet, aufeinanderfolgende
Bilder zu transformieren, um durch eine Bewegung verursachte Differenzen
zu eliminieren.
-
Ein übliches
Verfahren zum Detektieren von Bewegung in aufeinanderfolgenden Bildern
ist der Einsatz von auf Landmarken und Segmentierungen basierenden
Algorithmen (auch als dünn
besetzte Paarung [sparse matching] bekannt). Bei solchen Verfahren
werden geometrische Merkmale, die in jedem Bild erkannt werden können, gepaart,
und mit diesen Merkmalen wird eine Transformation erzeugt, die auf
das ganze Bild angewendet werden kann. Dieses Verfahren eignet sich
jedoch nicht für
Bilder ohne erkennbare geometrische Merkmale.
-
Beispielsweise
auf dem Gebiet der Diagnose von Brustkrebs ist eine Bildgebungstechnik,
die gegenwärtig
erforscht wird, die Kernspintomographie (MRI – magnetic resonance imaging). 1 der
beiliegenden Zeichnungen zeigt schematisch die Anordnung für MRI einer menschlichen
Brust, bei der die Patientin 1 auf einer Liege 5 innerhalb der Haupt-MR-Spule
3 auf dem Bauch liegt. Bei dieser Anordnung hängen die Brüste pendelnd innerhalb der
Doppelbrustspule 7, wie in 2 schematisch
gezeigt. Diese Technik weist beispielsweise im Vergleich zur Röntgenstrahlmammographie
dadurch gewisse Vorteile auf, daß sie nicht auf Frauen nach
der Menopause oder auf Brüste,
die kein Narbengewebe enthalten, beschränkt ist, und sie ist außerdem eine
3-D-Technik (die
wirklich einen Satz vertikal verschobener 2-D-Schnitte erzeugt).
Sie ist jedoch mit bestimmten Problemen verbunden. Zuerst können Abnormalitäten in der
Brust in einem Standard-MRI-Bild nicht unterschieden werden. Um
Abnormalitäten
zu detektieren, ist es notwendig, eine paramagnetische Verbindung (in
der Regel Gd-DTPA) als Kontrastmittel zu injizieren und dann etwa
7 Minuten lang jede Minute zu scannen, um die Aufnahme des Kontrastmittels
zu überwachen.
Jeder Scan besteht aus 16 Schnittbildern beispielsweise in der X-,
Y-Ebene, wie in 1 gezeigt. Wegen der zeitlichen
Länge, über die
sich die Bildgebung erstreckt, ist es sehr wahrscheinlich, daß sich die
Patientin während
dieser Zeit bewegt. Durch diese Bewegungen wird es schwierig, oder
manchmal unmöglich,
die Reihenfolge von Bildern zu interpretieren, da sich nicht nur
die Bilder während
der Aufnahme des Kontrastmittels ändern, sondern auch wegen der
Bewegung der Patientin. Beispielsweise zeigt 3(A) ein
Vor-Kontrast-Bild und 3(B) ein
Nach-Kontrast-Bild, bei dem die Patientin den Brustmuskel zwischen
den beiden Bildern entspannt hat. Der Brustmuskel ist als das dunklere
graue Gewebe an der Oberseite des Bilds zu sehen. Es ist zu sehen,
daß der
Effekt der Entspannung darin besteht, die Form der Brust zu verändern und
eine nichtstarre Bewegung in dem den Muskel umgebenden Gewebe zu verursachen.
Eine derartige nichtstarre Bewegung ist schwierig zu kompensieren.
-
Es
geht auch aus 3 hervor, daß die Bilder nicht von dem
Typ sind, in dem deutlich erkennbare geometrische Merkmale vorliegen,
die das Detektieren der Bewegung zwischen Bildern unterstützen. Weil
das Kontrastmittel während
des Bildgebungsprozesses aufgenommen wird, weisen zudem Merkmale,
die in einem ersten Bild ein Helligkeitsniveau aufweisen, nicht
notwendigerweise den gleichen Helligkeitswert in einem nachfolgenden
Bild auf (man sagt, daß das
Bild nichtkonservativ ist). Tatsächlich
nehmen die Merkmale, die von größtem Interesse
sind (Abnormalitäten
wie etwa Tumore) das Kontrastmittel schneller auf als anderes Gewebe
und ändern
somit unvermeidlicherweise und beabsichtigt ihre Intensität zwischen
den verschiedenen Bildern.
-
Diese
Bilder sind somit von der Art, die eine Korrektur der Bewegung erfordern,
die sich aber nicht für normale
Bewegungsdetektionstechniken eignen.
-
Aus
WO-A-95/26539 ist ein Bewegungsschätzverfahren gemäß dem Oberbegriff
von Anspruch 1 bekannt, bei dem eine „Messung der Anpassung", wie etwa bei einem
Bild eine Differenz bei Intensitäten
oder Farbe, so angesehen werden kann, daß sie eine Wahrscheinlichkeit
einer entsprechenden Bewegung mißt.
-
Die
vorliegende Erfindung, wie sie in den beigefügten unabhängigen Ansprüchen 1,
18 und 19 definiert ist, stellt eine Technik bereit, zum Detektieren
und Korrigieren aufeinanderfolgender Bilder hinsichtlich Bewegung,
wobei die Bewegung die Bewegung eines nichtstarren Körpers ist
und wobei die Bilder selbst sich als Funktion der Zeit ändern können. Sie
läßt sich
deshalb auf Bilder anwenden, die einen nichtkonservativen Fluß aufweisen,
d.h. das Gesamthelligkeitsausmaß in
den Bildern ändert
sich. Die Erfindung läßt sich
nicht nur auf MRI-Techniken sondern auch auf andere nicht-konservative
Bildflüsse
anwenden, bei denen zwischen Bildern eine Bewegung vorliegt.
-
Die
vorliegende Erfindung erreicht dies durch Berechnen und Speichern,
für jeden
von mehreren Abtastpunkten in dem Bild, einer Wahrscheinlichkeitskarte
für die
Verschiebung dieses Punkts zwischen dem Bild und einem zeitlich
getrennten Bild. Somit wird nicht nur eine mögliche Verschiebung für jeden
Abtastpunkt berücksichtigt,
sondern statt dessen werden alle berücksichtigt. Diese Wahrscheinlichkeitskarte,
nämlich
die Wahrscheinlichkeiten, daß sich
der Abtastpunkt in einer bestimmten Richtung bewegt hat, wird dann
in einem iterativen Prozeß verfeinert,
indem die Wahrscheinlichkeitskarten für an ihn angrenzende Abtastpunkte
berücksichtigt
werden.
-
Während bei
zuvor vorgeschlagenen Techniken für jeden Abtastpunkt nur ein „optimaler" Verschiebungsvektor
betrachtet wurde, werden bei der vorliegenden Erfindung alle berücksichtigt
und für
die zukünftige Verarbeitung
gespeichert. Wie bei den bisherigen Techniken wurde eine erste Schätzung des
Bewegungsfelds auf der Basis des einzigen optimalen Vektors für jeden
Punkt ausgeführt
und dann wurde das Feld durch iteratives Neuberechnen jener Vektoren
verfeinert. Bei einem nichtstarren Fluß kann es jedoch mehrere plausible Bewegungen
lokal geben, weshalb Algorithmen, die diese Tatsache ignorieren,
während
des iterativen Prozesses in lokale Mindestwerte fallen können, die
nicht der ultimativen optimalen Lösung entsprechen. Weil die
vorliegende Erfindung an der Tatsache festhält, daß es zu dem „optimalen" Verschiebungsvektor
mehrere mögliche
Alternativen gibt, kann sie vermeiden, in falschen lokalen Mindestwerten
gefangen zu werden.
-
Ausführlicher
dargelegt liefert die vorliegende Erfindung somit ein Verfahren
zum Verarbeiten von Bilddaten von mehreren zeitlich getrennten Bildern eines
nicht starren Körpers,
um Bewegung des Körpers
zu detektieren, mit den folgenden Schritten:
für jeden
von mehreren Abtastpunkten in jedem Bild das Berechnen und Speichern
mehrerer Kandidatenbewegungen zusammen mit der geschätzten Wahrscheinlichkeit
für jeden
Kandidaten;
für
jeden Abtastpunkt das Neuberechnen der Wahrscheinlichkeit jeder
der Kandidatenbewegungen auf der Basis der gespeicherten Wahrscheinlichkeit
dieser Kandidatenbewegung und der Wahrscheinlichkeiten der Kandidatenbewegungen
an benachbarten Abtastpunkten und Erzeugen eines Bewegungsfeldes
aus den neuberechneten Wahrscheinlichkeiten, das die Bewegung des
nicht starren Körpers
anzeigt, dadurch gekennzeichnet, daß der Schritt des Neuberechnens
der Wahrscheinlichkeit jeder der Kandidatenbewegungen für jeden Abtastpunkt
das iterative Neuberechnen der Wahrscheinlichkeit auf der folgenden
Basis: der gespeicherten Wahrscheinlichkeit dieser Kandidatenbewegung
und mehreren umgebenden Bewegungswahrscheinlichkeiten umfaßt, wobei
jede umgebende Bewegungswahrscheinlichkeit ausgewählt ist
unter den gespeicherten Wahrscheinlichkeiten von Kandidatenbewegungen
für jeden
von mehreren benachbarten Abtastpunkten, wobei die Auswahl bei jedem
benachbarten Abtastpunkt auf der Basis der gespeicherten Wahrscheinlichkeiten
für diesen
Abtastpunkt durchgeführt
wird.
-
Die
Abtastpunkte können
als ein regelmäßiges Array über das
Bild hinweg gesetzt sein. Die Abtastpunkte brauchen nicht individuellen
Pixeln in dem Bild zu entsprechen, sind aber bevorzugt um mehrere
Pixel beabstandet.
-
Die
geschätzten
Wahrscheinlichkeiten für
die Kandidatenbewegungen findet man unter Verwendung eines Ähnlichkeitsmaßes, das
die Ähnlichkeit
jedes Abtastpunkts mit Abtastpunkten in dem vorausgegangenen Bild
angibt. Das Ähnlichkeitsmaß kann in
Wahrscheinlichkeiten umgewandelt werden, indem es einfach für jeden Abtastpunkt
normiert wird, so daß sie
sich auf Eins summieren. Die Kandidatenbewegungen sind natürlich die
Vektorverschiebungen, die die jeweiligen Abtastpunkte in dem vorausgegangenen
Bild auf den aktuellen Abtastpunkt abbilden.
-
Wie
oben erwähnt,
besteht ein Problem mit nichtkonservativen Bildern wie etwa MRI-Bildern,
wenn ein Kontrastmittel dynamisch aufgenommen wird, darin, daß nicht
erwartet werden kann, daß Punkte
mit einer bestimmten Intensität
in einem Bild in einem anderen die gleiche Intensität aufweisen.
Die vorliegende Erfindung überwindet
dieses Problem durch eine sorgfältige
Wahl des Ähnlichkeitsmaßes und
insbesondere durch Wahl des Ähnlichkeitsmaßes aus
gegenseitigen Informationen, normierten gegenseitigen Informationen
oder einem Entropiekorrelationskoeffizienten.
-
Die
iterative Neuberechnung der gespeicherten Wahrscheinlichkeiten kann
das Multiplizieren jeder gespeicherten Wahrscheinlichkeit mit dem
Produkt der umgebenden Bewegungswahrscheinlichkeiten für die benachbarten
Abtastpunkte umfassen. Bevorzugt wird nur die größte Wahrscheinlichkeit für jeden
der benachbarten Punkte als jede der umgebenden Bewegungswahrscheinlichkeiten
genommen, besonders bevorzugt gemäß der Differenz zwischen der
Kandidatenbewegung und der entsprechenden Bewegung mit der größten Wahrscheinlichkeit
für den
benachbarten Abtastpunkt gewichtet. Die Neuberechnung kann auch
so begrenzt werden, daß nur
Bewegungen verwendet werden, die als der Bewegung des betrachteten
Abtastpunkts ähnlich
angesehen werden, wenn beispielsweise die Größe der von den Bewegungen verursachten
Verschiebung um mehr als einen voreingestellten Betrag differiert.
-
Die
Neuberechnung gemäß dieser
letzteren spezifischen Option ist aus der oben erwähnten WO 95/26539
bekannt.
-
Die
Anzahl der Iterationen in der Neuberechnung kann wie gewünscht eingestellt
werden, und zwar zweckmäßigerweise
gemäß der Entfernung
zwischen ausgeprägten
Punkten im Bild.
-
Nachdem
die Wahrscheinlichkeiten der Kandidatenbewegungen durch den iterativen
Prozeß verfeinert
worden sind, wird das Bewegungsfeld erzeugt, indem als die Bewegung
an jedem Abtastpunkt die Kandidatenbewegung mit der größten Wahrscheinlichkeit
gewählt
wird. Dieses Bewegungsfeld kann dann dazu verwendet werden, spätere Bilder
in der Sequenz zu korrigieren, indem das Bewegungsfeld in eine Transformation
umgewandelt wird, die auf jedes Pixel angewendet werden kann. Das
Bewegungsfeld kann entweder durch Interpolation oder durch Anpassen
einer parametrischen Transformation an das Bewegungsfeld umgewandelt
werden.
-
Nachdem
die Bilder korrigiert worden sind, kann der Prozeß unter
Verwendung unterschiedlich beabstandeter Abtastpunkte, beispielsweise
enger beabstandeter Abtastpunkte, wiederholt werden und bevorzugt iterativ,
um die Detektion des Bewegungsfelds und die Registrierung der verschiedenen
Bilder weiter zu verfeinern.
-
Die
Erfindung stellt außerdem
eine entsprechende Vorrichtung für
die Verarbeitung von Bilddaten bereit, und die Erfindung kann als
ein Computerprogramm verkörpert
werden, das beispielsweise auf einem computerlesbaren Speicherungsmedium
gespeichert werden kann.
-
Die
Erfindung wird durch ein nichteinschränkendes Beispiel unter Bezugnahme
auf die beiliegenden Zeichnungen näher beschrieben. Es zeigen:
-
1 eine
schematische Darstellung der Anordnung zur MRI-Untersuchung einer
Patientin;
-
2 eine
typische Kernspintomographieaufnahme von beiden menschlichen Brüsten und
eine schematische Darstellung der Position der Doppelbrustspule
der Vorrichtung;
-
3(A) und (B) beispielhafte
Vor-Kontrast- und Nach-Kontrast-Bilder einer menschlichen Brust;
-
4(A) bis (F) Vergleiche
verschiedener Ähnlichkeitsmaße bei Kontrastverstärkung;
-
5 eine
typische MRI-Aufnahme und das Intensitätsprofil bei Beeinflussung
durch das Biasfeld der MRI-Vorrichtung;
-
6 Ergebnisse
der Anwendung einer Ausführungsform
der vorliegenden Erfindung auf Vor- und Nach-Kontrast-MR-Aufnahmen;
-
7 weitere
Ergebnisse einer Ausführungsform
der vorliegenden Erfindung bei Anwendung auf Vor- und Nach-Kontrast-MR-Aufnahmen;
-
8 Ergebnisse
des Anwendens einer Ausführungsform
der vorliegenden Erfindung auf Vor- und Nach-Kontrast-MR-Aufnahmen;
-
9 Vor-
und Nach-Kontrast-Aufnahmen unter Verwendung verschiedener Ähnlichkeitsmaße;
-
10 zwei
Aufnahmen mit einer gegenseitigen Verschiebung und
-
11 die Ähnlichkeitswerte
für zwei
Abtastpunkte in der Aufnahme von 10.
-
Jeder
Bildregistrierungsalgorithmus, d.h. ein Algorithmus zum Detektieren
und Korrigieren der Bewegung zwischen Bildern, erfordert ein Verfahren
um zu bestimmen, ob zwei Teilbilder den gleichen Teil des abgebildeten
Objekts darstellen. Im Fall einer Brust-MRI läuft dies darauf hinaus, zu
bestimmen, ob die beiden Teilbilder die gleiche anatomische Stelle
darstellen. Wie oben erwähnt,
basieren zwar viele bisherige Techniken auf dem Erkennen von geometrischen
Merkmalen, doch ist dies nicht für
alle Bilder geeignet, insbesondere Bilder von Brust-MRI. Die Intensität des Kerspintomographiesignals
ist aufgrund der absichtlich herbeigeführten Kontrastverstärkung einer Änderung
unterworfen, und diese Änderung
kann in der Größenordnung
von 100 liegen. Zudem ist die Verformung, die sich aus der Bewegung
ergibt, nicht starr. Somit ist das Verfahren wichtig, mit dem bestimmt
wird, ob die beiden Teilbilder die gleiche physische Stelle darstellen.
Bei dieser Ausführungsform
der Erfindung wird dies durch die Verwendung eines „Ähnlichkeitsmaßes" erzielt, von dem
es mehrere Arten gibt.
-
Ein
Maß, das
verwendet werden kann, ist die normierte „zentrierte" Kreuzkorrelation:
-
-
Dies
ist ein Maß von
dem Restfehler der kleinsten Quadrate vom Anpassen einer Linie an
einen Datensatz, und es kann folglich erwartet werden, daß die Registrierung
am besten funktioniert, wenn zwischen den Bildintensitäten eine
lineare Beziehung vorliegt.
-
Ein
weiteres Ähnlichkeitsmaß, das bei
den Ausführungsformen
der vorliegenden Erfindung wegen seiner Eignung für Brust-MR-Aufnahmen
verwendet werden kann, ist die „Transinformation". Transinformation (oder
die relative Entropie) ist ein statistisches Maß, das die Wahrscheinlichkeit
beschreibt, mit der eine Zufallsvariable Y funktionsmäßig zu X
in Beziehung steht. Sie wird hinsichtlich der Entropie und gemeinsamen Entropie
der Zufallsvariablen X und Y definiert. Entropie kann entweder als
der Unordnungsgrad oder der Informationsgehalt von X interpretiert
werden. Definiert wird sie durch:
H(X) = – ∫ p(x)ln p(x)dx was
diskret für
N Intensitätsquanten
P
i durch
geschätzt werden kann.
-
So
wie gemeinsame und bedingte Wahrscheinlichkeitsverteilungen verwendet
werden können,
um das gemeinsame Auftreten von zwei Zufallsvariablen in Beziehung
zu setzen, so setzen gemeinsame und bedingte Entropien die Vorhersagbarkeiten
von zwei Zufallsvariablen in Beziehung. Bedingte und gemeinsame Entropien
sind jeweils definiert als:
-
-
Die
bedingte Entropie ist ein Maß für die Zufälligkeit
von Y bei Kenntnis von X. Je abhängiger
Y von X wird, desto kleiner wird H(Y/X). Für sich alleine ist dies kein
Maß der
Abhängigkeit,
da ein kleiner Wert von H(Y/X) nur implizieren kann, das H(Y) klein
ist.
-
Die
Transinformation ist definiert als: M(X, Y) =
H(Y) – H(Y\K)
-
Die
bedingte Entropie kann hinsichtlich der gemeinsamen Entropie ausgedrückt werden: H(Y\X) = H(X, Y) – H(X), (1)so daß die Transinformation
geschrieben werden kann als: M(X,Y) = H(X) +
H(Y) – H(X,Y)
-
Bei
dem Maximieren dieses Maßes
werden Transformationen derart ermutigt, daß die beiden Abtastfenster
funktionsmäßig verwandt
sind. Transinformation ist folglich ein statistisches Maß, bei dem
die einzige erforderliche Annahme lautet, daß zwei Pixel, die in dem ersten
Bild die gleiche Intensität
aufweisen, auch in dem zweiten Bild die gleiche Intensität aufweisen.
Bei Brust-MR-Aufnahmen stimmt dies nicht immer über das ganze Bild hinweg,
Orte, wo dies nicht zutrifft, sind diagnostisch interessant. Es
trifft jedoch mit Wahrscheinlichkeit über den größten Teil des Bilds hinweg
in einem örtlichen
Maßstab
zu. Es handelt sich somit um ein Maß, von dem man erwartet, daß es bei
dynamischer Kontrastverstärkung über den
größten Teil
des Bilds hinweg robust ist, wodurch es sich für MRI besonders gut eignet.
-
Eine
Abwandlung davon ist das Maß der
normierten Transinformation Mn(X,Y), die
definiert ist als das Verhältnis
der gemeinsamen und marginalen Entropien der Bilder und das so ausgelegt
ist, daß es
das Ausmaß der
Transinformation bezüglich
der von den individuellen Bildern gelieferten Informationen berücksichtigt:
-
-
Ohne
diese Normierung begünstigt
ein Registrierungsalgorithmus Transformationen, die zu stark marginalen
Entropien der beiden Bilder führen,
anstatt Transformationen, die den Anteil von Informationen maximieren,
den die Bilder gemeinsam haben. Das einzige Problem bei der Normierung
besteht darin, daß sie
dazu führt,
daß zwei
Bildstellen, die ähnlich
sind, aber sehr wenige Informationen aufweisen (d.h. gleichförmige Intensität), als
genauso wichtig angesehen werden wie zwei Stellen, die reich an
Informationen sind (d.h. texturiert).
-
Eine
weitere Abwandlung der Transinformation, die wiederum versucht,
bezüglich
der Informationen in den individuellen Bildern zu normieren, ist
der Entropiekorrelationskoeffizient, der definiert ist als:
-
-
Die
vorliegende Erfindung kann alle diese als das Ähnlichkeitsmaß verwenden,
wobei die Wahl von der Art der korrigierten Bilder diktiert wird.
-
4 veranschaulicht
die Ergebnisse beim Anwenden dieser verschiedenen Arten von Ähnlichkeitsmaß auf ein
Testbild. Die beiden Testbilder sind in 4 gezeigt.
Bild 1 weist einen Intensitätsgradienten
in der x-Richtung und zwei künstliche
Merkmale (zum Simulieren von Gängen
oder Blutgefäßen) auf.
Bild 2 wurde aus Bild 1 erzeugt, indem es um 5 Pixel parallelverschoben,
um 10° gedreht
und die Intensität
um 40% erhöht
wurde (die zwei Merkmale waren verschiedene Verstärkungen – 100 bzw.
10%), und der im ersten Bild vorliegende Intensitätsgradient
erhielt die umgekehrte Richtung. Die Ähnlichkeitsmaße wurden
getestet, indem ein Punkt für
den Ähnlichkeitskern
in Bild 2 gewählt
und der Kern in Bild 1 um eine Größe –20 < dx < 20
parallelverschoben und die Ähnlichkeitsmaße zwischen
den beiden Kernen berechnet wurden. Das richtige Ergebnis ist eine
größte Ähnlichkeit
bei dx = +5 – der
Parallelverschiebung zwischen den beiden Bildern.
-
4 zeigt
auch die Ergebnisse dieses Experiments. Man beachte, daß bei normierter
Kreuzkorrelation nur positive Korrelationen (Verstärkung) von
Interesse sind, so daß die
Kurve die berichtigte (kleinster Wert ist 0) Kreuzkorrelation zeigt.
Wie man am besten anhand der Schwankungen bei den berechneten Ähnlichkeitsmaßen erkennen
kann, weisen alle vier Maße,
normierte Kreuzkorrelation, Transinformation, normierte Transin formation
und der Entropiekorrelationskoeffizient, ein Maximum bei dx = 5
auf (die korrekte Verschiebung zwischen den Bildern). Es ist schwierig,
nur auf der Basis dieser Ergebnisse zwischen den Ähnlichkeitsmaßen zu wählen, die
bei kontrastverstärkten
Brust-MR-Aufnahmen
verwendet werden sollen (und sogar bei Tests mit echten Bildern
wurden mit allen vier Ähnlichkeitsmaßen gute
Ergebnisse erzielt). Die Wahl der Ähnlichkeitsmaße erfolgt
jedoch auf der Basis des Verständnisses,
was jedes der Ähnlichkeitsmaße bedeutet.
Die Differenz zwischen diesen Maßen besteht darin, daß die normierte
Kreuzkorrelation den Fehler oder die Nichtübereinstimmung zwischen zwei
Orten mißt,
wohingegen die drei Informationsmaße den erhärtenden Beweis oder die Übereinstimmung
berechnen. Die Kontrastverstärkung
bewirkt lokale Bereiche der Nichtübereinstimmung (Änderungen
am Bild), wo der Kontrast stark angestiegen ist, d.h. der Bereich
ist potentiell verdächtig. Ein
auf normierter Kreuzkorrelation basierender Registrierungsalgorithmus
würde versuchen,
diese Bereiche der Nichtübereinstimmung
zu reduzieren, was potentiell bewirkt, daß ein Tumor übersehen
wird. Folglich ist die Transinformation ein geeigneteres Ähnlichkeitsmaß für Brust-MR-Bildregistrierung.
Für andere
Anwendungen als Brust-MRI lassen sich andere Ähnlichkeitsmaße verwenden.
Beispielsweise kann normierte Kreuzkorrelation für Ultraschallbilder oder Standardbilder
(d.h. CCD-Bilder) verwendet werden.
-
Nachdem über das
zu verwendende Ähnlichkeitsmaß entschieden
worden ist, muß es
dann verwendet werden, um das nichtstarre Bewegungsfeld zu detektieren.
-
Im
Weiteren wird das (unter den oben erwähnten gewählte) Ähnlichkeitsmaß zwischen
zwei Bereichen bei (x,y)T in Bild 1 und
(x+u,y+v)T in Bild 2 als S(r,u) ausgedrückt, wobei
r = (x,y)T und u = (u,v)T ist.
-
Zuerst
werden die beiden Bilder, die verglichen und in Übereinstimmung gebracht werden
sollen (d.h., das zweite wird transformiert, um die Effekte der
Bewegung zu eliminieren) unter Verwendung des ausgewählten Ähnlichkeitsmaßes bearbeitet,
um einen Satz möglicher
Bewegungen (oder „Kandidatenbewegungen") für jeden
von mehreren Abtastpunkten über
das Bild hinweg zusammen mit den Wahrscheinlichkeiten von jedem dieser
Kandidaten zu erzeugen. Mit Transinformation wird dies dadurch erreicht,
daß zuerst
ein gewünschtes Gitter
von Abtastpunkten gewählt
wird. Beispielsweise werden bei den später beschriebenen und in den 6 bis 9 dargestellten
Beispielen in einem ersten Maßstab
die Abtastpunkte als jedes dritte Pixel gewählt. Dann wird für jeden
dieser Abtastpunkte in dem ersten Bild die Transinformation für die möglichen
Verschiebungen dieses Punkts berechnet. Dies beinhaltet die Berechnung
der drei Terme H(X) , H(Y) und H(X, Y) von Gleichung (1), indem über eine
bestimmte Anzahl von Pixeln (die „Kern"-größe) um den
Abtastpunkt herum das Produkt der Bildintensität mit seinem natürlichen
Logarithmus summiert wird. Der Term H(X) (die Entropie im ersten
Bild) ist offensichtlich eine Konstante bei einem gegebenen Abtastpunkt,
während
der Term H(Y) (die Entropie im zweiten Bild) für jede mögliche betrachtete Verschiebung
variiert. Bei den in den 6 bis 9 gezeigten
Beispielen wurde die Kerngröße zum Berechnen
der Transinformation als 15 × 15
Pixel angenommen. Somit wird das Produkt der Bildintensitäten mit
ihrem natürlichen
Logarithmus über
das 15 × 15-Pixel-Fenster
summiert, das auf den Abtastpunkt im ersten Bild zentriert ist,
und das gleiche geschieht für
jeweilige 15 × 15-Pixel-Fenster,
die an verschiedenen, anders verschobenen Pixeln im zweiten Bild
zentriert sind. Die Auzahl der verschiedenen betrachteten Verschiebungen
und der Maßstab
werden gemäß der erwateten Bewegung
gewählt.
Bei den in den 6 bis 9 gezeigten
Beispielen wurden Verschiebungen von bis zu sechs Schritten (ein
Schritt ist die Entfernung zwischen Abtastpunkten) in einer beliebigen
Richtung betrachtet (dies reicht aus, weil die Bewegung der Brust
durch die Doppelbrustspule beschränkt ist). So wird beispielsweise
in dem zweiten Bild die Transinformation von jeweiligen 15 × 15-Fenstern
berechnet, die an den Pixeln zentriert sind, die um die Schritte
(–6, –6), (–5, –6) , (–4, –6) usw.
von der Position des Abtastpunkts im ersten Bild verschoben sind.
Ein Beispiel dafür
ist für
zwei Abtastpunkte in einem einfachen Bild in den 10 und 11 dargestellt.
In 10 ist das Bild 1 ein Quadrat, das in Bild 2 geringfügig nach
rechts und geringfügig vertikal
parallelverschoben ist. 11 veranschaulicht
die Ähnlichkeitswerte
für die
möglichen
Verschiebungen von zwei Abtastpunkten A und B in Bild 1. Für Punkt
A, die linke obere Ecke des Quadrats in Bild 1, ist der Ähnlichkeitswert
für eine
Verschiebung von (3, 3) ein Maximum (d.h. 100), und dies ist eindeutig,
weil Punkt A im Bild 2 unzweideutig als die linke obere Ecke identifiziert
werden kann. Für
Punkt B andererseits ist seine Position entlang dem unteren Rand
doppelddeutig, und es gibt mehrere mögliche Verschiebungen (in 10 durch
den mehrköpfigen
Pfeil angezeigt), die jeweils einen Maximalwert von 100 aufweisen.
Diese Verschiebungen sind (0, 3), (1, 3), (2, 3), (3, 3) und (4,
3). Andere Verschiebungen weisen niedrigere Werte auf.
-
Es
versteht sich, daß die
in 11 gezeigten Arrays von Werten nur für die beiden
Punkte A und B in Bild 1 sind, und tatsächlich ist es erforderlich,
das entsprechende Array von Werten für jeden der Abtastpunkte über das
Bild 1 hinweg zu berechnen. Jeder der Werte in dem Array entspricht
einer möglichen
Verschiebung (entsprechend seiner Position in dem Array), sein Wert
entspricht der Wahrscheinlichkeit, daß diese Verschiebung die korrekte
ist.
-
Somit
werden diese anfänglichen Ähnlichkeitswerte
als Schätzwerte
der „vorausgegangenen" Wahrscheinlichkeiten dieser
Bewegungen angesehen. Dann werden diese Schätzwerte auf iterative probabilistische
Weise verfeinert. Bei dieser Ausführungsform wird mit dem Bayesschen
Satz die geschätzte
Wahrscheinlichkeit jeder Bewegung lokal aktualisiert, wobei das
aktuelle Bewegungsfeld und ein Modell der Verformung gegeben sind.
Der Bayessche Satz kann ausgedrückt
werden als:
wobei P(Y|x) die Wahrscheinlichkeit
ist, daß bei
gegebenem Meßwert
x die Antwort oder der „Zustand" Y ist. Auf der rechten
Seite der Gleichung ist P(x|Y) die Wahrscheinlichkeit der Messungen
x, wenn der „Zustand" Y ist (die klassenbedingte
Wahrscheinlichkeit).
-
Mit
dem Bayesschen Satz kann somit die Wahrscheinlichkeit der Bewegung
u bei x neu berechnet (oder aktualisiert) werden, wenn die umgebende
Bewegung gegeben ist: P(ux|uS\x) α P(uS\x|ux)P(ux) (2)wobei
P(ux) die vorherige Wahrscheinlichkeit der
Verschiebung (Bewegung) u am Ort x ist und uS\x die
Bewegungsflüsse
der umgebenden Orte bezeichnet. Der Nenner P(x) auf der rechten
Seite des Bayesschen Satzes ist ein Normierungsfaktor, der dazu
führt,
daß die
Summe der nachfolgenden Wahrscheinlichkeiten 1,0 ist. Das gleiche
wird bei der vorliegenden Ausführungsform
durch Normieren der Schätzwerte
von P(ux) nach jeder Iteration erzielt:
-
-
Um
die Wahrscheinlichkeit mit der obigen Gleichung (2) zu aktualisieren,
ist ein Modell von P(uS\x|ux) erforderlich,
das das Modell der Verformung ausdrückt. Wenn nur Modelle berücksichtigt
werden, deren bedingte Abhängigkeiten
lokal abhängig
sind: P(uS\x|ux) ≡ P(uδx|ux)wobei uδx die
Bewegungsflüsse
an Orten unmittelbar neben x bezeichnet.
-
Dann
wird eine Vermutung dahingehend angestellt, daß die Wahrscheinlichkeiten
von Bewegungen an zwei verschiedenen benachbarten Stellen bei gegebener
wahrer Bewegung bei x voneinander unabhängig sind. Bei dieser Annahme
ist die gemeinsame bedingte Wahrscheinlichkeit das Produkt der Wahrscheinlichkeiten
bei jeder benachbarten Stelle:
-
-
Andererseits
sind die Wahrscheinlichkeiten der verschiedenen Bewegungen an einem
einzigen Ort nicht unabhängig,
da sie alle Teil der gleichen Verteilung sind. Wenn bei der vorliegenden
Ausführungsform das
Maximum als einer der Schätzwerte
von P(u
x+δx|u
x) genommen wird, führt dies somit zu einem geeigneten Modell
für P(u
S\x|u
x)
wobei
P(v
x+δx)
die Wahrscheinlichkeit der Bewegung v bei x+δx und N
u der
Satz von Bewegungen ähnlich
u ist (der Satz von Bewegungen derart, daß |u–u|<ε).
Somit berücksichtigt
das Modell in Gleichung (4) jeden benachbarten Ort x+δx, und für jeden
benachbarten Ort wird jene der ähnlichen
Bewegungen u+δu
mit der größten Wahrscheinlichkeit
genommen, gewichtet mit einer Gaußschen (der exponentielle Term).
Die Wahrscheinlichkeit der umgebenden Bewegungen, wenn u als die korrekte
Bewegung gegeben ist, wird als das Produkt dieser gewichteten Maxima
von jedem Ort geschätzt.
-
Es
sei angemerkt, daß die
Gleichung (4) Multiplikationen und das Feststellen von Maxima erfordert. Rechenmäßig ist
es deshalb preiswerter, Logarithmen der Ähnlichkeitsdaten zu nehmen,
so daß alle
Multiplikationsoperatoren Additionen werden können. Die Modellgleichung (4)
wird dann:
und die Aktualisierungsgleichung
erhält
man, indem man dies in eine log-Version von Gleichung (2) einsetzt:
Plog(ux|uS\x) ∝ Plog(uS\x|ux)+Plog(ux)was führt zu
-
-
Nach
dem iterativen Anwenden von Gleichung (5) kann das resultierende
Bewegungsfeld berechnet werden, indem als der Schätzwert der
Bewegung an jedem abgetasteten Punkt im Bild die Bewegung genommen
wird, die der größten späteren Wahrscheinlichkeit
entspricht:
-
-
Der
vollständige
Algorithmus kann wie folgt zusammengefaßt werden:
- 1.
Berechnen von Ähnlichkeitswerten
unter Verwendung eines K × K-Pixelkerns
(K = 15 in diesem Beispiel) an einem Satz von gleichmäßig beabstandeten
Abtaststellen (Gittergröße = 3 Pixel
bei diesem Beispiel) über
das Bild hinweg für
alle möglichen
Bewegungen (tatsächlich
bis zu einer größten Verschiebung
von 6 Schritten von 3 Pixeln bei diesem Beispiel) gemäß Gleichung
(2).
- 2. Normieren des Satzes von Ähnlichkeiten
an jedem Ort, um die vorausgegangenen Wahrscheinlichkeiten P(ux) zu schätzen,
unter Verwendung von Gleichung (3).
- 3. Nehmen der natürlichen
Logarithmen der vorausgegangenen Wahrscheinlichkeiten.
- 4. Berechnen der nachfolgenden Wahrscheinlichkeit bei jeder
Bewegung, wenn ihre umgebenden Schätzwerte gegeben sind, unter
Verwendung der Aktualisierungsgleichung (5).
- 5. Erneutes Normieren der geschätzten Wahrscheinlichkeiten.
Gehen zu Schritt 4, es sei denn, daß die erforderliche Anzahl
von Iterationen (20 bei den in den 6–9 gezeigten
Beispielen) beendet worden ist. Die Anzahl der Iterationen hängt von
der Entfernung ab, um die sich Informationen ausbreiten müssen, um
zwischen Merkmalen zu interpolieren.
- 6. Finden des Bewegungsfelds, indem als der Schätzwert des
optischen Flusses an jedem Ort die der größten nachfolgenden Wahrscheinlichkeit
entsprechende Verschiebung genommen wird, unter Verwendung von Gleichung
(6).
-
Die
von dem Algorithmus gestatteten Arten von Verformungen sind in dem
Modell für
P(u
δx|u
x) impliziert. Das Modell ist so ausgelegt,
daß minimiert wird. Das Verhalten
des Algorithmus wir durch die folgenden Parameter beeinflußt:
-
Die
Streuung σ
u in P(u
δx|u
x) steuert die Wahrscheinlichkeit von δu in
-
Die
Gitterabtastfrequenz (der Abstand, über den hinweg die Bewegungsschätzwerte
genommen werden) skaliert δx
in
Bei einer gegebenen Abtastfrequenz δx kann somit
die Streuung σ
u so berechnet werden, daß sie
steuert.
-
Die Ähnlichkeitswerte
werden bei einem Satz von gleichmäßig beabstandeten Orten über die
Bilder hinweg berechnet. Die zum Berechnen der späteren Wahrscheinlichkeiten
erforderliche Anzahl von Iterationen hängt von der Abtastfrequenz
der Bewegungsflußschätzwerte
ab.
-
Mit
der obigen Technik wird somit die Wahrscheinlichkeit für jede der
mehreren Kandidatenbewegungen an jedem Abtastpunkt in einem iterativen
Prozeß auf
der Basis der größtmöglichen
Bewegung der umgebenden Abtastpunkte verfeinert. Wenn der iterative
Prozeß abgeschlossen
ist, wird als das Bewegungsfeld dasjenige genommen, das durch die
größtmögliche Kandidatenbewegung
jedes Abtastpunkts gegeben ist.
-
Es
versteht sich, daß die
Abtastpunkte nicht individuellen Pixeln entsprechen. Um ein Bild
zu korrigieren, ist es somit notwendig, eine Auswertung der Bewegung
für jedes
Pixel des Bilds zu haben. Eine einfache Weise der Berechnung der
Bewegung für
jedes Pixel wäre
die Interpolation der Bewegungsvektoren an den nächstgelegenen Abtastpunkten
zum Pixel. Ein besseres Verfahren besteht jedoch darin, eine parametrische Transformation
an das Bewegungsflußfeld
anzupassen, was eine glatte stetige Transformation ergibt, die an jedem
Ort ausgewertet werden kann. Beschrieben und entwickelt wurde dieses
Verfahren von Declerck in Declerck, J., Subsol, G., Thirion, J.
und Ayache, N. Automatic retrieval of anatomical structures in 3D
medical images. Technical report, INRIA, 1995 und Declerck, J.,
Subsol, G., Thirion, J.P. und Ayache, N. Automatic retrieval of
anatomical structures in 3D medical images, in Ayache, N., Herausgeber,
First international conference on computer vision, virtual reality
and robotics in medicine, CVRMed'95,
Nizza, Frankreich 1995. Springer-Verlag. Lecture Notes in Computer
Science.
-
Der
Registrierungsalgorithmus kann durch Wiederholen des Prozesses verbessert
werden, wobei andere, enger beabstandete Abtastpunkte verwendet
werden. Bei den Beispielen der 6–9 wurde
eine Wiederholung mit einer Gittergröße (Abtastpunktabstand) von
3 Pixeln, einer größten Verschiebung
von 3 in Schritten von 2 Pixeln, dem gleichen 15 × 15-Kern
und nur 10 Iterationen vorgenommen. Somit berechnet die anfängliche
Verarbeitung in einem ersten Maßstab
oben eine ungefähre
Transformation durch Unterabtastung der Bilder und Unterabtastung
der möglichen
Verschiebungen. Die nachfolgende Wiederholungsverarbeitung verwendet
eine zunehmend feinere Abtastung der Bilder und Verschiebungen.
-
Der
komplette Algorithmus kann somit wie folgt zusammengefaßt werden:
- 1. Berechnen von Ähnlichkeitswerten an einem
Satz von Orten über
das Bild hinweg für
abgetastete mögliche
Verschiebungen gemäß Gleichung
(2).
- 2. Normieren des Satzes von Ähnlichkeiten
an jedem Ort, um die vorausgegangenen Wahrscheinlichkeiten P(ux) zu schätzen,
unter Verwendung von Gleichung (3).
- 3. Nehmen von natürlichen
Logarithmen der vorausgegangenen Wahrscheinlichkeiten.
- 4. Berechnen der nachfolgenden Wahrscheinlichkeit jedes optischen
Flusses, wenn seine umgebenden Schätzwerte gegeben sind, unter
Verwendung der Aktualisierungsgleichung (5).
- 5. Erneutes Normieren der geschätzten Wahrscheinlichkeiten.
Gehen zu Schritt 4, es sei denn, die erforderliche Anzahl von Iterationen
wurde fertiggestellt.
- 6. Finden des Bewegungsfelds, indem als der Schätzwert des
optischen Flusses an jedem Ort die der größten nachfolgenden Wahrscheinlichkeit
entsprechende Verschiebung genommen wird, wobei Gleichung (6) verwendet
wird, und Berechnen einer parametrischen Transformation zwischen
den Bildern.
- 7. Transformieren des nachfolgenden Bilds I n / 2, um das bewegungskorrigierte
Bild I n+1 / 2 zu erhalten.
- 8. Gehe zu Schritt 1 und wiederhole bei dem nächst feineren
Maßstab.
-
In
gewissen Fällen
werden MR-Bilder durch ein erhebliches „Bias"-Feld verfälscht. 5(B) zeigt
die Abweichung beim MR-Signalpegel über einen Fettbereich in der
Brust hinweg für
den in 5(A) gezeigten Scan. Die vorliegende
Ausführungsform
verwendet eine modellbasierte Technik zum Korrigieren des Biasfelds.
-
Wenn
sich die Brust bewegt, ändert
sich ihre Position in dem Biasfeld B(x, y). Sogar ohne Verstärkung gibt
es folglich eine erwartete Intensitätsänderung. Bei Vorliegen von
Bewegung wird die offensichtliche Kontrastverstärkung berechnet als:
-
-
Die
wahre Verstärkung
ist
-
-
Die
effektive Änderung
beim Nach-Kontrast-Signalpegel aufgrund von Bewegung durch das Biasfeld (die
Signaländerung
in Ipost bezüglich der Differenz zwischen
der scheinbaren und wahren Kontrastverstärkung) lautet deshalb:
-
-
Für eine Registrierung
von Bildern kann die auf eine Bewegung durch das Biasfeld zurückzuführende Intensitätsänderung
als eine Verstärkung
angesehen werden (obwohl diese negativ sein kann). Es ist jedoch wichtig,
auf diesen Effekt hinzuweisen, da der Zweck der Bewegungskorrektur
darin besteht, eine präzise
Berechnung der Kontrastverstärkung
in der Brust zu gestatten, und der Effekt des Biasfelds in dem bewegungskorrigierten
Bild führt
zu einer scheinbaren Erhöhung
oder Reduzierung des Ausmaßes
der Kontrastverstärkung.
Ob die Bilder vor der Berechnung des Bewegungsfelds auf das Bias
hin korrigiert werden oder nicht (auf die Durchführung des Algorithmus wirkt
sich dies kaum aus) müssen
sie vor der Korrektur hinsichtlich des berechneten Bewegungsfelds
auf das Bias hin korrigiert oder zumindest hinsichtlich der Bewegung
durch das Biasfeld unter Verwendung von Gleichung (8) kompensiert
werden.
-
Die 6 bis 9 veranschaulichen
die Anwendung der vorliegenden Erfindung auf reale MRI-Sequenzen.
-
6 zeigt
Ergebnisse von einer Patientin, die sich während des Scanprozesses um
etwa 10 mm bewegte. 6A zeigt das Vor-Kontrast-Bild
und 6B das Nach-Kontrast-Bild. 6C veranschaulicht
das Ergebnis, wenn das eine von dem anderen ohne Korrektur dieser
Bewegung subtrahiert wird. In der Realität war es so gut wie unmöglich, wegen
dieser Bewegung die Sequenz zu interpretieren. 6D veranschaulicht das
Bewegungsfeld bei Berechnung durch die vorliegende Erfindung und 6E das
korrigierte Nach-Kontrast-Bild. Das Ergebnis der Subtraktion dieses
korrigierten Bilds von dem Vor-Kontrast-Bild ist in 6F gezeigt,
die sichtbar deutlicher ist als 6C. Die
in 6 unten gezeigten Intensitätsprofile zeigen graphisch die
Ergebnisse der Korrektur. Sie zeigen insbesondere die Genauigkeit
der Registrierung am linken Brustrand. Die horizontale Verschiebung
zwischen den resultierenden Brusträndern in dem korrigierten Subtraktionsbild beträgt weniger
als ein halbes Pixel.
-
In 7 zeigen 7A und 7B das
Vor-Kontrast- bzw.
Subtraktionsbild. Ein Tumor liegt vor, der in dem Subtraktionsbild
eingekreist ist. Die Patientin bewegte sich zwischen dem Vor- und
Nach-Kontrast-Bild um etwa 2 mm, und 7C veranschaulicht
das korrigierte Subtraktionsbild. Die Bildoberflächen sind in 7 unten
dargestellt, und die Oberfläche
zeigt stärkere
Spitzen im korrigierten Bild auf, wobei die Spitze dem Tumor entspricht.
-
In 8 ist
die Erfindung auf ein Nach-Kontrast-Bild für eine Patientin angewendet,
die die Brustmuskeln zwischen der Vor- und Nach-Kontrast-Erfassung
entspannte. 8A zeigt ein Vor-Kontrast-Bild, 8B ein
Nach-Kontrast-Bild und 8C ein Subtraktionsbild ohne
Korrektur. Das durch die vorliegende Erfindung berechnete Bewegungsfeld
ist in 8B und das entsprechend korrigierte
Nach-Kontrast-Bild
in 8E gezeigt. Subtraktion dieses korrigierten Bilds
von dem Vor-Kontrast-Bild führt
zu 8F. Bei dieser Sequenz ist die Bewegung extrem
unstarr, weil der Brustmuskel seine Form ändert und sich um etwa 15 mm
bewegt. Außerdem
liegt ein Tumor vor, der sich in der Brust um etwa 7 oder 8 mm bewegt,
doch ist die Bewegung fast vollständig auf innerhalb der Brust
beschränkt,
wobei sich der Rand nur etwa 3 mm bewegt (was die signifikante nicht-starre
Natur des Problems demonstriert). Bei Verwendung der Erfindung gibt
es nur einen 1-Pixel-Fehler zwischen dem Rand in dem Vor- und korrigierten
Nach-Kontrast-Bild wie in 8F gezeigt
und in den geteilten Bildern von 8G und 8H dargestellt. 8G zeigt
ein geteiltes Vor-Kontrast-/Nach-Kontrast-Bild ohne Bewegungskorrektur,
wohingegen 8H das entsprechende geteilte
Bild mit. Korrektur zeigt. Man kann erkennen, daß die Grenzen der verschiedenen
Merkmale in dem korrigierten Bild ausgerichtet sind.
-
Bei
der obigen Erörterung
von Ähnlichkeitsmaßen wurden
mehrere verschiedene Möglichkeiten
erwähnt. 9 zeigt
die Ergebnisse, wenn die verschiedenen Ähnlichkeitsmaße in der
vorliegenden Erfindung verwendet werden. 9A zeigt
das grundlegende Vor-Kontrast-Bild
und 9B das Nach-Kontrast-Bild. 9C, D und E zeigen
jeweils das Bewegungsfeld, das korrigierte Nach-Kontrast-Bild und
das korrigierte Subtraktionsbild unter Verwendung einer normierten
Kreuzkorrelation. 9F, G und H zeigen
das Bewegungsfeld, das korrigierte Nach-Kontrast-Bild bzw. das korrigierte Subtraktionsbild
unter Verwendung von Transinformation. Es ist zu erkennen, daß in 9E unter
Verwendung von normierter Kreuzkorrelation der Algorithmus die Bewegung
in dem Gebiet um den Tumor herum falsch berechnet hat, was genau
der Ort ist, wo sie am genauesten sein muß. Wenn jedoch Transinformation
verwendet wird, kommt es zu keinen derartigen Problemen.
steuert.
