-
Die
vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung
für das
Bearbeiten von Bildern, um bestimmte Merkmale in dem Bild zu detektieren.
Insbesondere ist sie mit der Detektion von Merkmalen in verrauschten
2D-, 2D + T-, 3D- und 3D + T-Bildern befasst und ist dadurch besonders
nützlich
bei der medizinischen Bildgebung, zum Beispiel bei Verwendung von
Ultraschall.
-
Es
gibt viele Verfahren für
die Verarbeitung von Bildern, um diese zu verbessern, insbesondere um
den Rauschbetrag zu reduzieren und/oder interessierende Merkmale
im Bild zu detektieren. Solche Verfahren sind insbesondere in Bereichen
nützlich,
in denen Bilder verrauscht sind, zum Beispiel bei der medizinischen
Bildgebung. Ultraschallbilder enthalten zum Beispiel beträchtlich
viel Fleckenrauschen, was die Interpretation diese Bilder schwierig
macht. Erfahrene Bediener können
solche Bilder aufgrund ihrer Erfahrung und ihres Wissens bezüglich der wahrscheinlich
vorhandenen, interessierenden Merkmale interpretieren. Das Automatisieren
des Prozesses der Detektion von interessierenden Merkmalen wird
aber durch das Vorhandensein von Rauschen und Bildgebungsartefakten
erschwert. Ähnliche
Probleme ergeben sich bei anderen Bildgebungsverfahren, beispielsweise
der Magnetresonanzbildgebung.
-
Im
Allgemeinen beruhten bisher für
das Verbessern von Bildern vorgeschlagene Verfahren auf der Prüfung der
Intensität
des Bilds, zum Beispiel durch Glätten
der Intensität,
um Rauschen zu reduzieren, oder durch Festlegen eines Detektionsschwellwerts
beruhend auf der Amplitude. Verfahren auf der Grundlage von Schwellwertbildung
sind aber aufgrund der Schwierigkeit, einen geeigneten globalen
Schwellwert zu setzen, nicht ganz zufrieden stellend. Ultraschallbilder
zum Beispiel enthalten Schwächungsartefakte,
die durch Ändern
der Orientierung und das Reflexionsvermögens des abgebildeten Gewebes
verursacht werden. Das Ändern
eines Schwellwerts, der für
das Ausschließen
von Rauschen geeignet ist, aber alle interessierenden Merkmale enthält, ist
schwierig, wenn nicht unmöglich.
-
Es
wurden andere Verfahren für
das Analysieren verrauschter Bilder für das Detektieren von Merkmalen
vorgeschlagen, die auf dem Korrelieren von Bildern im zeitlichen
Verlauf oder mit Bewegung der bildgebenden Sonde beruhen. Ultraschall-Fleckenrauschen dekorreliert
zum Beispiel mit der Bewegung der Sonde und im zeitlichen Verlauf.
Ein Problem bei einigen dieser Verfahren ist aber zum Beispiel,
dass sie dazu neigen, die interessierenden Merkmale im Bild verschwimmen
zu lassen. Dadurch muss der Bediener einen Kompromiss zwischen Beseitigen
von Rauschen und Verlust an Bildqualität eingehen.
-
Jianzin
Hou et al.: „Orientation
selective operators for ridge, valley, edge, and line detection
in imagery", Proceedings
of the International Conference on Accoustics, Speech and Signal
Processing (ICASSP). I. Image and Multidimensional Signal Processing.
Adelaide, 19.–22.
April 1994, New York, IEEE, US, Vol. 5 Conf. 19, 19. April 1994,
Seiten V-25–V-28
beschreibt die Orientierung selektiver Operatoren, d.h. steuerbare
Filter zur Merkmalsdetektion insbesondere von Linien und Kanten
in medizinischen Bildern, die Differentialfilter verschiedener Orientierungen
verwenden, welche jeweils eine Antwort für die gerade gefilterte interessierende
Fläche liefern,
um die lokale Merkmalsorientierung durch Orientierung des Filters
mit dem höchsten
Antwortwert zu detektieren.
-
Eine
Aufgabe der Erfindung besteht daher darin, ein Verfahren für die automatische
Detektion von interessierenden Merkmalen in einem Bild an die Hand
zu geben, das die vorbekannten Verfahren verbessert.
-
Die
vorliegende Erfindung gibt ein Verfahren für das Detektieren von interessierenden
Merkmalen in einem Bild beruhend auf der Form des Intensitätsprofils
des Merkmals statt auf dessen Intensität zur Hand. Dies wird durch
einen intensitätsunabhängigen Vergleich
des Intensitätsprofils
quer über
das Bild mit einem Formmodell interessierender Merkmale verwirklicht.
Zur Verbesserung der anschließenden Verarbeitung
des Bilds werden Bildbereiche, die laut Detektion dem Formmodell
entsprechen, mit einer Bezeichnung ihrer Eigenschaften gekennzeichnet.
-
Im
Einzelnen bietet die vorliegende Erfindung daher ein Verfahren für das Detektieren
von interessierenden Merkmalen in einem Bild, welches folgende Schritte
umfasst:
Vornehmen eines intensitätsunabhängigen Vergleichs der Form
von Bereichen des Intensitätsprofils quer über das
Bild mit einem Formmodell für
vorbestimmte interessierende Merkmale, um Bereiche des Bilds, welche
das Formmodell erfüllen,
als interessierende Merkmale zu definieren; und
Speichern eines
Kennsatzes für
jeden der festgelegten Bereiche, welcher den Grad der Ähnlichkeit
zu dem Formmodell umfasst.
-
Die
vorbestimmten interessierenden Merkmale können positive und negative
Stufenkanten oder Dach- oder Kammformen oder Talformen oder andere
je nach Anwendung erwünschte
Merkmale sein.
-
Der
Kennsatz kann auch eine Maßgröße der Orientierung
des Merkmals im Bild enthalten, und der Vergleich kann auch an einem
Intensitätsprofil
vorgenommen werden, das über
aufeinander folgende Einzelbilder einer Bildsequenz hinweg erstellt
wurde, um eine Maßgröße der Geschwindigkeit
der Bildmerkmale abzuleiten. Der Kennsatz kann dann eine Maßgröße der Geschwindigkeit
umfassen.
-
Der
Vergleich mit dem Formmodell wird vorteilhafterweise in den räumlichen
oder räumlich-zeitlichen
Frequenzdomänen
vorgenommen, also durch Zerlegen des Intensitätsprofils in räumliche
Frequenzkomponenten und Prüfen
der Phase und Amplitude dieser Komponenten. In einer Ausführung wird dies
durch Falten des Intensitätsprofils
mit einem Quadraturfilter, um die Phase und Amplitude eines Paars
ungerader und gerader Komponenten des Profils in der räumlichen
Frequenzdomäne
abzuleiten, verwirklicht. Die Phase und die Amplitude dieser Komponenten
sind für
verschiedene Formen in dem Intensitätsprofil charakteristisch.
Der Unterschied zwischen den ungeraden und geraden Komponenten,
der eine Maßgröße der „Merkmalasymmetrie" ist, ist zum Beispiel
ein Höchstwert
für eine
Stufenkante. Dadurch ist es durch Setzen von Beschränkungen
des Werts der Merkmalsasymmetrie möglich zu ermitteln, dass der
betrachtete Bereich des Bilds der gesuchten Form entspricht. Die
Werte der Merkmalasymmetrie und der lokalen Amplitude (die auf der
Amplitude der beiden Komponenten beruht) werden in den Kennsatz
aufgenommen.
-
Vorzugsweise
sind die Filter Quadratur-Wavelet-Filter, zum Beispiel Log-Gabor-Filter, so dass das
Intensitätsprofil
mit ungeraden und geraden Wavelets gefaltet wird. Die Skale des
Wavelets wird entsprechend der Skale der zu detektierenden Merkmale
gewählt,
und zwar so, dass sie viel größer als die
Skale des Rauschens im Bild ist. Dies bedeutet, dass das Verfahren
Merkmale nach ihrer Form und Skale wählt, aber unabhängig vom
Wert der Intensität.
-
Die
Filter können
in verschiedene Richtungen quer über
das Bild ausgerichtet sein, um Bildmerkmale mit unterschiedlichen
Orientierungen zu detektieren. Der Kennsatz kann dann eine Maßgröße der Merkmalorientierung
enthalten, die aus den relativen Antworten der unterschiedlich ausgerichteten Filter
abgeleitet werden kann.
-
Das
Bildverarbeitungsverfahren der Erfindung kann als Vorstufe für das Verfolgen
detektierter Bildmerkmale durch aufeinander folgende Einzelbilder
einer Bildsequenz verwendet werden. Das Bereitstellen von Kennsätzen, welche
Informationen zu den detektierten Merkmalen enthalten, ist bei einem solchen
Verfolgungsvorgang besonders nützlich. Statt
zum Beispiel einfach nach dem nahe liegendsten Bildmerkmal in zwei
aufeinander folgenden Einzelbildern zu suchen, ist es möglich, auch
die Kennsätze
der detektierten Bildmerkmale in den beiden Einzelbildern zu vergleichen
und sie als zum gleichen Merkmal gehörig zu definieren, wenn die
Kennsätze vorab
festgelegte Suchkriterien erfüllen.
-
Suchkriterien
können
eine Bedingung zum Wert der Merkmalasymmetrie der beiden detektierten Merkmale
und eine Bedingung zur Orientierung der detektierten Bereiche umfassen
(zum Beispiel, dass sie ähnlich
ausgerichtet sind) einschließen.
-
Wenn
der Kennsatz eine Maßgröße der Geschwindigkeit
des Merkmals enthält,
kann das Suchgebiet von Einzelbild zu Einzelbild gemäß der Geschwindigkeit
festgelegt werden und die Suchkriterien können eine Bedingung zur Geschwindigkeit
enthalten.
-
Die
Erfindung ist insbesondere bei Ultraschall- oder Magnetresonanzbildern
verwendbar, aber auch bei Röntgen-
und anderen Abbildungsmodalitäten.
Die nachstehend beschriebene Ausführung betrifft die Echokardiographie,
doch ist die Erfindung auf Ultraschallbilder allgemein, beispielsweise
von verschiedenen Organen und Geweben, z.B. der Koronararterien,
der Leber, des Fötus,
etc., und auf verschiedene Ultraschallmodalitäten wie Einsatz von Kontrastverarbeitungsverfahren
und Verarbeitungsverfahren verschiedener Signale wie Dopplerbildgebung
und harmonische Bildgebung anwendbar. Bei der Echokardiographie
ist die Erfindung zum Beispiel durch geeignetes Festlegen des Formmodells
auf die Detektion aller Merkmale anpassbar, die einer Stufenänderung
der Intensität
entsprechen, zum Beispiel der Ventrikelwände.
-
Die
Erfindung kann in einem System verkörpert werden, das dafür ausgelegt
ist, das Bildverarbeitungsverfahren auszuführen, und kann durch ein Computerprogramm
verkörpert
werden, welches Programmcodemittel für das Ausführen des Verfahrens umfasst.
Die Erfindung gibt damit weiterhin ein Computerprogramm-Speichermedium
an die Hand, das ein solches Computerprogramm enthält, und
ferner ein zum Ausführen
des Verfahrens programmiertes Computersystem.
-
Die
Erfindung wird beispielhaft unter Bezug auf die Begleitzeichnungen
eingehender beschrieben. Hierbei zeigen:
-
1(a) und (b) Fourier-Zerlegungen
einer Stufenkante und einer Dreieckfunktion;
-
2 die
Werte der lokalen Phasensignatur von räumlichen Frequenzkomponenten
für verschiedene
Funktionen;
-
3(a) und (b) jeweils
gerade und ungerade zwei-oktavige Log-Gabor-Wavelet-Funktionen;
-
4 die
spektralen Eigenschaften der Log-Gabor-Wavelets;
-
5(a) ein typisches Intensitätsprofil quer über ein
Ultraschallbild;
-
5(b) das lokale Amplitudenergebnis einer Faltung
eines Intensitätsprofils
mit Log-Gabor-Filtern bei einer Folge von Skalen;
-
5(c) das lokale Phasenergebnis einer Faltung eines
Intensitätsprofils
mit Log-Gabor-Filtern bei
einer Folge von Skalen;
-
6 schematisch
ein Bildverarbeitungssystem nach einer erfindungsgemäßen Ausführung;
-
7(A) und (B) Beispiele
der Merkmalsorientierungen in zwei und drei Dimensionen, die in
der Ausführung
von 6 verwendet werden;
-
8 die Wirkung des Analysierens des Intensitätsprofils
mit Hilfe von Log-Gabor-Wavelets verschiedener
Skale (Wellenlängen)
auf die Merkmalsdetektion;
-
9 einen
Prozess für
das Verfolgen eines detektierten Merkmals durch eine Folge von Bildern;
-
10 schematisch
einen Teil des Verfolgungsprozesses und
-
11 die
Beziehung zwischen lokaler Phase und Merkmalasymmetrie.
-
Während sich
herkömmliche
Verfahren für die
Detektion einer Stufenkante in einem Intensitätsprofil auf die Prüfung der
Derivate des Intensitätsprofils
stützen
(d.h. seine Neigung), um die plötzlichen Intensitätsänderungen
zu detektieren, die die sichtbare Kante der Merkmale im Bild markieren,
prüft diese
Erführung
der Erfindung eine Zerlegung des Intensitätsprofils in die räumlichen
oder räumlich-zeitlichen
Frequenzdomänen. 1 zeigt zum Beispiel Fourier-Zerlegungen
einer Stufenkante (1(a) und eine Dreiecksfunktion
(1(b)). In 1(a) ist ersichtlich,
dass die drei sinusförmigen
Komponenten i, ii und iii summiert eine Annäherung an eine Stufenkante
iv ergeben. Weiterhin lässt
sich erkennen, dass die Phase aller drei Komponenten an der positiv-verlaufenden
Stufenkante gleich, nämlich
null ist. Weiterhin beträgt
der Phasenwert aller Komponenten an der negativen Stufenkante 180
Grad. Bezug auf 1(b) zeigt, dass bei einer Dreieckspitze
der Phasenwert aller Fourier-Komponenten an der Spitze des Dreiecks
90 Grad beträgt.
-
Die „lokale
Phase" ist als Phasenoffset
jeder Fourierkomponente definiert, die, gemessen am Ort des Interesses,
ein Signal beschreibt. Bei Merkmalen wie einer Stufe, der Spitze
eines Daches oder dem Fuß einer
Rampe läuft
die lokale Phase aller Fourier-Komponenten auf den gleichen Wert
zusammen. Ferner ist der Wert charakteristisch für die Art des Merkmals. Die
Phasenwerte für
verschiedene Merkmalsarten werden in dem Diagramm von 2 gezeigt.
Daher ist ersichtlich, dass die Phase der spektralen Komponenten
eines Signals einen Hinweis auf die Form des Signals gibt. Zu beachten
ist, dass der bestimmte Wert der Phase willkürlich ist (abhängig von
der Ursprungsposition), dabei ist wichtig, dass die verschiedenen
Merkmale verschiedene, bekannte Werte haben.
-
Die
Fourierzerlegung könnte
zwar für
perfekt geformte Merkmale geeignet sein, doch ist das Intensitätsprofil
quer über
typische Bilder viel komplexer und verrauschter, und eine Fourierzerlegung
einer solchen komplexen Wellenform wäre äußerst komplex. Stattdessen
wendet sich diese erfindungsgemäße Ausführung wiederum
aufeinander folgenden kleinen Abschnitten des Intensitätsprofils
quer über das
Bild durch Vornehmen der Spektralanalyse mit Hilfe von Wavelets
zu. Diese Ausführung
benützt Log-Gabor-Wavelets,
wie sie in 3 gezeigt werden (die eigentlich
modulierte Gauss-Sinusformen sind), die einen mittleren Schnitt
von nicht null haben und an anderer Stelle null sind. Ihr Falten
mit dem Intensitätsprofil
umrahmt somit effektiv einen kleinen Bereich des Profils. 3(a) zeigt das gerade Wavelet basierend auf einer
modulierten Gauss-Kosinusfunktion und 3(b) das
ungerade Wavelet basierend auf einer modulierten Gauss-Sinusfunktion.
Die spektralen Eigenschaften (aufgetragen gegen Frequenz und Log-Frequenz)
der Wavelets werden in 4 gezeigt.
-
So
wie eine Fourier-Analyse eines Profils den Betrag und die Phase
jeder der Fourier-Komponenten ergibt, gewinnt somit das Falten des
Intensitätsprofils
mit dem Log-Gabor-Waveletpaar die Amplitude und Phase der geraden
und ungeraden Komponenten für
den interessierenden Bereich.
-
Die
verwendete Skale der Wavelets ist wichtig. 5(a) zeigt
ein typisches Intensitätsprofil
quer über
ein Echokardiographiebild. Man kann sich vorstellen, dieses Profil
mit Hilfe von sehr kleinskalierten Versionen der in den 3(a) und 3(b) gezeigten
Wavelets zu analysieren. Dies würde
zu einer Analyse der sehr kleinskalierten Intensitätsänderungen
des Profils führen.
Wenn die verwendete Skale der Wavelets dagegen viel größer wäre, so dass
z.B. nur ein Wavelet über
die gesamte Länge
des Profils passt, würde
die Wirkung der kleinskalierten Intensitätsänderungen das Ergebnis nicht
beeinträchtigen und
die Analyse würde
tatsächlich
nur die grobe Gesamtform des Profils aufgreifen. Dadurch besteht
die Wirkung bei Verändern
der Skale des Wavelets darin, nach verschiedenen Skalenmerkmalen
im Profil zu suchen.
-
Die
Wirkung des Veränderns
der Wellenlänge
oder Skale des Wavelets wird durch die Skalogramme der
5(b) und
(c) veranschaulicht.
Diese Skalogramme werden durch Heranziehen der Faltungen einer Sequenz
von Log-Gabor-Filtern zunehmender Wellenlänge und vertikales Schichten
der ausgegebenen lokalen Phasen- oder lokalen Amplitudenantworten
jedes Filters konstruiert, so dass jede eine neue Zeile des Bilds
bildet. Die Skalogramme links (
5B)
werden aus den erhaltenen lokalen Amplitudenantworten mit
berechnet, wobei e(x) die
Ausgabe des geraden Log-Gabor-Wavelets ist und o(x) dessen ungerade Entsprechung
ist. Analog wird das Phasenskalogramm von
5B aus
den gegebenen absoluten lokalen Phasenwerten mit
berechnet. In dem linken
Skalogramm entsprechen die Intensitätswerte den ausgegebenen Amplituden der
Faltungen. Die Phasenwerte rechts wurden zu Intensitäten abgebildet,
so dass schwarz der Nullphase (positive Stufen) entspricht und weiß den π Radianen entspricht
(negative Stufen). Spitzen mit π/2-Phasensignaturen
sind grau.
-
Das
Phasenskalogramm zeigt, dass bei kleinen Skalen viele Merkmale gefunden
werden, die diesen extremen Werten entsprechen. Wenn aber die Filterskale
größer wird,
sinkt die Anzahl an Merkmalen auf ein paar gerade Bänder. Aus
diesen lassen sich die Stufenkanten identifizieren (lokale Phase läuft auf
Null zusammen, also schwarz auf dem Skalogramm), die den epikardialen
(1) und den endokardialen (2, 3) Stufenkanten entsprechen, sowie
eine perikardiale Spitze (4). Anhand des Phasenskalogramms wie in 5c lassen sich zwei Beobachtungen machen:
1) Merkmale wie Stufenkanten und Spitzen haben stabile Phasenwerte
und 2) Phasensignaturen bleiben über
Skalen örtlich
begrenzt. Stabilität
bedeutet, dass es quer über
die Skalen immer eine bestimmte zu jeder Merkmalform gehörige Phasensignatur
gibt (in der Darstellung werden die Nullgrad- und π Radian-Werte,
die jeweils positiven und negativen Stufen entsprechen, gezeigt). Örtliche
Begrenzung heißt,
dass die zu einem Merkmal gehörige lokale
Phasensignatur über
eine Reihe von Skalen in der Nähe
des Ereignisses bleibt (d.h. an der gleichen Stelle auf der X-Achse).
Da die örtliche
Begrenzung und Stabilität
gehalten werden, ist es somit möglich, interessierende
Merkmale aus der Phasenausgabe einer großskalierten Faltung entsprechend
vorbestimmten Phasensignaturen zu ermitteln und diese entlang gerader
Strecken zu ihrem Ort zurückzuverfolgen.
Dadurch kann das System einen großskalierten Filter verwenden,
um Rauschen zu beseitigen, und dennoch Merkmalspunkte präzis ermitteln,
und durch Prüfen
eines Phasenskalogramms wie in 5(c) ist
es möglich,
eine geeignete Skale festzulegen, bei der die Phasensignaturen von
interessierenden Merkmalen klar sind.
-
In
der vorliegenden Ausführung
der Erfindung ist eine einzige Skale ausreichend, um dem Herz entsprechende
interessierende Echogrenzen zu detektieren. Bei anderen Anwendungen,
beispielsweise der Betrachtung anderer Organe oder der Verwendung
anderer Modalitäten,
kann es notwendig sein, die Ausgabe der Filter bei anderen Skalen
zu kombinieren, um die Detektion zu verbessern. Falls erforderlich,
können
Filter bei verschiedenen Skalen laufen und die Ergebnisse verschiedener Skalen
können
zum Beispiel durch Mitteln der Merkmalasymmetrieergebnisse und Aufzeichnen
gewählter
Merkmale, wenn deren Formbeschreibung über eine Reihe von Skalen hinweg
einheitlich ist, kombiniert werden.
-
In
dieser erfindungsgemäßen Ausführung sind
die verarbeiteten Bilder Echokardiogramme des linken Ventrikels,
die mit Hilfe eines HP-Sonos 5500 Scanners erhalten wurden, der
Bilder einer Größe von 300 × 250 Pixel
bei einer Einzelbildgeschwindigkeit von 50 bis 60 Hz erzeugt. Für diese
Bilder werden Skalen zwischen 32 bis 56 Pixel mit Log-Gabor-Wavelets
von zwei Oktaven verwendet.
-
Bisher
hat sich das Problem der Grenzdetektion auf das 1D-Problem und die
Analyse eines 1D-Profils konzentriert. Die vorliegende Erfindung
ist aber auch dafür
ausgelegt, um die Orientierung von Merkmalen (Stufen, Tälern, Kämmen) in
2D-Bild- und 3D-Volumendaten
(einschließlich
2D + T d.h. Sequenzdaten) zu detektieren und zu finden.
-
Hierfür ist eine
Filterbank ausgerichteter Filter so ausgelegt, dass der Raum der
Daten abgetastet wird: d.h. eine Ebene für ein 2D-Bild oder ein Volumen
für 3D-
oder 2D + T-Daten. Diese erfindungsgemäße Ausführung wurde auf Echokarodiographiesequenzen
angewendet, und in diesem Fall wird ein 2D + T-Volumen durch Schichten der aufeinander
folgenden Einzelbilder hintereinander erzeugt, was ein 3D-Volumen
erzeugt (so dass die beiden Raumdimensionen der x- und der y-Achse
folgen und die Zeitdimension der z-Achse folgt). Ein Volumen für drei Raumdimensionen
(3D) wird durch Schichten von Bildern, die bei verschiedenen
Tiefen aufgenommen wurden, erzeugt.
-
Das
Abtasten von multidimensionalen Daten und die Detektion der Merkmalorientierung
erfordern:
- 1. die Ausweitung der Log-Gabor-Filter
auf höhere
Dimensionen (2D und 3D),
- 2. die Wahl optimaler Orientierungen für die Filter in den 2D- und
3D-Räumen
und
- 3. ein Interpolationsverfahren, das die Schätzung der Orientierung der
aus einer kleinen Anzahl an Filterantworten detektierten Merkmale
zulässt.
-
Die
Ausweitung einer 1D-Filterfunktion auf höhere Dimensionen wird als ‚Spreizung' bezeichnet. In dieser
Ausführung
werden die Log-Gabor-Filter durch Multiplizieren mit einer Gauss-Funktion
in der spektralen Domäne
zu höheren
Dimensionen gespreizt. Zum Beispiel in 2D
-
-
Hier
definiert σ⌀ das
Ausmaß der
Spreizfunktion als Skalierung s der Trennung zwischen den Filtern σ⌀ =
s × Δ⌀. Dieses
Spreizungskonzept kann natürlich
auf 3D ausgeweitet werden.
-
Die
Anzahl an Filtern und ihre jeweilige Orientierung müssen so
festgelegt werden, dass alle möglichen
interessierenden Merkmale detektiert werden und ihre Richtung zuverlässig geschätzt wird. Aufgrund
fehlenden Vorwissens zur erwarteten Orientierung der Merkmale erfordert
dies das gleichmäßige Abtasten
des Datenraums mit ausreichend Filtern, so dass ein Interpolationsvorgang
die Orientierung des Merkmals zutreffend schätzen kann. In dieser Ausführung liefern
drei gleichmäßig beabstandete
Filter in 2D und sechs gleichmäßig beabstandete Filter
in 2D + T eine gute Genauigkeit, wobei die Anzahl erforderlicher
Filteroperationen minimiert wird. Diese werden jeweils in den 7(A) und 7(B) gezeigt.
-
Es
können
verschiedene Interpolationsalgorithmen verwendet werden; in dieser
Ausführung werden
die Filterantworten unter Verwendung einer elliptischen (2D) oder
ellipsoiden (3D) Anpassung auf die Filterantworten interpoliert.
Diese Näherung
liefert Schätzungen
der Merkmalorientierung innerhalb der durch den Verfolgungsalgorithmus
geforderten Genauigkeit.
-
Die
Schätzung
der Merkmalorientierung in einem 2D + T-Volumen ist gleichwertig
mit dem Finden der Orientierung und Bewegungsrichtung eines Merkmals.
Wenn man sich eine horizontale Linie vorstellt, die sich über eine
Folge von Bildern nach oben bewegt, dann erscheint sie in dem Einzelbildstapel als
Ebene mit einer bestimmten Neigung zur Horizontale proportional
zur Geschwindigkeit der Linie. Eine schnelle Linie wird zu einer
steilen Ebene; eine langsamere Linie würde weniger steil sein. Das
Schätzen dieser
Komponente der Merkmalorientierung ist gleichwertig mit dem Schätzen der
Merkmalgeschwindigkeit. Dies kann dazu dienen, die Bewegung von
anatomischen Grenzen vorauszusehen, und ist für anschließende Verfolgungsphasen von
großem Vorteil.
-
Diese
erfindungsgemäße Ausführung ist
insbesondere auf die Detektion von anatomischen Grenzen anwendbar,
beispielsweise von Grenzen der Herzkammer, und insbesondere auf
die Ventrikelgrenzen beim Echokardiographiebild des linken Ventrikels.
Diese sind von der Intensität
her Stufenkanten. In dieser Ausführung
werden diese Stufenkanten durch Ableiten der „Merkmalasymmetrie" detektiert, die
ein Maß der
Differenz zwischen den ungeraden und den geraden Filterausgaben
an jedem Bildpunkt ist und eine Funktion der Phasensignatur ist.
Statt den Wert der lokalen Phase wie vorstehend definiert zu betrachten,
wird somit die Merkmalasymmetrie abgeleitet, und diese kann wie
folgt definiert werden:
wobei o(x) und e(x) die ungeraden
und geraden Filterausgaben am Punkt x im 2D-Bild oder „D + T-Volumen sind.
-
Die
Merkmalasymmetrie steht wie folgt direkt mit der lokalen Phase in
Beziehung: FA(x) = |sin(Φ(x))| – |cos(Φ(x))|wobei Φ die lokale
Phase ist.
-
Die
Funktion wird in 11 aufgetragen. Es ist ersichtlich,
dass die Merkmalasymmetrie nahezu linear variiert, wobei die lokale
Phase von –1
für Spitzen
und Täler
bis zu +1 für
positive und negative Stufen reicht. (Zu beachten ist, dass die
Phasenwerte für 11 und
die nachstehende Ausführung
um 90° von
den in 1 und 2 gezeigten
versetzt sind. Wenn der Nullphasenpunkt definiert wurde, wie in den 1 und 2, dann
würde 11 einfach umgekehrt
sein, mit FA = –1
bei positiven und negativen Stufen (bei 0° und 180°) und +1 bei Spitzen und Tälern (bei
90° und
270°).
-
Bei
dieser erfindungsgemäßen Ausführung ist
es daher die Merkmalasymmetrie, die berechnet und einer Schwellwertoperation
unterzogen, um positive und negative Stufen zu detektieren. Zum
Beispiel entspricht ein Schwellwert von 0,9 für die Merkmalasymmetrie einem
lokalen Phasenbereich von ± 5
Grund um ± 90
Grad und detektiert somit positive und negative Stufen. Der exakte
Wert des Schwellwerts beeinflusst die Breite der detektierten Merkmale.
Der Schwellwert ist dimensionslos und kann daher bei jedem Bild
angewendet werden, um die Kanten zu detektieren, die in die Skale
der Filter fallen. Rauschunterdrückung
ist somit allein Sache von Skale und Merkmalform, nicht der Intensität. Durch Entscheiden
aufgrund der Merkmalasymmetrie, ob Bildpunkte zu einem bestimmten
Merkmal gehören, bedeutet
somit, dass das Verfahren unabhängig
von der Intensität
der Bildpunkte ist. Natürlich
kann die Intensität
festgestellt und in späteren
Prozessen, beispielsweise einem später erläuterten Verfolgen, genutzt
werden.
-
8 zeigt die Ergebnisse der Verarbeitung eines
Echokardiogramms des linken Ventrikels mit den Log-Gabor-Funktionen
von 3 bei verschiedenen Skalen von
16 Pixel bis zu 72 Pixel. Das weiße Überlappen entspricht den detektierten
Stufenkanten und markiert Pixel mit Merkmalasymmetriewerten über dem
Schwellwert von 0,9. Es ist ersichtlich, dass bei der feinsten Skale,
beispielsweise 16 Pixel, die meisten detektierten Werte der Fleckenstruktur
im Ultraschallbild entsprechen. Wenn aber die Skale angehoben wird,
werden die interessierenden Merkmale im Bild detektiert, beispielsweise
die Wände
des Ventrikels, zum Beispiel bei einer Skale von 48 Pixel. Das Verwenden
einer Skale zwischen 32 und 56 Pixel würde daher bei diesem Bild zufrieden
stellende Ergebnisse liefern. Die in einer Situation tatsächlich zu
verwendende Skale hängt
vom Bild (zum Beispiel der Qualität des Bilderhalts und der vom
Ultraschallbediener verwendeten Abbildungstiefeneinstellung) ab,
doch kann dem Bediener die Steuerung der Skale überlassen werden, was ihm erlaubt,
die Detektion fein abzustimmen oder zu konzentrieren, um eine gute
Abgrenzung der erwünschten
interessierenden Merkmale zu erhalten.
-
6 ist
ein Beispiel, das schematisch die Bildanalyseverarbeitung dieser
Ausführung
zeigt. Die Daten 1 (die ein Bild oder eine Folge von Bildern
sein können)
werden eingegeben und bei 3 Fourier-transformiert, bevor
sie mit der Reihe ausgerichteter Quadraturfilter 5 gefaltet
werden. Die Ausgabe der Quadraturfilter 5 wird dann zur
Berechnung des Merkmalformmaßes
verwendet, welche in dieser Ausführung die
Merkmalasymmetrie ist (die bei Stufenkanten ein Höchstwert
ist). Die Merkmalasymmetrie wird von den geraden und ungeraden Filterausgaben 7 mit
Hilfe der obigen Formel abgeleitet. Die Merkmalasymmetrie wird mit
einem Schwellwert (zum Beispiel 0,9) verglichen, der der einzige
Parameter ist, der zur Annahme von Bildpixeln als Merkmalkandidaten über UND-Gatter 11 für die folgende
Verarbeitung verwendet wird. Für
die Verarbeitung in zwei räumlichen
Dimensionen sind drei Filter erforderlich, für die 3D-Verarbeitung sind
sechs Filter nötig,
wie in den 7(A) und (B) gezeigt
wird. In 7(A) sind die Orientierungen
zu den Scheitelpunkten eines regelmäßigen Sechsecks gerichtet.
In 7(B) sind die Orientierungen in
den Richtungen der Scheitelpunkte eines regelmäßigen Ikosahedrons. Für jedes
dieser Kandidatenpixel wird bei 9 ein auf Intensität beruhendes
Maß, in
diesem Fall die oben definierte lokale Amplitude, berechnet. Somit
werden für
jedes gemäß dem Schwellwert
der Merkmalasymmetrie angenommene Pixel die lokale Amplitude und
der Merkmalasymmetriewert von jedem der ausgerichteten Filter aufgezeichnet.
-
Es
versteht sich, dass der Wert der lokalen Amplitude von einem der
Filter von der relativen Orientierung des Filters gegenüber dem
Merkmal abhängt.
Die maximale Antwort wird erhalten, wenn der Filter senkrecht zur
Richtung des Merkmals auftrifft. Umgekehrt wird die minimale Antwort
erhalten, wenn der Filter parallel zum Merkmal ausgerichtet ist.
Dazwischen nimmt die lokale Amplitudenantwort gleichmäßig und
monoton ab. Dies ist intuitiv verständlich, da das Intensitätsprofil
entlang einer Linie parallel zu einer Stufenkante konstant ist,
während
das Intensitätsprofil
entlang einer Linie senkrecht zur Stufenkante die volle Stufenkantenänderung
gibt. Dadurch ermittelt der Interpolator 13 die Orientierung
des Merkmals aus den lokalen Amplitudenantworten der ausgerichteten
Filter 5. Hierfür
gibt es viele verschiedene Möglichkeiten,
beispielsweise eine lineare Kombination der Signale von den verschiedenen
Orientierungen oder das Betrachten der Ausgaben der Filter als Vektoren
mit einer der Filterorientierung entsprechenden Richtung und einer
der lokalen Amplitude entsprechenden Länge und das Anpassen einer
Ellipse an die Endpunkte der Vektoren, wobei die Hauptachse der
angepassten Ellipse der Normalen zur Merkmalrichtung entspricht.
Die Richtung der Normalen unterscheidet natürlich nicht zwischen positiven
und negativen Kanten, aber diese sind durch das Vorzeichen der ungeraden
Filterausgabe unterscheidbar.
-
Auf
den Ergebnissen kann ein nicht maximaler Unterdrückungsalgorithmus 14 ausgeführt werden,
um die detektierten Kanten auf in etwa pixelbreite Kontursegmente
zu beschränken.
Weiterhin wird eine Stufe 16 der intensitätsbezogenen
Rauschunterdrückung
und vorzugsweise Schwellwertbildung und Kettenverfolgung verwendet,
um Streifenbildung zu vermeiden und die Kontinuität der Konturmerkmale
zu verbessern. Das Ergebnis ist die Ausgabe bei 18 einer
Reihe von verbundenen Punkten, die zu einem Kantenmerkmal gehörig detektiert
werden, mit einer Wahrscheinlichkeit, die proportional zu ihren
lokalen Amplituden- und Merkmalasymmetriewerten ist, und die mit
einer Schätzung
der Merkmalorientierung gekennzeichnet werden. Im Fall von Bildfolgen gibt
eine weitere Schätzung
der Merkmalebene bezüglich
der Zeitachse eine Schätzung
der Merkmalbildgeschwindigkeit durch die Folge hindurch.
-
Nachdem
somit die Pixel detektiert wurden, die zu einer bestimmten Art von
Bildmerkmal gehören
(d.h. ein durch eine bestimmte Form im Intensitätsprofil definiertes Merkmal)
und diese Pixel mit der lokalen Amplitude, der Merkmalasymmetrie,
der Orientierung und optional der Geschwindigkeit gekennzeichnet
wurden, hat das System eine besonders umfangreiche Beschreibung
der Eigenschaften der detektierten Merkmale geliefert. Diese umfangreiche Beschreibung
kann bei der weiteren Verarbeitung des Bilds vorteilhaft verwendet
werden, insbesondere verglichen mit den Verfahren, die einfach nur
ein Pixel als zu einem detektierten Merkmal gehörig oder nicht gehörig markieren.
Ein Beispiel einer solchen weiteren Verarbeitung wird nachstehend
unter Bezug auf die 9 und 10 beschrieben.
-
In
der hier betrachteten besonderen Anwendung, nämlich Echokardiographiebilder
des linken Ventrikels, ist das detektierte Merkmal die linke Ventrikelwand
(Endokardium), die eine geschlossene Kontur mit einer in 9 bei 20 gezeigten
Form ist. Wenn das Herz schlägt,
zieht sich das Ventrikel zusammen, während sich die Ventrikelwand
bewegt, und die in einer Folge von Bildern des schlagenden Herzens
detektierte Kontur sollte der Bewegung des Endokardiums folgen.
Während
es Idealerweise möglich
wäre, einfach
die dem Endokardium entsprechenden Bildmerkmale in jedem Einzelbild
der Sequenz zu detektieren, neigen in der Praxis Rauschen und Artefakte
dazu, eine unterbrochene Darstellung der Grenzen des Herzens und
eine Reihe von Störantworten,
die nicht mit den Herzwänden
verbunden sind, zu erzeugen. Das Verfolgen des Merkmals durch eine
Folge von Bildern kann die in den einzelnen Einzelbildern detektierten
Merkmale interpolieren, um eine kontinuierliche Kontur zu erzeugen,
die dem Merkmal im Bild folgt bzw. es verfolgt.
-
Es
wurden verschiedene Verfolgungsverfahren vorgeschlagen, aber das
Verfolgen kann durch Verwenden der umfangreichen Beschreibung der Merkmale,
das durch das obige Detektionsverfahren ermöglicht wird, verbessert werden.
Dies wird in 9 gezeigt. Zuerst wird unter
Verwenden einer Kontur 20, die von einem benachbarten Zeiteinzelbild übernommen
wird, ein Suchbalken 22 von jedem Punkt an der Kontur nach
innen und außen
projiziert. 9 zeigt ein Beispiel, bei dem
diese Balken drei Pixel breit und zwölf Pixel lang sind. Dann wird
jede tangentiale Zeile aus drei Pixeln im Balken separat bearbeitet,
um die stärkste
lokale Amplitudenantwort der drei Pixel zu finden, die am engsten
der Orientierung des Konturpunkts entspricht und den höchsten Merkmalasymmetriewert
hat. Dies wird für
jede Zeile aus drei Pixeln in dem Balken wiederholt. In dieser Ausführung wurde
eines der drei Pixel als möglicher Kandidat
gewählt,
wenn es von den drei die stärkste lokale
Amplitudenantwort hat und einen Merkmalasymmetriewert von über 0,8
hat und wenn die Differenz der Orientierung zwischen der Konturnormalen und
der Merkmalnormalen unter 5 Grad liegt. Dadurch werden die Kandidaten
unter Verwendung der während
des Merkmaldetektionsprozesses angebrachten Kennsätze gewählt. Zu
beachten ist, dass das Orientierungsmaß die Richtung der Stufenkante berücksichtigt
(sei es nun eine positive oder eine negative Stufe).
-
Zu
beachten ist, dass im Fall der Verarbeitung eines Bilds in zwei
Raumdimensionen plus Zeit die Geschwindigkeitsschätzung für die Punkte
zum Beschränken
des Suchraums entlang der Normale verwendet werden kann. Dadurch
wird die Länge
des Suchbalkens gemäß der Geschwindigkeit
des Merkmals gewählt.
-
Das
Ergebnis hiervon ist ein ein Pixel breiter Balken 24 senkrecht
zur Kontur, der aus diesem Pixel (wenn überhaupt) jeder der tangentialen
Zeilen im Suchbalken besteht, der die Suchkriterien erfüllt.
-
Der
nächste
Schritt ist das Zeichnen der neuen Kontur mit Hilfe der Ergebnisse
der ein Pixel breiten Normalen 24. In dieser Ausführung wird
dies durch ein dynamisches Programmierverfahren verwirklicht, das
die einen einzelnen Punkt aus jeder der Normalen 24 verknüpfende optimale
Strecke findet, wobei die optimale Strecke in Bezug auf eine Kostenfunktion
definiert wird. Die Kostenfunktion definiert jeden Übergang
zwischen Kandidatenpunkten von einer Normale 24 zur nächsten als
einen Übergang
mit zugeordneten Kosten. Dadurch werden unter Bezug auf 10 die
Normalen 24 nebeneinander gestapelt und für ein bestimmtes
Pixel k in der i-ten Zeile werden die einem Übergang zu dem entsprechenden Pixel
in der nächsten
Zeile oder zu jedem seiner Nachbarn zugeordneten Kosten berechnet.
-
Die
Kostenfunktion ist so ausgelegt, dass sie die lokalen Amplitudenwerte
und die Orientierungsangaben mischt, und sie beinhaltet Teilkosten
wie: hohe Strafkosten, wenn eine Eingabe an der Normalen 24 leer
gelassen wurde, da in dem Bild kein Merkmal gefunden wurde; die
mit der lokalen Amplitudenmessung verbundenen Kosten, der Abstand
von dem vorherigen Konturpunkt und einen Glättungsterm. Die optimale Strecke
ist eine Strecke, die einen Punkt jeder Normale verbindet, so dass
die Summe aller Kosten minimal ist. Eine Transformation der kleinsten Quadrate
wird dann genutzt, um die von dem benachbarten Einzelbild übernommene
Kontur an die durch die dynamische Programmierungsroutine gewählten Punkte
anzupassen.
-
Natürlich können andere
Verfahren für
das Verfolgen der Kontur verwendet werden, doch besteht das Ziel
darin, den Verfolgungsvorgang unter Verwendung der während des
Merkmaldetektionsprozesses angebrachten Kennsätze zu verbessern.
