DE19726827C1

DE19726827C1 - Verfahren zum Finden von Objektkonturen in Bildern und dessen Verwendung zum Finden von Organkonturen in Computertomogrammen

Info

Publication number: DE19726827C1
Application number: DE19726827A
Authority: DE
Inventors: Fabienne Dipl Ing Jendrysik
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1997-06-24
Filing date: 1997-06-24
Publication date: 1998-12-03
Anticipated expiration: 2017-06-25

Description

Die Erfindung betrifft ein Verfahren zum Finden von Objekt konturen in Bildern, bei dem durch eine elektronische Schal tung bzw. durch einen elektronischen Rechner Grauwerte von Nachbarbildpunkten zu einem jeweiligen Bildpunkt (pixel) mit Hilfe eines Kantendetektionsverfahren nach dem Prinzip einer unscharfen Logik (fuzzy logic) zu einem Grauwert für den je weiligen Bildpunkt in einem Konturbild verarbeitet werden.

Es gibt bereits eine Reihe von Verfahren zum Finden von Ob jektkonturen bzw. zur Bildsegmentierung, die jedoch je nach Art des Bildes bzw. der Bildeigenschaften mehr oder weniger gut geeignet sind. So gibt es beispielsweise das sogenannte Region-Wachstum-Verfahren, bei dem ausgehend von einem Zen trum innerhalb des Objektes die jeweilige Kontur gesucht wird. Dies hat jedoch den Nachteil, daß bei ineinanderliegen den Bereichen immer nur die dem Ausgangspunkt am nächsten liegende Konturlinie gefunden wird und die Konturlinien von danebenliegenden Teilobjekten und die Konturlinien des Ge samtobjekts dabei nicht gefunden werden.

Aus den Proceedings of 3rd IEEE Conference on Fuzzy Systems, Orlando, 1994, Seiten 249 bis 253 ist ein Verfahren zur Kon turermittlung mit Hilfe von Fuzzy-Logik-Operatoren bekannt. Mit diesem Verfahren können Bilder bzw. Bildausschnitte nach Konturen abgesucht werden, ohne daß gezielt ausgewählte Startpunkte vorgegeben werden. Dieses Verfahren hat jedoch den Nachteil, daß insbesondere bei Bildern, die jeweils eini ge Bereiche mit weitgehend ähnlichem Grauwert und fließende Grauwertübergänge aufweisen eine nur schlechte oder unsichere Konturierung erfolgt.

Aus der europäischen Anmeldeschrift 0 722 149 ist ein Fuzzy-Ver fahren zur Erkennung geometrischer Formen bekannt, bei der mindestens eine Ecke einer Bildkontur erfaßt, die Steigung der Ecke und eine Anzahl zur Kurve gehörender Punkte ermit telt werden.

Aus der internationalen Anmeldeschrift WO 97/09690 ist ein Fuzzy-Verfahren zur Isolation anatomischer Strukturen be kannt, bei dem zusätzliche Datenpunkte definiert werden, um im wesentlichen nur die gewünschte anatomische Struktur zu erhalten.

Aus den IEEE Transactions on pattern analysis and machine in telligence, Vol. 18, No. 5, May 1996, Seiten 481 bis 491, ist ein Fuzzy-Verfahren bekannt, bei dem sowohl Filterung, Erken nung und Verfolgung durch Fuzzy-Algorithmen erfolgen.

Der Erfindung liegt nun die Aufgabe zugrunde, ein Verfahren zum Finden von Objektkonturen in verrauschten Bildern anzuge ben, wobei diese Bilder jeweils einige zu segmentierende Be reiche mit weitgehend ähnlichem Grauwert aufweisen und die Grenzen dieser Bereiche häufig fliegende Grauwertübergänge darstellen. Solche Bilder sind insbesondere Computertomogram me von Organen, beispielsweise von Nieren.

Diese Aufgabe wird erfindungsgemäß durch die im Patentan spruch 1 angegebenen Merkmale gelöst. Die Unteransprüche be treffen eine vorteilhafte Weiterbildung und vorteilhafte Ver wendungen der Erfindung.

Die Erfindung wird anhand eines bevorzugten Ausführungsbei spiels näher erläutert. Dabei zeigt

Fig. 1 ein Blockschaltbild des bevorzugten Ausführungsbei spiels

Fig. 2 ein Diagramm zur Erläuterung der Funktionsweise von Teilen des Blockschaltbildes nach Fig. 1,

Fig. 3a und 3b Detailbilder zur Erläuterung der Funktionsweise von Verfahrensteilen des Blockschaltbildes von Fig. 1,

Fig. 4 eine Skizze eines Beispielbildes zur Erläuterung ei nes Vorteils eines vorteilhaften Ausführungsbeispiels der Erfindung und

Fig. 5a und 5b Grauwertverteilungen zur Erläuterung eines weiteren Vorteils eines weiteren bevorzugten Ausfüh rungsbeispiels der Erfindung.

In Fig. 1 ist ein Blockdiagramm zur Erläuterung eines Aus führungsbeispieles des erfindungsgemäßen Verfahrens darge stellt. Hieraus wird deutlich, daß dieses Verfahren folgende vier Schritte aufweist:

In einem ersten Schritt wird eine Helligkeitsnormalisierung eines Originalbildes OI mit Hilfe der Extremwerte der Grau wertverteilung (Histogramm) H des Originalbildes OI durchge führt, wobei ein normalisiertes Bild NI entsteht.

In einem zweiten Schritt wird das so normalisierte Bild NI gleichzeitig mit einem Fuzzy-Detektions-Verfahren FEDH zum Finden von horizontalen Kanten, einem Fuzzy-Detektions-Ver fahren FEDV zum Finden von vertikalen Kanten, einem Fuzzy-De tektions-Verfahren FED1 zum Finden einer Diagonale mit po sitiver Steigung und einem Fuzzy-Detektions-Verfahren FED2 zum Finden von Diagonalen mit negativer Steigung in vier scharfe Ausgangswerte (grisp outputs) CO1, . . . CO4 pro Pixel des Originalbildes bzw. des normalisierten Originalbildes um gewandelt, wobei die vier Fuzzy-Detektions-Verfahren in der Beschreibung weiter unten noch näher erläutert werden.

In einem dritten Schritt werden diese scharfen Ausgangswerte CO1, . . . CO4 durch einfache Mittelwertbildung gemittelt, wo durch ein scharfer Mittelwert CM pro Pixel als arithmetisches Mittel aus den Werten CO1, . . . CO4 entsteht. Die scharfen Mit telwerte CM für alle Pixel des Originalbildes liefern im Grunde bereits die Objektkonturen, wobei allerdings die Kon turlinien selbst verschiedene Grauwerte aufweisen.

Durch eine globale Schwellenwertbildung GT, wird in einem vierten Schritt aus dem scharfen Mittelwert eine Objektkontur C mit einem einheitlichen Grauwert, zum Beispiel mit dem Grauwert "weiß", ermittelt. Diese Objektkontur C kann für sich alleine betrachtet werden oder aber noch zusätzlich dem Orginalbild OI oder dem normalisierten Bild N1, beispiels weise bitweise ODER-Verknüpfung der Grauwerte von Orginalbild und Kontur, überlagert werden.

Aus Fig. 2 wird deutlich, welche Bildpunkte bzw. Pixel bei den vier Fuzzy-Kanten-Detektionsverfahren FEDH, FEDV, FED1 und FED2 für die Bildung eines scharfen Ausgangswertes heran gezogen werden. Bei dem Verfahren FEDH werden für das Pixel mit den Koordinaten (m, n) die Grauwerte f_1H(m, n) und f_0H(m, n) zweier unmittelbarer Nachbarpixel in vertikaler Richtung, beim Verfahren FEDV die Grauwerte f_0V(n, m) und f_1V(m, n) zweier unmittelbarer Nachbarpixel in horizontaler Richtung, beim Verfahren FED1 die Grauwerte f₁₁(m, n) und f₀₁(m, n) zweier unmittelbarer Nachbarpixel in der Diagonalrichtung mit negativer Steigung und beim Verfahren FED2 die Grauwerte f₀₂(m, n) und f₁₂(m, n) zweier unmittelbaren Nachbarpixel in Diagonalrichtung mit positiver Steigung zur Auswertung heran gezogen.

Abgesehen von der Auswahl der Grauwerte in der unmittelbaren Pixelumgebung ist die Auswertung bei allen vier Fuzzy-De tektions-Verfahren gleich und wird im folgenden anhand ei nes Beispiels näher erläutert, bei dem als Originalbild 01 ein Computertomogramm eines menschlichen Organs, nämlich ei ner Niere, zugrundegelegt wird, das in drei Bereiche, nämlich in die Bereiche "Hintergrund", "Innere_Niere" und "Äußere_Niere", segmentiert wird bzw. entsprechende Konturli nien zwischen diesen Bereichen in geeigneter Weise gefunden werden. Neben einem Tomogramm einer menschlichen Niere können natürlich auch andere Bilder menschlicher und tierischer Or gane auf diese Weise konturiert werden.

Es werden abhängig vom jeweiligen Fuzzy-Detektions-Verfahren zum jeweiligen Pixel mit den Koordinaten (m, n) gehörende Grauwerte f₀(m, n) und f₁(m, n) der entsprechenden Nachbarpi xel ermittelt und als linguistische Eingangsvariable aufge faßt. Die linguistische Eingangsvariable können hier in die sem Beispiel die linguistischen Werte "Hintergrund", "Innere_Niere" und "Äußere_Niere" annehmen. Mit Hilfe von nachfolgend beispielhaft angegebenen Fuzzy-Regeln wird nun im folgenden einer Ausgangsvariablen p_i(m, n) der linguistische Wert "schwarz" oder "weiß" zugeordnet.

1. WENN f₀(m,n) = Hintergrund UND f₁(m,n) = Hintergrund, DANN p_i(m,n) = schwarz
2. WENN f₀(m,n) = Hintergrund UND f₁(m,n) = Innere_Niere, DANN p_i(m,n) = schwarz
3. WENN f₀(m,n) = Hintergrund UND f₁(m,n) = Äußere_Niere, DANN p_i(m,n) = weiß
4. WENN f₀(m,n) = Innere_Niere UND f₁(m,n) = Hintergrund, DANN p_i(m,n) = schwarz
5. WENN f₀(m,n) = Innere_Niere UND f₁(m,n) = Innere_Niere, DANN p_i(m,n) = schwarz
6. WENN f₀(m,n) = Innere_Niere UND f₁(m,n) = Äußere_Niere, DANN p_i(m,n) = weiß
7. WENN f₀(m,n) = Äußere_Niere UND f₁(m,n) = Hintergrund, DANN p_i(m,n) = weiß
8. WENN f₀(m,n) = Äußere_Niere UND f₁(m,n) = Innere_Niere, DANN p_i(m,n) = weiß
9. WENN f₀(m,n) = Äußere_Niere UND f₁(m,n) = Äußere_Niere, DANN p_i(m,n) = schwarz.

In Fig. 3 wird beispielhaft die Auswertung anhand der 3. und 2. Regel gezeigt. Die dritte Regel lautet:

WENN f₀(m, n) ist Hintergrund UND f₁(m, n) ist Äußere_Niere, DANN p_i(m, n) ist weiß.

Für diese Regel sind die Zugehörigkeitsfunktionen für die er ste linguistische Eingangsvariable, die dem Grauwert eines ersten Nachbarpixels entspricht, und die Zugehörigkeitsfunk tionen einer zweiten linguistischen Eingangsvariablen f₁, die dem Grauwert eines zweiten Nachbarpixels entspricht, einge zeichnet. Ein erster Grauwert f₀ liefert dabei über die Zuge hörigkeitskurve für den linguistischen Wert "Hintergrund" (background) einen Zugehörigkeitswert µ = 1. Der Grauwert f₁ des zweiten Nachbarpixels liefert über die Zugehörigkeits funktion des linguistischen Wertes "Äußere_Niere" (outer_kidney) einen Zugehörigkeitswert µ = 0,7. Die UND-Funk tion in der Regel wird hier durch eine Minimumbildung MIN realisiert, wobei also der Zugehörigkeitswert 0,7 ausgewählt wird. Ferner sind auch die Ausgangszugehörigkeitsfunktionen für die linguistischen Werte "schwarz" und "weiß" der lingui stischen Ausgangsvariablen p_i(m, n) dargestellt, wobei die Zugehörigkeitsfunktion für den lingustischen Ausgangswert "weiß" auf das Niveau 0,7 abgeschnitten wird.

In ähnlicher Weise sind die Zusammenhänge für die zweite Re gel:

WENN f₀(m, n) ist "Hintergrund" UND f₁(m, n) ist "Innere_Niere",
DANN p_i(m, n) ist "schwarz".

Wie in Fig. 3 dargestellt, wobei der Grauwert f₀ des ersten Nachbarpixels wieder über die Zugehörigkeitsfunktion zum lin guistischen Wert "Hintergrund" den Wert Eins liefert und der Grauwert f₁ für das zweite Nachbarpixel über die Zugehörig keitsfunktion für den linguistischen Wert "Innere_Niere" den Wert 0,3 liefert, der auch gleichzeitig das Ergebnis der Mi nimumbildung MIN ist. Da bei der zweiten Regel der linguisti sche Wert der linguistischen Ausgangsvariablen "schwarz" ist, wird hier die Zugehörigkeitsfunktion für den linguistischen Wert "schwarz" auf den Wert 0,3 begrenzt. Aus den so gewonne nen Ausgangsfunktionswerten wird jeweils der maximale Wert ermittelt und zur Ermittelung einer Gesamtzugehörigkeitsfunk tion herangezogen.

Aus der Gesamtzugehörigkeitsfunktion wird nun mit Hilfe eines Defuzzifikationsverfahrens ein scharfer Ausgangswert COX er mittelt. Üblicherweise wird hierzu die Schwerpunktsmethode (center of gravity method oder COG-Methode) verwandt, bei der im Diagramm Gesamtzugehörigkeit über p_i(m, n) die Koordinate p_i(m, n) des Schwerpunktes der Fläche zwischen der Gesamtzu gehörigkeitsfunktion und der p_i(m, n)-Achse ermittelt wird.

Dies hat jedoch zur Folge, daß die scharfen Ausgangswerte COX sehr viele unterschiedliche Grauwerte als Ergebnis aufweisen. Wird jedoch bei der Defuzzifikation nicht die p_i(m, n)-Ko ordinate des Schwerpunkts, sondern die p_i(m, n)-Koordinate des ersten Maximums herangezogen, also ein sogenanntes "first maximum-Verfahren" FM angewandt, wie dies auch in Fig. 3 zur Ermittlung des Wertes COX angedeutet ist, so ergeben sich weitaus weniger viele verschiedene Grauwerte für den scharfen Ausgangswert COX, was dann auch zu einer besseren Segmentie rung des Bildes führt. Zum Vergleich sind in Fig. 5A die Häufigkeitsverteilung H1 der Grauwerte G' für das COG-Ver fahren und in Fig. 5B die Häufigkeitsverteilung H2 der Grauwerte für das sogenannte first maximum-Verfahren FM dar gestellt, wobei deutlich wird, daß beim letzteren Defuzzifi kationsverfahren nur ganz wenig diskrete Grauwerte G auftre ten.

In Fig. 4 ist zeichnerisch ein Computertomogramm einer Niere angedeutet, das neben einem Hintergrundbereich HINTERGRUND die Bereiche ÄUSSERE_NIERE und INNERE_NIERE aufweist, wobei die Bereiche INNERE_NIERE innerhalb des Bereiches ÄUSSERE_NIERE liegen und Hintergrundbereiche 1 und 2 an einen Teil der Bereiche INNERE_NIERE angrenzen.

Durch einen besonderen Satz von Regeln, hier durch die 2. und 4. Regel im obigen Regelsatz, kann erreicht werden, daß Hin tergrundbereiche 1 und 2, vorteilhafterweise nicht zu Kontur linien führen. Beim Beispiel der zu segmentierenden Niere be deutet dies, daß wirklich nur die Konturlinien der inneren Niere und der äußeren Niere extrahiert werden und nicht ir gendwelche Aussparungen, beispielsweise durch benachbarte Or gane, auch konturiert werden. Der Vorteil besteht also darin, daß das Bild durch unerwünschte Konturlinien nicht unüber sichtlich wird und somit weniger Auswertungsfehlern entste hen.

Claims

1. Verfahren zum Finden von Objektkonturen in Bildern durch eine elektronische Recheneinheit,

- bei dem eine Helligkeitsnormalisierung eines Originalbildes (OI) mit Hilfe der Extremwerte einer Grauwertverteilung (H) des Originalbildes durchgeführt wird,
- bei dem pro Bildpunkt des so normalisierten Bildes (NI) gleichzeitig mit einem ersten Fuzzy-Detektions-Verfahren (FEDH) zum Finden von horizontalen Kanten, einem zweiten Fuz zy-Detektions-Verfahren (FEDV) zum Finden von vertikalen Kan ten, einem dritten Fuzzy-Detektions-Verfahren (FED1) zum Fin den einer Diagonale mit positiver Steigung und einem vierten Fuzzy-Detektions-Verfahren (FED2) zum Finden von Diagonalen mit negativer Steigung vier scharfe Ausgangswerte (CO1, . . . CO4) gebildet werden, wobei jeweils ein erster und, ein zwei ter Grauwert (f₀(m,n), f₁(m,n)) von Nachbarbildpunkten eines jeweiligen Bildpunktes ((m,n)) als scharfe Eingangsgrößen zu geführt werden),
- bei dem aus diesen zum jeweiligen Bildpunkt gehörigen scharfen Ausgangswerten ein scharfer Mittelwert (CM) durch Bildung des arithmetischen Mittels ermittelt wird und
- bei dem aus allen scharfen Mittelwerten eine Kontur (C) mit einheitlichem Grauwert dadurch gebildet wird, daß für al le scharfen Mittelwerte eine Schwellenwertbildung (GT) durch geführt wird, wobei abhängig vom scharfen Mittelwert den Bildpunkten der Kontur entweder ein erster oder ein zweiter Grauwert von insgesamt zwei Grauwerten zugeordnet wird.

2. Verfahren nach Anspruch 1, bei dem bei den vier Fuzzy- Detektions-Verfahren jeweils bei einer Defuzzifikation nur das erste Maximum (FM) der Gesamt zugehörigkeitsfunktion den jeweiligen scharfen Ausgangswert (CO1, . . . CO4) liefert.

3. Verwendung des Verfahrens nach Anspruch 1 oder 2, bei der die Bilder Computertomogramme und die Objektkonturen die Konturen von tierischen oder menschlichen Organen sind.

4. Verwendung nach Anspruch 3, bei der das Orginalbild Hintergrundbereiche "Hintergrund", innere Organbereiche "Innere_Niere" und äußere Organbereiche "Äußere_Niere" aufweist und bei der bei den vier Fuzzy-De tektions-Verfahren eine Verarbeitung nach den Fuzzy-Regeln.

1. WENN f₀ = Hintergrund UND f₁ = Hintergrund, DANN p_i = schwarz
2. WENN f₀ = Hintergrund UND f₁ = Innere_Niere, DANN p_i = schwarz
3. WENN f₀ = Hintergrund UND f₁ = Äußere_Niere, DANN p_i = weiß
4. WENN f₀ = Innere_Niere UND f₁ = Hintergrund, DANN p_i = schwarz
5. WENN f₀ = Innere_Niere UND f₁ = Innere_Niere, DANN p_i = schwarz
6. WENN f₀ = Innere_Niere UND f₁ = Äußere_Niere, DANN p_i = weiß
7. WENN f₀ = Äußere_Niere UND f₁ = Hintergrund, DANN p_i = weiß
8. WENN f₀ = Äußere_Niere UND f₁ = Innere_Niere, DANN p_i = weiß
9. WENN f₀ = Äußere_Niere UND f₁ = Äußere_Niere, DANN p_i = schwarz

erfolgt, wobei f₀ und f₁ linguistische Eingangsvariable für den ersten und zweiten Grauwert der jeweiligen Nachbarbild punkte und p_i eine linguistische Ausgangsvariable darstellen, die zur Bildung des jeweiligen der vier scharfen Ausgangswer te (CO1, . . . CO4) beiträgt.