DE102006039919A1

DE102006039919A1 - Wahrscheinlichtkeitstheoretischer minimaler Weg zur automatischen Speiseröhrensegmentierung

Info

Publication number: DE102006039919A1
Application number: DE102006039919A
Authority: DE
Inventors: Mikael Rousson; Chenyang Xu; Ying Bai
Original assignee: Siemens Medical Solutions USA Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2005-08-30
Filing date: 2006-08-25
Publication date: 2007-03-01
Also published as: US20070260135A1; JP2007061607A; US7773789B2

Abstract

Eine Segmentierung der Speiseröhre aus Bilddaten durch Spezifizieren von nur zwei Endpunkten wird offenbart. Umgebende Strukturen werden als High-Level Bedingungen verwendet, um Form- und Erscheinungsbildmodelle zu konstruieren. Vorherige Forminformation wird für die Segmentierung einer neuen Speiseröhre integriert unter Verwendung einer Bayeschen Formulierung. Dies ermöglicht eine automatische Auswahl der geeigneten Modelle. Mit den Endpunkten liefert ein Algorithmus für den kürzesten Weg die optimale Speiseröhre gemäß der Bayeschen Formulierung.

Description

Die vorliegende Erfindung betrifft die Segmentierung von Objekten in medizinischen Bildern. Spezieller betrifft sie die Segmentierung der Speiseröhre unter Verwendung eines Bayesian Ansatzes.

Die Katheterablation des linken Atrium (LA) hat sich zu einem Standardbehandlungsverfahren bei einer das Atrium betreffenden Fibrillation entwickelt, die eine Hauptursache für einen Schlaganfall ist. In den letzten Jahren gab es verschiedene Berichte über das Auftreten einer Atrium-Speiseröhrenfistel, eine Komplikation der Ablation der hinteren Wand des linken Atriums, was üblicherweise zum Tod führt. Ein voroperatives CT könnte wertvolle Information über den Ort der Speiseröhre relativ zu dem linken Atrium liefern, was verwendet werden kann zur Ablationsstrategie mit reduziertem Risiko für ein Atrium-Speiseröhrenfistel. In der Situation, bei der der Patient nicht unter einer allgemeinen Anästhesie ist, und die Speiseröhre während der Entfernung sich bewegen kann, kann die extrahierte Speiseröhrenform und ihre Position zusammen mit der vorherigen/späteren Richtung dabei helfen die Entscheidung für die Entfernung durch den Arzt zu unterstützen. Diese Einschränkung könnte reduziert werden durch Verwendung der Methodik der Extrahierung der Speiseröhre direkt auf einem CT, da die Daten dann während der Prozedur erfasst werden und folglich weniger anfällig für das Problem der Speiseröhrenbewegung sind.

Die Segmentierung der Speiseröhre mit standardmäßigen Techniken ist nicht möglich, da sie nur in wenigen Schnittbildern sichtbar ist. Ein Spezialist ist jedoch immer noch in der Lage ihre Position zuversichtlich zu erahnen. Dies ist möglich, da er nicht von den sichtbaren Teilen der Speiseröhre abhängt, sondern auch von dem Kontext, also der umgebenden Strukturen. Wie in 1 gezeigt, sind die jeweiligen Orte der Speiseröhre (mit 101 und 102 als ihre Extrempunkte), das linke Atrium und die Aorta gut eingrenzend. Die Einbeziehung dieser Kenntnis kann die Robustheit und Zuverlässigkeit bei der Segmentierung dramatisch verbessern. Entsprechend verbesserte Verfahren zur Segmentierung der Speiseröhre in medizinischen Bildern sind erforderlich.

Ein Aspekt der vorliegenden Erfindung präsentiert ein neues Verfahren und System zur Verarbeitung von Bilddaten, die eine Speiseröhre, eine Aorta und ein linkes Atrium enthalten, und die ein oder mehrere Trainingsbilder verwenden.

Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Verfahren geschaffen zum Verarbeiten eines Bilds, das eine Speiseröhre, eine Aorta und ein linkes Atrium enthält, unter Verwendung von einem oder von mehreren Trainingsbildern, enthaltend: Segmentieren der Aorta und des linken Atriums in dem Bild; Bestimmen einer Mittellinie für die Speiseröhre in dem Bild basierend auf einem oder mehreren Trainingsbildern und auf der Segmentierung der Aorta und des linken Atriums in dem Bild; und Erzeugen einer äußeren Begrenzung relativ zu der Mittellinie der Speiseröhre.

Gemäß einem weiteren Aspekt der Erfindung wird eine erste Wahrscheinlichkeit dafür bestimmt, dass ein Element des Bilds Teil der Speiseröhrenmittellinie relativ zu der Position der Aorta und des linken Atriums ist, die als Referenz registriert sind, in Abhängigkeit von den Mittellinien der Speiseröhren von einem oder von mehreren Trainingsbildern relativ zu der registrierten Segmentierung der Aorta und des linken Atriums des einen oder der mehreren Trainingsbilder, die für die gleiche Referenz registriert sind; eine zweite Wahrscheinlichkeit bestimmt, dass eine geschätzte Mittellinie der Speiseröhre ein Intensitätshistogramm aufweist relativ zu dem Intensitätshistogramm des einen oder der mehreren Trainingsbilder; die erste und zweite Wahrscheinlichkeit zu einem einzelnen Ausdruck kombiniert; und der einzelne Ausdruck optimiert.

Die erste Wahrscheinlichkeit kann ausgedrückt werden durch

und
die zweite Wahrscheinlichkeit kann ausgedrückt werden durch

Die erste und zweite Wahrscheinlichkeit werden kombiniert als:

Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Verfahren geschaffen, das die Kombination der ersten und der zweiten Wahrscheinlichkeit als Energieterm ausdrückt

er verwendet zwei Extrempunkte der Speiseröhre; und verwendet einen Algorithmus des kürzesten Wegs unter Verwendung der zwei Extrempunkte, um den Energieterm zu minimieren. Der Energieterm kann für detektierte Luftlöcher in der Speiseröhre eingestellt werden.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren geschaffen zum Bestimmen der äußeren Begrenzung der Speiseröhre, enthaltend: ein Definieren der äußeren Begrenzung der Speiseröhre als Serie von Schnitten von Ellipsen; Initialisieren eines Zentrums der Ellipsen auf der Mittellinie der Speiseröhre; Ausdrücken eines regionbasierten Kriteriums für eine Ellipse in jedem Schnitt als Energieterm basierend auf Intensitätswahrscheinlichkeiten innerhalb und außerhalb einer Ellipse; Addieren einer Normalisierung zwischen benachbarten Ellipsen; Kombinieren aller Energieterme jeder Ellipse zu einem kombinierten Energieausdruck; und Minimieren des kombinierten Energieausdrucks.

Ein System kann ein Bild verarbeiten, das eine Speiseröhre, eine Aorta und ein linkes Atrium enthält, unter Verwendung von einem oder von mehreren Trainingsbildern, wobei das System ferner einen Prozessor enthält, und eine Anwendungssoftware, die auf dem Prozessor läuft, ist ebenfalls bereitgestellt gemäß einem Aspekt der vorliegenden Erfindung. Die Anwendungssoftware kann alle hier beschriebenen Verfahrensschritte ausführen.

1 zeigt ein Bild, das die relative Position von der Speiseröhre, des linken Atriums und der Aorta hervorhebt.
2 zeigt eine Serie von Schritten, die durchgeführt werden gemäß einem Aspekt der Erfindung.
3 zeigt ein Beispiel einer Oberflächenvereinfachung.
4 zeigt ein Beispiel von Speiseröhren, die zu einer Referenzaorta und Referenz-LA registriert sind.
5 zeigt eine Serie von Schritten, die durchgeführt werden gemäß einem Aspekt der Erfindung.
6 zeigt ein Beispiel eines Speiseröhrenhistogramms mit und ohne Glättung.
7 zeigt ein Beispiel einer Luftlöcherdetektion und einer entsprechenden neuen Kostenfunktion.
8 zeigt zwei Beispiele einer Speiseröhrenmittellinienextraktion in unterschiedlichen Ansichten.
9 zeigt ein erstes Beispiel einer Oberflächenextraktion einer Speiseröhre.
10 zeigt ein zweites Beispiel einer Oberflächenextraktion einer Speiseröhre.
11 zeigt ein Beispiel mit unterschiedlichen Axialansichten einer Oberflächenextraktion einer Speiseröhre.
12 zeigt ein erstes Diagramm, das die quantitativen Ergebnisse der Anwendung der Verfahren gemäß der vorliegenden Erfindung verdeutlicht.
13 zeigt ein zweites Diagramm, das die quantitativen Ergebnisse der Anwendung der Verfahren gemäß der vorliegenden Erfindung verdeutlicht.
14 zeigt ein Computersystem, das verwendet wird zum Durchführen der Schritte, die hier beschrieben werden, gemäß einem anderen Aspekt der vorliegenden Erfindung.
Sehr wenige Arbeiten haben eine Modellraumkorrelation zwischen unterschiedlichen Strukturen in beispielsweise Bilddaten in Betracht gezogen. Eine dieser Arbeiten ist "Distance Model" von Kapur in T. Kapur, "Model-based three-dimensional medical image segmentation". PhD Thesis, MIT Artificial Intelligence Lab, 1999. In dieser Referenz modelliert der Autor die konditionale Wahrscheinlichkeit eines Voxels als zu einer Struktur gehörend, indem der euklidische Abstand zwischen diesen Voxel und den anderen Strukturen gegeben wird. Dieses Modell ist mit einer Markov-Zufalls-Feld basierten Gewebeklassifizierer zur Segmentierung verschiedener Strukturen in MR Gehirnbildern gekoppelt. Dieses Modell ist ausgelegt zum Klassifizieren von Gehirngewebe, wobei die Segmentierung für Strukturen, die zu der Speiseröhre gehören, einen strengeren Ansatz benötigen. Er sollte nicht basieren auf Abständen zwischen Strukturen, jedoch auf ihren relativen Orten. Zu diesem Zweck müssen alle relevanten Bilder registriert werden in Übereinstimmung mit einem ausgewählten Festpunkt oder primären Strukturen. Dies liefert eine Referenzbasis, woraufhin der Ort der Sekundärstrukturen bezüglich der Primären gelernt werden kann. In der vorliegenden Erfindung sind die Festpunktstrukturen das linke Atrium (LA) und die Aorta, während die Sekundäre die Speiseröhre ist. Der Hauptgrund für diese Modellbildung liegt darin, dass die primären Strukturen einfacher als die Sekundären extrahiert werden können.
Ein Verfahren wird präsentiert, das versucht den Ansatz eines Mediziners bei der Feststellung der Position der Speiseröhre nachzuahmen. Das Verfahren der Segmentierung, das ein Aspekt der vorliegenden Erfindung ist, enthält drei Phasen: (1) relative Orts- und Auftrittsmodellierung der Speiseröhre von einem Trainingssatz in einer Referenzbasis, die definiert ist durch das linke Atrium und die Aorta; (2) wahrscheinlichkeitstheoretische Formulierung, um die Modelle der Phase 1 zu integrieren, was eine automatische Extrahierung der Speiseröhrenmittellinie erlaubt, indem effizient ein Algorithmus des kürzesten Wegs verwendet wird; und (3) Ausdehnung der Mittellinie, um die Speiseröhrenaußenfläche zu extrahieren. Eine detailliertere Beschreibung dieser Phasen wird im Folgenden gegeben.
Obwohl die Speiseröhre in CT Bildern kaum gesehen werden kann, sind Nachbarstrukturen, wie beispielsweise die Aorta und das linke Atrium klar sichtbar. Darüber hinaus sind die relativen Orte dieser zwei Strukturen und der Speiseröhre stark korreliert. Ähnlich wie Experten, die sich auf die Kenntnis sichtbarer Strukturen verlassen, um verstecktere Strukturen zu orten, lernt das Verfahren gemäß einem Aspekt der vorliegenden Erfindung, die relative Position der Speiseröhre in Bezug zu der Aorta und dem linken Atrium. Das Verfahren verwendet dann diese Information a-priori zum Segmentieren neuer Bilder.
Das hier gezeigte Verfahren gemäß einem Aspekt der vorliegenden Erfindung lernt nicht nur die räumliche Information, sondern ebenso die Erscheinung der Speiseröhre. Zu diesem Zweck werden als ein illustratives Beispiel alle drei Strukturen für einen Satz von 20 Trainingsbildern markiert. Das Segmentierungsverfahren, das vorgeschlagen wird in H. Lombaert, Y. Sun, L. Grady and C. Xu "A multilevel banded graph cuts method for fast image segmentation" in Proceedings of ICCV 2005, I. Seiten 259–265, IEEE (Bejing, China) Oktober 2005 wird verwendet, um das linke Atrium und die Aorta zu extrahieren, und ein Experte wurde herangezogen zur manuellen Segmentierung der Speiseröhre.
Die Trainingsbilder müssen zu einer gemeinsamen Referenz ausgerichtet sein. Eine direkte bildbasierte Registrierung ist definitiv nicht geeignet, da die räumliche Verteilung der Speiseröhren bezüglich der umgebenden Strukturen verloren gehen würde. Folglich wird vorzugsweise jedes Bild registriert, das auf die Referenzstrukturen vertraut: die Aorta und das linke Atrium. Folglich muss eine Voxelweise Registrierung, die nur auf Oberflächen basiert, geschätzt werden. Eine starre Transformation kann zuerst geschätzt werden, indem beispielsweise der Iterative Closest Point Algorithmus verwendet wird, wie er beschrieben wird in P. J. Besl und N. D. McKay "A method for registration of 3-d shapes", IEEE Trans. Pattern Anal. Mach. Intell. 14(2), Seiten 239–256, 1992. Eine dichte nicht starre Abbildung kann gewonnen werden, indem Ansätze verwendet werden, die auf einem Bildgitternetz basieren, ähnlich dem freien Form-Deformierungsmodell, wie es beschrieben wird in D. Rueckert, L. I. Sonoda, C. Hayes, D. L. G. Hill, M. O. Leach und D. J. Hawkes "Non-rigid registration using free-form deformations: Application to breast mr images", IEEE Transactions on Medical Imaging 18(8), Seiten 712–721, 1999, oder durch geometrische Flussschätzungen, wie sie beschrieben werden in C. Chefd'hotel "Geometric Methods in Computer Vision and Image Processing: Contributions and Applications" PhD thesis, Ecole Normale Suprieure de Cachan, April 2005. Ein Teil des Problems, das in der vorliegenden Erfindung behandelt wird, wird gelöst, indem jede Oberfläche durch eine Leveleinstellungsfunktion dargestellt wird, die als Eingabe einer bildbasierten Registrierung dient.
Komplexe Strukturen, wie das linke Atrium enthalten Teile, deren Geometrie von Patient zu Patient variabler sind (dünne Venen für das linke Atrium). Aufgrund dieser Variabilität können diese Teile nicht gut als Referenz dienen, um den relativen Ort eines anderen Organs zu lernen. Folglich verlässt man sich vorzugsweise auf die globale Geometrie der Referenzstrukturen. Zu diesem Zweck wird ein Vereinfachungsalgorithmus vor der Registrierung verwendet. Er besteht aus ein paar morphologischen Öffnungen. 3 zeigt ein Beispiel dieses Prozesses. Die morphologischen Öffnungen werden verwendet, um Änderungen der globalen Struktur zu begrenzen. 302 zeigt in 3 die vereinfachte Version von 301. Sobald eine Vereinfachung stattgefunden hat, wird jede Oberfläche registriert für eine ausgewählte Referenz mit dem Algorithmus, der vorher beschrieben wurde. Für jedes Bild erfolgt ein Verziehen, das das linke Atrium und die Aorta exakt auf die des Referenzbilds abbildet. Ein Anwenden dieses Verziehens (Wölbens) auf die entsprechenden Speiseröhrensegmentierungen gibt eine Verteilung der Speiseröhre in dem Referenzbild an. Die Verteilung der Speiseröhremittellinien, die für einen Satz von 20 Bildern gewonnen werden, ist in 4 gezeigt. 4 zeigt Speiseröhren, die zu der Referenzaorta und dem linken Atrium registriert sind. Die Registrierung basiert auf dem Verformen zwischen den zwei umgebenden Strukturen. Durch Vertrauen auf den Umgebungsraum zur Registrierung der Oberflächen wird ein dichtes Transformationsfeld in dem Gesamtbild gewonnen, das für die manuell segmentierten Speiseröhren verwendet werden kann, um die Verteilung zu gewinnen, wie in dieser Figur gezeigt, wobei 401 und 402 Ansichten für zwei unterschiedliche Ansichtsrichtungen liefern, mit 403 und 404, die die Mittellinien der registrierten Speiseröhren darstellen. Ein Flussdiagramm ist in 2 gezeigt, um die Schritte der Ausrichtungsprozedur zusammenzufassen.
Raummodell
Bei einem gegebenen Satz {C₁, ..., C_N} von N registrierten Speiseröhrenmittellinien wird von der Schätzung erwünscht, dass die Wahrscheinlichkeit eines Voxels x als zu einer neuen Speiseröhrenmittellinie gehörend ist: p_C(x|{C₁, ..., C_N}). Unter der Annahme, dass die Strukturen unabhängig sind, wird folgender Ausdruck erhalten:
Verschiedene Näherungen können gewählt werden, um p(x|C_i) zu definieren. Sie kann auf 1 gesetzt werden, wenn x ∈ C_i und im Übrigen auf 0, jedoch wäre eine weniger scharfe bevorzugte Auswahl p(x|Ci) ∝ exp(–D2(x, Ci)), (1)wobei D(x, C_i) der minimale euklidische Abstand zwischen x und C_i ist. Andere Näherungen können in Betracht gezogen werden, jedoch hat diese den Vorteil, dass sie sehr einfach geschätzt werden kann, indem die Abstandsfunktion zu C_i berechnet wird, indem der Fast Marchings Algorithmus verwendet wird, der beschrieben ist in J. A. Sethian "A fast marchin level set method for monotonically advancing fronts" in Proceedings of the National Academy of Sciences, Ausgabe 93, Seiten 1591–1694, 1996.
Erscheinungsmodell
Die Verteilung der Bildintensität innerhalb der Speiseröhre kann auch gelernt werden. Ähnlich dem Formmodell wird angenommen, dass keine Korrelation zwischen den Trainingsproben existiert. Die a-posteriori Wahrscheinlichkeit eines Intensitätswerts I(x) ist gegeben durch:
Um jede Verteilung p(I|C_i) zu nähern, wird eine Kerndichteschätzung verwendet für das Histogramm von Voxeln, die zu der Mittellinie der Speiseröhre gehören:
wobei K ein Gaußscher Kern ist, der definiert ist als
Dieses Modell beruht nur auf dem Histogramm und schließt keine Rauminformation mit ein. In dem vorliegen den Fall ist dieses relativ einfache Modell ausreichend, um die Erscheinung (das Erscheinungsbild) der Speiseröhre zu erfassen, da ihre Intensität mehr oder weniger homogen ist, wenn die Luftlöcher verworfen werden. Jedoch können kompliziertere Modelle für Strukturen mit einem komplexeren Erscheinungsbild verwendet werden. Die Antwort von verschieden orientierten Filtern kann beispielsweise verwendet werden, oder einfach der Bildgradient. Man muss sich jedoch bewusst sein, dass mit derartigen Modellen der Algorithmus für den kürzesten Weg, wie im nächsten Abschnitt beschrieben wird, nicht verwendet werden kann.
Wahrscheinlichkeitstheoretischer minimaler Weg – wahrscheinlichkeitstheoretische Modellintegration
Der nächste Schritt ist die Integration der vorher beschriebenen Modelle in die Extraktion einer neuen Speiseröhre. Unter Berücksichtigung einer wahrscheinlichkeitstheoretischen Formulierung wird deutlich, dass die zwei Modelle erlauben die Wahrscheinlichkeit einer neuen Speiseröhre auszudrücken. Die Aufgabe ist das Finden der geeignetsten Kurve C, die die Mittellinie der unbekannten Speiseröhre darstellt. Unter der Annahme, dass die Voxel unabhängig sind, kann dies ausgedrückt werden durch:
Jeder Faktor kann ausgedrückt werden bezüglich der Trainingsprobe unter Verwendung des Gesamtwahrscheinlichkeitstheorems:
Der erste Faktor ist gegeben durch die Gleichung (1) und der zweite Term kann umgeschrieben werden mit der Bayes Regel: p(C_i|(x))∝ p(I(x)|C_i)p(C_i). Wenn die Trainingsspeiseröhren gleich wahrscheinlich sind, ist der Ausdruck p(C_i) konstant und kann entfernt werden. Man endet bei einer Auswahl des Formmodells, gesteuert durch das Erscheinungsbildmodell der Gleichung (2).
Wahrscheinlichkeitstheoretischer minimaler Weg-Energieformulierung und Algorithmus des kürzesten Wegs
Das Maximieren von p(C|I) ist äquivalent zum Minimieren seines negativen Logarithmus. Dies erlaubt die Ersetzung des Produkts, das oben erscheint, durch eine kontinuierliche Integration entlang der Kurve:
Mit den gegebenen zwei Extrempunkten der Speiseröhre {x₀, x₁} kann die optimale Lösung mit einem Algorithmus des kürzesten Wegs gewonnen werden, wie er beschrieben ist in Laurent D. Cohen und Ron Kimmel "Global minimum for active contour models: A minimal path approach" International Journal of Computer Vision, 24(1): 57–78, August 1997. Dieser Ansatz enthält die folgenden zwei Schritte:

1. Der Wert von E(C(x₀, x)) wird geschätzt durch das Lösen der Eikonalgleichung |
ϕ(x)| = g(x) mit Hilfe des Fast-Marching Algorithmus,
2. Eine Rückausbreitung von x₁ nach x₀ ergibt den optimalen Weg:

Ergebnisse, die unter Verwendung dieses Ansatzes des kürzesten Wegs gewonnen werden, sind in 8 gezeigt. 8 zeigt drei verschiedene Ansichten 801, 802 und 803 einer Mittellinienextraktion und drei unterschiedliche Ansichten 804, 805 und 806 einer anderen Mittellinienextraktion gemäß einem Aspekt der vorliegenden Erfindung. Es ist klar, dass die Grundwahrheit sehr nahe an der extrahierten Mittellinie liegt. Zur Klarstellung sind die Grundwahrheit und die extrahierten Mittellinien zur Verdeutlichung in 801, 804 und 805 hervorgehoben. Die durchgezogene Linie 807 ist die extrahierte Mittellinie, während die gestrichelte Linie 808 die Grundwahrheit ist. Deutlich fallen die zwei Linien zum größten Teil zusammen und weichen nur begrenzt voneinander ab. Das Gleiche gilt für ein Beispiel, das in der Ansicht 804 mit den Linien 809 und 810 gezeigt ist.
Bisher ist das Erscheinungsbild der Speiseröhre durch ihre Histogramme modelliert worden, die von Trainingsdaten gewonnen wurden. Diese Histogramme sind alle sehr ähnlich zu dem in 6 gezeigten. Ein Spitzenwert erscheint für Intensitäten um 1050. Dieser Maximumwert entspricht einer Gewebeintensität. Wie man in 1 sieht, können Schwarzintensitäten, die Luftlöchern entsprechen, ebenfalls vorhanden sein. Diese Luftlöcher repräsentieren normalerweise einen sehr kleinen Prozentsatz der Speiseröhre und können nicht gut durch das Histogramm beschrieben werden. Dies kann falsche Mittellinienextraktionen zur Folge haben, da das Erscheinungsbildmodell versucht die Luftlöcher nicht zu enthalten. Um dies zu lösen wird ein Verfahren zum Detektieren der Luftlöcher präsentiert, das gefolgt wird durch ein entsprechendes Modifizieren der Kostenfunktion. Unter der Annahme, dass die extrahierte Mittellinie relativ nahe an der realen Mittellinie liegt, sollten die Luftlöcher nahe dazu sein. Das Detektieren von Voxeln mit geringer Intensität (schwarz) in der Nachbarschaft der Mittellinie, und ein Algorithmus für ein Regionwachsen werden verwendet, um die kompletten Luftlöcher zu bekommen. Dieser Ansatz ist heuristisch, jedoch liefert er gute Detektionsergebnisse für alle Testbilder. Sobald die Luftlöcher detektiert sind, kann die Kostenfunktion wie folgt modifiziert werden
Der Ausdruck p(x ∈ HOLE|I(x)) ist entweder 1 oder 0, in Abhängigkeit davon, ob x als Luftloch klassifiziert worden ist, oder nicht. p(x|I(x), x ∈ HOLE) ist auf die maximale Wahrscheinlichkeit eines Nichtluftlochvoxels gesetzt, dass dieses auf der Mittellinie ist (Maximum des Histogramms). Das Durchführen einer Glättang liefert dann die Kostenfunktion, die in 7 gezeigt ist. 7 zeigt in Bild 701 die Anwendung der Originalkostenfunktion mit detektierten Luftlöchern 703 und 704. Das Bild 702 zeigt die Anwendung der modifizierten Kostenfunktion, die die Luftlöcher entfernt hat und die zusätzliche Glättang verwendet.
Innere und äußere Begrenzungsextraktion
Sobald die Mittellinie extrahiert ist, wird es möglich die innere und äußere Begrenzung der Speiseröhre zu segmentieren. Unter der Annahme, dass nur Luft in der Speiseröhre vorhanden ist, wird die innere Begrenzung in einem bevorzugten Ausführungsbeispiel aus der oben beschriebenen Luftlochdetektion gewonnen. In einem zweiten Ausführungsbeispiel kann man einfach ein Regionwachsen verwenden, welches die kleinen schwarzen Regionen, die die Mittellinie umgeben, erfasst. Nur die äußere Begrenzung verbleibt zur Detektion. Durch die relativ geringe Intensitätsdiskrepanz für diese Begrenzung benötigt die Extraktion eine gewisse vorherige Kenntnis. Es ist signifikant, dass die Form der Speiseröhre von Patient zu Patient ähnlich ist. Insbesondere ist ihre Orientierung hauptsächlich vertikal. Dies erlaubt ein Verwenden eines robusten schnittbasierten Ansatzes für die Oberflächenextraktion. Das Modell, das verwendet wird, enthält einen Satz von Ellipsen, die bei jedem Schnitt definiert sind, die mit einem Normalisierungsterm gekoppelt sind. Der Querschnitt der Speiseröhre muss nicht exakt eine elliptische Form haben, jedoch ist dies eine sehr gute Näherung und macht die Extraktion sehr wirkungsvoll (nur wenige Parameter, die zu schätzen sind) und robust. Die Ellipsenparametrisierung, die behandelt wird in M. Taron, N. Paragios und M.-P. Jolly, "Border detection on short axis echocardiographic views using a region based ellipse-driven framework" in MICCAI (1), C. Barillot, D. R. Haynor und P. Hellier, eds., Lecture Notes in Computer Science 3216, Seiten 443–450, Springer 2004, wird verwendet. Es soll erwähnt sein, dass Θ = [x₀, y₀, a, λ, ϕ] den Optimierungsraum darstellt (Zentrum, kleinere und größere Achslänge und Orientierung), R_Θ(θ) die parametrische Darstellung der Ellipse und F_Θ(x, y) ihre implizite Form. Dies erlaubt das Definieren eines regionbasierten Kriteriums für die Ellipse, wie es beschrieben wird in M. Taron, N. Paragios und M.-P. Jolly, "Border detection on short axis echocardiographic views using a region based ellipse-driven framework", in MICCAI (1), C. Barillot, D. R. Haynor und P. Hellier, eds., Lecture Notes in Computer Science 3216, Seiten 443–450, Springer 2004, für jeden Schnitt z:
wobei V_in und V_out die Intensitäts-Log-Wahrscheinlichkeiten innerhalb und außerhalb der Ellipse sind (gewonnen aus den entsprechenden Histogrammen), und H eine normalisierte Version der Heaviside Funktion ist. Das Hinzufügen einer Normalisierung zwischen benachbarten Ellipsen führt zu einem einzelnen Energieterm, der über alle Ellipsen definiert ist als:
Die Parameter Θ werden geschätzt unter Verwendung eines Gradientenabfalls. Für jeden Schnitt z erhält man:
Die Optimierung startet durch Setzen des Zentrums der Ellipse auf den entsprechenden Punkt auf der extrahierten Mittellinie. Eine kleinere und größere Achse werden beide auf 5 mm eingestellt. Während der Minimierung werden alle Parameter aktualisiert, selbst das Zentrum. Folglich wird auch die Mittellinie modifiziert. Dies hilft bei der Verbesserung der Mittellinie.
Um den hier beschriebenen Ansatz zu prüfen wurde die Speiseröhre manuell segmentiert in einen Datensatz von zwanzig Bildern. Um die Leistungsfähigkeit des Algorithmus zu messen wurde eine Leave-one-out Strategie verwendet, also die vorherigen Modelle werden mit allen Bildern aufgebaut, außer mit dem einen, das zu verarbeiten ist. Die einzige Eingabe, die dem Algorithmus gegeben wird, ist der Ort der Extrempunkte der Mittellinie (zwei Klicks). In 8 sind verschiedene Ergebnisse gezeigt, die für die Mittellinienextraktion gewonnen wurden. Diese Bilder zeigen nicht die Wirkungen der Luftlochentfernung, die als eine weitere Verfeinerung verwendet werden kann. 12 zeigt ein Diagramm, das die durchschnittlichen Abstandsfehler zusammenfasst, die für die zwanzig Bilder gewonnen werden (Zwischenwerte). Obwohl die meisten Ergebnisse sehr akzeptable Fehler (zwischen zwei und drei Voxel) liefern, ergeben vier Extraktionen Fehler über zehn Voxel. Dies ist jedoch nur der erste Schritt des Algorithmus und diese Mittellinien werden während der Oberflächenextraktion weiter verfeinert.
Die Oberflächenextraktion enthält das Ellipseneinpassen, wie oben beschrieben. Es verwendet die vorher extrahierte Mittellinie als Initialisierung. 9 zeigt eine Oberflächenextrahierung in drei verschiedenen Ansichten 901, 902 und 903, verglichen mit der Grundwahrheit. Zur Verdeutlichung sind die Unterschiede hervorgehoben in Ansicht 901; die Grundwahrheit ist hervorgehoben durch eine gestrichelte Linie 908 und die extrahierte Oberfläche durch die durchgezogene Linie 907. Wenn nur die durchgezogene Linie vorhanden ist, sind die Grundwahrheit und die extrahierte Oberfläche identisch. Die gleichen Hervorhebungen werden für Verdeutlichungszwecke in 10 verwendet, die drei Ansichten 904, 905 und 906 einer anderen Oberflächenextraktion gemäß einem Aspekt der vorliegenden Erfindung zeigt. Die gestrichelte Linie 910 zeigt die Grundwahrheit und die durchgezogene Linie 909 hebt die extrahierte Oberfläche hervor. Es wird deutlich, dass die extrahierte Oberfläche sehr nahe an der Grundwahrheit liegt. Verschiedene Schnittbilder 1001, 1002, 1003, 1004 und 1005 werden in 11 für eine genauere Einschätzung der Ergebnisse gezeigt. Für illustrative Zwecke sind die Grundwahrheit und die extrahierte Oberfläche in 1003 gezeigt. Das Bild 1006 liefert die Grundwahrheit und 1007 die extrahierte Oberfläche.
Diese Bilder geben bereits einen guten Überblick über die Leistungsfähigkeit der Oberflächenextraktion. Zur quantitativen Überprüfung wird der Dice-Ähnlichkeitskoeffizient zwischen der extrahierten Oberfläche und der manuellen Segmentierung berechnet. Er ist definiert als
wobei S_manual und S_auto die manuelle und die extrahierte Speiseröhrenoberfläche sind, und
für das Volumen steht. Ein Wert größer als 0,7 wird normalerweise als eine gute Übereinstimmung angesehen.
13 zeigt die Werte, die für jedes Bild gewonnen werden. Ein Durchschnitt von 0,8025 wurde erhalten, was eine sehr gute Bewertung für den vorliegenden Algorithmus ist. Man kann auch messen, in wie weit dieser zweite Schritt die Mittellinie verbessert hat. 12 zeigt die alten und neuen Werte der mittleren Abstandsmittellinienfehler. Alle Werte sind jetzt unterhalb von drei Voxeln und die meisten liegen zwischen eins und zwei.
Eine fast automatische Segmentierung der Speiseröhre durch Spezifizieren von nur zwei Endpunkten wird gemäß einem Aspekt der vorliegenden Erfindung aufgezeigt. Durch Verwendung der umgebenden Strukturen als High-Level Begrenzungen zur Konstruktion des Formmodells und des Erscheinungsbildmodells ist der Ansatz robust gegenüber Rauschen und fehlenden Daten. Die vorherige Information wird zur Segmentierung einer neuen Speiseröhre integriert unter Verwendung einer Bayesian Formulierung. Dies erlaubt die automatische Auswahl der geeigneten Modelle. Mit den Endpunkten liefert ein Algorithmus für den kürzesten Weg die optimale Speiseröhre gemäß der Bayes Formulierung.
Die gegenwärtigen Form- und Erscheinungsbildmodelle, die hier verwendet werden, sind Beispiele und werden gemäß einem Aspekt der vorliegenden Erfindung bereitgestellt. Allgemeinere Form- und Erscheinungsmodelle können verwendet werden und werden gemäß einem anderen Aspekt der vorliegenden Erfindung betrachtet. Ein weiteres Beispiel ist beispielsweise die Segmentierung des Rückenmarks und die Verwendung eines Wirbels als Festpunktstruktur.
5 zeigt ein Flussdiagramm, das die Schritte gemäß einem Aspekt der vorliegenden Erfindung verdeutlicht.
14 zeigt ein Computersystem, das gemäß einem Aspekt der vorliegenden Erfindung verwendet werden kann. Das System ist mit Daten 1201 bereitgestellt, die das anzuzeigende Bild darstellen. Es kann auch die vorher gelernten Daten enthalten. Ein Anweisungssatz oder ein Programm 1202, das die Verfahren der vorliegenden Erfindung enthält, ist bereitgestellt und wird mit Daten in einem Prozessor 1203 kombiniert, der die Anweisungen von 1202 verarbeiten kann, die auf die Daten 1201 angewendet werden, und das resultierende Bild wird auf einer Anzeige 1204 anzeigen. Der Prozessor kann eine bestimmte Hardware haben, eine GPU, eine CPU oder eine andere Berechnungsvorrichtung, die die Anweisungen von 1202 ausführen kann. Eine Eingabevorrichtung 1205, wie beispielsweise eine Maus, oder ein Trackball oder eine andere Eingabevorrichtung ermöglicht einem Benutzer den Segmentierungsprozess zu starten. Folglich liefen das System, wie in 14 gezeigt, ein interaktives System zur Bildsegmentierung. Irgendein Typ von Computersystem kann verwendet werden, obwohl vorzugsweise ein Computersystem verwendet wird, das eine ausreichende Rechenleistung hat. Als Beispiel sei ein allein stehender PC, ein Multiprozessor PC, ein Mainframecomputer, ein Parallelverarbeitungscomputer oder ein anderer Typ von Computer genannt, die verwendet werden können. Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren präsentiert, das in bestimmten Aspekten den Ansatz eines Arztes nachahmt bei der Bestimmung der Position der Speiseröhre. Das Verfahren zur Segmentierung enthält die drei Phasen: (1) Form- und Erscheinungsbildmodellierung der Speiseröhre von einem Trainingssatz in einer Referenzbasis, der durch das linke Atrium und die Aorta definiert ist; (2) automatisches Extrahieren der Speiseröhrenmittellinie durch Integrieren jeder vorherigen Kenntnis; und (3) Ausdehnung der Mittellinie zu inneren und äußeren Begrenzung.
Dieses Verfahren enthält:
1. Speiseröhrenmodellierung

(a) Das linke Atrium und die Aorta werden segmentiert für jedes Trainingsbild unter Verwendung der Ein-Click Segmentierung, die beschrieben ist in [5] H. Lombaen, Y. Sun, L. Grady und C. Xu, "A multilevel banded graph cuts method for fast image segmentation", Proceedings of ICCV 2005, I, Seiten 259–265, IEEE (Bejing, China) Oktober 2005;
(b) Die Mittellinie der Speiseröhre wird manuell für jedes Trainingsbild segmentiert;
(c) Trainingsbilder werden registriert als eine gemeinsame Referenz basierend auf dem linken Atrium und der Aorta; und
(d) das Form- und Erscheinungsbildmodell werden aufgebaut für die Speiseröhre in der Referenzbasis.

2. Mittellinienextraktion

(a) Eine Bayesian Formulierung, die die Form- und Erscheinungsbildmodelle integriert, wird vorgeschlagen für die Extraktion der Speiseröhrenmittellinie.
(b) Die optimale Lösung wird gewonnen unter Verwendung einer Technik des kürzesten Wegs.

3. Innere und äußere Begrenzungsextraktion

(a) Von der geschätzten Mittellinie wird gemäß einem Ausführungsbeispiel eine Nachaußenwachsstrategie (Grow-out Strategie) verwendet, um die innere Grenze zu finden. Die Detektion von Luftlöchern kann ebenfalls gemäß einem zweiten Ausführungsbeispiel verwendet werden.
(b) Wenn anatomische Information über die Speiseröhrendicke verfügbar ist, kann sie als Bedingung verwendet werden, um die äußere Begrenzung zu schätzen. Gemäß einem bevorzugten Ausführungsbeispiel wird jedoch die äußere Begrenzung der Speiseröhre durch ein Verfahren geschätzt, das die geschätzte Mittellinie der Speiseröhre und eine Serie von elliptischen Schnitten verwendet, die die äußere Begrenzung beschreiben.

Jede Bezugnahme auf den Begriff Pixel soll auch als Bezugnahme auf ein Voxel verstanden werden.
Die folgenden Referenzen liefern Hintergrundinformation, die allgemein die vorliegende Erfindung betrifft und auf die Bezug genommen wird: [1] C. Chefd'hotel, Geometric Methods in Computer Vision and Image Processing: Contributions and Applications. PhD thesis, Ecole Normale Suprieure de Cachan, April 2005; [2] Laurent D. Cohen und Ron Kimmel, Global minimum for active contour models: A minimal path approach, International Journal of Computer Vision, 24(1): 57–78, August 1997; [3] J. A. Sethian, A fast marching level set method for monotonically advancing fronts, In Proceedings of the National Academy of Sciences, volume 93, Seiten 1591–1694, 1996; [4] T. Kapur, Model-based three-dimensional medical image segmentation, PhD thesis, MIT Artificial Intelligence Lab, 1999; [5] H. Lombaert, Y. Sun, L. Grady und C. Xu, "A multilevel banded graph cuts method for fast image segmentation", Proceedings of ICCV 2005, I, Seiten 259–265, IEEE (Bejing, China) Oktober 2005; [6] P. J. Besl und N. D. McKay, "A method for registration of 3-d shapes," IEEE Trans. Pattern Anal. Mach. Intell. 14(2) Seiten 239–256, 1002; [7] D. Rueckert, L. I. Sonoda, C. Hayes, D. L. G. Hill, M. O. Leach und D. J. Hawkes, "Non-rigid registration using free-form deformations: Application to breast mr images," IEEE Transactions on Medical Imaging 18(8), Seiten 712–721, 1999; und [8] M. Taron, N. Paragios und M.-P. Jolly, "Border detection on short axis echocardiographic views using a region based ellipse-driven framework," in MICCAI (1), C. Barillot, D. R. Haynor und P. Hellier, eds., Lecture Notes in Computer Science 3261, Seiten 443–450 Springer, 2004.
Obwohl grundsätzliche neue Merkmale der Erfindung für bevorzugte Ausführungsbeispiele gezeigt, beschrieben und verdeutlicht wurden, soll verstanden werden, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne den Bereich der Erfindung zu verlassen. Es ist folglich beabsichtigt, dass eine Einschränkung des Schutzbereichs nur durch die beigefügten Ansprüche erfolgt.

Claims

Verfahren zur Verarbeitung eines Bilds, das ein erstes Objekt, und ein oder mehrere andere Objekte enthält, unter Verwendung von einem oder von mehreren Trainingsbildern, enthaltend ein Segmentieren des einen oder der mehreren anderen Objekte in dem Bild; ein Bestimmen einer Mittellinie für das erste Objekt in dem Bild basierend auf dem einen oder den mehreren Trainingsbildern und auf der Segmentierung des einen oder der mehreren anderen Objekte in dem Bild; und ein Erzeugen einer äußeren Begrenzung relativ zu der Mittellinie des ersten Objekts.
Verfahren nach Anspruch 1, wobei das eine oder die mehreren Objekte ein zweites Objekt und ein drittes Objekt sind.
Verfahren nach Anspruch 2, ferner enthaltend ein Bestimmen einer ersten Wahrscheinlichkeit, dass ein Element des Bilds Teil einer Mittellinie des ersten Objekts relativ zu der Position des zweiten Objekts und des dritten Objekts ist, die als Referenz registriert sind, in Abhängigkeit von der Mittellinie des ersten Objekts des einen oder der mehreren Trainingsbilder relativ zu der registrierten Segmentierung des zweiten Objekts und des dritten Objekts des einen oder der mehreren Trainingsbilder, die zu der gleichen Referenz registriert sind; ein Bestimmen einer zweiten Wahrscheinlichkeit, dass eine geschätzte Mittellinie des ersten Objekts ein Intensitätshistogramm, relativ zu dem Intensitätshistogramm des einen oder der mehreren Trainingsbilder hat; ein Kombinieren der ersten und zweiten Wahrscheinlichkeit zu einem einzelnen Ausdruck; und ein Optimieren des einzelnen Ausdrucks.
Verfahren nach Anspruch 3, wobei die erste Wahrscheinlichkeit gleich
und die zweite Wahrscheinlichkeit gleich
ist.
Verfahren nach Anspruch 4, wobei die erste und die zweite Wahrscheinlichkeit kombiniert werden zu
Verfahren nach Anspruch 5, ferner mit einem Ausdrücken der Kombination der ersten und der zweiten Wahrscheinlichkeit als Energieterm
einem Identifizieren von zwei Extrempunktes des ersten Objekts; und einem Verwenden eines Algorithmus des kürzesten Wegs unter Verwendung der zwei Extrempunkte zum Minimieren des Energieterms.
Verfahren nach einem der Ansprüche 2 bis 6, wobei das erste Objekt eine Speiseröhre ist, das zweite Objekt eine Aorta und das dritte Objekt ein linkes Atrium.
Verfahren nach Anspruch 7, ferner mit einem Einstellen des Energieterms auf detektierte Luftlöcher in der Speiseröhre.
Verfahren nach einem der Ansprüche 1 bis 8, wobei das Bestimmen der äußeren Begrenzung des ersten Objekts enthält: Definieren der äußeren Begrenzung des ersten Objekts als eine Serie von Schnitten von Ellipsen; Initialisieren eines Zentrums der Ellipsen auf der Mittellinie des ersten Objekts; Ausdrücken eines regionbasierten Kriteriums für eine Ellipse in jedem Schnitt als Energieterm basierend auf Intensitätswahrscheinlichkeiten innerhalb und außerhalb einer Ellipse; Hinzufügen einer Normalisierung zwischen benachbarten Ellipsen; Kombinieren aller Energieausterme jeder Ellipse zu einem kombinierten Energieausdruck; und Minimieren des kombinierten Energieausdrucks.
System zum Verarbeiten eines Bilds von Bilddaten, enthaltend einen Prozessor (1203); eine Anwendungssoftware (1202), die mit dem Prozessor betreibbar ist, zum: Verarbeiten eines Bilds, das ein erstes Objekt und ein oder mehrere andere Objekte enthält, unter Verwendung von einem oder von mehreren Trainingsbildern, enthaltend: ein Segmentieren des einen oder der mehreren anderen Objekte in dem Bild; ein Bestimmen einer Mittellinie für das erste Objekt in dem Bild basierend auf dem einen oder den mehreren Trainingsbildern und der Segmentierung des einen oder der mehreren anderen Objekte in dem Bild; und ein Erzeugen einer äußeren Begrenzung relativ zu der Mittellinie des ersten Objekts.
System nach Anspruch 10, wobei das eine oder die mehreren Objekte ein zweites Objekt und ein drittes Objekt sind.
System nach Anspruch 11, ferner mit Bestimmen einer ersten Wahrscheinlichkeit, dass ein Element des Bilds Teil der Mittellinie des ersten Objekts ist, relativ zu der Position des zweiten Objekts und des dritten Objekts, die als Referenz registriert sind, in Abhängigkeit von den Mittellinien des ersten Objekts des einen oder der mehreren Trainingsbilder relativ zu der registrierten Segmentierung des zweiten Objekts und des dritten Objekts des einen oder der mehreren Trainingsbilder, die als gleiche Referenz registriert sind; Bestimmen einer zweiten Wahrscheinlichkeit, dass eine geschätzte Mittellinie des ersten Objekts ein Intensitätshistogramm relativ zu dem Intensitätshistogramm des einen oder der mehreren Trainingsbilder hat; Kombinieren der ersten und der zweiten Wahrscheinlichkeit zu einem einzelnen Ausdruck; und Optimieren des einzelnen Ausdrucks.
System nach Anspruch 12, wobei die erste Wahrscheinlichkeit gleich
und die zweite Wahrscheinlichkeit gleich
ist.
System nach Anspruch 13, wobei die erste und die zweite Wahrscheinlichkeit kombiniert werden zu
System nach Anspruch 14, ferner mit Ausdrücken der Kombination der ersten und zweiten Wahrscheinlichkeit als Energieterm
Identifizieren von zwei Extrempunkten des ersten Objekts; und Anwenden eines Algorithmus des kürzesten Wegs unter Verwendung der zwei Extrempunkte zum Minimieren des Energieterms.
System nach einem der Ansprüche 11 bis 15, wobei das erste Objekt eine Speiseröhre ist, das zweite Objekt eine Aorta und das dritte Objekt ein linkes Atrium.
System nach Anspruch 16, ferner enthaltend ein Einstellen des Energieterms für detektierte Luftlöcher in der Speiseröhre.
System nach einem der Ansprüche 10 bis 17, wobei das Bestimmen der äußeren Begrenzung des ersten Objekts aufweist Definieren der äußeren Grenze des ersten Objekts als eine Serie von Schnitten von Ellipsen; Initialisieren eines Zentrums der Ellipsen auf die Mittellinie des ersten Objekts; Ausdrücken eines regionsbasierten Kriteriums für eine Ellipse in jedem Schnitt als Energieterm basierend auf den Intensitätswahrscheinlichkeiten innerhalb und außerhalb einer Ellipse; Hinzufügen einer Normalisierung zwischen benachbarten Ellipsen; Kombinieren aller Energieterme für jede Ellipse zu einem kombinierten Energieausdruck; und Minimieren des kombinierten Energieausdrucks.