-
Die
vorliegende Erfindung ist auf ein System und ein Verfahren gerichtet
zum Detektieren eines Objekts in einem hochdimensionalen Raum, und spezieller
auf ein System und ein Verfahren zum Verwenden eines Marginalraumlernens,
um ein Objekt in einem hochdimensionalen Raum zu detektieren.
-
Viele
dreidimensionale (3D) Detektions- und Segmentierungsprobleme sind
konfrontiert mit einem Suchen in einem hochdimensionalen Raum. Beispielsweise
ist eine 3D-Ähnlichkeitstransformation gekennzeichnet
durch neun Parameter: drei Positionsparameter, drei Orientierungsparameter
und drei Skalierungsparameter. Es ist sehr aufwendig den gesamten
Raum zur Detektion eines Objekts zu durchsuchen. Die Suche nach
allen diesen Parametern wird in Bezug auf den Rechenaufwand aufwendig, selbst
wenn grob-zu-fein (coarse-to-fine) Strategien verwendet werden.
Darüber
hinaus ist das Trainieren eines diskriminativen Klassifizierens
unter Verwendung von positiven und negativen Beispielen für ein Objekt
mit vielen Parameter eine Herausforderung, da Hardwarebeschränkungen
nur eine relativ kleine Anzahl von Negativen gleichzeitig erlaubt
(in der Größenordnung
von 106). Um alle möglichen negativen Beispiele
zu behandeln müssen
mehrere Level von „Bootstrapping" verwendet werden,
was das Gesamtsystem noch langsamer macht.
-
Es
gibt jedoch viele Fälle,
bei denen die Objekte die zu detektieren sind, von Natur aus in
gewisser Weise ausgerichtet sind. Beispielweise sind die meisten
Flächen
in Bildern ungefähr
horizontal und haben ungefähr
die gleiche Hautfarbe. Ähnlich
haben die meisten Herzen in CT Scanns ungefähr die gleiche Größe und Orientierung.
Es besteht ein Bedürfnis
nach einem Verfahren zur schnellen Detektion eines Objekts in einem
hochdimensionalen Raum, wobei der Suchraum stark reduziert werden
kann und trotzdem genaue Ergebnisse gewonnen werden.
-
Ein
System und ein Verfahren zum Detektieren eines Objekts in einem
hochdimensionalen Bildraum werden offenbart. Ein dreidimensionales Bild
eines Objekts wird empfangen. Ein erster Klassifizierer wird in
einem Marginalraum des Objektzentrumsortes trainiert, was eine vorbestimmte
Anzahl an Objektzentrumskandidatenorten erzeugt. Ein zweiter Klassifizierer
wird trainiert, um potentielle Objektzentrumsorte und Orientierungen
von der vorbestimmten Anzahl an Objektzentrumskandidatenorten zu
identifizieren und einen Nebensatz der Objektzentrumskandidatenorte
zu behalten. Ein dritter Klassifizierer wird trainiert, um potentielle
Orte, Orientierun gen und eine Skalierung des Objektzentrums von
dem Nebensatz der Objetzentrumskandidatenorte zu identifizieren.
Eine einzelne Kanditatenobjektpose für das Objekt wird identifiziert.
-
Bevorzugte
Ausführungsbeispiele
der vorliegenden Erfindung werden im Folgenden im Einzelnen beschrieben,
wobei gleiche Bezugszeichen ähnliche
Elmente angeben, unter Bezugnahme auf die beigefügten Zeichnungen:
-
1 zeigt
ein Blockdiagramm eines beispielhaften Systems zum Implementieren
einer schnellen Detektion eines Objekts in einem hochdimensionalen
Raum gemäß der vorliegenden
Erfindung.
-
2 zeigt
eine projizierte Verteilung zum Trainieren eines Klassifizierers
unter Verwendung eines Marginalraumlernens gemäß einem Aspekt der vorliegenden
Erfindung.
-
3 zeigt
ein Flussdiagramm, das die Detektion eines linken Ventrikels in
einem CT-Bild verdeutlicht gemäß einem
Ausführungsbeispiel
der vorliegenden Erfindung.
-
4 zeigt
ein Funktionsblockdiagramm, das die Schritte verdeutlicht, die durchgeführt werden,
um das linke Ventrikel unter Verwendung des Marginalraumlernens
gemäß einem
Aspekt der vorliegenden Erfindung zu detektieren.
-
5 zeigt
ein Beispiel eines mit Anmerkungen versehenen Objekts.
-
6 zeigt
ein Funktionsblockdiagramm eines LV-Zentrumslokalisierungsverfahrens
gemäß einem
Aspekt der vorliegenden Erfindung.
-
7 zeigt
ein Funktionsblockdiagramm eines LV-Zentrums- und Orientierungsdetektionsverfahrens
gemäß einem
Aspekt der vorliegenden Erfindung; und
-
8 zeigt
die Anwendung von MSL auf verschiedene andere Objektdetektionsprobleme
in der medizinischen Bildgebung.
-
Die
vorliegende Erfindung ist gerichtet auf ein System und ein Verfahren
zum Detektieren eines Objekts in einem hochdimensionalen Bildraum. 1 zeigt
ein System 100 zum Detektieren eines Objekts in einem hochdimensionalen
Bildraum gemäß einem
Ausführungsbeispiel
der vorliegenden Erfindung. Die hier beschriebenen Beispiele sind
auf die Detektion einer anatomischen Struktur in einem dreidimensionalen
medizinischen Bild gerichtet. Ein Fachmann versteht jedoch, dass
das Verfahren und das System nicht auf die Detektion anatomischer Strukturen
beschränkt
ist, und dass sie verwendet werden können, um andere Objekte wie
Flächen, Fußgänger, Fahrzeuge
und Verkehrszeichen zu detektieren, ohne den Bereich der vorliegenden
Erfindung zu verlassen. Wie in 1 gezeigt
enthält
das System 100 eine Erfassungsvorrichtung 105,
einen Personalcomputer (PC) 110 und eine Benutzerkonsole 115,
die über
ein drahtgebundenes oder drahtloses Netzwerk 120 verbunden
sind.
-
Die
Erfassungsvorrichtung 105 kann eine Computertomographie
(CT) Bildgebungsvorrichtung oder irgendeine andere dreidimensionale
(3D) Hochauflösungsbildgebungsvorrichtung
sein, wie Magnetresonanz (MR) Scanner oder Ultraschallscanner.
-
Der
PC 110, der ein tragbarer Computer oder Laptopcomputer
ist, ein medizinisches Diagnosebildgebungssystem oder eine PACS
(Bildarchivierungskommunikationssystem)-Datenverwaltungsstation sein kann, enthält eine
zentrale Verarbeitungseinheit (CPU) 125 und einen Speicher 130,
die mit einer Eingabevorrichtung 150 und einer Ausgabevorrichtung 155 verbunden
sind. Die CPU 125 enthält
ein Marginalraumlernmodul 145, das ein oder mehrere Verfahren
enthält
zum Detektieren einer anatomischen Struktur in dreidimensionalen
Bildern, wie im Folgenden diskutiert wird. Obwohl innerhalb der
CPU 125 das Marginalraumlernmodul 145 gezeigt
ist, kann dieses außerhalb
der CPU 125 lokalisiert sein.
-
Der
Speicher 130 enthält
einen Zufallszugriffsspeicher (RAM) 135 und einen nur Lesespeicher (ROM) 140.
Der Speicher 130 kann auch eine Datenbank, ein Plattenlaufwerk,
ein Bandlaufwerk, etc. oder eine Kombination davon enthalten. Der
RAM 135 dient als ein Datenspeicher, der Daten speichert, die
während
der Ausführung
eines Programms in der CPU 125 verwendet werden, und wird
als Arbeitsbereich verwendet. Der ROM 140 dient als ein
Programmspeicher zum Speichern eines Programms, das in der CPU 125 ausgeführt wird.
Die Eingabevorrichtung 150 enthält eine Tastatur, eine Maus,
etc. und die Ausgabevorrichtung 155 enthält eine
Flüssigkristallanzeige
(LCD), Kathodenstrahlröhre(CRT)-Anzeige,
Drucker etc.
-
Der
Betrieb des Systems 100 kann gesteuert werden durch die
Benutzerkonsole 115, die eine Steuerung 165 enthält, beispielsweise
eine Tastatur und eine Anzeige 160. Die Benutzerkonsole 115 kommuniziert
mit dem PC 110 und der Erfassungsvorrichtung 105,
so dass Bilddaten, die durch die Erfassungsvorrichtung 105 erfasst
werden, durch den PC 110 wiedergegeben werden und auf der
Anzeige 160 angesehen werden können. Der PC 110 kann konfiguriert
sein, um die Information, die von der Erfassungsvorrichtung 105 bereitgestellt
wird, zu verarbeiten und in Abwesenheit der Benutzerkonsole 115 anzuzeigen,
indem beispielsweise die Eingabevorrichtung 150 und die
Ausgabevorrichtung 150 verwendet werden, um bestimmte Aufgaben
durchzuführen,
die von der Steuerung 165 und der Anzeige 160 durchgeführt werden.
-
Die
Benutzerkonsole 115 kann ferner irgendein geeignetes Bildwiedergabe-System/Werkzeug/Anwendung
enthalten, die digitale Bilddaten eines erfassten Bilddatensatzes
(oder eines Teils davon) verarbeiten kann, um Bilder zu erzeugen
und auf der Anzeige 160 anzuzeigen. Spezieller kann das Bildwiedergabesystem
eine Anwendung sein, die ein Widergeben und Visualisieren von medizinischen Bilddaten
bereitstellt, und die auf einer Allzweckcomputerarbeitsstation oder
speziellen Computerarbeitsstation ausgeführt wird. Der PC 110 kann
auch das oben genannte Bildwiedergabe-System/Werkzeug/Anwendung
enthalten.
-
Das
Marginalraumlernen (MSL = Marginal Space Learning) nutzt die Tatsache
aus, dass die meisten Daten gewisse invariante Eigenschaften haben
(beispielsweise Herzen in CT Bildern haben ungefähr die gleiche Größe und Orientierung).
Beispielsweise kann ein großer
Teil des Raums eliminiert werden durch Detektion in dem Marginalraum, wo
nur einige Parameter berücksichtigt
werden und der Rest ausgeschlossen wird. Es gibt auch viele Fälle, bei
denen die Objekte, die zu detektieren sind, von Natur aus in gewisser
Weise ausgerichtet sind. Diese natürliche Ausrichtung kann ausgenutzt
werden, um einen Klassifizierer in einer projizierten Verteilung
zu klassifizieren, wie in 2 gezeigt,
die über
einem Marginalraum kleinerer Dimension existiert (beispielsweise
ein 3-Parameter-linksventrikulärer-Zentrumspositionsraum
anstatt eines 9-Parameter-linksventrikel-Ähnlichkeitstransfomrationsraums.
Dann kann der Suchraum beschränkt
werden auf Kandidaten, deren Projektionen auf den Marginalraum hohe Wahrscheinlichkeitswerte
haben, basierend auf dem trainierten Marginalraumklassifizierer.
-
In
MLS wird ein Klassifizierer auf einem Marginalraum trainiert, in
welchem einige der Variablen ignoriert werden. Beispielsweise kann
ein Klassifizierer, der trainiert ist auf p(γ) schnell einen großen Bereich
des Suchraums eleminieren. Ein anderer Klassifizierer wird auf den
verbleibenden Raum trainiert, um die endgültigen Klassifikationsergebnisse
zu gewinnen.
-
Ein
Ausführungsbeispiel
der vorliegenden Erfindung wird jetzt in Verbindung mit einem Beispiel beschrieben,
bei dem eine Detektion eines linken Ventrikels (LV = left vetrikel)
in einem Computertomographie (CT) Bild durchgeführt wird. MSL wird verwendet,
um LV bis zu einer Ähnlichkeitstransformation
in 3D CT Bildern zu detektieren. 3 verdeutlicht
ein Flussdiagramm, das ein beispielhaftes Verfahren beschreibt zum
Detektieren eines LV in Übereinstimung
mit der vorliegenden Erfindung. 4 zeigt
ein Funktionsblockdiagramm, das die Schritte verdeutlicht, die durchgeführt werden,
um das LV unter Verwendung des Marginalraumlernens gemäß einem
Aspekt der vorliegenden Erfindung zu detektieren.
-
Ein
Bild eines LV wird empfangen (402). Ein Klassifizierer
wird verwendet, um den 3D Ort x = (x, y, z) des LV Zentrums zu finden
(Schritt 302, 404). Der Klassifizierer wird in
dem Marginalraum der LV Zentrumsorte trainiert. Für alle 3D
Eingangsdaten werden die besten 400 Orte behalten zur weiteren Evaluierung
(Schritt 304). Es wird von einem Fachmann verstanden, dass
die Anzahl an Orten, die für eine
weitere Evaluierung behalten werden, variieren kann, ohne den Bereich
der vorliegenden Erfindung zu verlassen.
-
Für die 400
Kandidatenorte wird ein anderer Klassifizierer verwendet, um die
vielversprechensten 3D Orte und Orientierungen (x, θ) = (x,
y, z, θ1, θ2, θ3) des LV zu behalten (Schritt 306, 406).
Folglich wird dieser Klassifizierer in dem sechsdimensionalen Marginalraum
von Orten und Orientierungen trainiert. Die besten 50 Kandidatenorte
und Orientierungen werden für
eine weitere Evaluierung behalten. Ein Fachmann auf diesem Gebiet
versteht, dass die Anzahl an Kandidatenorten und Orientierungen,
die für eine
weitere Evaluierung gehalten werden, variieren kann, ohne den Bereich
der vorliegenden Erfindung zu verlassen. Letztendlich wird ein trainierter
Klassifizierer verwendet, um den LV zu detektieren, bis zu einer
neundimensionale Ähnlichkeitstransformation (also
Position, Orientierung und Skalierung) (Schritt 307, 408). T = (x, θ,
s) = (x, y, z, θ1, θ2, θ3, s1, s2,
s3) (1)
-
Ein
einzelner Kandidat ist die Ausgabe dieser Stufe (Schritt 310).
-
Der
Trainingssatz enthält
eine Anzahl von Bildvolumen. Die Form jedes LV in den Trainingsbildvolumen
wird unter Verwendung eines 3D Netzes, das 514 Punkte enthält, mit
Anmerkungen versehen. 5 zeigt ein Beispiel eines LV,
das mit einem 3D Netz 502 annotiert ist und mit einer entsprechenden Grenzbox 504.
Der LV Scheitel, die A3C Ebene und die Hauptachse werden verwendet,
um die Formen zueinander auszurichten. Die PCA (Pricipal Compotent
Analysis) wird durchgeführt
für die
ausgerichteten Formen und die besten 50 PCA Basen werden verwendet,
um die Formvariabilität
zu beschreiben.
-
Das
in den 3 und 4 beschriebene Verfahren wird
jetzt genauer beschrieben. Um den LV Zentrumsort 402 zu
detektieren wird ein Klassifizierer basierend auf 3D Haar Merkmalen
trainiert. Für
eine besserer Datenausrichtung und Performance wird das LV Zentrum
in Bildvolumen detektiert, die unterabgetastet werden auf eine Voxelgröße von 3
mm. Bei dieser Auflösung
hat ein Volumen eine Größe von ungefähr 50 × 50 × 60 Voxeln.
Der Trainingssatz enthält
eine Anzahl von Bildvolumen (beispielsweise 100 Bildvolumen), die
alle auf 3 mm Voxelgröße angepasst
sind.
-
Die
3D Haar-Filter werden von innerhalb eines horizontalen Würfels der
Größe 31 × 31 × 31 Voxeln
ausgewählt,
der an dem Abtastort (Sample Ort) zentriert ist. Ein Pool von ungefähr 10.000
Haar Merkmalen wird ausgewählt
zum Training. Die Anzahl von Positiven wird erhöht durch Hinzufügen von Positiven,
die um 1-2 Voxel von ihrem wahren Ort gestört sind, aus Robustseinsgründen. Dies
erlaubt ungefähr
6000 Positive, die von 100 Trainingsbildvolumen erhalten werden.
Die Negativen werden zufällig innerhalb
des Bildvolumens ausgewählt,
mit einem Abstand von mindestens 5 Voxeln von dem wahren Zentrumsort
aus. Ungefähr
eine Million Negative werden zum Training verwendet.
-
Ein
PBT (Probabilistic Boosting Tree) wird für das Training und die Detektion
verwendet, da er eine Wahrscheinlichkeit zwischen 0 und 1 für jeden
Abtastpunkt zurückgibt.
Der PBT wird im Einzelnen in der anhängigen Patentanmeldung mit
der Seriennummer 11/366,722, eingereicht am 2. März 2007 mit dem Titel „Probabilistic
Boosting Tree Framework for Learning Discrimative Models" beschrieben, auf
die hier Bezug genommen wird. Ein PBT wird trainiert mit 5 Leveln,
von denen die ersten zwei als Kaskade durchsetzt sind.
-
6 verdeutlicht
ein Funktionsblockdiagramm, das das grundlegende LV Zentrumsdetektionsverfahren
zeigt. Das Eingangsbildvolumen 602 ist auf 3 mm Voxelauflösung angepasst.
Die LV Zentrumsdetektion verwendet 3D Haar Merkmale in dem Bildvolumen 604.
Die Haar Merkmale werden ausgewählt
von innerhalb einer Box der Größe 31 × 31 × 31 Voxeln,
was durch die gepunkteten Linien gezeigt ist, die an dem Abtastort
zentriert ist. Das Detektionsergebnis ist ein kleiner Klumpen von
Voxeln um den wahren Zentrumsort 606 herum. Die besten
400 Orte werden zur weiteren Evaluierung behalten, während der
Rest verworfen wird. Eine Evaluierung dieses Levels gibt an, dass
alle wahren Zentrumsorte unter den 400 Kandidatenorten sind. Das
Verfahren reduziert den Suchraum des Orts von ungefähr 50 × 50 × 60 = 150.000
auf 400, was eine Größenreduzierung von
mehr als dem 300-fachen entspricht.
-
Der
zweite Klassifizierer arbeitet in dem sechsdimensionalen Raum von
Orten und Orientierungen (x, θ).
Dieser Raum ist beschränkt
auf Werte (x, θ),
für die
der Ort x unter den 400 Kandidaten ist, die gewonnen werden durch
den Ortsdetektor, und folglich ist dieser sechsdimensionale Raum
bereits um mehr als das 300-fache kleiner gemacht worden.
-
7 zeigt
ein Funktionsblockdiagramm des Verfahrens, bei dem Orientierungen
für die
Orte gefunden werden. Die Orte, für die Orientierungen zu finden
sind, werden bestimmt durch das Zentrumsdetektionsverfahren, wodurch
ein Cluster von detektierten Zentren 702 gebildet wird.
Die LV Orientierungsdetektion verwendet 3D Krümmungsmerkmale, um Orientierungen 704 zu
detektieren. Jedes Merkmal wird berechnet als ein spezifischer Voxelort
innerhalb einer Box der Größe 24 × 24 × 24 Voxel,
translatiert und gedreht durch die Position und Orientierung der Abtastung.
Innerhalb dieser Box werden die Orte organisiert auf einem 9 × 9 × 9 Gitter,
so dass 729 unterschiedliche Orte erhalten werden, wo ein Merkmal berechnet
werden kann. An jedem dieser Orte gibt es 71 unterschiedliche Kombinationen
(Summe, Produkt, Quotient, inverse trigonometrische Funktionen, etc.)
des Gradienten, eine minimale und maximale Krümmung, prinzipielle Richtungen
und Volumendaten. Dies ergibt 729 × 71 = 51.759 Merkmale. Darüber hinaus
gibt es drei Skalierungen, bei denen die Merkmale berechnet werden:
3 mm, 6 mm und 12 mm, wodurch insgesamt ungefähr 150.000 Merkmale gewonnen
werden. Die Positiven und Negativen werden ausgewählt, um
den Ort x unter den 400 Kandidaten von der ersten Stufe zu haben.
Die besten 50 Kandidaten (x, θ)
werden zur weiteren Evaluierung 706 behalten.
-
Ein
wichtiger Punkt, der auftritt, ist wie ein bedeutungsvoller Abstand
zwischen den Abtastungen und der Grundwahrheit zu gewinnen ist.
Dieser Abstand wird verwendet, um die Positiven und Negativen zu
erzeugen, da Abtastungen, die sehr nahe an der Grundwahrheit sind,
als Positive angesehen werden sollten, während Abtastungen, die weiter
als ein Schwellenwert weg sind, als Negative angesehen werden sollten.
-
Um
den Abstand zur Grundwahrheit zu berechnen wird jede Abtastung (x, θ) mit der
mittleren Skalierung so vermehrt, die von Statistiken der Trainingsdaten
gewonnen wird. Unter Verwendung der resultierenden Ähnlichkeitstransformation
T = (x, θ, s0) wird eine reskalierte mittlere Form gewonnen.
Die mittlere Form wird gewonnen, wenn eine Procrustes-Analyse durchgeführt wird
für 98
Trainingsformen. Folglich ist der durchschnittliche Punk-zu-Punkt Abstand
zwischen den entsprechenden neu skalierten mittleren Formen der
Abstand zwischen zwei Abtastungen.
-
Die
Positiven werden ausgewählt,
um einen Abstand vom maximal 6 mm zu haben, während die Negativen bei einem
Abstand von mindesten 15 mm sind. Von der Ausgabe des Detektors
werden die besten 50 Kandidaten (x, θ) behalten, der Rest wird verworfen.
-
Die
Dimensionalität
des Suchraums wird erneut erhöht,
um die LV Skalierung hinzuzufügen.
Die Ähnlichkeitstransformation
T = (x, θ,
s) ist ein neundimensionaler Raum, aber die ersten 6 Dimensionen (x, θ) sind beschränkt, um
nur 50 Werte, die von der vorherigen Stufe gewonnen worden sind,
zu nehmen. Der gleiche Abtastungspool von Merkmalen wird verwendet
als LV Orientierungsdetektionsstufe, mit dem Unterschied, dass für jede Abtastung
(x, θ, s)
die Box, in der dieser Merkmale berechnet werden, jetzt (x, θ, 4/3s)
ist. Ein einzelner Kandidat wird nach dieser Stufe ausgewählt.
-
Ein ähnlicher
Ansatz kann verwendet werden, um das linke Atrium (LA) zu detektieren.
Um das LA bis zu einer Ähnlichkeitstransformation
in 2D zu detektieren, wird ein fünfdimensionaler
Raum abgesucht: Position (x, y), Orientierung θ und Skalierung (s, a) (Skalierungs-
und Aspektrate). Unter Verwendung des MSL Ansatzes werden drei Klassifizierer trainiert.
Ein erster Klassifizierer wird trainiert, um die LA Position zu
detektieren. Da das LA in den Ultraschalldaten einen sehr großen Grad
an Variabilität
in der Größe aufweist,
wird eine sehr grobe Größe ebenfalls
geschätzt
mit drei Werten, klein, mittel und groß. Die besten 1000 Kandidaten
werden für
die weitere Verarbeitung behalten. Ein zweiter Klassifizierer wird
trainiert, um für
jeden Kandidaten die LA Orientierung und einen Skalierungsparameter
abzuleiten. Erneut werden die besten 1000 Kandidaten für die weitere
Verarbeitung behalten. Ein abschließender Klassifizierer wird
trainiert, um das Seitenverhältnis
für jeden
der 1000 Kandidaten abzuleiten, und der Durchschnitt der besten
20 Detektionen wird als Detektionsergebnis berichtet.
-
MSL
ist ein allgemeiner Ansatz und kann angewendet werden für viele
herausfordernde 2D und 3D Objekt-, Detektions- und Segmentierungsaufgaben
in der medizinischen Bildgebung. 8 zeigt
die Anwendung vom MSL, um Katheterspitzen in Röntgenbildern (802),
Ileocecalklappen (804) und Leber (805) in abdominal
CT, Herzkammern in Ultraschallbildern (808) und Herzkammern
in MRI (801) zu detektieren.
-
Obwohl
Ausführungsbeispiele
für ein
System und ein Verfahren beschrieben wurden zum Detektieren eines
Objekts in einem hochdimensionalen Raum, sei angemerkt, dass Modifikationen
und Änderungen
von einem Fachmann im Lichte der obigen Lehre vorgenommen werden
können.
Es soll folglich verstanden werden, dass Änderungen der bestimmten Ausführungsbeispiele
der Erfindung, wie hier offenbart, vorgenommen werden können, ohne
den Bereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.