DE69517524T3

DE69517524T3 - Automatische erkennung von läsionen in der computertomographie

Info

Publication number: DE69517524T3
Application number: DE69517524T
Authority: DE
Inventors: L. Maryellen GIGER; Kyongtae Bae (Ty); Kunio Doi
Original assignee: Arch Development Corp
Current assignee: Arch Development Corp
Priority date: 1994-03-31
Filing date: 1995-03-30
Publication date: 2004-05-13
Anticipated expiration: 2015-03-31
Also published as: JPH10500321A; EP0760624B2; EP0760624A1; EP0760624A4; EP0760624B1; AU698576B2; DE69517524T2; JP3110045B2; DE69517524D1; CA2186135C; US5881124A; WO1995026682A1; ATE193815T1; CA2186135A1; AU2127095A

Description

Technischer Bereich
Diese Erfindung begrifft ein Verfahren und System für die automatische Verarbeitung von medizinischen tomographischen Bildern unter Verwendung von Merkmalsanalysetechniken, und betrifft insbesondere ein Verfahren und System für die automatische Erkennung von Läsionen in Computertomographieabtastungsbildern (CT-Abtastungsbildern) der Lungen.
Stand der Technik
Die Heilung von Lungenkrebs hängt ab von der Erkennung eines frühen Stadiums, während dem der Tumor noch klein und lokalisiert ist. Falls der Krebs in diesem lokalisierten Stadium erkannt wird, beträgt die Fünf-Jahr-Überlebensrate ungefähr 80% im Gegensatz zu einer ansonsten 10%-Überlebensrate. Die Erkennung von krebsartigen Lungenknötchen in Röntgenaufnahmen und CT-Bildern des Brustkorbs ist eine der schwierigeren Aufgaben, die von Radiologen durchgeführt wird.
Die konventionelle Interpretation von CT-Abtastungen des Thorax ist für Radiologen eine zeitaufwendige Aufgabe und erfordert eine systematische visuelle Überprüfung von bis zu 80 Bildern (40 "Lungen"-Bilder und 40 "Weichgewebe"-Bilder). Zusätzlich, wenn sich ein mögliches Knötchen in einem CT-Bild befindet, muß der Radiologe häufig eine visuelle Korrelation der Bilddaten mit denen von anderen Bildern (Schnitten) durchführen, um die Möglichkeit zu eliminieren, daß das "Knötchen" in Wirklichkeit ein Blutgefäß darstellt, das im Querschnitt gesehen wird.
In der Chirurgie ist es allgemein so, daß mehr Lungenknötchen gefunden werden als sie mittels CT entdeckt wurden. Knötchen können in den CT-Bildern übersehen werden infolge von Faktoren wie z. B. dem Verzicht bzw. der Unterlassung, die notwendige systematische Überprüfung durchzuführen, oder einer verständlichen Unfähigkeit, die ungeheure Menge an Informationen zu assimilieren, die in den mehrfachen Bildern in einer CT-Untersuchung enthalten ist. Ein computerisiertes Schema für die Erkennung von Knötchen ist insbesondere wichtig in dem Fall, daß man nach einem einzelnen Knötchen sucht.
Obwohl kein verallgemeinertes Schema für die automatische Segmentierung von Organen vorgeschlagen worden ist, sind verschiedene Untersuchungen der wissensbasierten Segmentierung von spezifischen Organen in der Literatur beschrieben worden. Karssemeijer et al. verwendeten in "Recognition of organs in CT-image sequences: A model guided approach", Computers and Biomed. Res., 21, 434–438 (1988), ein Markowsches Zufallsfeld-Bildmodell, um die Milz in Bauchdecken-CT-Abtastungen zu segmentieren. Shani verwendete verallgemeinerte Zylinder-Organmodelle für die Erkennung von 3-D-Strukturen in der Bauchdecken-CT (Understanding 3-D-images: Recognition of abdominal anatomy from CAT scans, UMI research Press, Ann Arbor, 1983). Stiehl ("Model-guided labelling of CSF-cavities in cranial computed tomograms", in Computer Assisted Radiology '85, herausgegeben von H. U. Lemke et al., Springer-Verlag, Berlin, 1985) und Badran et al. ("Patient realignment in MRI of the head: an algorithm using mathematical morphology for feature extraction", J. Biomed. Eng., 12 (2), 139–142 (1990)) beschrieben Techniken, um Eigenschaften bzw. Merkmale eines Gehirns aus der CT bzw. MRI zu gewinnen. Levin et al. untersuchten die Erkennbarkeit von Weichgewebetumoren unter Verwendung einer mul tispektralen Merkmalsraumklassifikation auf der Grundlage von mehrfachen MR-Sequenzen ("Musculoskeletal tumors: improved depiction with linear combinations of MR images", Radiology 163, 545–549, 1987). Von all diesen Ansätzen verwendete keiner eine Multigraustufenschwellwertbehandlung und einen Entscheidungsbaum (zum Vergleich und zur Korrelation), um Läsionen mit variierender Feinheit zu erkennen. Zusätzlich verwendete keiner einen Vergleich zwischen CT-Schnitten (d. h., mehrfachen Querschnittsschnitten), um die Unterscheidung der Läsionen von der normalen Anatomie (wie Blutgefäßen) zu unterstützen.
US-A-4907156 offenbart ein System und Verfahren für die automatische Erkennung von Knötchen in einem Röntgenbild eines Subjektes, was die Erkennung eines anatomischen Bereichs des Subjektes in dem Bild und die Erkennung eines Knötchens in dem anatomischen Bereich unter Verwendung einer Schwellwertbehandlung eines sogenannten Differenzbildes umfaßt.
US-A-5133020 offenbart ein Verfahren für die automatische Analyse von Läsionen unter Verwendung einer Graustufenschwellwertbehandlung einzelner Originalbilder.
Offenbarung der Erfindung
Dementsprechend ist es eine Aufgabe dieser Erfindung, ein automatisches Verfahren und System für die Erkennung und Anzeige von anormalen Läsionen in medizinischen CT-Bildern bereitzustellen.
Eine zweite Aufgabe dieser Erfindung ist es, ein automatisches Verfahren und System für die Erkennung und Anzeige von anormalen Läsionen in medizinischen CT-Bildern der Lunge bereitzustellen.
Eine weitere Aufgabe dieser Erfindung ist es, ein automatisches Verfahren und System für die Erkennung der Thoraxgrenzen innerhalb eines CT-Abtastungsbildes des Thorax bereitzustellen.
Eine weitere Aufgabe dieser Erfindung ist es, ein automatisches Verfahren und System für die Erkennung von Lungenflügelqrenzen innerhalb eines CT-Abtastungsbildes des Thorax bereitzustellen.
Eine weitere Aufgabe dieser Erfindung ist es, ein automatisches Verfahren und System für die Gewinnung von Objekten (Merkmalen) innerhalb der Lungenflügelbereiche in CT-Abtastungsbildern des Thorax unter Verwendung von Multistufengrauskalaschwellwertbehandlung und der Korrelation und Klassifikation solcher Merkmale unter Verwendung von Multistufenentscheidungsbäumen bereitzustellen.
Eine weitere Aufgabe dieser Erfindung ist es, ein automatisches Verfahren und System für die Unterscheidung anormaler Läsionen von normaler Anatomie (wie Blutgefäßen) unter Verwendung einer Baumstrukturtechnik und einem Grad an Likelihood (Mutmaßlichkeit) für den Vergleich zwischen benachbarten CT-Bildschnitten bereitzustellen.
Diese und andere Aufgaben werden gemäß der Erfindung mittels Bereitstellen eines neuen und verbesserten automatischen Verfahrens und Systems erreicht, in dem vor der Merkmalsanalyse eine Multistufengraustufenschwellwertbehandlung durchgeführt wird, um mit ihr die Merkmale zu gewinnen. Beispielsweise können Lungenknötchen auf dem CT-Schnittbild in verschiedenen Feinheitsgraden in Abhängigkeit von Größe und Zusammensetzung vorhanden sein. Um es zu ermöglichen, daß die verschiedenen Läsionen erkannt werden, müssen sie mit verschiedenen Schwellwertstufen analysiert werden.
Weiterhin wird gemäß der Erfindung, sobald die Merkmale gewonnen wurden, eine Analyse der Merkmale durchgeführt, um die anormalen Läsionen von der normalen Anatomie zu unterscheiden. Die Beziehungen und Korrelationen zwischen verschiedenen Schwellwertstufen ebenso wie zwischen verschiedenen CT-Schnitten werden verwendet.
Kurze Beschreibung der Zeichnungen
Eine vollständigere Anerkennung der Erfindung und vieler der begleitenden Vorteile davon wird man sofort erhalten, wenn man dieselbe unter Bezugnahme auf die folgende ausführliche Beschreibung besser verstehen lernt, in Verbindung mit den beigefügten Zeichnungen, die zeigen:
1 ein schematisches Diagramm, das das Verfahren für die automatische Erkennung von Läsionen gemäß der Erfindung veranschaulicht;
die 2A und 2B schematische Diagramme, die das Verfahren für die automatische Erkennung der Grenzen des Thorax gemäß der vorliegenden Erfindung veranschaulichen;
3 eine graphische Darstellung, die die Pixeldichteverteilung entlang einer Linie von der Ecke zu der Mitte des CT-Bildes veranschaulicht;
die 4A bis 4C graphische Darstellungen, die den kumulativen Mittelwert der Pixel entlang einer Linie von der einen Ecke zu der Mitte des Bildes, den kumulativen Mittelwert der Pixel entlang einer Linie von der Mitte zurück zu der Ecke des Bildes und die Differenz zwischen diesen zwei graphischen Darstellungen kumulativer Mittelwerte veranschaulichen;
die 5A und 5B Veranschaulichungen eines CT-Bildes bzw. seiner erkannten Thoraxgrenze;
die 6A und 6B schematische Diagramme, die das Verfahren für die automatische Erkennung der Lungenflügelgrenzen gemäß der vorliegenden Erfindung veranschaulichen;
7 eine graphische Darstellung, die das Histogramm der Pixeldichte innerhalb des Thoraxbereichs zeigt (hier wurde ein Schwellwert von 163 für die Verwendung beim Segmentieren der Lungen innerhalb des Thorax bestimmt);
8 eine Veranschaulichung der erkannten Lungenflügelgrenzen in einem CT-Bild des Thorax;
die 9A und 9B schematische Diagramme, die das Verfahren für die automatische Erkennung und Gewinnung von Merkmalen innerhalb der Lungenflügelbereiche gemäß der Erfindung veranschaulichen;
die 10A bis 10D Veranschaulichungen, die sich ergebende binäre Bilder, die aus der Multigraustufenschwellwertbehandlung erhalten werden, innerhalb der Lungenflügelbereiche des CT-Bildes des Thorax demonstrieren;
11 ein schematisches Diagramm, das das Verfahren für die automatische Korrelation von Merkmalen, die bei den mehrfachen Graustufen gewonnen werden, gemäß der Erfindung veranschaulicht;
die 12A und 12B Flußdiagramme des regelbasierten Schemas für die Merkmalsanalyse gemäß der Erfindung;
13 ein Diagramm, das die Bestimmung der Fläche und des Umfangs gemäß der Erfindung veranschaulicht;
14 ein Diagramm eines Kettencodes;
die 15A und 15B Diagramme, die Eckenkorrektur gemäß der Erfindung veranschaulichen;
die 16A bis 16F graphische Darstellungen, die die kumulativen Verteilungen der geometrischen Deskriptoren für Knötchen und Blutgefäße veranschaulichen: (a) Fläche, (b) Prozentkompaktheit, (c) Maß für die Länglichkeit, (d) Prozentkreisförmigkeit, (e) Maß für die Entfernung und (f) Gesamtwertung;
17 ein schematisches Diagramm, das den Prozeß zum Aktualisieren der Klassifikationseinstufung eines Merkmals in einem CT-Schnitt mittels Vergleich mit benachbarten Schnitten gemäß der Erfindung veranschaulicht;
18 ein Flußdiagramm, das den Prozeß zum Aktualisieren der Klassifikationseinstufung eines Merkmals in einem CT-Schnitt mittels Vergleich mit benachbarten Schnitten gemäß der Erfindung veranschaulicht;
die 19A und 19B Veranschaulichungen, die die Erkennung kleiner Knötchen in zwei benachbarten CT-Schnitten demonstrieren;
20 eine Veranschaulichung, die die Erkennung von zwei großen Knötchen in einem CT-Schnitt demonstriert;
21 eine Veranschaulichung, die die Erkennung eines kleinen Knötchens in einem CT-Schnitt demonstriert;
die 22A und 22B Veranschaulichungen einer möglichen dreidimensionalen Anzeige von erkannten Knötchen unter Verwendung von Lungenflügelkonturen in einem Drahtmodell bei zwei Rotationen; und
23 ein schematisches Blockdiagramm, das ein System zum Implementieren des Verfahrens für die automatische Erkennung von Läsionen in CT-Bildern des Thorax veranschaulicht.
Bester Modus zum Ausüben der Erfindung
Unter Bezugnahme auf die Zeichnungen, und insbesondere auf 1 davon, wird nun ein schematisches Diagramm des Verfahrens für die automatische Erkennung von Lungenknötchen in CT-Bildern des Thorax gezeigt. Das Gesamtschema umfaßt eine anfängliche Erfassung eines Satzes von CT-Schnitten des Thorax (Schritt 10). Die Erkennung wird sequentiell durchgeführt, Schnitt um Schnitt. In jedem Schritt werden die Thoraxgrenzen (Schritt 11) und Lungenflügelgrenzen (Schritt 12) erfaßt bzw. erkannt, und die Besonderheiten bzw. Merkmale innerhalb der Lungenflügelgrenzen werden einer mehrfachen Graustufenschwellwertbehandlung (Schritt 13) unterzogen. Durch das Analysieren der Beziehungen zwischen den Merkmalen, die bei verschiedenen Schwellwertstufen hervortreten bzw. auftreten, in Bezug auf ihre Gestalt, Größe und Ort, wird jedem Merkmal eine Likelihood (Mutmaßlichkeit) zugewiesen, entweder ein Knötchen oder ein Gefäß zu sein. Merkmale in benachbarten Schnitten werden verglichen, um unklare bzw. zweideutige Merkmale aufzulösen (Schritt 14). Erkannte Kandidaten für Knötchen werden dann angezeigt (Schritt 15), vorzugsweise in drei Dimensionen innerhalb der Lunge.
Die 2A und 2B zeigen ein schematisches Diagramm des Verfahrens für die Erkennung der Thoraxgrenze. Der Thorax wird von dem externen Hintergrund unter Verwendung von Graustufenschwellwerttechniken separiert. Man kann annehmen, daß sich der Thorax in dem Bildschnitt ungefähr in der Mitte befindet. Ein Histogramm der Grauwerte der Pixel entlang einer Linie von der Mitte des Bildes zu einer Kante des Bildes wird berechnet und bei der Bestimmung der schnittspezifischen Graustufenschwelle verwendet. Das Histogramm ist in 2B schematisch gezeigt, und ein konkretes Histogramm ist in 3 gezeigt. Der Thoraxbereich ist in dem Graustufenhistogramm deutlich von dem Hintergrundbereich separiert. Eine geeignet gewählte Schwelle (2B) eliminiert die meisten der Pixel, die dem Hintergrund entsprechen.
Die kumulativen Mittelwerte entlang der Linie von der Ecke zu der Mitte des Bildes und umgekehrt werden berechnet (4A und 4B), insbesondere in den Fällen, wo das CT-Bild verrauscht ist. Die kumulativen Mittelwerte werden berechnet, indem die Pixelwerte von der Ecke zu der Mitte und von der Mitte zu der Ecke aufaddiert werden und der fortschreitende Mittelwert genommen wird. Die Differenz zwischen zwei kumulativen Mittelwerten entlang der Linie von einer Ecke zu der Mitte des Bildes (4C) kann verwendet werden, um die schnittspezifische Graustufenschwelle besser abzuschätzen, die bei der Einsenkung in der Kurve gewählt wird (in 4C grob bei dem Pixelort 101).
Unter Verwendung der bestimmten schnittspezifischen Graustufenschwelle wird ein binäres Bild generiert und die Grenzen der global verbundenen Bereiche werden unter Verwendung eines 8-Punkt-Zusammenhangsrandverfolgers skizziert. Dieser Prozeß nimmt an, daß es eine Art von Zusammenhang zwischen den Pixeln in einem Bereich gibt. Pixel werden als zu dem Bereich gehörend nur dann ausgewählt, falls sie benachbart sind (sich berühren).
Um die Konturen (Grenzen) zu eliminieren, die von der Prüftabelle herrühren, wird jede erkannte Kontur in Bezug auf geometrische Einschränkungen untersucht, die die Größe und Kreisförmigkeit umfassen. In der Ausführungsform wurde eine minimale Größe für einen Bereich von 1/4 der Bildgröße ausgewählt, um als Thorax klassifiziert zu werden. Weiterhin wurde ein Kompaktheitsmaß (unten ausführlicher beschrieben) von wenigstens 20% ausgewählt. 5A zeigt ein CT-Bild und 5B zeigt die entsprechende erkannte Thoraxgrenze.
6 zeigt ein schematisches Diagramm des Verfahrens für die Erkennung von Lungenflügelgrenzen innerhalb des Thorax gemäß der Erfindung. Der Lungenflügelbereich wird innerhalb des Thoraxbereichs unter Verwendung von Graustufenschwellwerttechniken identifiziert. Sobald der Thoraxbereich bestimmt ist, wird das Graustufenhistogramm der Pixel innerhalb des Bereichs berechnet. Dieses Histogramm wird eine bimodale Verteilung enthalten (d. h., zwei Gipfel bzw. Maxima), wobei eine Gruppe von Pixeln der belüfteten Lunge und die andere Gruppe dem Mediastinum (Mittelfellraum) und der Brustwand entspricht (in 6B schematisch gezeigt). Eine Graustufenschwelle wird aus dem Histogramm berechnet, die die maximale Trennung bzw. Separation zwischen den zwei Gruppen liefert. Die maximale Separation wird wie folgt bestimmt: (Mittelwert2 – Schwelle) × (Schwelle – Mittelwert1)
Ein konkretes Graustufenhistogramm ist in 7 gezeigt. Der Peak bzw. das Maximum bei niedrigeren Pixelwerten entspricht der belüfteten Lunge, während der Peak bzw. das Maximum bei den höheren Pixelwerten der Brustwand entspricht. Es sollte beachtet werden, daß in diesem Beispiel eine Konvention für die Pixelintensität gewählt wurde, bei der Schwarz einem Wert von Null entspricht. Die entgegengesetzte Konvention könnte ebenfalls verwendet werden.
Unter Verwendung dieser Graustufenschwelle wird ein binäres Bild generiert, und die Grenzen der global verbundenen bzw. global zusammenhängenden Bereiche innerhalb des Thoraxbereiches werden unter Verwendung eines 8-Punkt-Zusammenhangsrandverfolgers skizziert, auf ähnliche Weise wie jenes, das in Bezug auf die Thoraxgrenzenverbindung bzw. den Thoraxgrenzenzusammenhang beschrieben wurde. Geometrische Einschränkungen für den Ort und die Größe müssen erfüllt werden. Zum Beispiel muß sich der Bereich innerhalb der bestimmten Thoraxgrenze befinden, und ein Kompaktheitsmaß größer als 10% wurde gewählt. Zu erkennen, daß ein Bereich in der Thoraxgrenze angeordnet ist, kann darin bestehen, daß es erforderlich ist, daß sich der gesamte Bereich oder der Mittelpunkt des Bereiches in der Thoraxgrenze befindet. Dies wird bestimmt, indem man die Orte der Pixel des Bereichs mit dem Ort der Pixel innerhalb der Thoraxgrenze vergleicht. 8 zeigt die aus dem Bild in 5 erkannten Lungenflügelgrenzen.
Die 9A und 9B zeigen schematische Diagramme für die Erkennung von Merkmalen bzw. Besonderheiten innerhalb der Lungenflügelbereiche. Sobald die Lungenflügelgrenzen erkannt sind, müssen die Merkmale innerhalb der Lungenflügelbereiche als Knötchen oder Gefäße identifiziert werden. Diese Aufgabe ist schwieriger als die Erkennung der Thorax- und Lungenflügelgrenzen, da Knötchengrenzen von benachbarten Gefäßgrenzen nicht gut separiert bzw. getrennt sein können. Somit genügt eine einzelne Graustufenschwelle nicht, um diese Merkmale zu gewinnen. Folglich wird innerhalb der Lungenflügelgrenzen mit einer Vielzahl von verschiedenen Schwellen die Graustufenschwellwertbehandlung durchgeführt. Diese Schwellwerte werden aus dem Graustufenhistogramm der Pixel innerhalb der Lungengrenzen berechnet. In diesem Beispiel werden vier Schwellen, die dem Pixelwert bei 1/2, 1/4, 1/8 und 1/16 der Fläche unter dem Histogramm entsprechen, für die Schwellwertbehandlung ausgewählt. Andere Werte könnten ebenfalls gewählt werden. Bei jeder der vier Schwellwertstufen wird ein binäres Bild berechnet.
Die 10A bis 10D zeigen die vier binären Bilder, die man durch die Schwellwertbehandlung des Lungenflügelbereiches des CT-Bildes in 5 mit den vier verschiedenen Schwellen erhält. Man beachte, daß, wenn die Schwelle 1/2 der Fläche unter dem Histogramm entspricht (10A), viele der Merkmale (weiße Bereiche) miteinander verschmolzen sind. Jedoch, bei der strengeren bzw. stringenteren Schwelle (die 1/16 der Fläche unter dem Histogramm entspricht; 10D) sind die Merkmale ziemlich klein und separiert. Bei jedem binären Bild wird die Grenze von jedem Merkmal innerhalb des Lungenflügelbereiches mittels des 8-Punkt-Zusammenhangsrandverfolgungsschemas erkannt bzw. erfaßt.
Die Merkmale bei den verschiedenen Schwellen werden unter Verwendung einer Baumstrukturtechnik wie in 11 veranschaulicht zueinander in Beziehung gesetzt. Jedes Merkmal in der Baumstruktur wird ein Knoten genannt. Knoten 1 wird aus einem Merkmal erhalten, das mit der Schwelle 1 erkannt wurde, die die niedrigste Schwelle ist (d. h., die 1/2 der Fläche unter dem Graustufenhistogramm der Pixel innerhalb des Lungenflügelbereichs entspricht). Die bei Schwelle 2 erkannten Merkmale werden untersucht bzw. überprüft, ob ihre Mittelpunkte innerhalb der Grenzen von irgendeinem der bei Schwelle 1 erkannten Merkmale liegen. In 11 liegt die Mitte des Knotens 2 innerhalb des Bereichs des Knotens 1. Folglich wird Knoten 2 der "Tochterknoten" des Knotens 1. Wenn die Graustufen schwellen zunehmen, können sich einige Knoten weiter aufteilen und mehrfache Tochterknoten besitzen, während andere verschwinden und keine weiteren Generationen erzeugen können.
Bei jeder der vier Graustufenschwellen wird die Grenze von jedem Merkmal des Lungenflügelbereichs in dem CT-Schnitt erfaßt bzw. erkannt. Dann werden geometrische Deskriptoren von jedem erkannten Merkmal berechnet. Tabelle 1 listet die sieben Deskriptoren auf, die den Perimeter bzw. Umfang, die Fläche, die Kompaktheit, ein Maß für die Länglichkeit, die Kreisförmigkeit, ein Maß für die Entfernung und die Gesamtwertung umfassen.
Tabelle 1

Unter Verwendung dieser geometrischen Deskriptoren wird jedem Merkmal in der Baumstruktur für einen bestimmten CT-Schnitt eine Likelihood bzw. Mutmaßlichkeit zugewiesen, entweder ein Knötchen oder ein Gefäß zu sein. Ein regelbasiertes System wurde verwendet, um die Merkmale, die von Knötchen herrühren, von jenen, die von Gefäßen herrühren, zu unterscheiden. Tabelle 2 listet die mögli chen Klassen auf, denen erkannte Merkmale zugewiesen werden könnten. Tabelle 2

Klasse	Kennzeichnung
+5	eindeutig Knötchen
+4	wahrscheinlich Knötchen
+3	möglicherweise Knötchen
+2	wahrscheinlich Gefäß
+1	eindeutig Gefäß
0	undefiniert
–1	Löschen, in früherer Schwellwertstufe definiert

Sobald innerhalb eines bestimmten CT-Schnittes ein Merkmal der Klasse +1 oder der Klasse +5 zugewiesen ist, benötigen seine nächsten Generationen in der Baumstruktur keine weitere Analyse.
Die 12A und 12B zeigen das regelbasierte System für die Klassifizierung eines Merkmals gemäß der Erfindung. Eine Eckenkorrekturroutine wird an jedem Merkmal durchgeführt (Schritt 120). Wie oben diskutiert wurde, werden die Fläche und der Umfang der erkannten Merkmale berechnet. Im Falle großer Knoten liefert das Zählen der Pixel in dem Merkmal als seine Fläche und das Berechnen des Umfangs als die Summe all der nicht-gemeinsamen Seiten ein gutes Maß für diese Parameter. Wenn die Merkmale jedoch klein sind, muß die Berechnung des Umfangs und der Fläche sorgfältig bzw. vorsichtig erfolgen und ein Korrekturfaktor kann berücksichtigt werden. Wie in 13 zu sehen ist, falls die Fläche mittels Zählen der Pixel und der Umfang mittels Aufsummieren der nicht-gemeinsamen Seiten bestimmt wird, werden Werte von Fläche = 13 und Umfang = 20 bestimmt. In einem anderen Ansatz können die erkannten Grenzpixel als ein Satz von Punkten genommen werden. Hier wird der schraffierte Bereich, der von den Strichlinien umschlossen wird, als der erkannte Knoten genommen. In diesem Fall gilt Fläche = 8 und Umfang = 8√2.
Diese Auswahl der geeigneten Fläche und Umfang hat ebenfalls einen großen Einfluß auf die Kompaktheit. In dem ersten Beispiel, wo die Pixel als die Fläche gezählt werden, wird eine Kompaktheit von 40,8% berechnet. Andererseits, wenn man den zweiten Ansatz nimmt, wird eine Kompaktheit von 78,5% bestimmt.
In der Ausführungsform wurde eine Flächenkorrektur auf der Grundlage von Kettencodes für alle Randerkennungen (Thorax, Lunge und Merkmale) verwendet. Ein Kettencode ist in 14 gezeigt und zeigt alle acht Möglichkeiten für das nächste Pixel des Randes für jedes gegebene Randpixel an. Das heißt, falls ein Pixel betrachtet wird, das sich in der Mitte des Kettencodes befindet, so zeigen die Kettencodes an, in welcher Richtung sich das nächste Pixel auf dem Rand befindet. Hier werden der Umfang und die Fläche bestimmt als Umfang = (Anzahl von (0,2,4,6) Kettencodes + Anzahl von (1,3,5,7) Kettencodes) × (√2) Fläche = gesamte Anzahl von Pixeln in einem Merkmal – 1/2 (gesamte Anzahl von Kettencodes) + Eckenkorrekturterm
Die Subtraktion von 1/2 der Kettencodes führt dazu, daß jedes Grenzpixel 1/2 seiner Fläche zu der gesamten Fläche des Merkmals beiträgt.
Die 15A und 15B veranschaulichen die Eckenkorrektur gemäß der Erfindung. Zum Zwecke der Erklärung wird angenommen, daß sich die erfaßte bzw. erkannte Fläche des Merkmals in der rechten Seite der Kettencodes befindet (in 15A als A bezeichnet). Das nächste Rand pixel kann in irgendeinem der Kettencodes B1 bis B7 sein. In 15A ist eine Biegung in dem Rand in Richtung der Innenseite des Merkmals, d. h. eine, die die Fläche des Merkmals verringert, veranschaulicht. Hier befindet sich das Merkmal auf der rechten Seite des Kettencodes und das gegenwärtige Pixel ist wieder mit A bezeichnet. Für die gezeigten Kettencodes B1 bis B4 werden die folgenden Verringerungen in der Pixelfläche genommen:
B1 – Verringere die Fläche des Pixels um 3/8
B2 – Verringere die Fläche des Pixels um 2/8
B3 – Verringere die Fläche des Pixels um 1/8
B4 – Keine Verringerung
Hier zeigt die B4-Richtung keine Ecke an (der Rand setzt sich in Richtung von A fort), so daß keine Verringerung vorgenommen wird.
15B veranschaulicht eine Eckenbiegung, bei der die Fläche des Merkmals ausgedehnt bzw. erweitert wird. Unter Verwendung derselben Konventionen, wie sie für 15B beschrieben wurden, werden die folgenden Erweiterungen vorgenommen:
B7 – Erweitere die Fläche des Pixels um 3/8
B6 – Erweitere die Fläche des Pixels um 2/8
B5 – Erweitere die Fläche um 1/8
B4 – Keine Erweiterung
Die Kettencodes B1 bis B7 entsprechen den folgenden Wert-Richtungen: B1 = 5, B2 = 6, B3 = 7, B4 = 0, B5 = 1, B6 = 2 und B7 = 3. Der Eckenkorrekturterm ist somit die Summe von Bi – A über die Grenze und ist gegeben als: Σ(Bi – A)/8wobei: A die Anfangsrichtung, und
Bi die Richtung ist, die man erhält, indem man zu dem nächsten Pixel in dem Kettencode geht.
Es sollte betont werden, daß A eine Wert-Richtung von 8 besitzt, was aus den 15A bis 15C offensichtlich ist.
In einem praktischen Sinn tendiert der Eckenkorrekturterm dahin, vernachlässigbar zu sein, da die Größe der Objekte und die unregelmäßigen Gestalten dazu tendieren, zu bewirken, daß sich die Erweiterung und Verringerung einander ausgleichen bzw. kompensieren.
Wie nun wieder in 12A zu sehen ist, wird der Status des Knotens, der momentan analysiert wird, in Schritt 121 anfänglich auf "undefiniert" (Status = 0) gesetzt. Als nächstes wird in Schritt 122 bestimmt, ob die Schwellwertstufe wenigstens die zweite Schwelle ist. In dem Fall, bei dem die erste Schwelle analysiert wird, schreitet der Prozeß zu Schritt 123 fort, wo die geometrischen Deskriptoren (in Tabelle 1 angegeben) bestimmt werden. Wenn eine andere Schwellwertstufe als die erste Schwellwertstufe analysiert wird, wird es in Schritt 124 bestimmt, ob der Mutterknoten des momentanen Knotens definiert ist. Falls der Mutterknoten definiert ist, d. h., eine Klasse von 1 bis 5 besitzt, wird der momentane Knoten gelöscht, indem der Status = –1 gesetzt wird (Schritt 125).
Nach dem Löschen des Knotens wird der Trend des momentanen Knotens im Vergleich zu seinem Mutterknoten überprüft. In Schritt 126, falls ein Mutterknoten ein eindeutiges Gefäß ist (Status = 1), schreitet der Prozeß zu Schritt 143 fort (bei "3" in 12B). Für alle Mutterknoten mit einer Klasse größer als 2 (Schritt 126) werden die Kompaktheit und die Länglichkeit für den momentanen Knoten bestimmt und gegenüber jener des Mutter knotens überprüft (Schritt 127). Dies wird durchgeführt, indem man die geometrischen Deskriptoren für den momentanen Knoten berechnet und die Kompaktheit und Länglichkeit gegenüber jener des Mutterknotens überprüft. Falls die Kompaktheit größer als 1,5 mal jene des Mutterknotens und die Länglichkeit wenigstens 1,25 mal jene des Mutterknotens ist, wird in Schritt 128 der Mutterknotenstatus auf "mögliches Gefäß" (Status = 2) rückgesetzt bzw. neu gesetzt.
Falls in Schritt 122 der Mutterknoten nicht definiert ist, werden die Fläche, die Kompaktheit, die Kreisförmigkeit, die Länglichkeit und die Gesamtwertung für den momentanen Knoten berechnet (Schritt 123). Als nächstes, in Schritt 129, wird der Flächendeskriptor bewertet. Falls die Fläche des momentanen Knotens nicht mehr als 50 Pixel beträgt, wird der momentane Knoten als ein Gefäß klassifiziert, indem der Status = 1 gesetzt wird (Schritt 130).
Knötchen besitzen oft eine kleine Fläche (16A), und somit sollte eine weitere Analyse ausgeführt werden. Die Kreisförmigkeit und Gesamtwertung werden dann in Schritt 131 überprüft, und falls die Kreisförmigkeit ≥50% und die Gesamtwertung ≥7500 ist, wird der momentane Knoten als ein Knötchen klassifiziert, indem der Status = 5 gesetzt wird (Schritt 132).
Falls es bestimmt wird, daß die Fläche des momentanen Knotens mehr als 50 Pixel beträgt, so wird der momentane Knoten überprüft, um zu sehen, ob seine Gestalt nahe daran ist, kreisförmig zu sein. Die Maße für die Länglichkeit, Kompaktheit und Kreisförmigkeit werden bewertet. Insbesondere wird es bestimmt, ob die Länglichkeit <2, Kompaktheit >30% und Kreisförmigkeit >25% (Schritt 133). Falls diese drei Kriterien erfüllt sind, wird der Knoten als ein wahrscheinliches Gefäß klassifiziert, indem in Schritt 134 der Status = 2 gesetzt wird.
Der Prozeß schreitet dann weiter zu Schritt 135, wo die Flächenwertung, die das Produkt aus dem Produkt der Fläche und der Kreisförmigkeit ist, berechnet wird. Dies wird durchgeführt, um ein Knötchen von dem Querschnitt eines kreisförmigen Gefäßes zu unterscheiden. Falls dieses Produkt >3000 (Schritt 135), wird in Schritt 136 der momentane Knoten als ein wahrscheinliches Knötchen (Status = 4) klassifiziert. Die Gesamtwertung wird dann bewertet (Schritte 137 und 138). Der Knoten wird als ein wahrscheinliches Gefäß klassifiziert, falls die Gesamtwertung <2000, und der Status wird in Schritt 139 als ein wahrscheinliches Gefäß neu gesetzt. Dies ist aus 16F offensichtlich, da die meisten Gefäße eine niedrige Gesamtwertung besitzen. Falls die Gesamtwertung über 5000 liegt, wird der momentane Knoten als ein eindeutiges Knötchen klassifiziert (Schritt 140).
Eine letzte Überprüfung wird für Knötchen durchgeführt, die ziemlich klein sind und eine hohe Kreisförmigkeit besitzen. In Schritt 141 werden die Kreisförmigkeit und Gesamtwertung überprüft. Falls die Kreisförmigkeit ≥50% und die Gesamtwertung >7500, wird bestimmt, daß der momentane Knoten ein Knötchen ist, indem in Schritt 142 der Status = 5 gesetzt wird.
Falls das Ergebnis der Bestimmung in dem Schritt 141 negativ ist, oder ein früherer Schritt zu "3" fortschritt, wird eine Überprüfung gemacht, um zu bestimmen, ob der momentane Knoten undefiniert ist, und die letzte Schwelle wird erreicht (Schritt 143). Falls dies der Fall ist, wird in Schritt 144 der Status des momentanen Knötchens auf eindeutiges Gefäß gesetzt. Schritt 145 ist aufgenommen worden, um dagegen zu schützen, daß der Lun genflügel als ein großes Knötchen klassifiziert wird. Die Lungenflügelfläche wird wie oben für die Merkmale beschrieben berechnet und mit dem momentanen Knoten verglichen. Auch muß der Status des Knotens größer als 3 sein, und zwei Lungenflügel müssen erfaßt bzw. erkannt worden sein.
Als nächstes wird bestimmt, ob der momentane Knoten in dem rechten oder linken Lungenflügel ist (Schritte 146) und die Fläche des Knotens wird mit der Lungenflügelfläche verglichen (Schritte 147 und 148). Falls die Fläche des momentanen Knotens größer als 90% von einer Lungenflügelfläche ist, wird der Status in Schritt 149 auf undefiniert gesetzt. Die Analyse des momentanen Knotens ist beendet und der nächste Knoten wird analysiert, indem der Prozeß von neuem beginnt. Dies wird wiederholt, bis alle Knoten, die mit jeder der vier Schwellen erkannt wurden, analysiert worden sind (Schritt 150).
Das Ergebnis des regelbasierten Schemas ist eine analysierte CT-Abtastung, die alle identifizierten Merkmale aus den vier Schwellwertstufen besitzt. Man beachte, daß viele Knoten gelöscht werden, wenn der Mutterknoten schon definiert worden ist (Schritt 124).
Wie oben angezeigt wurde, wurden die Entscheidungsregeln aus der Analyse von kumulativen Verteilungen der verschiedenen geometrischen Deskriptoren für sowohl die Knötchen als auch Gefäße bestimmt, wie von Brustradiologen in Musterfällen identifiziert. Diese kumulativen Frequenzen werden von einem erfahrenen Radiologen präpariert, der die Knötchen und andere Merkmale in der CT-Abtastung identifiziert. Die 16A bis 16F veranschaulichen die Verteilungen von sechs Deskriptoren für Knötchen und Gefäße. Man beachte, daß durch die Wahl eines geeigneten Grenzwertes für einen bestimmten Deskriptor ein bestimmter Prozentsatz von Merkmalen, die von Gefäßen herrühren, eliminiert werden kann. Zum Beispiel wurden keine Knötchen gefunden, die eine Kompaktheitswertung von weniger als ungefähr 35% besitzen (16B). Alle Knoten, die eine Kompaktheit besitzen, die unter diesem Wert liegt, sind Gefäße und können eliminiert werden. Die Abszisse in den 16D, 16E und 16F sind in einem relativen Maßstab gezeigt, veranschaulichen aber das Prinzip, daß die kumulativen Frequenzen verwendet werden können, um in den CT-Abtastungen Knötchen von Gefäßen zu trennen bzw. zu separieren.
Eine multiplikative Kombination von all den geometrischen Deskriptoren (Gesamtwertung) wurde nur verwendet, wenn ein Merkmal durch die anderen Regeln nicht klassifiziert werden konnte. Die Gesamtwertung geht durch eine Grenzschwelle hindurch (siehe 12B).
Jedes Merkmal in der Baumstruktur von einem bestimmten CT-Schnitt wurde somit in Bezug auf seine Größe, seinen Länglichkeitsfaktor, seine Kompaktheit und seine Kreisförmigkeit überprüft bzw. untersucht. Merkmale mit einer sehr kleinen Fläche wurden gelöscht (16A). Merkmale mit einer großen Fläche aber niedrigen Kreisförmigkeit wurden als "undefiniert" kategorisiert und ihnen wurde eine Likelihoodeinstufung von 0 zugewiesen, die anzeigte, daß eine weitere Analyse in den nächsten Generationen in der Baumstruktur erforderlich war.
Merkmale mit einer hohen Kreisförmigkeit können entweder von Knötchen oder von Gefäßen herrühren, die senkrecht zu der Abtastungsebene liegen. Falls jedoch kreisförmige Merkmale peripher angesiedelt waren (Verwendung des Maßes für die Entfernung) oder falls sie zu groß waren, um Gefäße zu sein (Verwendung des Maßes für die Größe), dann wurde angenommen, daß sie Knötchen sind.
Die Deskriptoren von jedem Merkmal wurden ebenfalls mit jenen seiner weiteren Generationen in der Baumstruktur verglichen. Allgemein tendieren Merkmale, die von Knötchen herrühren, dazu, einen hohen Grad an Kreisförmigkeit über einen größeren Bereich von Graustufenschwellen beizubehalten als es Gefäße tun. Gefäße, die in einem kreisförmigen Querschnitt in einer CT-Abtastung gefunden wurden, werden in anderen CT-Abtastungen schließlich abbiegen und ihre Kreisförmigkeit verlieren.
Es sollte betont werden, daß das obige regelbasierte System nur ein Beispiel ist. Andere Systeme könnten verwendet werden, und die Erfindung ist nicht auf die exakten Werte der diskutierten geometrischen Deskriptoren beschränkt. Wie es sich aus den 16A bis 16F ergibt, könnten andere Deskriptorgrenzwerte gewählt werden und auf effektive Weise Knötchen in einer CT-Abtastung erkennen. Es ist ebenfalls offensichtlich, daß ein neurales Netzwerk, das trainiert ist, Knötchen von Gefäßen zu unterscheiden, ebenfalls verwendet werden könnte.
Andere regelbasierte Systeme könnten verwendet werden, und die Erfindung ist nicht auf die exakten Werte der diskutierten geometrischen Deskriptoren beschränkt. Wie es sich aus den 16A bis 16F ergibt, könnten andere Deskriptorgrenzwerte gewählt werden und auf effektive Weise Knötchen in einer CT-Abtastung erkennen. Es ist ebenfalls offensichtlich, daß ein neurales Netzwerk, das trainiert ist, Knötchen von Gefäßen zu unterscheiden, ebenfalls verwendet werden könnte.
17 zeigt ein schematisches Diagramm für den Vergleich von Merkmalen zwischen CT-Schnitten. Obwohl Knötchen und Gefäß dreidimensional sind, wird die anfängliche Klassifikation an individuellen zweidimensionalen CT-Schnitten durchgeführt. Wie früher beschrieben wurde, wird für jeden CT-Schnitt eine Baumstruktur aus vier binären Bildern von Merkmalen innerhalb des Lungenflügelbereichs generiert. Jedem Merkmal in der Baumstruktur wird dann eine Likelihood zugewiesen, entweder ein Knötchen oder ein Gefäß zu sein. Jedoch können in einigen Fällen unklare bzw. zweideutige Merkmale (die Klassen von 2, 3 oder 4) zurückbleiben. Diese Unklarheiten können aufgelöst werden, indem man die Merkmale in benachbarten CT-Schnitten vergleicht. Wenn ein Knötchen oder ein Gefäß in mehr als einem Schnitt abgebildet wird, können die sich ergebenden Merkmale (von mehrfachen Schnitten) in verschiedenen Schnitten verschiedenen Klassen zugewiesen werden.
Bei dem Verfahren gemäß der Erfindung wird ein Merkmal mit einer schwach definierten Klassifikation (d. h., 2, 3 oder 4) zu einer eindeutiger definierten Klasse aktualisiert werden, falls solch eine Klasse in einem benachbarten Schnitt existiert. Jeder CT-Schnitt wird mit dem Schnitt darüber und darunter verglichen (mit Ausnahme der Endschnitte oder falls weniger als drei Schnitte genommen wurden), da Knötchen typischerweise nicht in vielen Schnitten vorkommen, während ein Gefäß ziemlich lang sein könnte und somit in mehreren Schnitten vorkommen könnte.
Der Prozeß zum Vergleichen der CT-Schnitte und Aktualisieren der Klassifikation ist in 18 gezeigt. Falls es irgendwelche Knoten mit einem Status von 2, 3 oder 4 gibt, das heißt, einem anderen Status als einem eindeutig definierten Status, dann wird das Vergleichen der Schnitte erforderlich. Die Schnitte, die verglichen werden, sind die analysierten Schnitte, die über das regelbasierte System erhalten werden. Der erste Schnitt wird in Schritt 180 erhalten, und in Schritt 181 wird eine Über prüfung durchgeführt, um zu sehen, ob es nur einen CT-Schnitt gibt, da dann kein Vergleich erforderlich ist und der Vergleich endet (Schritt 183). Falls es mehr als einen Schnitt gibt, werden die Daten des zweiten Schnittes erhalten (Schritt 182) und eine Überprüfung wird durchgeführt, um zu bestimmen, ob es irgendwelche Knötchen mit einem Status von 2 bis 4 in dem ersten Schnitt gibt (Schritt 184). Diese Information ist während der Merkmalsanalyse unter Verwendung des regelbasierten Schemas bestimmt worden.
Es wird dann in Schritt 185 bestimmt, ob es in dem ersten Schnitt irgendwelche Knoten mit einem Status = 2–4 gibt. Falls die Antwort positiv ist, werden Knoten mit einem Status = 2–4 in dem ersten Schnitt und Knoten mit einem Status = 3–5 in dem zweiten Schnitt lokalisiert.
Für den ersten Schnitt besitzen alle Knoten, die lokalisiert werden, einen Status von 2–4. Die Pixelorte für jeden der lokalisierten Knoten werden in Schritt 186 aufgenommen, was einen Satz von x-y-Koordinaten für jedes der Pixel der. lokalisierten Knoten ergibt. Die x-y-Koordinateninformation ist ebenfalls aus der Analyse, die während des regelbasierten Schemas gemacht wurde, verfügbar, da die Grenzen und andere geometrische Parameter der Knoten berechnet worden sind. Als nächstes wird der zweite Schnitt untersucht und die lokalisierten Knoten des zweiten Schnittes, die mit jedem Knoten in dem ersten Schnitt überlappen, werden identifiziert (Schritt 187). Für jeden Knoten in dem ersten Schnitt wird eine Tabularisierung mittels des Status von der Anzahl der Pixel in allen Knoten mit einem Status = 3–5, die jenen Knoten überlappen, gemacht (Schritt 188). Der Status, der die maximale Anzahl von Zählungen (Anzahl von Pixeln) besitzt, wird in Schritt 189 bestimmt. Falls die Zählung des Status mit der maximalen Anzahl von Zählungen die Zählung (Anzahl von Pixeln) des entsprechenden Knotens in dem ersten Schnitt übersteigt, wird der Status des Knotens in dem ersten Schnitt zu jenem des Knotens mit der maximalen Statuszählung in dem zweiten Schnitt aktualisiert (Schritte 190 und 191).
Als nächstes wird in Schritt 192 eine Überprüfung gemacht, um zu bestimmen, ob die Anzahl von Schnitten größer als 2 ist. Falls nicht, wird die Prozedur beendet (Schritt 183). Falls es mehr als zwei Schnitte gibt, werden in Schritt 193 die Daten für den nächsten Schnitt erhalten. In Schritt 194 wird eine Überprüfung gemacht, ob es in dem zweiten Schnitt irgendwelche Knoten mit einem Status = 2–4 gibt. Falls es keine gibt, werden die Daten für den nächsten Schnitt (dritten) erhalten und Schritt 194 wird wiederholt. Diese Prozedur eliminiert aus dem Vergleich jene Schnitte, die keine Knoten mit einem Status = 2–4 besitzen.
Falls der zweite Schnitt Knoten mit einem Status = 2–4 besitzt, werden die Koordinaten der Pixel der lokalisierten Knoten in dem zweiten Schnitt gefunden und die Koordinaten der Knoten mit einem Status = 3–5 werden in dem dritten gefunden (Schritt 195).
In Schritt 196 werden die überlappenden Knoten sowohl in dem ersten als auch dritten Schnitt (einer oberhalb und einer unterhalb des Referenzschnittes) identifiziert. Die in Bezug auf die Schritte 188 bis 191 beschriebene Zählanalyse wird für die identifizierten überlappenden Knoten in den zwei benachbarten Schnitten wiederholt (Schritt 197). Eine Überprüfung wird in Schritt 198 gemacht, um zu bestimmen, ob der letzte Schnitt erreicht worden ist, der als einer der Referenzschnitte verwendet wird, um mit einem anderen Schnitt verglichen zu werden. Falls der letzte Schnitt nicht erreicht worden ist, kehrt der Prozeß zu Schritt 193 zurück, wodurch die Analyse für alle die Schnitte mit Ausnahme des letzten Schnittes wiederholt wird. Wenn der letzte Schnitt erreicht ist, wird er nur in Bezug auf den vorhergehenden Schnitt auf dieselbe Weise wie oben beschrieben analysiert, das heißt, die überlappenden Knoten werden identifiziert und die Statuswerte werden gezählt und verglichen (Schritt 199). Der Prozeß endet dann (Schritt 200).
Nachdem die Vergleiche beendet worden sind, werden die Knoten in jedem Schnitt, die eine Klassifikation von 4 oder 5 besitzen, behalten. Die Schnitte können dann in drei Dimensionen angezeigt werden, mit den Knoten, die den Status von 4 oder 5 besitzen, wie in 21 gezeigt.
Die Nützlichkeit dieses Schnittvergleichs wird in den 19A und 19B demonstriert, die einen Beispielsfall zeigen, in dem ein Knötchen in einem Schnitt nur erkannt wird, nachdem sein entsprechendes Merkmal mit einem "eindeutig" definierten Knötchen in einem benachbarten Schnitt verglichen wurde. Die Kontinuität in der Untersuchung bzw. Überprüfung einer Struktur in benachbarten Schnitten ist insbesondere wichtig beim Erkennen von Gefäßen, die senkrecht zu der Abtastungsebene liegen.
Die Tabelle 3 veranschaulicht das Erkennungsvermögen des Verfahrens für Thorax-CT-Abtastungen von 8 Patienten mit Lungenknötchen, die untersucht wurden.
Tabelle 3. Ergebnisse der Erkennung für die acht klinischen Fälle.
Die Fälle wurden ausgewählt auf der Grundlage des Vorhandenseins von einem oder mehreren unzweideutigen Knötchen, und der Abwesenheit von anderen Lungenabnormalitäten. Die Anzahl der Knötchen pro Fall lag in dem Bereich von 2 bis 21, und die Größe der Knötchen lag im Bereich von 3 bis 18 mm in Bezug auf den effektiven Durchmesser. Die Anzahl der CT-Schnitte pro Fall lag im Bereich von 20 bis 29. Die Orte der Knötchen wurden von einem erfahrenen Brustradiologen identifiziert. Jeder Abtastungsschnitt war 10 mm dick, wobei die Pixelwerte im Bereich von 0,66 mm bis 0,94 mm lagen. Tabelle 3 listet ebenfalls die Anzahl der wahren positiven Erkennungen und falschen positiven Erkennungen pro Fall auf. In dieser Tabellisierung wurden Merkmale, denen eine schlußendliche Klassifizierung von 4 oder 5 gegeben wurde, als erkannte Knötchen gezählt. Der Computer erkannte 94% der konkreten Knötchen mit einem Mittelwert von 1,25 falschen positiven Erkennungen pro Fall.
Es sollte beachtet werden, daß, sobald die CT-Schnitte erhalten wurden, die Prozesse zum Erkennen des Thorax, der Lungenflügelgrenzen und der Knötchen vollkommen automatisiert sind. Nachdem die Orte der vermuteten Läsionen gefunden worden sind, können die Ergebnisse der Erkennung einem Radiologen präsentiert werden oder als eine Eingabe für ein dreidimensionales Anzeigesystem dienen.
Die 19 bis 21 demonstrieren das Leistungsvermögen des Verfahrens gemäß der Erfindung an CT-Schnitten von drei von diesen Fällen. Hier sind die Merkmale, die als "eindeutige" Knötchen klassifiziert wurden, in weiß gezeigt, und jene, die als "wahrscheinliche" Gefäße klassifiziert wurden, sind in grau gezeigt. Die 19A und 19B zeigen zwei benachbarte Schnitte. Man beachte, daß das kleine Knötchen in dem rechten Lungenflügel infolge davon, daß es in dem Schnitt in 19A nur teilweise enthalten ist, nur schwach sichtbar ist. Das Knötchen wurde in beiden Schnitten korrekt erkannt. Ein Gefäß in dem linken Lungenflügel wurde als ein Gefäß in 19B erkannt und angezeigt.
20 demonstriert das Leistungsvermögen des Verfahrens für große Knötchen und zeigt einen Schnitt mit zwei Knötchen in dem rechten Lungenflügel. Das hintere Knötchen wurde in der Einzelschnittanalyse eines benachbarten Schnittes ursprünglich als unklar bzw. zweideutig klassifiziert. Jedoch, nach der Analyse des gezeigten Schnittes, in dem ein "eindeutiges" Knötchen gefunden wurde, wurde das Merkmal in dem vorhergehenden Schnitt zu einem "eindeutigen Knötchen" aktualisiert. Die zwei grauen Merkmale zeigen korrekterweise Gefäße an.
21 veranschaulicht das Leistungsvermögen des Verfahrens für die Erkennung kleiner Knötchen. Das kleine Knötchen im Bereich des linken Lungenflügels wurde korrekterweise identifiziert, ohne mögliche Gefäße.
Die 22A und 22B zeigen Drahtmodelle von erkannten Knötchen innerhalb eines Satzes von Lungenflügelkonturen, die bei zwei verschiedenen Rotationen angezeigt werden. Obwohl dies eine ziemlich grobe dreidimensionale Darstellung ist, dient sie dazu, das Potential des computerisierten Erkennungsschemas zu veranschaulichen. Mit tels dieser Techniken generierte dreidimensionale Anzeigen können bei der Planung von chirurgischen Resektionen oder beim Berechnen von Strahlungsdosen für therapeutische Zwecke nützlich sein.
23 ist ein ausführlicheres schematisches Blockdiagramm, das ein System zum Implementieren des Verfahrens der Erfindung veranschaulicht. Wie in 18 zu sehen, werden die CT-Bilder eines Objektes von einer Bilderfassungsvorrichtung 231 erhalten und in das System eingegeben. Die Bilderfassung kann, beispielsweise, ein Laserscanner wie ein Scanner GE 9800 sein. Jeder Querschnittschnitt wird in den Speicher 232 eingegeben. Der Thorax wird in dem Thoraxschwellwertbehandlungsschaltkreis 233 segmentiert. Die Daten werden zu dem Lungenflügelgrenzeschwellwertbehandlungsschaltkreis 234 weitergeleitet, um die Grenze von jedem Lungenflügelbereich zu bestimmen. Die Bilddaten innerhalb eines jeden Lungenflügelbereichs werden zu dem Multischwellwertbehandlungsschaltkreis 235 weitergeleitet, um die mehrfachen binären Bilder für jeden Schnitt zu bestimmen, die dann in dem Merkmalsgewinnungsschaltkreis 236 und dem Schwelleneinbauschaltkreis 237 kombiniert werden, um verdächtige bzw. vermutete Läsionen zu lokalisieren. Der Vergleich zwischen den CT-Schnitten wird dann in dem Schnitteinbauschaltkreis 238 durchgeführt. Während des Einbaus bzw. der Aufnahme der Multischwellenbilder und der benachbarten Schnitte werden die Daten im Bildspeicher gehalten und die Merkmale analysiert, um falsche positive Erkennungen 239 zu verringern. In dem Überlagerungsschaltkreis 240 werden die Ergebnisse entweder mit den CT-Bildschnitten überlagert oder in einem dreidimensionalen Format angezeigt. Die Ergebnisse werden dann auf dem Anzeigesystem 242 nach dem Durchgang durch einen Digital-Analog-Wandler 241 angezeigt.
Die Vorrichtungen 1002 bis 1006 können mittels eines programmierten Computers unter Verwendung von Software implementiert werden, um die Analysen der verschiedenen Merkmale auszuführen.
Offensichtlich sind zahlreiche Modifikationen und Variationen der vorliegenden Erfindung im Licht der obigen Technik möglich. Es versteht sich somit, daß die Erfindung innerhalb des Anwendungsbereichs der beigefügten Ansprüche anders als hier spezifisch beschrieben angewendet werden kann. Obwohl die vorliegende Anmeldung sich auf Lungenknötchen fokussierte, kann das Konzept auch auf die Erkennung von lokalen Abnormalitäten in anderen Organen des menschlichen Körpers oder anatomischen Bereichen des menschlichen Körpers ausgedehnt werden. Zum Beispiel können die Konzepte der Erfindung auf die Erkennung eines anderen anatomischen Merkmals in den CT-Abtastungen angewendet werden, wo sein Rand skizziert werden kann. Die Multigraustufenschwellwertbehandlung kann dann auf die vermuteten Läsionen in dem anatomischen Merkmal angewendet werden. Eine Baumstruktur der Knoten, die den vermuteten Läsionen entsprechen, kann gebildet werden, die Knoten können analysiert werden, und die benachbarten CT-Abtastungen können analysiert werden. Eine regelbasierte Analyse kann durch das Erhalten kumulativer Frequenzen von Parametern der Läsionen in dem anatomischen Merkmal gewonnen werden, ähnlich zu jener, die in Verbindung mit den 16A bis 16F beschrieben wurde. Die Erfindung ist somit breit anwendbar und nicht auf die spezifisch offenbarte Ausführungsform beschränkt.

Claims

Ein Verfahren für die automatische Erkennung von Knötchen in einer Computertomographieabtastung, im folgenden als CT-Abtastung bezeichnet, eines Subjektes, wobei das Verfahren umfaßt: für jede von einer Mehrzahl von Ebenen in der CT-Abtastung: Bilden von kummulativen Mittelwerten von Graustufenwerten von Pixeln in der Ebene; Bestimmen einer ersten Graustufenschwelle unter Verwendung der kummulativen Mittelwerte; Erzeugung eines binären Bildes der Ebene unter Verwendung des ersten Graustufenschwelle; Erfassen einer Grenze eines anatomischen Bereichs in dem ersten binären Bild; Bilden eines Graustufenhistogramms von Pixeln in der Ebene innerhalb der Grenze; Bestimmen einer zweiten Graustufenschwelle basierend auf dem Graustufenhistogramm; Erfassen eines zweiten anatomischen Bereiches innerhalb der Grenze durch Erzeugen eines zweiten binären Bildes unter Verwendung der zweiten Graustufenschwelle; und Erkennen eines Knötchens in dem zweiten anatomischen Bereich unter Verwendung einer Mehrzahl von Bildern des zweiten anatomischen Bereiches in der Ebene, die mit verschiedenen, für den zweiten anatomischen Bereich spezifischen Graustufenschwellen generiert werden.
Ein Verfahren nach Anspruch 1, mit: Bilden der Mittelwerte der Grauwerte der Pixel in der CT-Abtastung von einer Ecke der CT-Abtastung zu einer Mitte der Abtastung; worin der Schritt des Auswählens der Graustufenschwelle umfaßt: Bestimmen eines ersten kumulativen Mittelwertes der Pixelwerte von der Ecke zu der Mitte der CT-Abtastung; Bestimmen eines zweiten kumulativen Mittelwertes der Pixelwerte von der Mitte zu der Ecke der CT-Abtastung; Bestimmen einer Differenz zwischen dem ersten und zweiten kumulativen Mittelwert; und Verwenden der Differenz, um die Graustufenschwelle zu bestimmen.
Ein Verfahren nach Anspruch 1, worin der Schritt des Erkennens des anatomischen Bereiches des weiteren umfaßt: Bewerten von geometrischen Parametern eines Bereiches, der von der Grenze umschlossen wird.
Ein Verfahren nach Anspruch 3, worin der Schritt des Erkennens einer Grenze das Erkennen einer Thoraxgrenze umfaßt.
Ein Verfahren nach Anspruch 3, worin: der Schritt des Erkennens der Grenze eines anatomischen Bereichs in dem ersten binären Bild die Verwendung eines 8-Punkt-Zusammenhanges umfaßt; und der Schritt des Bewertens der geometrischen Parameter das Bewerten einer Größe und einer Kompaktheit des Bereiches umfaßt.
Ein Verfahren nach Anspruch 5, worin der Schritt des Bewertens der geometrischen Parameter des weiteren umfaßt: Fordern, daß die Größe des Bereiches wenigstens einen vorbestimmten Teil einer Größe der CT-Abtastung besitzt, und Fordern, daß die Kompaktheit des Bereiches wenigstens einen vorbestimmten Wert besitzt, damit der Bereich als der anatomische Bereich erkannt wird.
Ein Verfahren nach Anspruch 1, mit: Erkennen einer zweiten Grenze des zweiten anatomischen Bereichs in dem zweiten binären Bild; und Bewerten der geometrischen Parameter eines Bereiches, der von der zweiten Grenze umschlossen wird.
Ein Verfahren nach Anspruch 7, worin der Schritt des Bewertens der geometrischen Parameter umfaßt: Bestimmen einer Fläche des Bereiches; und Korrigieren der Fläche unter Verwendung einer Eckenkorrekturtechnik.
Ein Verfahren nach Anspruch 7, worin der Schritt des Bewertens der geometrischen Parameter umfaßt: Fordern, daß sich der Bereich in der Grenze befindet, und Fordern, daß eine Kompaktheit des Bereiches wenigstens einen vorbestimmten Wert besitzt, damit der Bereich als der anatomische Bereich erkannt wird.
Ein Verfahren nach Anspruch 9, worin: das Erkennen der Grenze das Erkennen einer Thoraxgrenze umfaßt; und der zweite anatomische Bereich eine Lunge ist.
Ein Verfahren nach Anspruch 1, worin der Schritt des Erkennens eines Knötchens innerhalb des zweiten anatomischen Bereiches das Generieren einer Mehrzahl von binären Bildern des zweiten anatomischen Bereiches mit einer entsprechenden Mehrzahl von verschiedenen Graustufenschwellen umfaßt.
Ein Verfahren nach Anspruch 11, mit: Bilden eines Histogrammes der Grauwerte der Pixel in dem zweiten anatomischen Bereich; Generieren der Mehrzahl von binären Bildern des zweiten anatomischen Bereiches mit Graustufenschwellwerten entsprechend der Pixelwerte bei vorbestimmten Teilen einer Fläche unter dem Histogramm.
Ein Verfahren nach Anspruch 11, mit: Erkennen von Merkmalen in dem zweiten anatomischen Bereich als vermutete Knötchen; und Erkennen einer Grenze von jedem Merkmal in jedem von den binären Bildern.
Ein Verfahren nach Anspruch 1, das des weiteren umfaßt: Erkennen von Merkmalen in dem zweiten anatomischen Bereich als vermutete Knötchen unter Verwendung der Mehrzahl von Bildern; Bestimmen von geometrischen Deskriptoren für ausgewählte von den Merkmalen; und Erkennen des Knötchens unter Verwendung der geometrischen Deskriptoren.
Ein Verfahren nach Anspruch 14, worin der Schritt des Bestimmens der geometrischen Deskriptoren umfaßt: Bestimmen einer Mehrzahl von Maßen für Umfang, Fläche, Kompaktheit, Länglichkeit, Kreisförmigkeit und Entfernung und die Gesamtwertung für die ausgewählten von den Merkmalen.
Ein Verfahren nach Anspruch 14, worin der Schritt des Erkennens des Knötchens unter Verwendung der geometrischen Deskriptoren umfaßt, jedem der Merkmale eine Wahrscheinlichkeit, ein Knötchen zu sein, zuzuweisen.
Ein Verfahren nach Anspruch 16, worin: der zweite anatomische Bereich ein Lungenpaar ist; und der Schritt des Erkennens des Knötchens unter Verwendung der geometrischen Deskriptoren umfaßt, jedem der Merkmale eine Wahrscheinlichkeit, ein Knötchen oder ein Gefäß zu sein, zuzuweisen.
Ein Verfahren nach Anspruch 1, das des weiteren umfaßt: Erkennen von Merkmalen in dem zweiten anatomischen Bereich als vermutete Knötchen unter Verwendung der Mehrzahl von Bildern; und Durchführen einer Eckenkorrekturroutine an ausgewählten von den Merkmalen.
Ein Verfahren nach Anspruch 18, worin das Durchführen der Eckenkorrekturroutine umfaßt: Erkennen einer Grenze von jedem von den von den Merkmalen ausgewählten Merkmalen; Bestimmen von Kettencodes für Pixel auf der Grenze von jedem von den von den Merkmalen ausgewählten Merkmalen; und selektiv Verringern oder Vergrößern einer Fläche der Pixel auf dem Rand auf der Grundlage der Kettencodes.
Ein Verfahren nach Anspruch 19, mit: Bestimmen von Kettencodes B1–B7 für ein mögliches nächstes Grenzpixel für jedes Pixel A auf der Grenze des Merkmals; selektiv Verringern oder Vergrößern einer Fläche eines jeden Pixels A auf der Grenze gemäß den Kettencodes B1–B7 nach: B1 – verringere die Fläche des Pixels um 3/8 B2 – verringere die Fläche des Pixels um 2/8 B3 – verringere die Fläche des Pixels um 1/8 B4 – keine Verringerung oder Vergrößerung B5 – vergrößere die Fläche des Pixels um 1/8 B6 – vergrößere die Fläche des Pixels um 2/8 B7 – vergrößere die Fläche des Pixels um 3/8; und Generieren eines Eckenkorrekturterms auf der Grundlage der Kettencodes.
Ein Verfahren nach Anspruch 1, mit: Bestimmen von Merkmalen in dem zweiten anatomischen Bereich unter Verwendung der Bilder; und Bilden einer Baumstruktur aus Merkmalen in den binären Bildern.
Ein Verfahren nach Anspruch 21, mit: Generieren der Bilder unter Verwendung einer entsprechenden Mehrzahl von nacheinander strengeren Graustufenschwellen; worin der Schritt des Bildens der Baumstruktur umfaßt: Auswählen eines von den Bildern; Erkennen eines ersten Knotens innerhalb des einen Bildes; Auswählen eines zweiten von den Bildern, die mit einer nächststrengeren Graustufenschwelle generiert wurden; Erkennen eines zweiten Knotens innerhalb des zweiten Bildes; und Bestimmen, ob eine Position des zweiten Knotens innerhalb einer entsprechenden Position des ersten Knotens in dem zweiten Bild liegt.
Ein Verfahren nach Anspruch 22, mit: Bestimmen einer Grenze des ersten Knotens; und Bestimmen, ob eine Mitte des zweiten Knotens innerhalb einer entsprechenden Grenze des ersten Knotens in dem zweiten Bild liegt.
Ein Verfahren nach Anspruch 22, wobei die CT-Abtastung eine Mehrzahl von CT-Ebenen umfaßt; und das Verfahren das Generieren der Mehrzahl von Bildern für jeden von der Mehrzahl von CT-Ebenen umfaßt.
Ein Verfahren nach Anspruch 1, wobei die CT-Abtastung eine Mehrzahl von CT-Ebenen umfaßt; und der Schritt des Erkennens eines Knötchens das Generieren einer Mehrzahl von Bildern für jeden von den CT-Ebenen umfaßt.
Ein Verfahren nach Anspruch 1, worin der Schritt des Erkennens eines Knötchens umfaßt: Bestimmen von Merkmalen in dem zweiten anatomischen Bereich unter Verwendung der Bilder; Bestimmen von geometrischen Deskriptoren für ausgewählte von den Merkmalen; und Verwenden eines regelbasierten Systems, das Regeln besitzt, die auf den geometrischen Deskriptoren basieren, um den ausgewählten von den Merkmalen eine Wahrscheinlichkeit, ein Knötchen zu sein, zuzuweisen.
Ein Verfahren nach Anspruch 26, daß das Verwenden des regelbasierten Systems, das Regeln besitzt, die aus kumulativen Frequenzen der Merkmale, die ein Knötchen sind, bestimmt wurden, umfaßt.
Ein Verfahren nach Anspruch 27, mit: Bilden einer Baumstruktur, die als Knoten die Merkmale definiert, die in der Mehrzahl von Bildern des zweiten anatomischen Bereiches erkannt wurden; Bestimmen einer Mehrzahl von Maßen für Umfang, Fläche, Kompaktheit, Länglichkeit, Kreisförmigkeit und Entfernung und eine Gesamtbewertung als die geometrischen Deskriptoren; Bestimmen einer Grenze für die ausgewählten von den Merkmalen; wobei der Schritt des Verwendens eines regelbasierten Systems umfaßt: Bestimmen, ob einer der Knoten einen entsprechenden Knoten in einem benachbarten von der Mehrzahl von Bildern besitzt, und, falls der entsprechende Knoten in dem benachbarten einen Bild vorhanden ist, Löschen des einen Knotens und Bewerten der geometrischen Deskriptoren des entsprechenden Knotens; Bewerten der geometrischen Deskriptoren des einen Knotens, falls der entsprechende Knoten nicht vorhanden ist.
Ein Verfahren nach Anspruch 28, worin der Schritt des Bewertens der geometrischen Deskriptoren des einen Knotens umfaßt zu bestimmen, ob der eine Knoten der anatomische Bereich ist.
Ein Verfahren nach Anspruch 27, das des weiteren Generieren einer analysierten CT-Abtastung mit identifizierten Merkmalen in dem anatomischen Bereich umfaßt.
Ein Verfahren nach Anspruch 27, worin die CT-Abtastung eine Mehrzahl von CT-Ebenen umfaßt, und das Verfahren des weiteren Generieren einer Mehrzahl von analysierten CT-Ebenen umfaßt, von denen jeder identifizierte Merkmale in dem anatomischen Bereich besitzt.
Ein Verfahren nach Anspruch 31, worin der Schritt des Vergleichens umfaßt: Zuweisen jedem von den Knoten eine Wahrscheinlichkeit, ein Knötchen zu sein; Bestimmen, welche der analysierten CT-Ebenen Knoten enthalten, die nicht eindeutig identifiziert worden sind; Vergleichen von jedem von den analysierten CT-Ebenen, die Knoten besitzen, die nicht eindeutig identifiziert worden sind, mit benachbarten von den analysierten CT-Ebenen; und Aktualisieren einer Wahrscheinlichkeit, ein Knötchen zu sein, für jeden Knoten, der einen entsprechenden Knoten in den benachbarten von den analysierten CT-Ebenen besitzt, zu einer Wahrscheinlichkeit, ein Knötchen zu sein, von dem entsprechenden Knoten, wenn der entsprechende Knoten eine eindeutigere Wahrscheinlichkeit, ein Knötchen zu sein, besitzt.
Ein Verfahren nach Anspruch 32, worin der Schritt des Vergleichens von jedem von den analysierten CT-Ebenen umfaßt: Bestimmen der Orte von allen Knoten in einer analysierten CT-Ebene, denen eine Wahrscheinlichkeit zugewiesen wurde, ein normales anatomisches Merkmal zu sein; Bestimmen von Knoten, die entsprechende Orte in einer analysierten CT-Ebene besitzen, der der einen analysierten CT-Ebene benachbart ist, die mit den Orten von jedem von den Knoten in der einen analysierten CT-Ebene überlappen; Aktualisieren einer Wahrscheinlichkeit, ein Knötchen zu sein, für jeden von den Knoten in der einen analysierten CT-Ebene auf der Grundlage der entsprechenden überlappenden Knoten.
Ein Verfahren nach Anspruch 33, worin der Schritt des Aktualisierens einer Wahrscheinlichkeit umfaßt: Bestimmen einer ersten Zählung von Pixeln eines ersten Knotens in der einen analysierten Ebene; Bestimmen einer zweiten Zählung von Pixeln der Knoten in den benachbarten analysierten CT-Ebenen, die bestimmt wurden, den ersten Knoten zu überlappen; Aktualisieren einer Wahrscheinlichkeit des ersten Knotens auf der Grundlage der ersten und zweiten Zählungen.
Ein System für die automatische Erkennung von Läsionen in einer Computertomographieabtastung, im folgenden als CT-Abtastung bezeichnet, mit: einer Bildgenerierungsvorrichtung, um die CT-Abtastung eines anatomischen Bereiches zu generieren; einer Vorrichtung zum Generieren von Graustufenbildern von Ebenen der CT-Abtastung bei einer Mehrzahl von Graustufenschwellen, die umfaßt: einen Histogrammgenerator, der kummulative Mittelwerte der Graustufenwerte der Pixel in der jeweiligen Ebene generiert; einen Schwellengenerator zum Bestimmen einer jeweiligen ersten Graustufenschwelle unter Verwendung der jeweiligen Mittelwerte; einen Binärbildgenerator zum Generieren eines jeweiligen binären Bildes unter Verwendung der jeweiligen ersten Graustufenschwelle; einen Grenzdetektor zum Erfassen einer Grenze eines ersten anatomischen Bereichs in jedem der binären Bilder; einen Merkmalsanalysierer zum Analysieren von Merkmalen in den jeweiligen anatomischen Bereichen; und einen Baumstrukturgenerator, der eine Baumstruktur aus Merkmalen in den jeweiligen anatomischen Bereichen erzeugt. wobei der Histogrammgenerator ein Histogramm von Graustufenwerten von Pixeln in den jeweiligen Grenzen des ersten anatomischen Bereichs erzeugt; der Schwellengenerator eine jeweilige zweite Grauwertschwelle unter Verwendung des jeweiligen zweiten Histogramms bestimmt; und der Binärbildgenerator ein zweites binäres Bild unter Verwendung der jeweiligen zweiten Grauwertschwelle erzeugt und einen zweiten anatomischen Bereich innerhalb der jeweiligen Grenzen erfaßt; und der Merkmalsanalysierer eine Mehrzahl von binären Bildern des zweiten anatomischen Bereichs in der Ebene benutzt, die bei verschiedenen, für den zweiten anatomischen Bereich spezifischen Graustufenschwellen erzeugt werden.
Ein System nach Anspruch 35, bei dem der Merkmalsanalysierer umfaßt: einem Merkmalsdetektor zum Erkennen von Merkmalen unter Verwendung des binären Bildes des anatomischen Bereiches; wobei das System weiters umfaßt: einem Generator für geometrische Parameter, um geometrische Parameter der Merkmale zu generieren; und wobei der Merkmalsanalysierer ein regelbasierter Merkmalsanalysator ist, der die Merkmale unter Verwendung der geometrischen Parameter analysiert.
Ein System nach Anspruch 36, wobei die CT-Abtastung eine Mehrzahl von CT-Ebenen umfaßt; der regelbasierte Merkmalsanalysator eine Mehrzahl von analysierten CT-Ebenen generiert, die Merkmale besitzen, denen ein Status zugewiesen wurde, der eine Wahrscheinlichkeit, ein Knötchen zu sein, anzeigt; und das System einen Ebenenvergleicher zum Vergleichen der Mehrzahl von CT-Ebenen und Aktualisieren eines Status eines Merkmals in einer Ebene auf der Grundlage eines Status eines Merkmals in einer benachbarten Ebene umfaßt.