DE102008060789A1

DE102008060789A1 - System und Verfahren zur nicht überwachten Detektion und Gleason-Abstufung für ein Prostatakrebspräparat (Whole-Mount) unter Verwendung von NIR Fluoreszenz

Info

Publication number: DE102008060789A1
Application number: DE102008060789A
Authority: DE
Inventors: Ali Khamene; Tina Ehtiati; John V. Wayland Frangioni; Vida Newton Kianzad; Fred S. Azar
Original assignee: Siemens Medical Solutions USA Inc
Current assignee: Siemens AG; Beth Israel Deaconess Medical Center Inc
Priority date: 2007-12-06
Filing date: 2008-12-05
Publication date: 2009-08-13
Also published as: US8139831B2; US20090161928A1

Abstract

Verfahren zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe, mit einem Bereitstellen (31) von histologischen Bilddaten, die von einem Schnitt erhalten werden, der gleichzeitig doppelgefärbt ist mit NIR-Fluoreszenz und Hämatoxylin-und-Eosin (H & E) Färbungen, Segmentieren (32) von Prostatadrüseneinheiten in den Bilddaten, Bilden von Merkmalsvektoren durch Berechnen (33) von Unterscheidungsattributen der segmentierten Drüseneinheiten, und Verwenden der Merkmalsvektoren zum Trainieren (34) eines Mehrklassenklassifizierers, wobei der Klassifizierer Prostatagewebe in eine benigne, PIN (Prostatic Intraepithelial Neoplasia) und Adenokarzinome der Gleason-Skalierungsgrade 1 bis 5 Kategorie klassifiziert.

Description

Technisches Gebiet
Diese Offenbarung richtet sich auf eine nicht überwachte Klassifikation von histologischen Bildern von Prostatagewebe unter Verwendung histologischer Daten, die mittels NIR (Near Infrared) Fluoreszenz doppelgefärbten H & E (Hämatoxylin-und-Eosin) Bildern gewonnen werden.
Diskussion des Standes der Technik
Der gegenwärtige Goldstandard zur Diagnose von Prostatakrebs ist eine Kombination aus einer biochemischen Evaluierung von Serumkonzentrationen von prostataspezifischen Antigenen (PSA = Prostate Specific Antigen) und einer histologischen Analyse von Prostatabiopsieproben. Die vorherrschende Metrik, die von Pathologen weltweit verwendet wird zur Abstufung von Prostatakrebs ist das Gleason-Abstufungssystem, benannt nach Donald F. Gleason. Das Gleason-Abstufungssystem basiert auf der Drüsenbauweise des Prostatagewebes, und die Nuklear-atypie oder zytoplasmatische Merkmale werden nicht evaluiert. Dieses Abstufungssystem beurteil, wie wirkungsvoll die Krebszellen in der Lage sind sich selbst in Drüseneinheiten zu strukturieren, die einer normalen Prostata ähneln, durch Variieren von dem am meisten Differenzierten (wenigsten bösartigsten) bis zum am wenigsten Differenzierten (am bösartigsten) wobei die Differenzierung den Grad der Tumorähnlichkeit in Bezug auf normales Gewebe darstellt. Gemäß dem Gleason-Abstufungssystem werden Krebszellen in fünf Wachstumsmuster (Grade) absteigender Differenzierung klassifiziert, Grad 1 bis Grad 5. Der primäre und der sekundäre Grad, also das häufigste und das zweithäufigste Muster, die in Gewebeproben vorhanden sind, werden zu einem Gleason-Score oder einer Summe addiert, die zur Prognose verwendet wird. Normales Prostatagewebe enthält Drüseneinheiten, die umgeben sind von fibromuskulärem Gewebe, das als Stroma bezeichnet wird. Jede Drüseneinheit ist gebildet aus Reihen von Epithelzellen, die um ein Duktus oder „Lumen" herumlokalisiert sind. Bösartige Zellen zerstören die regelmäßige Anordnung der Drüseneinheiten, mit Gleason-Grad 2 und 3, die weniger organisierte kreisförmige Drüsen aufweisen, verglichen zu gutartigem Gewebe, und Gleason-Grade 4 und 5, die eine größere Anzahl von unorganisierten Zellkernen aufwei sen, infiltrierte Lagen, ein Lumen, das fast vollständig verschlossen ist, und/oder kleine oder nicht existierende Stromaregionen zwischen Drüsen. Die Merkmale, die durch das Gleason-Abstufungssystem verwendet werden, sind die Form und die Struktur der Drüsen. Drüsen mit losen Strukturen oder Drüsen mit variableren Formen werden als Krebs diagnostiziert. Aber die Identifikation und die Abstufung von Prostatatumoren durch Pathologen bleibt immer noch eine herausfordernde Aufgabe, da einige gutartige und bösartige Drüsen überlappende Merkmale haben. Studien haben signifikante Schwankungswerte zwischen Beobachtern und auch bei gleichem Beobachter bei einer manuellen Abstufung von Prostatakrebs festgestellt, mit Unterabstufungsraten von Gewebemustern von bis zu 47%. Die größte Variabilität und der größte Fehler bei der Gleason-Abstufung durch Pathologen ist die Unterscheidung zwischen den Graden 3 und 4.
Die Analyse von histologischen Daten ist zeitaufwändig und laborintensiv, und viele Entwickler haben folglich ihr Interesse auf eine Automatisierung dieser Prozedur gerichtet. Eine Vielzahl von Low-Level Merkmalen, wie beispielsweise Farbe, Textur (Haralick, Leistungsspektrum, etc.), Wavelets, Statistiken zweiter Ordnung und morphometrische Attribute, sowie eine Vielzahl von Klassifikationsalgorithmen, wie beispielsweise Gauss-Klassifizierer, neuronale Netzwerke, nächste Nachbarn, Boosting und Support-Vektor-Maschinen sind verwendet worden, um Krebs in histologischen Prostatadaten zu charakterisieren, zu detektieren und zu klassifizieren. Einige Studien versuchen zu unterscheiden zwischen gutartigem und bösartigem Gewebe, einige versuchen zwischen niedrigen und hohen Gleason-Graden des bösartigen Gewebes zu unterscheiden, und einige versuchen die exakte Abstufung des bösartigen Gewebes zu klassifizieren. Die Klassifikation in niedrige Grade und hohe Grade ist klinisch gesehen eine einfachere Aufgabe verglichen mit der exakten Abstufung des bösartigen Gewebes. Jedoch gibt es derzeit keine einzelne Technik, die in der Lage ist das gesamte Spektrum der Prostatapathologie, von PIN (Premalignant Prostatic Intraepithelial Neoplasia) bis zu dem Gleason-Grad 5 Adenkarzinom abzustufen oder irgendeine Punktzahl (Score) zu erzeugen.
Zusammenfassung der Erfindung
Ausführungsbeispiele der Erfindung, wie sie allgemein beschrieben werden, umfassen Verfahren und Systeme zur nicht überwachten Klassifikation von Prostatagewebe für gutartige PIN (Prostatic Intraepithelial Neoplasia) und Gleason-Skalierungsadenokarzinomgrade 1 bis 5, un ter Verwendung von inhärent doppelt erfassten H & E (Hämatoxylin- & Eosin) und NIR (Near Infrared) Fluoreszent mit doppelgefärbten Daten. Ein Ausführungsbeispiel der Erfindung verwendet Daten, die durch gleichzeitiges (gleicher Objektträger) NIR Fluoreszenzimmunfärbungs- und Hämatoxylin/Eosin (H & E) Färbungstechniken erhalten werden. Die Daten, die mit einem Alpha-Methylacyl-CoA Racemase (AMACR = Alpha-Methylacyl-CoA Racemase) Proteinbiomarker mit einem NIR Fluoreszenzsekundärantikörper eingefärbt sind, heben das gesamte Spektrum der Prostatapathologie hervor von PIN bis zum Gleason-Grad 5 wenn sie unter Fluoreszenzlicht betrachtet werden, und werden folglich verwendet zum Erzeugen eines einzigartigen Trainingssatzes mit vorhandenem nicht gutartigem Gewebe. Durch Einschränken des Datenraums auf den Raum von PIN und auf bösartiges Gewebe, kann ein Klassifikationsalgorithmus gemäß einem Ausführungsbeispiel der Erfindung Merkmale finden, um zwischen frühen Graden (1 und 2) und höheren Graden zu unterscheiden. Darüber hinaus, verbessert die Verwendung von NIR Fluoreszenz AMACR Biomarkern die Ergebnisse der Segmentierung und die Merkmalsextraktionsstufe, verglichen mit H & E, und erzeugt folglich stärkere Merkmale zur Klassifikation. Durch Extraktion einer Kombination von morphologischen, architekturbedingten und Texturmerkmalen aus diesem einzigartigen Datensatz, können Klassifizierer trainiert werden zur Abstufung des gesamten Spektrums der Prostatapathologie, von PIN bis zum Gleason-Grad 5 Adenokarzinom.
1 verdeutlicht die 3D Quantifizierung und Visualisierung von Prostatakrebs. Unter Verwendung der inhärent doppelt erfassten Hämatoxylin-und-Eosin (H & E) und NIR Fluoreszenz doppelgefärbten Daten, kann man PIN und Prostatakrebs für ein Gesamtpreparat „Whole Mount" eines Mannes mit Prostatakrebs. Die Fig. zeigt ein Volumenwiedergeben eines präoperativen MRI mit simulierter PIN 11, Adenokarzinom 12 mit Gleason-Grad 3 und Adenokarzinom 13 mit Gleason-Grad 4, quantifiziert unter Verwendung der NIR Fluoreszenztechnologie.
Gemäß einem Ausführungsbeispiel der Erfindung wird ein Klassifikationsalgorithmus innerhalb eines Bayesschen Wahrscheinlichkeitsrahmenwerks verwendet, um die zwei prominentesten Muster, die in den Daten vorhanden sind, abzustufen und anschließend die Gleason-Scores zu berechnen. Die Wahrscheinlichkeitslösung erlaubt einem Klassifikationssystem das Vorhandensein von mehr als einem Muster in den Daten zu detektieren, indem zwei Klassen gefunden werden, die die höchste und die zweithöchste Posterior-Wahrscheinlichkeit haben. Die berechneten Posterior-Wahrscheinlichkeiten, können auch verwendet werden als ein Maß für die Stärke der Diagnose, und eine Grenzprognose kann identifiziert werden.
Gemäß einem Aspekt der Erfindung wird ein Verfahren geschaffen zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe, wobei das Verfahren ein Bereitstellen von histologischen Bilddaten aufweist, die erhalten werden aus einem Schnitt, der gleichzeitig doppelgefärbt ist mit NIR Fluoreszenz und Hämatxylin-und-Eosin (H & E) Stains, ein Segmentieren von Prostatadrüseneinheiten in den Bilddaten, ein Bilden von Merkmalsvektoren durch Berechnen von Unterscheidungsattributen der segmentierten Drüseneinheiten, und ein Verwenden der Merkmalsvektoren zum Trainieren eines Multi-Klassen Klassifizierers, wobei der Klassifizierer angepasst ist zum Klassifizieren von Prostatagewebe in eine benigne, PIN (Prostatic Intraepithelial Neoplasia) und Adenokarzinom mit Gleason-Graden 1 bis 5 Kategorie.
Gemäß einem weiteren Aspekt der Erfindung wird der Klassifizierer innerhalb eines Bayesschen Rahmenwerks trainiert.
Gemäß einem weiteren Aspekt der Erfindung wird der Klassifizierer trainiert, um ein prominentestes und ein zweitprominentestes Muster in den Bilddaten zu detektieren, und um einen Gleason-Score als Summe der Gleason-Grade der Muster zu berechnen.
Gemäß einem weiteren Aspekt der Erfindung enthält das Verfahren ein Verwendung von Bayesschen Posterior-Wahrscheinlichkeiten zum Bestimmen einer Stärke einer Diagnose, wobei eine Grenzprogonse zwischen zwei Kategorien für einen zweiten Phasenklassifizierer bereitgestellt wird unter Verwendung eines Klassifikationsmodells, dessen Parameter auf die zwei Kategorien der Grenzprognose abgestimmt sind.
Gemäß einem weiteren Aspekt der Erfindung wird der Klassifizierer trainiert unter Verwendung einer Multi-Klassen Support Vector Maschine.
Gemäß einem weiteren Aspekt der Erfindung wird der Klassifizierer trainiert unter Verwendung eines Multi-Klassen Boostingalgorithmus.
Gemäß einem weiteren Aspekt der Erfindung wird der Schnitt doppelgefärbt mit einem AMACR Biomarker.
Gemäß einem weiteren Aspekt der Erfindung enthalten Unterscheidungsattribute Grenz- und Regionendeskriptoren, Strukturdeskriptoren und Texturdeskriptoren.
Gemäß einem anderen Aspekt der Erfindung erfolgt die Schaffung einer Programmspeichervorrichtung, die durch einen Computer lesbar ist, verkörpert als Programm von Anweisungen, die durch den Computer ausführbar sind, um die Verfahrensschritte zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe durchzuführen.
Kurzbeschreibung der Zeichnungen
1 zeigt eine Volumendarstellung eines prä-operativen MRI von Prostatakrebs gemäß einem Ausführungsbeispiel der Erfindung.
2(a)–(c) verdeutlichen die gleichzeitige H & E/NIR Fluoreszenzeinfärbung von Prostatakrebs gemäß einem Ausführungsbeispiel der Erfindung.
3 zeigt ein Flussdiagramm eines Verfahrens zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe unter Verwendung von histologischen Daten, die gewonnen werden aus NIR Fluoreszenz eingefärbte Hämatoxylin-und-Eosin (H & E) Bildern, gemäß einem Ausführungsbeispiel der Erfindung.
4 zeigt ein Blockdiagramm eines beispielhaften Computersystems zum Implementieren eines Verfahrens zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe unter Verwendung von histologischen Daten, die gewonnen werden aus NIR Floureszenz eingefärbten Hämatoxylin-und-Eosin (H & E) Bildern, gemäß einem Ausführungsbeispiel der Erfindung.
Detaillierte Beschreibung von Ausführungsbeispielen
Ausführungsbeispiele der Erfindung, wie sie hier beschrieben wird, weisen im Allgemeinen Systeme und Verfahren auf zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe unter Verwendung von histologischen Daten, die gewonnen werden durch NIR (Near Infrared) Fluoreszenz eingefärbten Hämatoxylin-und-Eosin (H & E) Bildern. Obwohl die Erfindung verschiedenen Modifikationen und alternativen Formen unterworfen werden kann, sind spezifische Ausführungsbeispiele davon beispielhaft in den Zeichnungen gezeigt und werden hier im Einzelnen beschrieben. Es soll verstanden werden, dass es nicht beabsichtigt ist die Erfindung auf die bestimmten hier offenbarten Formen zu beschränken, im Gegenteil, die Erfindung soll alle Modifikationen, Äquivalente und Alternativen, die in den Bereich der Erfindung fallen, abdecken.
Der Begriff „Bild", wie er hier verwendet wird, bezeichnet mehrdimensionale Daten, die aus diskrete Bildelemente (beispielsweise Pixel von 2D Bildern und Voxel von 3D Bildern) aufgebaut sind. Das Bild kann beispielsweise ein medizinisches Bild eines Subjekts sein, das durch Computertomographie, Magnetresonanzbildgebung, Ultraschall oder irgendein andere medizinisches Bildgebungssystem, das dem Fachmann bekannt ist, gesammelt wird. Das Bild kann auch aus nicht medizinischem Kontext, beispielsweise Fernerfassungssysteme, Elektronenmikroskopie, etc. bereitgestellt werden. Obwohl ein Bild als eine Funktion von R³ zu R angesehen werden kann, sind die Verfahren der Erfindung nicht auf derartige Bilder beschränkt, und können angewendet werden auf Bilder irgendeiner Dimension, beispielsweise auf ein 2D Bild oder ein 3D Volumen. Für ein 2- oder 3-dimensionales Bild ist der Bereich (die Domain) des Bilds typischerweise eine 2- oder 3-dimensionale rechteckige Anordnung, wobei jedes Pixel oder Voxel addressiert werden kann in Bezug auf einen Satz von zwei oder drei zueinander orthogonalen Axen. Die Begriffe „digital" und „digitalisiert" werden hier für Bilder oder Volumen in einem digitalen oder digitalisierten Format, das über ein digitales Erfassungssystem oder über eine Umwandlung von einem analogen Bild erfasst wird entsprechend verwendet.
Ein Flussdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe unter Verwendung von histologischen Daten, die gewonnen werden aus NIR Fluoreszenz mit doppelgefärbten Hämatoxylin-und-Eosin (H & E) Bildern, ist in 3 gezeigt. Bezug nehmend auf die Fig. beginnt ein Verfahren in Schritt 31 durch Bereitstellen von digitalen histologischen Bilddaten eines Schnitts, der gleichzeitig mit einer NIR Fluoreszenzimmunfärbungs- und Hämato xylin/Eosin (H & E) Färbungstechnologie eingefärbt und mit dem AMACR Biomarker doppelgefärbt ist. Das gleichzeitige Einfärben registriert inhärent die H & E und NIR fluoreszent gefärbten Daten. Eine Merkmalsextraktion gemäß einem Ausführungsbeispiel der Erfindung kann in zwei Schritten erfolgen. In Schritt 32 werden zuerst die Drüseneinheiten in den Bildern segmentiert, und in Schritt 33 werden Unterscheidungsattribute der segmentierten Drüsen berechnet, um Merkmalsvektoren zu bilden. Die unterschiedlichen Typen von Merkmalen, die extrahiert werden, werden im Folgenden genauer beschrieben. In Schritt 34 wird dann ein Multi-Klassen Klassifizierer innerhalb eines Bayesschen Rahmenwerks unter Verwendung der Merkmalsvektoren trainiert. Die Schritte werden im Folgenden genauer beschrieben.
Ein Ausführungsbeispiel der Erfindung verwendet 3D Datensätze von digitalisierten histologischen Daten, die vorbereitet und eingefärbt werden unter Verwendung einer gleichzeitigen (der gleiche Schnitt) NIR Fluoreszenzimmunfärbungs- und Hämatoxylin/Eosin (H & E) Färbtechnologie. Da die Technik nicht das Aussehen des H & E-Schnitts unter sichtbarem Licht ändert, wird der Datensatz zuerst verwendet und durch Pathologen abgestuft basierend auf dem Gleason-Abstufungssystem, um als eine Grundwahrheit für die Trainingsstufe eines Klassifikationssystem gemäß einem Ausführungsbeispiel der Erfindung verwendet zu werden. Der selbe Datensatz, der eingefärbt ist mit einem Alpha-Metylacyl-CoA Racemase (AMACR) Proteinbiomarker mit einem NIR Fluoreszenzsekundärantikörper, hebt das gesamte Spektrum der Prostatapathologie von PIN bis zum Gleason-Grad 5 hervor, bei einer Betrachtung unter Fluoreszenzlicht, und kann folglich verwendet werden, um einen eindeutigen Trainingssatz zu erzeugen, mit keinem vorhandenen gutartigen Gewebe. Durch Beschränken eines Datenraums auf den Raum von PIN und auf bösartiges Gewebe, typischerweise nur 5 bis 10% des Prostatavolumens, kann ein Klassifikationsalgorithmus gemäß einem Ausführungsbeispiel der Erfindung optimale Merkmalskombinationen finden, um zwischen frühen Graden (Grad 1 und 2) und Zwischengraden (Grade 3 und 4) zu unterscheiden. Die frühen Grade (1 und 2) sind kaum von gutartigen Fällen zu unterscheiden, und wenn ein früher Grad und gutartige Fälle in einem Datensatz vorhanden sind, ist die Aufgabe der Klassifikation zwischen gutartig und den fünf Gleason-Graden eine Herausforderung. Durch die Verwendung der AMACR und Doppeleinfärbungstechnologie kann man einen Datensatz erzeugen, der Frei von gutartigen Fällen ist, und kann dem Klassifikationsalgorithmus gemäß einem Ausführungsbeispiel der Erfindung erlauben Merkmale zu finden, um frühe Grade 1 und 2 zu klassifizieren und diese von den Zwischengraden und hohen Graden zu unterscheiden.
Die 2(a)–(c) verdeutlichen das gleichzeitige H & E/NIR Fluoreszenzfärben von Prostatakrebs. 2(a) verdeutlicht H & E, 2(b) verdeutlicht AMACR unter Verwendung eines 800 nm NIR Fluoreszenzsekundärantikörpers, und 2(c) verdeutlicht eine Vermengung 21 von beidem. Beispielsweise sind nur zwei derartige Vermengungen angezeigt. In jeder Figur ist ein Gleason 6 (3 + 3) Prostatakrebs mit dicken durchgezogenen Pfeilen markiert, und gutartige Drüsen sind mit dünnen gestrichelten Pfeilen markiert.
Das Gleason-Abstufungssystem verwendet morphologische und architekturbedingte Attribute der Drüsen, um die Muster, die zu jedem Grad gehören, zu unterscheiden. Die Gleason-Grade 1 und 2 sind definiert durch Drüsen, die unterschiedliche Formen und Anordnungen haben, und da Drüsen weniger definiert werden (mehr variieren) in Form und Anordnung, nimmt der Gleason-Grad zu. Um das gesamte Spektrum von Attributen zu erfassen, um die Grade voneinander zu unterscheiden, wird eine Kombination von Merkmalen extrahiert: morphologische (Form der Drüsen), architekturbedingte (Anordnung von Drüsen) und texturbedingt (Formverlust und Anordnungsverlust in Drüsen).
Gemäß einem Ausführungsbeispiel der Erfindung kann ein morphologischer Watershed-Segmentierungsalgorithmus verwendet werden zur Segmentierung der Drüsen von dem eingefärbten Datensatz. Die Verwendung des NIR Fluoreszenz AMACR Biomarkers verbessert die Ergebnisse der Segmentierung von Drüseneinheiten von den Daten verglichen mit H & E alleine, und erzeugt folglich stärkere Merkmale für die Klassifikationsstufe. Um diesen Punkt zu verdeutlichen, wird das pseudogefärbte H & E-NIR Fusionsbild von 2(c) verglichen mit dem H & E Bild gemäß 2(a). Bei visueller Überprüfung der zwei Schnitte kann gesehen werden, dass das H & E-NIR Fusionsbild eine bessere Qualität zur Segmentierung der Drüseneinheiten liefert. Nach der Segmentierung werden die Grenz- und Regionendeskriptoren berechnet, um die Form, Größe, Topologie und die Regularität von Drüseneinheiten zu berechnen, und die Strukturdeskriptoren werden verwendet, um die räumliche Beziehung der Drüseneinheiten zu quantifizieren.
Gemäß einem Ausführungsbeispiel der Erfindung werden die folgenden Merkmale vorgeschlagen.

(1) Grenz- und Regionendeskriptoren: Unter Verwendung von polygonalen Näherungen, beispielsweise Minimumperimeterpolygone, als Grenzdeskriptoren der segmentierten Drüseneinheiten, können die Form und die Größe der Drüsen als Perimeterlänge, Bereich, Kompaktheit (Perimeter²/Bereich), Exzentrizität, Krümmung, Fourierform-Deskriptoren der genäherten Polygone quantifiziert werden. Die Topologie einer Drüseneinheit wird quantifiziert unter Verwendung der Anzahl von verbundenen Komponenten, der Anzahl an Löchern und der Eulerzahl der Region, die durch die Grenze der Drüseneinheit umgeben ist. Die Statistiken erster Ordnung, beispielsweise Mittelwert, Medianwert und Standardabweichung jeder Messung werden über die gesamten Drüseneinheiten in dem Probenbild berechnet, also der Mittelwert, Medianwert und die Standardabweichung der Perimeterlänge aller Einheitsdrüsen, um die Merkmalswerte zu erzeugen, die die Regelmäßigkeit dieser Messungen innerhalb des Probenbilds charakterisieren.
(2) Strukturdeskriptoren: Bei gegebenen Zentren der segmentierten Drüseneinheiten als Satz von Punkten in der Bildprobe, werden eine Voronoi-Zerlegung, Delaunay-Triangulation und ein Minimum Sparring Tree berechnet, um Strukturbeziehungen zwischen den Drüseneinheiten zu erfassen. Die Voronoi-Zerlegung zerlegt das Bild mosaikartig in einen Satz von Polygonen. Statistiken des Perimeters und der Bereiche dieser Polygone erster Ordnung werden verwendet als Merkmalswerte, die die räumlichen Beziehungen der Drüseneinheiten charakterisieren. Die Statistiken erster Ordnung der Längen der Ränder, die durch die Delaunay-Triangulation und den Minimum Spanning Tree erzeugt werden, erzeugen ebenfalls Merkmalswerte, die die räumlichen Beziehungen der Drüseneinheiten beschreiben.
(3) Texturdeskriptoren: Haralick-Texturmerkmale werden verwendet, um statistische Merkmale zweiter Ordnung der Probenbilder zu berechnen. Haralick-Merkmale basieren auf doppelt auftretenden Matrizen der Größe G × G, wobei G die Anzahl an Graustufen in den Bildern ist. Jeder Eintrag in der Co-Auftrittsmatrix ist die Wahrscheinlichkeit des Auftretens einer Graustufe, gekennzeichnet durch den Reihen- und Spaltenindex der Auftrittsmatrix in einer spezifischen Raumkonfiguration. Statistische Maße zweiter Ordnung, umfassend Energie, Drehimpuls, Entropie, Kontrast, Korrelation und inverses Differenzmoment werden aus der normalisierten Co-Auftrittsmatrix berechnet. Wavelet Texturmerkmale, die unter Verwendung von Bänken von Gaborfiltern berechnet werden, werden ebenfalls verwendet zum Charakterisieren einer Struktur bei unterschiedlichen Skalierungen und Orientierungen. Die Haralick-Merkmale und die Gabor-Merkmale werden berechnet unter Verwendung von Gleitfenstern unterschiedlicher Skalierungen. Das Berechnen von Haralick- und Gabor-Merkmalen unter Verwendung eines Gleitfensters resultiert in einer Matrix der gleichen Größe wie die ursprüngliche Merkmalsbildgröße. Die Dimensionalität der Merkmalsbilder ist zu groß für Klassifikationszwecke. Eine prinzipielle Komponentenanalyse wird verwendet, um die Dimensionalität der Merkmale zu reduzieren. Die Zerlegungskoeffizienten, die erhalten werden durch Projizieren der Merkmalsbilder in ihre prinzipiellen Komponenten, werden verwendet als Merkmale zur Klassifikation.

Ein Klassifikationssystem gemäß einem Ausführungsbeispiel der Erfindung richtet sich an zwei Aspekte des Gleason-Abstufungssystems. Ein Aspekt des Gleason-Abstufungssystems liegt darin, dass es nicht nur auf dem prominentesten Muster, das in der Gewebeprobe vorhanden ist, basiert. Die meisten Prostatakarzinome haben mehrere histologische Muster, und eine Prognose liegt zwischen dem prominentesten Muster und dem zweitprominentesten Muster, wenn es mindestens 5% des Tumors aufweist. Die Prognose und die Behandlung basieren auf der Gleason-Score, was die Summe von zwei prominentesten Gleason-Graden ist. Ein anderer Aspekt des Gleason-Abstufungssystems liegt darin, dass die Attribute, die die Grade unterscheiden, kontinuierliche Qualitäten darstellen, wobei die Stärke des Attributs eine starke oder eine Grenzprognose erzeugen kann. Die Grenzfälle stellen eine Herausforderung in dem Gleason-Abstufungssystem dar, und sind Quellen für Abweichungen zwischen Beobachtern und bei gleichem Beobachter.
Ein Klassifikationsalgorithmus gemäß einem Ausführungsbeispiel der Erfindung verwendet ein Bayessches Wahrscheinlichkeitstheoretischesrahmenwerk zur Unterscheidung zwischen PIN und Gleason-Graden. Eine Bayessche Lösung erzeugt Posterior-Wahrscheinlichkeitsverteilungen zum Bestimmen der Wahrscheinlichkeit jedes Klassenlabels, das den Testdaten gegeben wird. Die berechneten Wahrscheinlichkeitswerte stellen die Stärke der Daten dar, die zu jeder Klasse gehören. Unter Verwendung einer Bayesschen Lösung zur Klassifikation, im Gegensatz zu Zurückweisungs/Akzeptierungs-Klassifikationsalgorithmen wie binäre Entscheidungsboosting- und Supportvektormaschinen, die in früheren Arbeiten verwendet wurden, kann die kontinuierliche Qualität einer Diagnose eines Pathologen reproduziert werden. Die berechneten Posterior-Wahrscheinlichkeiten können verwendet werden, um die Stärke der Diagnose zu bestimmen, und die Grenzprognose kann identifiziert werden. Eine Grenzprognose kann dann an das System zurückgegeben werden, um eine zweite Klassifikationsphase zu haben, indem ein Klassifikationsmodell mit Parametern verwendet wird, das auf die zwei Klassen in dem Grenzfall genau abgestimmt ist. Die Wahrscheinlichkeitslösung erlaubt auch einem Klassifikationssystem gemäß dem Ausführungsbeispiel der Erfindung das Vorhandensein von mehr als einem Muster in den Daten zu detektieren, indem zwei Klassen gefunden werden, die die größte und die zweitgrößte spätere Wahrscheinlichkeit haben.
Gemäß einem Ausführungsbeispiel der Erfindung kann die Klassifikation durchgeführt werden unter Verwendung von zwei Typen von Klassifizierern, ein LogitBoost-Algorithmus und eine Multi-Klassen-Posterior-Wahrscheinlichkeitssupportvektormaschine. Das Implementieren der Klassifikation unter Verwendung des LogitBoost-Algorithmus liefert einen Mittelwert für eine effektive Merkmalsauswahl und liefert eine Einsicht, welche Merkmale mehr unterscheiden zum Zweck der Gleason-Abstufung. Diese Einsicht kann in die Posterior-Wahrscheinlichkeitssupportvektormaschinenlösung zur genauen Abstimmung des Systems integriert werden.
Die Klassifikationsalgorithmen gemäß Ausführungsbeispielen der Erfindung können innerhalb eines Bayesschen Rahmenwerks implementiert werden, indem eine Wahrscheinlichkeitsinterpretation der Klassifikationsalgorithmen verwendet wird. Für jedes Bild I_i, i = 1..., N, wobei N die Anzahl an Bildern in dem Trainingsdatensatz ist, wird ein M dimensionaler Merkmalsvektor x_i erzeugt, wobei x_i = {l₁, l₂, ..., l_M}, wobei jedes l_m ein Merkmalsmaß des Bilds I_i ist, und M die Gesamtanzahl an verwendeten Merkmalen ist. Das Klassifikationslabel x_i ist gegeben durch y_i wobei y_i = {y_i1, y_i2, ..., y_ij} ist, wobei y_ij die Werte {–1, 1} annimmt, die die Klassifikationsantwort für ein J-Klassenproblem definieren. Die Klassifikationsalgorithmen werden trainiert und getestet für J-Klassen, die Gleason-Grade 1 bis 5 und PIN darstellen.
Für ein Boosting gemäß einem Ausführungsbeispiel der Erfindung wurde eine Multi-Klassenversion des LogitBoost-Algorithmus verwendet. Der LogitBoost-Algorithmus liefert ein Verfahren zum Lernen eines Satzes von Antwortfunktionen F_j(x), j = 1, ..., J, wobei jede F_j(x) eine lineare Kombination einer Anzahl von schwachem Klassifizieren ist, und J die Anzahl an Klassen ist. Der LogitBoost-Algorithmus passt ein additives symmetrisches Logistikmodell an, um eine maximale Wahrscheinlichkeit zu erreichen, indem adaptive quasi-Newton Schritte verwendet werden. Ein endgültiges Klassifikationsergebnis in dem LogitBoost- Algorithmus wird bestimmt als j = arg max F_j(x). Ein LogitBoost-Algorithmus kann eine Posterior-Wahrscheinlichkeitsverteilung annähern durch
wobei y_i die Klassifikationsantwort der Klasse j auf den Merkmalsvektor x ist. Ein Ausführungsbeispiel der Erfindung verwendet diese wahrscheinlichkeitstheoretische Interpretation des LogitBoost-Algorithmus und die Wahrscheinlichkeiten der J-Klassenlabels, die dem Eingangsmerkmalsvektor x gegeben werden, um die zwei Klassenlabels mit größter und zweitgrößter Wahrscheinlichkeit zu finden. Diese zwei Klassen stellen die zwei prominentesten Muster, die in der Probe vorhanden sind, dar. Darüber hinaus kann der Wahrscheinlichkeitswert verwendet werden als ein Maß für die Stärke der Diagnose.
Ein Multiklassen-LogitBoost-Algorithmus gemäß einem Ausführungsbeispiel der Erfindung für J-Klassen startet mit N Eingabebeobachtungen x_i, Gewichtungen w_ij = 1/N, i = 1, ..., N, j = 1, ..., J, F_j(x) = 0, und P_j(x) = 1/J für alle j. Dann werden die folgenden Schritte wiederholt für m = 1, ..., M.

(1): Für j = 1, ..., J werden Arbeitsantworten und Gewichtungen für die j-te Klasse berechnet als
wobei y_ij das j-te Label für die i-te Beobachtung ist, und p_ij die Wahrscheinlichkeit ist, dass die Beobachtung I das Label j hat, und eine Klassifikationsregel f_mj(x) wird geschätzt durch Least Square Anpassung von z_ij an x_i.
(2): Die Klassifikationsregel f_mj(x) wird aktualisiert als
und die Summenregel F_j(x) wird aktualisiert durch F_j(x) + f_mj(x).
(3): Die Gesamtwahrscheinlichkeit P_j(x) wird aktualisiert unter Verwendung von
Letztendlich wird der Klassifizierer als argmax_j F_j(x) ausgegeben.

Die Originalform des SVM (Support Vector Machine) Algorithmus löst eine binäre Klassifikationsaufgabe, wobei die Eingabedaten x als y = {+1, –1} gekennzeichnet sind. Die Eingangsvektoren x sind auf Vektoren φ(x) in einem hochdimensionalen Raum abgebildet, wobei die Klassifikationsaufgabe linear trennbar ist. In diesem Raum wird eine trennende Hyperebene w·φ(x) + b = 0, die die größte Distanz (also die größte minimale Distanz von allen Datenabtastungen in dem Trainingssatz) aufweist, gefunden durch Minimieren von 12 ||w||2 bei y(w·φ(x) + b) ≥ 1, wobei w der Gewichtungsvektor und b der Offset der separierenden Hyperebene ist. In Fällen, bei denen die Aufgabe nicht linear trennbar ist, werden Slack-Parameter ≥ 0 eingeführt und die Optimierungsaufgabe wird geändert in ein Minimieren von
angewendet auf y(w·φ(x) + b) ≥ 1 – ξ_x, wobei C, eine positiv reale Zahl, der Strafkoeffizient ist.
Eine Posteriorwahrscheinlichkeitstheoretische-Supportvektormaschine für Multi-Klassenprobleme gemäß einem Ausführungsbeispiel der Erfindung modifiziert die Basis-SVM, um Klassenwahrscheinlichkeiten zu verwenden, anstelle der Verwendung von harten Labels. Diese „Soft Labels" werden berechnet aus geschätzten Posterior-Wahrscheinlichkeiten als y1 = 2P(+|xi) – 1,bei yi(w·xi + b) ≥ y2i (1 – ξi).
In dieser Formulierung wird die Differenz zwischen Instanzen auf zwei Seiten der Hyperebene [2P(z_i|x_i) – 1] – [2P(m|x_i) – i]. Folglich wird die Einschränkung der Binarformulierung ersetzt durch Folgendes: (wzi·xi) + bzi ≥ (wm·xi) + bm + 2P(zi|xi) – 2P(m|xi) – ξmi .
Die objektive Funktion in der dualen Formulierung wird zu
Der (x_i·x_j) Term kann ersetzt werden durch eine geeignete Kernelfunktion K(x_i, x_j). Irgendein Dichteschätzer kann verwendet werden zum Schätzen von P(j|x_i), j = 1, ..., k.
Es soll verstanden werden, dass die Ausführungsbeispiele der vorliegenden Erfindung in verschiedenen Formen von Hardware, Software, Firmware, Spezialzweckprozessoren oder Kombinationen davon implementiert werden können. Gemäß einem Ausführungsbeispiel kann die vorliegende Erfindung in Software als Anwendungsprogramm implementiert werden, das auf einem computerlesbaren Programmspeichermedium verkörpert sein kann. Das Anwendungsprogramm kann zu einer Maschine, die irgendeine geeignete Architektur aufweist, hochgeladen und von dieser ausgeführt werden.
4 zeigt ein Blockdiagramm eines beispielhaften Computersystems zum Implementieren eines Verfahrens zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe und die Verwendung von histologischen Daten, die gewonnen werden aus NIR Fluoreszenz doppelgefärbten Hämatoxylin-und-Eosin (H & E) gefärbten Bildern gemäß einem Ausführungsbeispiel der Erfindung. Bezugnehmend auf 4 kann ein Computersystem 41 zur Implementierung der vorliegenden Erfindung unter Anderem eine zentrale Verarbeitungseinheit (CPU) 42, einen Speicher 43 und eine Eingabe/Ausgabe I/O-Schnittstelle 44 aufweisen. Das Computersystem 41 ist im Allgemeinen über die I/O-Schnittstelle 44 an eine Anzeige 45 und an verschiedene Eingabevorrichtungen 46, wie beispielsweise eine Maus und eine Tastatur gekoppelt. Die Hilfsschaltungen können Schaltungen aufweisen wie beispielsweise einen Cache, eine Energieversorgung, Taktschaltungen und einen Kommunikationsbus. Der Speicher 43 kann einen Zufallszugriffsspeicher (RAM), einen Nurlesespeicher (ROM), ein Diskettenlaufwerk, ein Bandlaufwerk, etc. oder eine Kombination davon aufweisen. Die vorliegende Erfindung kann als Routine 47 implementiert werden, die in dem Speicher 43 gespeichert und von der CPU 42 ausgeführt wird, um das Signal von der Signalquelle 48 zu verarbeiten. Als solches ist das Computersystem 41 ein allgemeines Allzweckcomputersystem, das zu einem Spezialzweckcomputersystem wird, wenn die Routine 47 gemäß der vorliegenden Erfindung ausgeführt wird.
Das Computersystem 41 enthält auch ein Betriebssystem und Mikroanweisungscode. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können entweder Teil des Mikroanweisungscodes oder Teil des Anwendungsprogramms (oder eine Kombination davon) sein, das durch das Betriebssystem ausgeführt wird. Zusätzlich können verschiedene andere Periphergeräte mit der Computerplattform verbunden sein, beispielsweise eine zusätzliche Datenspeichervorrichtung und eine Druckvorrichtung.
Da einige der Systemkomponenten und der Verfahrensschritte, die in den beigefügten Figuren verdeutlicht sind, in Software implementiert werden können, soll ferner verstanden werden, dass die tatsächlichen Verbindungen zwischen den Systemkomponenten (oder die Prozessschritte) in Abhängigkeit von der Art und Weise, in der die vorliegende Erfindung programmiert wird, verschieden sein können. Durch die gegebenen Lehren der vorliegenden Erfindung kann ein Fachmann auf diesem Gebiet diese und ähnliche Implementierungen oder Konfiguration der vorliegenden Erfindung realisieren.
Obwohl die Erfindung im Einzelnen unter Bezugnahme auf ein bevorzugtes Ausführungsbeispiel beschrieben wurde, können Fachleute auf diesem Gebiet verschiedene Modifikationen und Substitutionen vornehmen, ohne den Bereich der Erfindung, der in beigefügten Patentansprüchen angegeben ist, zu verlassen.

Claims

Verfahren zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe, mit den Schritten: Bereistellen von histologischen Bilddaten, die gewonnen werden von einem Schnitt mit doppelgefärbten NIR Fluoreszent und Hämatoxylin-und-Eosin (H & E) Färbungen; Segmentieren von Prostatadrüseneinheiten in den Bilddaten; Bilden von Merkmalsvektoren durch Berechnen von Unterscheidungsattributen der segmentieren Drüseneinheiten; und Verwenden der Merkmalsvektoren zum Trainieren eines Multiklassenklassifizierers, wobei der Klassifizierer angepasst ist zum Klassifizieren von Prostatagewebe in eine benigne, PIN (Prostatic Intraepithelial Neoplasia) und Adenokarzinome mit Gleason-Skalierungsgraden 1 bis 5 Kategorie.
Verfahren nach Anspruch 1, bei dem der Klassifizierer innerhalb eines Bayesschen Rahmenwerks trainiert wird.
Verfahren nach Anspruch 1 oder 2, bei dem der Klassifizierer trainert wird zum Detektieren eines prominentesten und eines zweitprominentesten Musters in den Bilddaten und zum Berechnen eines Gleason-Scores als Summe der Gleason-Grade der Muster.
Verfahren nach einem der Ansprüche 1 bis 3, ferner mit einem Verwenden von Bayesschen Posteriorwahrscheinlichkeiten zum Bestimmen einer Stärke einer Diagnose, wobei eine Grenzprognose zwischen zwei Kategorien einem Klassifizierer zweiter Phase bereitgestellt wird, indem ein Klassifikationsmodell verwendet wird, dessen Parameter auf die zwei Kategorien der Grenzprognose abgestimmt sind.
Verfahren nach Anspruch 1, wobei der Klassifizierer trainiert wird unter Verwendung einer Multiklassensupportvektormaschine.
Verfahren nach Anspruch 1, wobei der Klassifizierer trainiert wird unter Verwendung eines Multiklassenboostingalgorithmus.
Verfahren nach einem der Ansprüche 1 bis 6, wobei der Schnitt mit einem AMACR Biomarker doppelgefärbt wird.
Verfahren nach einem der Ansprüche 1 bis 7, wobei die Unterscheidungsattribute Grenz- und Regionendeskriptoren, Strukturdeskriptoren und Texturdeskriptoren aufweisen.
Verfahren zur nicht überwachten Klassifikation von histologischen Bildern von Prostatagewebe, mit den Schritten: Bereitstellen von histologischen Bilddaten, die aus einem Schnitt gewonnen werden, der mit NIR Fluoreszent und Hämatoxylin-und-Eosin (H & E) Färbungen gleichzeitig doppelgefärbt ist; Berechnen von Merkmalsvektoren aus den Bilddaten; und Verwenden der Merkmalsvektoren zum Trainieren eines Multiklassenklassifizierers innerhalb eines Bayesschen Rahmenwerks, wobei der Klassifizierer trainiert wird zum Detektieren eines prominentesten und eines zweitprominentesten Musters in den Bilddaten, und zum Berechnen eines Gleason-Scores als Summe der Gleason-Grade der Muster.
Verfahren nach Anspruch 9, wobei das Berechnen von Merkmalsvektoren ein Segmentieren von Prostatadrüseneinheiten in den Bilddaten aufweist, und ein Bilden von Merkmalsvektoren durch Berechnen von Unterscheidungsattributen der segmentierten Drüseneinheiten.
Verfahren nach Anspruch 9 oder 10, bei dem der Klassifizierer angepasst ist zum Klassifizieren von Prostatagewebe in eine benigne, PIN (Prostatic Intraephitelial Neoplasia) und Adenokarzinome der Gleason-Skalierungsgrade 1 bis 5 Kategorie.
Eine durch einen Computer lesbare Programmspeichervorrichtung, die ein Programm von Anweisungen verkörpert, die durch den Computer ausführbar sind zum Durchführen der Verfahrensschritte zur unüberwachten Klassifizierung von histologischen Bildern von Prostatagewebe gemäß einem der Ansprüche 1 bis 11.