DE10353785B4

DE10353785B4 - Verfahren und Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe

Info

Publication number: DE10353785B4
Application number: DE10353785A
Authority: DE
Inventors: Heiko Volk; Thomas Wittenberg; Robert Schmidt; Matthias Grobe; Christian MÜNZENMAYER
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2003-11-18
Filing date: 2003-11-18
Publication date: 2006-05-18
Anticipated expiration: 2023-11-19
Also published as: WO2005050175A1; DE10353785A1; US20070014460A1; EP1685384A1

Abstract

Verfahren zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe (109), mit folgenden Schritten:
(a) Bereitstellen eines Bildes (120₁ bis 120_n) der biologischen Probe (109);
(b) Normieren (128) des Bildes der biologischen Probe (109) bezüglich einer Verteilung von Bildwerten in dem Bild, um ein normiertes Bild zu erhalten;
(c) Zerlegen (130a) des normierten Bildes in eine Mehrzahl von Bildabschnitte;
(d) Zuordnen (130, 130b, 130c) jedes Bildabschnitts der Mehrzahl von Bildabschnitten zu einer vorbestimmten Klasse, abhängig von bestimmten Eigenschaften des entsprechenden Bildabschnitts;
(e) Erfassen (132, 134, 136) der Einzelzellen oder der Zellgruppe durch Zusammenfassen von Bildabschnitten der gleichen Klasse;
(f) Erfassen (138) vorbestimmter Merkmale aus den Einzelzellen oder den Zellgruppen; und
(g) Zuordnen (140) der Einzelzellen zu verschiedenen Zelltypen basierend auf den erfaßten Merkmalen.

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe, und hier insbesondere auf ein Verfahren und auf eine Vorrichtung für die automatische Erstellung eines Differential-Blutbildes basierend auf digitalisierten mikroskopischen Aufnahmen von Blutausstrichen mit Hilfe von Bildverarbeitungsverfahren.

Bei fast jedem Patient, der in eine Klinik eingewiesen wird, wird eine Blutprobe entnommen, welche der Diagnostik des Patienten dienen soll. Je nach Diagnosevermutung werden dabei von dem betreuenden Arzt unterschiedliche Blutuntersuchungs-Methoden angeordnet. Eine solche Blutuntersuchung stellt das sogenannte Differential-Blutbild dar. Mit Hilfe des Differential-Blutbildes lassen sich unterschiedliche Ursachen einer gegebenen Krankheit, wie z.B. Entzündungen, Infektionen, allergische Reaktionen, HIV, Leukämien, etc. diagnostizieren.

Als Diagnosegrundlage dient hier das Differential-Blutbild, welches genau angibt, welche Untergruppe der Leukozyten (weiße Blutkörperchen) wie oft im Blut vorkommen. Unterschiedliche, von der normalen Verteilung abweichende Ergebnisse lassen dann auf die einzelnen Ursachen schließen. Die Auswertung, sprich die Zählung von Untergruppen der Leukozyten wurde lange Zeit manuell unter dem Mikroskop von einer ausgebildeten Fachkraft durchgeführt. Um diese ermüdende Arbeit zu erleichtern, wurden nach und nach spezielle, sogenannte Blutbildautomaten entwickelt, welche diese Zählung übernehmen.

Der Stand der Technik im Bereich automatisierter Blutbildautomaten beschränkt sich auf Automaten, denen ein chemisch-physikalisches Prinzip zugrunde liegt. Gemäß diesem Prinzip wird eine Blutprobe durch ein flüssigkeitsbasiertes Verfahren soweit verdünnt, das jeweils nur eine einzige Zelle durch eine Meßkapillare zieht. Während des Durchflusses durch diese Meßkapillare werden von jeder Zelle charakteristische Informationen gewonnen, die es erlauben, die Zelle einer bestimmten Untergruppe zuzuordnen. Im Laufe der Jahre hat sich die Durchflußzytometrie in der Erstellung eines automatischen Differential-Blutbildes in den Labors vieler Krankenhäuser und Praxen bewährt und etabliert. Die meisten dieser durchflußzytometrischen Automaten erlauben es, Differential-Blutbilder von normalen und auffälligen Blutproben robust und reproduzierbar zu erstellen.

Jedoch treten in Kliniken, neben den normalen, vor allem auch aufwendige, durch unterschiedliche physiologische und biologische Prozesse veränderte Blutbilder auf, welche von den erwähnten durchflußzytometrischen Automaten nicht präzise genug analysiert werden können. In der Regel wird eine solche Probe von einem solchen bekannten Automaten als auffällig eingestuft und eine manuelle Untersuchung des Objektträgers unter dem Mikroskop durch eine geschulte Fachkraft vorgenommen. Die Größenordnung für die manuell zu untersuchenden Proben liegt hier bei etwa 50 % der dem Automaten zugeführten Proben. Die manuelle Auszählung der Leukozyten unter dem Mikroskop stellt eine für die Fachkraft ermüdende Arbeit dar, die sich, bedingt durch die Arbeit am Mikroskop, auch in gesundheitlicher Weise auswirken kann.

Neben der oben erwähnten Erzeugung eines Differential-Blutbildes sind ähnliche Schritte, nämlich eine anfängliche automatisierte Probenuntersuchung gepaart mit einer nachfolgenden manuellen Untersuchung von auffälligen Proben auch in anderen Bereichen bekannt, so beispielsweise bei der Untersuchung von anderen menschlichen Zellen, vor allem bei der Lokalisation und Klassifikation bzw. Erkennung von dysplastischen (tumorartigen Vorstadien) Zellen der Zervix (Gebärmutterhals) von Frauen und anderen, auf der Zellanalyse basierenden Diagnoseverfahren.

Eine solche Zellanalyse umfasst die sogenannte Zellsegmentierung, um aus einer Vielzahl von Zellen oder aus einer Zellgruppe zu klassifizierende Einzelzellen zu erhalten. Verfahren zur Segmentierung von Einzelzellen sind z.B. in der WO02/067195 A2 oder der DE 102 17 858 C1 beschrieben.

Ausgehend von diesem Stand der Technik liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe zu schaffen, das basierend auf einer Aufnahme einer beispielsweise als auffällig eingestuften Probe eine Auswertung derselben durchführt und die verschiedenen Zelltypen und deren Häufigkeit in der Probe ausgibt, ohne daß weitere manuelle Schritte durch eine Fachkraft erforderlich wären.

Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 und durch eine Vorrichtung nach Anspruch 13 gelöst.

Die vorliegende Erfindung schafft ein Verfahren zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe, mit folgenden Schritten:

(a) Bereitstellen eines Bildes der biologischen Probe;
(b) Normieren des Bildes der biologischen Probe bezüglich einer Verteilung von Bildwerten in dem Bild, um ein normiertes Bild zu erhalten;
(c) Zerlegen des normierten Bildes in eine Mehrzahl von Bildabschnitte;
(d) Zuordnen jedes Bildabschnitts der Mehrzahl von Bildabschnitte zu einer vorbestimmten Klasse, abhängig von vorbestimmten Eigenschaften des entsprechenden Bildabschnitts;
(e) Erfassen der Einzelzellen oder der Zellgruppen durch Zusammenfassen von Bildabschnitten der gleichen Klasse;
(f) Erfassen vorbestimmter Merkmale aus den Einzelzellen oder den Zellgruppen;
(g) Zuordnen der Einzelzellen zu verschiedenen Zelltypen basierend auf den erfaßten Merkmalen.

Im Schritt (e) wird z.B. das Leukozytplasma und der Kern weißer Blutkörperchen zu einer Einzelzelle „weißes Blutkörperchen" bzw. zu einer Zellgruppe „weiße Blutkörperchen" zusammengefasst. Alternativ oder zusätzlich wird das Plasma und der Kern roter Blutkörperchen zu der Einzelzelle „rotes Blutkörperchen" bzw. zu dem Zellbereich „rote Blutkörperchen" zusammengefasst. Hintergrund ist und bleibt (uninteressanter) Hintergrund.

Nach dem Schritt (e) kann gemäß einem Ausführungsbeispiel vorgesehen sein, Einzelzellen aus den Zellgruppen zu erfassen, z.B. durch Teilung der Zellgruppe in Bildabschnittsgruppen. Sollte der zusammengefasste Bereich zu groß sein (oder anderen Kriterien unterliegt), wird davon ausgegangen, dass es sich um eine Gruppe von sich berührenden Zellen handelt und dann wird dieser Bereich in Einzelzellen getrennt.

Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird das Bild durch eine mehrkanalige Aufnahme erzeugt, wobei die Kanäle unterschiedliche Farbinformationen oder andere multispektrale Informationen enthalten. Wenn die Kanäle Farbinformationen enthalten, kann es sich hierbei um Informationen bezüglich der Farbe des Bildes, bezüglich der Luminanz und der Chrominanz des Bildes oder bezüglich des Farbtons, der Sättigung und des Wertes des Bildes handeln. Die multispektralen Informationen können auf Aufnahmen durch IR-Strahlen, UV-Strahlen und Röntgenstrahlen basieren.

Gemäß einem weiteren Ausführungsbeispiel ist für den Fall, daß die Kanäle unterschiedliche Farbinformationen enthalten, vorgesehen, daß im Schritt (b) für jeden Bildabschnitt ein Farbinformationswert für jeden Kanal erfaßt wird, ein Mittelwert für jeden Kanal basierend auf den erfaßten Farbinformationswerten gebildet wird, und der Bildabschnitt basierend auf den für jeden Kanal bestimmten Mittelwert zu der Klasse zugeordnet wird. Ferner kann vorgesehen sein, die Klassifikation bzw. Zuordnung eines Bildausschnitts zu einer Klasse basierend auf einem oder mehreren Bildabschnitten, die den betreffenden Bildabschnitt umgeben, zu verifizieren.

Vorzugsweise wird das Bild als digitales Bild bereitgestellt, und die Zerlegung erfolgt durch Festlegung der Bildabschnitte basierend auf einer vorbestimmten Anzahl von Pixeln. Weiterhin vorzugsweise werden für die Zuordnung zu den Klassen die Farbwerte (RGB) des Bildes herangezogen.

Gemäß einem weiteren bevorzugten Ausführungsbeispiel der vorliegenden Erfindung erfolgt die Normierung des Bildes vor der Unterteilung bzw. Zerlegung des Bildes in die Bildabschnitte basierend auf einer statistischen Verteilung verschiedener Bildwerte in dem Bild, wobei es sich hier vorzugsweise um Farbinformationen des Bildes handelt. In diesem Fall erfolgt die Summierung basierend auf einem Histogramm der Farbinformationen. Gemäß einem bevorzugten Ausführungsbeispiel sind jedem Kanal für eine zugeordnete Farbinformation mindestens zwei Maxima und ein von denselben eingeschlossenes Minimum an jeweils vorbestimmten Orten zugeordnet. Die Normierung erfolgt derart, daß zunächst die in dem Histogramm eines Farbkanals des Bildes enthaltenen Maxima und das Minimum bezüglich deren Ortes berechnet wird und anschließend eine Verschiebung der berechneten Orte an die Orte durchgeführt wird, die dem betrachteten Kanal zu geordnet sind. Farbinformationen zwischen den Extremwerten werden durch Interpolation zwischen den Maxima und dem Minimum erhalten. Bei digitalen Aufnahmen von Blutzellen erhält man ein "typisches" Histogramm mit zwei deutlichen Maxima und folglich einem Minimum dazwischen.

Bei einem weiteren bevorzugten Ausführungsbeispiel umfaßt das erfindungsgemäße Verfahren zusätzlich, vor dem Schritt des Erfassens der Einzelzellen, die Zusammenfassung einzelner Bildabschnitte in bestimmte Klassen, um entsprechende Bildbereiche festzulegen. Weiterhin vorzugsweise kann das erfindungsgemäße Verfahren die zusätzlichen Schritte des Bestimmens der Anzahl von Einzelzellen pro Zellentyp und das Ausgeben dieser Anzahl umfassen.

Die vorliegende Erfindung schafft ferner eine Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe, mit
einem Eingang zum Empfangen eines Bildes der biologischen Probe;
einer Signalverarbeitungseinrichtung, die angepaßt ist, um das an dem Eingang anliegende Bild der biologischen Probe zu empfangen, das empfangene Bild bezüglich einer Verteilung der Bildwerte zu normieren, das normierte Bild in eine Mehrzahl von Bildabschnitte zu zerlegen, die Bildabschnitte abhängig von vorbestimmten Eigenschaften jeweils vorbestimmten Klassen zuzuordnen, Einzelzellen in den Bildabschnitten zu erfassen, vorbestimmte Merkmale der Einzelzellen zu bestimmen, und die Einzelzellen verschiedenen Zelltypen zuzuordnen, basierend auf den bestimmten Merkmalen und der Klasse des zugeordneten Bildausschnitts, in dem die Einzelzelle enthalten ist;
einem Ausgang zum Bereitstellen der von der Signalverarbeitungseinrichtung festgelegten Zelltypen.

Gemäß einem bevorzugten Ausführungsbeispiel umfaßt die Vorrichtung ferner einen Probeneingang zum Empfangen der biologischen Probe und ein Mikroskop mit einer zugeordneten digitalen Kamera, z.B. einer CDD-Kamera, zum Erzeugen eines digitalen Bildes der biologischen Probe und eines Ausschnitts derselben. Die Signalverarbeitungseinrichtung, beispielsweise ein Personalcomputer, ist ferner angepaßt, um das digitale Bild zu empfangen und entsprechend zu verarbeiten.

Gemäß der vorliegenden Erfindung wird somit ein System geschaffen, das die Vorgehensweise der im Stand der Technik erforderlichen Fachkraft „nachahmt" und mittels digitaler Bildverarbeitung die Analyse der Probe unter dem Mikroskop übernimmt und die Zellen automatisch klassifiziert und auszählt.

Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird für die Pixel-Block-Klassifikation das gesamte Bild in Blöcke aufgeteilt, im bevorzugten Ausführungsbeipsiel in Blöcke mit der Größe 8 × 8 Pixel. Diese Blöcke sind vorzugsweise nicht überlappend, was seinen Vorteil in der dadurch erreichbaren, höheren Verarbeitungsgeschwindigkeit hat, da letztendlich weniger Pixel betrachtet werden. Außerdem erhält das Verfahren so eine gewisse Stabilität gegen Rauschen (sog. "Pixelrauschen" verursacht durch die Digitalkamera, deren Signale immer etwas schwanken, auch wenn die aufgenommene Szene vollkommen gleich bleibt). Insgesamt ist diese Verringerung der Auflösung des Bildes akzeptabel, da die Vergrößerung des Mikroskops und die physikalische Pixelauflösung der Kamera hoch genug sind, um auch in 8 × 8 Pixel großen Blöcken die entscheidenden Strukturen (Blutzellen, weiß und rot) erkennen zu können (ein relevantes Objekt enthält mehrere solcher Pixelblöcke). Für Fälle, bei denen eine noch präzisere Bestimmung der Ränder der Zellen nötig ist, lässt sich an der Grenze zweier unterschiedlich klassifizierter Blöcke (z.B. "Hintergrund"/"Leukozytplasma") das Verfahren in der originalen Vergrößerung wiederholen, um eben auch innerhalb der 8 × 8 Blöcke feiner abzugrenzen. Diese Vorgehensweise mit den unterschiedlichen Auflösungen wird in der Bildverarbeitung auch als "Hierarchischer Ansatz" bezeichnet. Grundsätzlich ist aber die Gruppierung in 8 × 8 Pixel große Blöcke ausreichend.

Für jeden der 8 × 8 Blöcke wird der mittlere Farbwert aus den vorliegenden Farbkanälen berechnet, im bevorzugten Ausführungsbeispiel RGB und anhand dessen wird jeder Block in die erforderlichen Klassen im bevorzugten Ausführungsbeispiel der Blutzellen "Hintergrund", "Leukozytplasma", "Leukozytkern", "Erythrozytplasma" klassifiziert.

Erfindungsgemäß wird somit eine mehrfache Klassifikation durchgeführt: zuerst werden Pixelblöcke klassifiziert, quasi in Hintergrund und Teile von Objekten, danach werden die relevanten Objekte (Plasma plus Kern der weißen Blutkörperchen) segmentiert (Zusammenfassung von Pixelblöcken und ggf wieder Teilung wenn sich Zellen berühren), anschließend werden von diesen Merkmale berechnet (z.B. Größe, Form, Farbe der Objekte = Zellen, Fläche, Umfang, Rundheit, Granulation, und/oder Texturierung – jeweils von Zellkern und Plasma) und anschließend werden diese wieder klassifiziert in die durch die Medizin vorgegebenen Zelltypen der Leukozyten. Deren Vorkommen werden gezählt und als Histogramm präsentiert (z.B. "13 Leukozyten des Typs Promyelozyt, 42 des Typs..."). Es wird jedoch keine Diagnose erstellt. Es wird ein Ausdruck mit einem Histogramm erzeugt, welche Zelltypen der Leukozyten wie oft vorkommen (prozentual betrachtet).

Neben dem oben beschriebenen „weißen" Blutbild existieren noch weitere "Blutbilder", die angefertigt werden können, z.B. "das rote Blutbild", "das große Blutbild", etc.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand der beiliegenden Zeichnungen näher erläutert. Es zeigen:
1A bis 1C ein Blockdiagramm, welches die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren anhand eines bevorzugten Ausführungsbeispiels betreffend einen Differential-Blutbild-Automaten näher erläutert;
2 die einzelnen Schritte zur Pixel-Block-Klassifikation gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung; und
3 die Schritte zur Farbnormierung gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung.
In 1 wird nachfolgend anhand einer schematischen Darstellung die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren anhand des Beispiels eines Differential-Blutbild-Automaten näher erläutert.
1A zeigt einen ersten Abschnitt 100 zur Proben-Separation. Hier wird durch an sich bekannte Maßnahmen eine Aufbereitung der biologischen Probe, einer Blutprobe, durchgeführt. Die Proben-Präparation 100 umfaßt die Blutentnahme 102. Das entnommene Blut wird, wie durch den Pfeil 104 verdeutlicht ist, einer weiteren Bearbeitung 106 be reitgestellt, gemäß der ein Blutausstrich durchgeführt wird und eine Einfärbung desselben erfolgt. Die Proben-Präparation beinhaltet somit beispielsweise das Ausstreichen 106 des venösen Bluts auf einem Objektträger 108, sowie das anschließende Färben des Objektträgers 108, beispielsweise unter Verwendung der bekannten May-Giemsa-Färbung. Auf dem Objektträger 108 ist schematisch die ausgestrichene und gefärbte Blutprobe 109 gezeigt.
Anhand der 1B ist schematisch die erfindungsgemäß verwendete Mikroskop-Hardware 110 gezeigt, die, wie schematisch durch den Pfeil 112 angedeutet ist, das ausgestrichene und gefärbte Blut auf dem Objektträger 108 empfängt. Die Hardware des Mikroskops 110 beinhaltet einen nicht näher gezeigten, verschiebbaren Kreuztisch, auf dem der Objektträger 108 angeordnet wird, eine steuerbare Optik und Beleuchtung, sowie eine CCD-Farbkamera mit einem Frame-Grabber. Der Objektträger 108, der auf dem verschiebbaren Kreuztisch angeordnet ist, wird mittels desselben unter dem Mikroskop verschoben, um so eine Digitalisierung 114 der auf dem Objektträger 108 angeordneten Blutprobe durchzuführen.
Die Digitalisierung 114 der Blutprobe 109 erfolgt derart, daß das Objekt mäanderförmig an der Blutprobe 109 vorbeigeführt wird, wie dies in 1A schematisch bei 116 gezeigt ist. Tatsächlich wird dieser Durchlauf dadurch erreicht, daß mittels des verschiebbaren Kreuztisches der Objektträger 108 mit der darauf angeordneten Blutprobe 109 entsprechend an dem Objektiv vorbei bewegt wird. In der Regel werden während der Digitalisierung jeweils verschiedene Abschnitte der Blutprobe 109 digitalisiert und, wie dies schematisch durch den Pfeil 118 dargestellt ist, wird eine Mehrzahl von Einzelbildern 120₁ bis 120_n ausgegeben. Für den Fall, daß die Blutprobe 109 sehr klein ist, kann die Digitalisierung auch in einem Durchgang erfolgen und nur ein Einzelbild ausgegeben werden. Am Ausgang der Mikroskop-Hardware 110 wird, wie durch den Pfeil 122 schematisch dar gestellt ist, das eine Einzelbild oder die mehreren Einzelbilder 120₁ bis 120_n für eine weitere Bearbeitung bereitgestellt.
Anhand der 1C wird nachfolgend die erfindungsgemäße Signalverarbeitungseinrichtung bzw. Bildverarbeitungseinrichtung, die beispielsweise in einem Computer implementiert ist, näher beschrieben. In dem Computer 124 ist die Bildverarbeitung implementiert, die an einem Eingang 126 das von der Mikroskop-Hardware 110 bereitgestellte Einzelbild oder eine Mehrzahl der Einzelbilder 120₁ bis 120_n aufeinanderfolgend empfängt.
Die Bildverarbeitung besteht aus Unterschritten Farbnormierung, Pixel-Block-Klassifikation, Zellgruppenbildung, Zelltrennung, Bereitstellen der Einzelzellen, Merkmalsberechnung, Zell-Klassifikation und Ausgabe des Differential-Blutbilds.
Die Farbnormierung 128 ist vorgesehen, um zu gewährleisten, daß unterschiedlich gefärbte Proben 109 auf eine „Standard-Probe" mit definierter Farbverteilung und gegebenenfalls definierter Beleuchtung normiert werden. Die anschließende Pixel-Block-Klassifikation 130 dient zur Zusammenfassung mehrerer Pixel des Bildes zu einem Block und die Zuordnung dieser Blöcke zu einer oder mehreren Klassen. Im Zusammenhang mit dem bevorzugten Ausführungsbeispiel betreffend die Differential-Blutbild-Analyse sind bevorzugte und mögliche Klassen der Hintergrund oder weiße Blutkörperchen. Nachfolgend zu der Pixel-Block-Klassifikation erfolgt die Zuordnung der Blöcke zu bestimmten Zellgruppen 132, woran sich eine Zelltrennung 134 anschließt, um alle Zellen sicher zu vereinzeln, da es durchaus vorkommen kann, daß manche Zellen überlappend angeordnet sind oder aneinander angrenzen. Nachfolgend zu der Zelltrennung 134 liegen als Zwischenergebnis nur noch die Einzelzellen 136 vor. Für jede Einzelzelle 136 erfolgt eine Merkmalsberechnung 138, um aus den vorliegenden Einzelzellen entsprechende Merkmale zu gewin nen, die für einzelne Zelltypen charakteristisch sind. Anschließend erfolgt eine Zell-Klassifikation 140 gemäß der anhand der gewonnenen Merkmale entschieden wird, zu welchem Zelltyp die Einzelzelle gehört. Alle Ergebnisse der Zell-Klassifikation 140 der gesamten Probe, also aller verarbeiteten Einzelbilder 120₁ bis 120_n bilden das am Ende ausgegebene Differential-Blutbild 142.
Nachfolgend werden die gerade anhand der 1C im Überblick beschriebenen einzelnen Abschnitte des erfindungsgemäßen Ansatzes zur Erfassung von Zelltypen in einer biologischen Probe näher erläutert.
Die Farbnormierung 128 gewährleistet, daß unterschiedlich gefärbte Proben 109 auf eine „Standard-Probe" mit definierter Farbverteilung und gegebenenfalls definierte Beleuchtung normiert werden.
Für die anschließende Pixel-Block-Klassifikation 130 ist es notwendig, daß die am Eingang 126 empfangenen Bilder 120₁ bis 120_n eine bestimmte und stets gleiche Farbverteilung aufweisen, um sicherzustellen, daß die Klassifikation der einzelnen Blöcke korrekt durchgeführt werden kann. Herkömmliche Verfahren benutzen Methoden, wie z.B. die Farbkalibrierung von Kameras, um eine stabile und gleichbleibende Aufnahme der Bilder zu gewährleisten. Der Nachteil dieses Ansatzes besteht darin, daß derselbe statisch ist und nur einmal berechnet wird. Diese Methoden sind somit unflexibel, insbesondere dann, wenn sich an der Färbung des Probenmaterials etwas ändert. In diesem Fall stimmt die bekannte Farbkalibrierung nicht mehr mit der Situation überein und muß neu berechnet werden. Der Nachteil liegt auf der Hand, da hier ein zeitlicher Aufwand und gegebenenfalls eine zusätzliche Benutzerinteraktion erforderlich ist, die für ein automatisches System wie es erfindungsgemäß angestrebt wird, nicht praktikabel ist.
Das erfindungsgemäße Verfahren umgeht diese aus der Literatur bekannte Schwäche, indem jedes Bild 120₁ bis 120_n einzeln behandelt wird und einer bekannten und vorab definierten Farbverteilung angepaßt wird. Hierdurch wird sichergestellt, daß Änderungen in der Färbung und in der Aufnahmetechnik auf einfache Art und Weise und präzise ausgeglichen werden können.
Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird für die Normierung der gefärbten Blutausstriche 109 eine auf den Farbwerten der empfangenen Einzelbilder 120₁ bis 120_n basierten Histogramm-Anpassung vorgenommen. Ein Farbhistogramm, welches auf dem roten Kanal, dem grünen Kanal und dem blauen Kanal der digitalen Kamera basiert, weist für einen typischen Ausschnitt eines digitalisierten Blutausstrichs zwei charakteristische Maxima und ein von diesen beiden Maxima eingeschlossenes Minimum in jedem Farbkanal (RGB) auf. Die Orte, an denen diese Extremstellen auftauchen, sind für jeden Kanal verschieden. Um eine Normierung eines Farbbildes in diesem Sinne zu erreichen, müssen für jeden Farbkanal des Bildes die Orte der Extrema berechnet werden und dem Verfahren bereitgestellt werden. Sobald diese Orte für alle Farbkanäle bekannt sind, kann das Histrogramm für jedes Bild und jeden Farbkanal neu berechnet werden. Hierzu werden die in dem tatsächlichen Bild für einen Farbkanal gemessenen Orte an die zuvor festgelegten und für diesen Kanal definierten Orte verschoben und Werte im Histogramm zwischen den drei Extrema werden linear interpoliert. Dies wird für jeden Kanal durchgeführt, so daß sich ein normiertes Bild mit bekannter und definierter Farbverteilung ergibt.
Bei der Pixel-Block-Klassifikation 130 werden mehrere Pixel in dem empfangenen digitalen Bild zu einem Block zusammengefaßt und der entsprechende Block wird einer Klasse zugeordnet. Bei dem bevorzugten Ausführungsbeispiel sind die möglichen Klassen der Hintergrund, rote Blutkörperchen (Erythrozyt), weiße Blutkörperchen (Leukozyt) und der Kern des weißen Blutkörperchens. Allgemein kann dieses Verfahren auch für andere Klassen und andere Problemstellungen benutzt werden, wobei hier dann eine entsprechende Anpassung der Farbverteilung im Farbnormierungsschritt 128 durchgeführt werden muß.
Gemäß einem bevorzugten Ausführungsbeispiel wird ein digitalisiertes Farbbild 120₁ bis 120_n eines Blutausschnitts 109 in Blöcke der Größen 8 × 8 Pixel unterteilt. Für jeden Block wird der mittlere Farbwert pro Kanal (R, G, B) berechnet. Die so erhaltenen drei Mittelwerte werden einem Klassifikator zugeführt, der den jeweiligen Block basierend auf den drei Mittelwerten einer der vier obengenannten Klassen zuordnet. Gemäß einem bevorzugten Ausführungsbeispiel ist ein Verifikationsschritt vorgesehen, um eventuelle Fehlklassifikationen eines Blocks zu vermeiden. Eventuelle Fehlklassifikationen eines Blocks werden durch einen Vergleich mit der Umgebung des Blocks identifiziert und korrigiert, so daß das erfindungsgemäße Verfahren robuster gegen Beleuchtungsschwankungen ist.
2 und 3 zeigen nochmals die gerade beschriebenen Hauptschritte der Farbnormierung 128 und der Pixel-Block-Klassifikation 130. In 2 sind die einzelnen Schritte der Pixel-Block-Klassifikation nochmals dargestellt, wobei hier, wie erwähnt, im Schritt 130a die Zerlegung des digitalen Farbbildes in Blöcke der Größe 8 × 8 Pixel erfolgt. Im Block 130b wird für jeden Block der mittlere Farbwert pro Kanal berechnet und anschließend wird bei 130c abhängig von dem für jeden Kanal berechneten Farbwert der Block als Hintergrund, Erythrozyt, Leukozyt oder Leukozytkern klassifiziert. In 3 sind die zwei Hauptschritte der Farbnormierung 128 noch mal dargestellt, wobei hier gemäß 128a zunächst für jeden Kanal des erzeugten Bildes ein Farbhistogramm erzeugt wird und anschließend bei 128b die Orte der Maxima und des Minimums in dem Histogramm an vorab festgelegte Orte eines Farbkanals verschoben werden.
Der Pixel-Block-Klassifikation 130 folgend wird eine Zellgruppenfestlegung 132 durchgeführt, in der die klassifizierten Blöcke gemäß dem bevorzugten Ausführungsbeispiel zu zwei Klassen zusammengefaßt werden. Die erste Klasse wird als „Hintergrund" bezeichnet und umfaßt die Blöcke, welche im Schritt 130 als Hintergrund oder als rote Blutkörperchen klassifiziert wurden. Die zweite Klasse ist die Klasse „weiße Blutkörperchen" und umfaßt die im vorhergehenden Schritt 130 als weiße Blutkörperchen oder Kerne der weißen Blutkörperchen klassifizierten Blöcke. Diese Information liegt in Form eines Binärbildes vor, welches der nachfolgenden Zelltrennung bereitgestellt wird. Abhängig von der Art der zu erfassenden Zelltypen können nur einzelne oder alle der klassifizierten Blöcke der weiteren Verarbeitung zugeführt werden. Im Fall der Auswertung der Probe hinsichtlich der weißen Blutkörperchen ist es ausreichend nur die für die als „weißes Blutkörperchen" und „Kern eines weißen Blutkörperchen" klassifizierten Blöcke zu verwenden, wobei diese vorab noch einem gemeinsamen Zellgruppe zugeordnet werden.
Im Schritt der Zelltrennung 134 werden alle Zellen vereinzelt, da es vorkommen kann, daß manche Zellen aneinander stoßen oder überlappen. Um zu gewährleisten, daß auch sich berührende Zellen, also Einzelzellen erkannt werden, muß eine Zelltrennung vorgenommen werden. Hierzu wird das Binärbild aus dem Schritt 132 mit Hilfe der im Stand der Technik bekannten Abstands-Transformation behandelt. Nachfolgend zu dieser Transformation ist es möglich, die bekannte sogenannte Wasserscheiden-Transformation anzuwenden, die mehrere berührende Zellen an der Berührungslinie auseinanderschneiden kann. Nach der Zelltrennung erfolgt eine Zusammenhangsanalyse des Primärbildes, um die Einzelzellen zu lokalisieren. Solchen Transformationen werden z.B. in den nachfolgend genannten Veröffentlichungen genannt.
"Applying watershed algorithms to the segmentation of clustered nuclei: Defining strategies for nuclei and back ground", Malpica N., Ortiz de Solórzano C., Vaquero J.J., Santos A., Vallcorba I. Garcia-Sagredo J.M., del Pozo F. *Cytometry* 28: Seiten 289–297 1997, ISSN 0196-4763.
"Watershed, hierarchical segmentation and waterfall algorithm" in Mathematical Morphology and its Applications to Image Processing, Beucher, S., J. Serra and P. Soille, Eds. Kluwer Acad. Publ., Dordrecht, 1994, Seiten. 69–76.
"Eine Erweiterung der Wasserscheiden-Transformation für die Farbbildsegmentierung (An Extension of the Watershed Transform for Color Image Segmentation)" In Proc. 6th German Workshop on Color Image Processing", A. Koschan and T. Harms, G. Stanke, M. Pochanke, Eds., Berlin, ISBN 3-9807029-4-4, Seiten 5–12, Oktober 2000.
Die so vorliegenden Einzelzellen 136 werden der Merkmalsberechnung 138 zugeführt, um vorbestimmte Merkmale, die für einzelne Zelltypen charakteristisch sind, zu erfassen, um anschließend bei 140 basierend auf den sogenannten Merkmalen entsprechende Zellentypen für die Einzelzelle festzulegen.
Alle Ergebnisse der Zell-Klassifikation der gesamten Probe formen das Differential-Blutbild 142, wobei hier vorzugsweise dem Benutzer die Anzahl der Zellen pro Zelltyp in einer medizinisch leicht verständlichen Art präsentiert werden. Gemäß dem bevorzugten Ausführungsbeispiel werden hier nur Zellsorten gezählt, also eine Art Meßsystem implementiert. Die Interpretation dieser Ergebnisse bleibt einem fachkundigen Arzt überlassen.
Obwohl oben anhand der Figuren bevorzugte Ausführungsbeispiele beschrieben wurden, welche ein Farbbild als 3-kanaliges Bild verwendeten, ist die vorliegende Erfindung nicht hierauf beschränkt. Anstelle der RGB-Werte zur Cha rakterisierung des Farbbildes können auch Informationen betreffend die Luminanz und die Chrominanz, L*u*v* oder Informationen bezüglich des Farbtons (H = Hue) der Sättigung (S = Saturation) und des Werts (V = Value) des Bildes zugrundegelegt werden. Die Farbbilddaten können somit auch im HSV-Farbrahmen oder im L*u*v* Farbraum beschrieben werden. Hierfür können die erhaltenen RGB-Daten in die entsprechenden Farbräume umgewandelt werden. Die RGB-Daten können auch in andere bekannte Farbräume übertragen werden.
Die vorliegende Erfindung ist ferner nicht auf die Aufnahme eines 3-kanaligen Bildes beschränkt, und das Bild kann durch eine n-kanalige, n ≥ 2, Aufnahme erzeugt werden. Neben den Farbdaten können die Kanäle auch andere multispektrale Daten/Informationen beinhalten, wie z.B. Informationen basierend auf den IR-Strahlen, UV-Strahlen und Röntgenstrahlen, etc.
Ferner ist hinsichtlich des oben beschriebenen bevorzugten Ausführungsbeispiels darauf hinzuweisen, daß die dort beschriebenen Schritte im Zusammenhang mit der Farbnormierung und der Pixel-Block-Klassifikation jeweils für sich genommen auch bei der Erfassung von anderen Zelltypen eingesetzt werden können. Ferner kann die oben beschriebene Farbnormierung auch isoliert von den übrigen Schritten bei anderen Klassifikationsverfahren, bei denen eine Bereitstellung von Bildern mit gleichmäßiger Farbverteilung erforderlich ist, eingesetzt werden. Gleiches gilt für die Pixel-Block-Klassifikation, die unabhängig von den oben beschriebenen Verfahrensschritten auch bei anderen Klassifikationsverfahren eingesetzt werden kann.
Obwohl das bevorzugte Ausführungsbeispiel anhand der Verarbeitung eines einzelnen Bildes beschrieben wird, ist offensichtlich, daß abhängig von den Gegebenheiten auch mehrere Bilder sequenziell bearbeitet werden, wenn die Probe durch eine Mehrzahl von Bildern dargestellt ist, um so eine Analyse der Gesamtprobe sicherzustellen.

Claims

Verfahren zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe (109), mit folgenden Schritten: (a) Bereitstellen eines Bildes (120₁ bis 120_n ) der biologischen Probe (109); (b) Normieren (128) des Bildes der biologischen Probe (109) bezüglich einer Verteilung von Bildwerten in dem Bild, um ein normiertes Bild zu erhalten; (c) Zerlegen (130a) des normierten Bildes in eine Mehrzahl von Bildabschnitte; (d) Zuordnen (130, 130b, 130c) jedes Bildabschnitts der Mehrzahl von Bildabschnitten zu einer vorbestimmten Klasse, abhängig von bestimmten Eigenschaften des entsprechenden Bildabschnitts; (e) Erfassen (132, 134, 136) der Einzelzellen oder der Zellgruppe durch Zusammenfassen von Bildabschnitten der gleichen Klasse; (f) Erfassen (138) vorbestimmter Merkmale aus den Einzelzellen oder den Zellgruppen; und (g) Zuordnen (140) der Einzelzellen zu verschiedenen Zelltypen basierend auf den erfaßten Merkmalen.
Verfahren nach Anspruch 1, bei dem das Bild (120₁ bis 120_n ) im Schritt (a) durch eine mehrkanalige Aufnahme erzeugt wird, wobei die Kanäle unterschiedliche Farbinformationen (RGB, HSV, L*u*v*) oder andere multispektrale Informationen enthalten, wobei, wenn die Kanäle Farbinformationen enthalten, in den Kanälen In formationen bezüglich der Farbe RGB des Bildes (120₁ bis 120_n ), bezüglich der Luminanz und der Chrominanz (L*u*v*) des Bildes (120₁ bis 120_n ) oder bezüglich des Farbtons, der Sättigung und des Wertes (HSV) des Bildes (120₁ bis 120_n ) zugeordnet sind, und wobei die weiteren multispektralen Informationen auf Aufnahmen durch die R-Strahlen, UV-Strahlen und Röntgenstrahlen basieren.
Verfahren nach Anspruch 2, bei dem die Kanäle unterschiedliche Farbinformationen enthalten, und bei dem der Schritt (d) folgende Teilschritte für jeden Bildabschnitt umfaßt: (d.1) Erfassen von Farbinformationswerten für jeden Kanal; (d.2) Bilden eines Mittelwerts (130b) für jeden Kanal basierend auf den im Schritt (d.1) erfaßten Farbinformationswerten, und (d.3) Zuordnen des Bildabschnitts (130c) zu einer Klasse, basierend auf den für jeden Kanal bestimmten Mittelwerten.
Verfahren nach einem der Ansprüche 1 bis 3, bei dem der Schritt (d) das Verifizieren einer Zuordnung eines Bildabschnitts zu einer Klasse basierend auf einem oder mehreren Bildabschnitten, die den betroffenen Bildabschnitt umgeben, umfaßt.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem im Schritt (a) ein digitales Bild erzeugt wird, und bei dem im Schritt (c) eine vorbestimmte Anzahl von Pixeln zur Festlegung eines Bildabschnitts ausgewählt wird (130a).
Verfahren nach einem der Ansprüche 1 bis 5, bei dem die im Schritt (d) für die Zuordnung zu den Klassen herangezogene Eigenschaft Farbwerte des Bildes umfaßt.
Verfahren nach einem der Ansprüche 1 bis 6, bei dem im Schritt (b) das Bild basierend auf einer statistischen Verteilung der verschiedenen Bildwerte in dem Bild normiert wird.
Verfahren nach Anspruch 7, bei dem die Bildwerte Farbinformationen für das Bild umfassen, und bei dem die Normierung auf einem Histogramm der Farbinformationen basiert.
Verfahren nach Anspruch 8, bei dem jeder Kanal für eine zugeordnete Farbinformation an vorbestimmten Orten zumindest zwei Maxima der Farbinformationen und ein von denselben eingeschlossenen Minimum der Farbinformationen umfaßt, und bei dem der Schritt (b) für jeden Kanal folgende Teilschritte umfaßt: (b.1) Berechnen (128a) der Orte der Maxima und des Minimums in dem Bild, und (b.2) Verschieben (198b) der im Schritt (b.1) berechneten Orte an die dem betrachteten Kanal zugeordneten Orte.
Verfahren nach Anspruch 9, bei dem Farbinformationen zwischen den verschobenen Orten durch Interpolation zwischen den Maxima und dem Minimum bestimmt wurden.
Verfahren nach einem der Ansprüche 1 bis 10, bei dem vor dem Schritt (e) die Bildabschnitte zu bestimmten Klassen zusammengefaßt werden, um entsprechende Bildbereiche festzulegen (132).
Verfahren nach einem der Ansprüche 1 bis 11, mit folgendem Schritt nach dem Schritt (e) Erfassen von Einzelzellen aus den im Schritt (e) festgelegten Zellgruppen.
Verfahren nach einem der Ansprüche 1 bis 12, mit folgenden Schritten: (h) Bestimmen (142) der Anzahl von Einzelzellen pro Zellentyp; und (i) Ausgeben der Anzahl.
Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe (109), mit einem Eingang (126) zum Empfangen eines Bildes (120₁ bis 120_n ) der biologischen Probe (109); einer Signalverarbeitungseinrichtung (124), die angepaßt ist, um das in dem Eingang anliegende Bild (120₁ bis 120_n ) der biologischen Probe (109) zu empfangen, das empfangene Bild bezüglich einer Verteilung der Bildwerte zu normieren (128), das normierte Bild in eine Mehrzahl von Bildabschnitte zu zerlegen (130), die Bilddaten abhängig von vorbestimmten Eigenschaften jeweils vorbestimmten Klassen zuzuordnen, Einzelzellen in den Bildabschnitten zu erfassen (132, 134, 136), vorbestimmte Merkmale der Einzelzellen zu bestimmen (138), und die Einzelzellen verschiedenen Zelltypen zuzuordnen (140), basierend auf den bestimmten Merkmalen und der Klasse der zugeordneten Bildabschnitts, in dem die Einzelzelle enthalten war; und einem Ausgang zum Bereitstellen der von der Signalverarbeitungseinrichtung (124) festgestellten Zelltypen.
Vorrichtung nach Anspruch 14, mit einem Probeneingang (112) zum Empfangen der biologischen Probe (109); und einem Mikroskop (110) mit einer zugeordneten digitalen Kamera zum Erzeugen eines digitalen Bildes (120₁ bis 120n), der biologischen Probe (109) oder eines Ausschnitts derselben; wobei die Signalverarbeitungseinrichtung (124) angepaßt ist, um das digitale Bild zu empfangen.