DE102007013971B4 - Method and device for determining a cell contour of a cell - Google Patents
Method and device for determining a cell contour of a cell Download PDFInfo
- Publication number
- DE102007013971B4 DE102007013971B4 DE102007013971A DE102007013971A DE102007013971B4 DE 102007013971 B4 DE102007013971 B4 DE 102007013971B4 DE 102007013971 A DE102007013971 A DE 102007013971A DE 102007013971 A DE102007013971 A DE 102007013971A DE 102007013971 B4 DE102007013971 B4 DE 102007013971B4
- Authority
- DE
- Germany
- Prior art keywords
- cell
- candidate
- pixel
- pixels
- color space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20156—Automatic seed setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20161—Level set
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
Description
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Ermittlung einer Zellkontur einer Zelle und insbesondere auf berandungsgenaue Segmentierung von Plasma und Kernen bei Leukozyten.The present invention relates to a method and a device for determining a cell contour of a cell and, in particular, for boundary-accurate segmentation of plasma and nuclei in leucocytes.
Eine sichere Erkennung und exakte Segmentierung von weißen Blutzellen (Leukozyten) in gefärbten Ausstrichen des peripheren Blutes bildet die Grundlage für eine automatische, bildbasierte Erstellung eines sog. Differenzialblutbildes im Kontext der medizinischen Labordiagnostik (sog. Computer Assistierte Mikroskopie – CAM). Die Vielfältigkeit der in einem Blutausstrich auftretenden weißen Blutzellen, verbunden mit ihrer jeweils charakteristischen Farbverteilung und Texturierung, erhöhen die Schwierigkeit bei der Klassifikation im Rahmen einer vollständigen Automatisierung. Während die automatische Detektion und Segmentierung weißer Blutzellen in digitalen Bildern mittlerweile zum Stand der Technik gehört, ist eine anschließende berandungsgenaue Segmentierung von Zellkern und speziell des Zellplasmas im Hinblick einer nachfolgenden Klassifikation noch nicht gelöst. Die digitalen Bilder können dabei in verschiedenen Farbschemas oder Farbräumen vorliegen. Ein RGB-Farbraum spezifiziert die Farbe eines Bildpunktes durch die Anteile der drei Grundfarben (rot, grün, blau), wobei ein HSV-Farbraum die Farbe eines Bildpunktes durch einen H-Wert (Farbtyp), einen S-Wert (Saturierung) und einen V-Wert (value oder Helligkeit) angegeben wird.A reliable detection and exact segmentation of white blood cells (leucocytes) in stained peripheral blood smears forms the basis for an automatic, image-based creation of a so-called differential blood picture in the context of medical laboratory diagnostics (so-called Computer Assisted Microscopy - CAM). The diversity of the white blood cells occurring in a blood smear, combined with their characteristic color distribution and texturing, increase the difficulty of classification as part of a complete automation. While the automatic detection and segmentation of white blood cells in digital images is now part of the state of the art, a subsequent boundary segmentation of the nucleus and especially of the cell plasma has not yet been resolved with a view to a subsequent classification. The digital images can be present in different color schemes or color spaces. An RGB color space specifies the color of a pixel by the proportions of the three primary colors (red, green, blue), where an HSV color space is the color of a pixel by an H value (color type), an S value (saturation) and a color V value (value or brightness) is specified.
Bekannte Ansätze zur Segmentierung von Zellplasma und Zellkern weißer Blutzelle greifen oftmals auf Schwellwertverfahren zurück. Dies ist zum Beispiel in Cseke, I.: „A fast segmentation scheme for white blond cell images” in 11th IAPR Int. Conf. On Pattern Recognition Vol. III: Image, Speech & Signal Analysis. (1992) 530–533 und in Liao, Q., Deng, Y.: ”An accurate segmentation method for white blond cell images” in: IEEE Intl. Sym. an Biomedical Imaging. (2002) 245–248 beschrieben. Ein in ”Leukocyte segmentation and classification in blond-smear images” durch Ramoser, H., Laurain, V., Bischof, H., et al in IEEE Engineering Medicine and Biology Society (2005) 3371–3374 vorgeschlagenes Verfahren führt zusätzlich wahrscheinlichkeitstheoretische Elemente ein, um eine Unterscheidung in Hintergrund, rote Blutkörperchen, sowie Kern und Plasma der Leukozyten zu treffen. Ein Active Contour-Verfahren zur Zellumrissbestimmung kommt in ”An automated differential blond count system” durch Ongun, G., Halici, U., Leblebicioglu, K., et al in IEEE Eng. Med. and Biology Soc. 3 (2001) 2583–2586 zum Einsatz. Der in ”A novel white blond cell segmentation scheme based an feature space clustering” durch Jiang, K., Liao, Q. M., Xiong, Y. in Soft Comput. 10 (2006) 12–19 vorgestellte Ansatz setzt auf Scale-Space-Filtering zur Bestimmung des Zellkerns und 3D-Watershed-Clustering des ins HSV-Modell transformierten Bildes. Außerdem wird in dem Preprint „Analysis of Blond and Bone Marrow Smears using Digital Image Processing Techniques” von H. Hengen, S. Spoor und M. Pandit eine Methode für ein Auflösen von Clustern von weißen Blutzellen entwickelt. In dem Preprint „Bildverarbeitung für ein motorisiertes Lichtmikroskop zur automatischen Lymphozytenidentifikation” von M. Beller, R. Stotzka, H. Gemmeke, K. F. Weibezahn und G. Knetlitschek wird ein motorisiertes Lichtmikroskop zusammen mit einer CCD-Kamera eingesetzt, um ein Detektionssystem weiter zu entwickeln, das für Lymphozyten angewendet werden kann. In dem Preprint „Automation of Differential Blond count” von N. Sinha und A. G. Ramakrishnan wird eine Technik zum Zählen von weißen Blutzellen entwickelt, die insbesondere den sog. K-Means-Clustering und EM-Algorithmus verwendet. In dem Preprint „Blond Cell Segmentation using EM-algorithm” von den gleichen Autoren wird ein Verfahren zur Segmentation von Blutzellen vorgestellt, die insbesondere den HSV-Farbraum verwendet, und einer Erwartungswertmaximierung (EN) nutzt. In dem Preprint „Statistical Evaluation of Computer extracted Blood Cell Features for Screening Populations to detect Leukemias” von H. M. Aus, H. Harms, V. ter Meulen und U. Gunzer (in NATO ASI Series Vol. F 30) wird eine Methode zur Segmentierung von Zellbildern verwendet, die Farbunterschiede, äqudistante Isogramme, geometrische Operationen mit einem Zellmodell kombiniert. In dem Preprint „Microscopic Image Analysis using mathematical morphology: Application to haematological Cytology” von J. Angulo und G. Flandrin wird ein Verfahren zur Bildanalyse vorgestellt, bei dem mathematische Morphologie zur Mustererkennung verwendet wird.Known approaches to segmentation of the cell plasma and cell nucleus of white blood cells often rely on threshold methods. This is, for example, in Cseke, I .: "A fast segmentation scheme for white blond cell images" in 11 th IAPR Int. Conf. On Pattern Recognition Vol. III: Image, Speech & Signal Analysis. (1992) 530-533 and in Liao, Q., Deng, Y .: "An accurate segmentation method for white blond cell images" in: IEEE Intl. Sym. at Biomedical Imaging. (2002) 245-248. A method proposed in "Leukocyte segmentation and classification in blond-smear images" by Ramoser, H., Laurain, V., Bishop, H., et al., IEEE Engineering Medicine and Biology Society (2005) 3371-3374 additionally introduces probabilistic elements to discriminate against background, red blood cells, as well as nucleus and plasma of leukocytes. An Active Contour method for cell contouring is described in On Anual differential blond count system by Ongun, G., Halici, U., Leblebicioglu, K., et al in IEEE Eng. Med. And Biology Soc. 3 (2001) 2583-2586 are used. The "A novel white blond cell segmentation scheme based on feature space clustering" by Jiang, K., Liao, QM, Xiong, Y. in Soft Comput. 10 (2006) 12-19 relies on scale-space filtering to determine the nucleus and 3D watershed clustering of the image transformed into the HSV model. In addition, H. Hengen, S. Spoor and M. Pandit's Preprint "Analysis of Blonde and Bone Marrow Smears using Digital Image Processing Techniques" develops a method for dissolving white blood cell clusters. In the preprint "Image Processing for a Motorized Light Microscope for Automatic Lymphocyte Identification" by M. Beller, R. Stotzka, H. Gemmeke, KF Weibezahn and G. Knetlitschek, a motorized light microscope is used together with a CCD camera to further develop a detection system that can be used for lymphocytes. N. Sinha and AG Ramakrishnan's Preprint "Automation of Differential Blond Count" develops a technique for counting white blood cells, using the so-called K-means clustering and EM algorithm in particular. In the Preface "Blonde Cell Segmentation Using EM Algorithm" by the same authors, a method for the segmentation of blood cells is presented, which in particular uses the HSV color space, and utilizes Expectation Value Maximization (EN). HM Aus, H. Harms, V. ter Meulen and U. Gunzer (in NATO ASI Series Vol. F 30) will be using a method of segmentation in the Preprint "Statistical Evaluation of Computer Extracted Blood Cell Features for Screening Populations to detect Leukemias" used by cell images combining color differences, equidistant isograms, geometric operations with a cell model. In the preprint "Microscopic Image Analysis using mathematical morphology: Application to Hematological Cytology" by J. Angulo and G. Flandrin, a method for image analysis is presented in which mathematical morphology is used for pattern recognition.
In
Ausgehend von diesem Stand der Technik liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zum Ermitteln einer Zellkontur einer Zelle zu schaffen, die zuverlässig, schnell und in hoher Qualität Ergebnisse liefert. Based on this prior art, the present invention has the object to provide an apparatus and a method for determining a cell contour of a cell that provides reliable, fast and high quality results.
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1, einer Vorrichtung gemäß Anspruch 15 oder ein Computerprogramm gemäß Patentanspruch 21, gelöst.This object is achieved by a method according to
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass die Zellkontur einer Zelle durch einen vierstufigen Verfahrensablauf bestimmt werden kann. Dazu werden zunächst Bildpunkte ermittelt, die Kandidaten für einen Zellkern darstellt und in einem zweiten Schritt wird aus dieser Kandidatenmenge ein mittlerer Kern-Kandidatenbildpunkt bestimmt. Ausgehend von diesem mittleren Kern-Kandidatenbildpunkt wird in einem dritten Schritt ein erster Rand-Kandidatenbildpunkt bestimmt, indem auf einem vorbestimmten Pfad, der von dem mittleren Kern-Kandidatenbildpunkt weg führt, Farbwerte des Bildes erfasst werden, so dass ein Wechsel von einem ersten Abschnitt zu einem zweiten Abschnitt des Farbraumes einen Rand des Zellplasmas signalisiert. Schließlich wird ausgehend von diesem Rand-Kandidatenbildpunkt ein geschlossener Pfad vorzugsweise innerhalb des zweiten Abschnitts des Pfadraumes bestimmt, so dass das Zellplasma von dem geschlossenem Pfad zumeist eingeschlossen wird. Somit umfasst der letzte Schritt ein Finden fortführender Rand-Kandidatenbildpunkte von dem ersten Rand-Kandidatenbildpunkt aus, die einen die Zelle umgebende Grenze bilden, mittels eines Wegfindungsalgorithmus, der dazu tendiert, kleinere Weglängen und Wege durch Bildpunkte im zweiten Abschnitt des Farbraumes zu bevorzugen.The present invention is based on the finding that the cell contour of a cell can be determined by a four-step procedure. For this purpose, first pixels are determined, which represents candidates for a nucleus, and in a second step, a mean core candidate pixel is determined from this candidate set. Starting from this central core candidate pixel, in a third step, a first candidate edge pixel is determined by capturing color values of the image on a predetermined path leading away from the central core candidate pixel, such that a change from a first portion to signals a border of the cell plasma to a second section of the color space. Finally, starting from this edge candidate pixel, a closed path is preferably determined within the second portion of the path space, so that the cell plasma is mostly trapped by the closed path. Thus, the final step comprises finding candidate edge candidate pixels from the first edge candidate pixel that form a boundary surrounding the cell by means of a pathfinding algorithm that tends to favor smaller path lengths and paths through pixels in the second portion of the color space.
Eine erfindungsgemäße Vorrichtung weist eine Einrichtung zum Ermitteln von Kern-Kandidatenbildpunkte, eine Einrichtung zum Bestimmen eines mittleren Kern-Kandidatenbildpunktes, eine Einrichtung zum Bestimmen eines ersten Rand-Kandidatenbildpunktes sowie eine Einrichtung zum Finden fortführender Rand-Kandidatenbildpunkte auf.A device according to the invention comprises means for determining kernel candidate pixels, means for determining a mean kernel candidate pixel, means for determining a first edge candidate pixel, and means for finding continuous edge candidate pixels.
Insbesondere wird bei Ausführungsbeispielen der vorliegenden Erfindung ein neuartiger Ansatz verfolgt, der sogenannte Level-Set/Fast Marching-Methoden mit einem kürzeste Pfade-Algorithmus kombiniert, um dadurch eine möglichst vollständige und berandungsgenaue Segmentierung von Zellkern und Zellplasma zu erreichen. Als Ausgangsmaterial dienen dabei Lichtmikroskopaufnahmen von Blutabstrichen, die mit einer MGG-Färbung (May-Grünwald-Giemsa-Färbung) behandelt wurden. Dadurch werden bestimmte Bestandteile der Zelle (Zellkern, Zellplasma), Hintergrund, rote Blutzellen etc. entsprechend farblich markiert und die entsprechenden farblichen Charakteristika finden ihren Niederschlag in der Wahl der Parametrisierung des folgenden Verfahrens. Um eine Segmentierung automatisch durchführen zu können, z. B. kann ein dreistufiger Algorithmus verwendet werden, der sich grob in:
- 1. Bildvorverarbeitung;
- 2. Auffinden von Kern und Plasma; und
- 3. Nachbearbeitung und Feinkorrektur
- 1. image preprocessing;
- 2. finding the nucleus and plasma; and
- 3. Post-processing and fine-tuning
Da einige Bildelemente wie rote Blutkörperchen (bläulicher Rand durch die Färbung und Optik) und Granulozyten (Textur mit relativ hochfrequenter farblicher Varianz) lokal mit atypischen oder den Hauptalgorithmus störenden Eigenschaften versehen sind, können in der Vorverarbeitung die Bilder zunächst mit einem kantenerhaltenden und rauschunterdrückenden Kuwahara-Filter vorverarbeitet werden. Der Kuwarara Filter ist zum Beispiel in ”On the evaluation of edge preserving smoothing filter” durch Chen, S., Shih, T. Y. in: Proceedings of Geoinformatics. (2002) paper C43 beschrieben.Since some picture elements such as red blood cells (bluish border through the coloring and optics) and granulocytes (texture with relatively high-frequency color variance) are locally provided with atypical or the main algorithm disturbing properties, in the preprocessing, the images can first with an edge-preserving and noise-canceling Kuwahara Filter be preprocessed. The Kuwarara filter is described, for example, in "On the evaluation of edge preserving smoothing filter" by Chen, S., Shih, T.Y. in: Proceedings of Geoinformatics. (2002) paper C43.
Die zweite Stufe (Auffinden von Kern und Plasma) kann wie folgt zusammengefasst werden. Um die Empfindlichkeit gegenüber Schwankungen der Farbkomponenten weiter zu reduzieren, findet die weitere Verarbeitung z. B. nach einer Transformation des RGB-Eingangsbildes ins HSV-Modell statt. Als erstes werden mittels eines Schwellenwertverfahrens (Thresholding) Kandidaten für den relativ einfach grob zu lokalisierenden Zellkern (dunkle Blaufärbung) bestimmt. Diese dienen zunächst weniger zur Markierung als viel mehr zu einer Mittelpunktsbestimmung der Zelle. Innerhalb dieser Kandidatenmenge N werden zufällig n Punkte S ⊂ N ausgewählt und derjenige, der minx∊S Σy∊Sd(x, y) erfüllt, also den geringsten Abstand d zu allen anderen Punkten aus S hat, zum vorläufigen Mittelpunkt mseed erklärt. Als nächster Schritt erfolgt eine Bestimmung von Punkten knapp außerhalb des Zellplasmas beziehungsweise eine Markierung des letzteren, um die Kontur der Zelle erfassen zu können. Hierbei kann ein Fast-Marching-Algorithmus zum Einsatz kommen, der zum Beispiel in ”Levelset methods and fast marching methods” Cambridge University Press (1999) durch Sethian, J. A. beschrieben ist und eine diskrete Variante der Eikonal-Gleichung: ||∇u(x)|| F(x) = 1 in u löst, welche die Ausbreitung einer Welle, ausgehend von mseed in Abhängigkeit der den Pixeln zugrunde liegenden Farbeigenschaften F, simuliert (wobei ∇ der Nabla-Operator ist und x einen Punkt in der Bildebene bezeichnet).The second stage (finding core and plasma) can be summarized as follows. In order to further reduce the sensitivity to fluctuations of the color components, the further processing z. B. after a transformation of the RGB input image into the HSV model instead. First, by means of a threshold value method (thresholding), candidates are determined for the nucleus, which is relatively easy to locate roughly (dark blue coloration). These are initially less for marking than much more for a center point determination of the cell. Within this candidate set N, n points S ⊂ N are randomly selected, and the one that satisfies min xεS Σ yεS d (x, y), ie has the smallest distance d to all other points from S, to the preliminary center m seed explained. As a next step, a determination of points just outside of the cell plasma or a marker of the latter takes place in order to detect the contour of the cell can. Here, a fast marching algorithm may be used, which is described for example in Levelset methods and fast marching methods by Cambridge University Press (1999) by Sethian, JA and a discrete variant of the Eikonal equation: || ∇u ( x) || F (x) = 1 in u triggers, which the Propagation of a wave, based on m seed in dependence of the color properties underlying the pixels F, (where ∇ is the Nabla operator and x denotes a point in the image plane).
Im Optimalfall ist durch {u < F(mseed) + ε} mit geeigneter Funktion F und ε bereits die Zelle beschrieben. Dass dies in der Realität fast nie gegeben ist, liegt zumeist in der unscharfen Trennung der weißen und roten Zellen begründet; das Resultat ist aber zumeist sehr gut geeignet um mit einem anderen Verfahren eine vollständige Trennung herbeizuführen. Als brauchbar für die Segmentierung von Leukozyten hat sich die Funktion F von der folgenden Struktur herausgestellt: wobei mit c(x) die Summe der drei Farbkomponenten im RGB-Raum und mit v(x) die Value-Komponente im HSV-Modell im Punkte x bezeichnet. Die Parameter sind so zu wählen, dass mittels α1 der Bild-Hintergrund und α2 bzw. γ alles außerhalb von Hintergrund, der Zellkern durch c(x) < α2 und das Zellplasma durch v(x) > γ erfasst wird. Um nicht von einer speziellen Farbsituation abhängig zu sein, kann eine iterative Anpassung des Parameters γ implementiert werden, α1 und α2 können für Bilderserien unter gleichen Aufnahmebedingungen unverändert bleiben. Der Wert von γ hingegen, wird beispielsweise von einem niedrigen Niveau ausgehend schrittweise erhöht, bis bei einem Lauf in Nord-, Süd-, West- und Ostrichtung von Punkten nahe von mseed jeweils Punkte PN, PS, PW, PO, aus {u > F(mseed) + ε} gefunden werden, die nach Wahl der Parameter Bereiche außerhalb der Zelle markieren sollen. Anschließend kann mittels eines Wegfindungsalgorithmus ein Pfad entlang der Kontur der Zelle bestimmt werden. So führt eine Dijkstra-Variante unter Verwendung einer farbabhängigen Kostenfunktion c(x, y) für die (gerichtete) Kante zwischen benachbarten Punkte x und y (8er Nachbarschaft) mit zur gewünschten Trennung der Zelle von ihrer Umgebung, wobei h(x) den Hue-Wert im HSV-Modell im Punkt x und Hblue eine Untermenge des blauen Hue-Wertebereichs, sowie 1A(x) die Indikatorfunktion der Menge A bezeichnet. Die Parameter α und γ sind beispielsweise derart gewählt, dass der Pfad möglichst nicht über die bläulich gefärbte Zelle verläuft, während β den Weg auch nicht allzu weit von der Zelle wegführen lässt.In the optimal case, the cell is already described by {u <F (m seed ) + ε} with suitable function F and ε. That this is almost never the case in reality is mostly due to the blurred separation of white and red cells; However, the result is usually very well suited to bring about a complete separation with another method. As useful for the segmentation of leukocytes, the function F has been found to be of the following structure: where c (x) denotes the sum of the three color components in RGB space and v (x) denotes the value component in the HSV model at point x. The parameters are to be chosen such that α 1 captures the image background and α 2 or γ all outside of background, the nucleus through c (x) <α 2 and the cell plasma through v (x)> γ. In order not to be dependent on a specific color situation, an iterative adaptation of the parameter γ can be implemented, α 1 and α 2 can remain unchanged for image series under the same recording conditions. On the other hand, the value of γ, for example, is incrementally increased from a low level until points of P N , P S , P W , P O are respectively run in north, south, west, and east directions from points near m seed , from {u> F (m seed ) + ε} are found, which are to mark after the selection of the parameters areas outside the cell. Subsequently, a path along the contour of the cell can be determined by means of a pathfinding algorithm. Thus, a Dijkstra variant using a color-dependent cost function c (x, y) for the (directed) edge between adjacent points x and y (8's neighborhood) for the desired separation of the cell from its environment, where h (x) denotes the Hue value in the HSV model at the point x and H blue a subset of the blue Hue value range, and 1 A (x) the indicator function of the set A. The parameters .alpha. And .gamma. Are chosen, for example, such that the path does not extend over the bluish-colored cell as much as possible, while .beta. Does not allow the path to be led too far away from the cell.
Auf solche Weise bestimmte Pfade, die die vier Punkte PN, PS, PW, PO durch vier Teilpfade verbinden, markieren oftmals den Zellenumriss schon recht genau. Das oben beschriebene Schwellwertverfahren zur Bestimmung des Zellkerns ist zwar geeignet einen guten Ausgangspunkt mseed innerhalb der zu segmentierenden Zelle zu finden, hat sich jedoch als ungeeignet erwiesen, den vollen für das menschliche Auge als solchen wahrnehmbaren Zellkern zu erfassen. Für diese Aufgabe wurde ein anderes Schwellwertverfahren, das beim Verhältnis zwischen Blau- und Grün-Kanal des RGB-Eingangsbildes ansetzt, verwendet.Paths determined in this way, which connect the four points P N , P S , P W , P O through four subpaths, often already mark the cell outline very precisely. Although the above-described threshold method for determining the cell nucleus is suitable for finding a good starting point for the seed within the cell to be segmented, it has proved to be unsuitable for detecting the full cell perceptible to the human eye as such. For this task, another threshold method was used, which sets the ratio between the blue and green channels of the RGB input image.
Da es sich gezeigt hat, dass mit Hilfe des oben beschriebenen Verfahrens bestimmte Pfade Konkavitäten des Zellplasmas nur schwer gerecht werden, kann eine Nachbearbeitung des Pfades das Resultat verbessern. Dabei kann der Pfad punktweise in Richtung mseed verschoben werden und zwar solange wie sich die Punkte auf dem durch die Farbe klar zu erkennenden Hintergrund oder auf auch roten Blutkörperchen befinden. Die so erhaltene Punktemenge, jeweils durch Kanten verbunden und geglättet, stellt ein Ergebnis des gesamten Verfahrens des Zellplasma betreffend dar.Since it has been shown that with the aid of the method described above, certain paths are difficult to satisfy the concavities of the cell plasma, post-processing of the path can improve the result. The path can be moved pointwise in the direction of the seed as long as the points are located on the background, which can be clearly recognized by the color, or on red blood cells. The amount of points thus obtained, each connected and smoothed by edges, represents a result of the whole process of the cytoplasm.
Auch das Ergebnis hinsichtlich des Zellkerns kann mittels eines Nachverarbeitungschrittes verbessert werden. Beispielsweise kann mittels eines morphologischen Open-Close-Filters störende, isoliert liegende Punkte entfernt werden.The result with regard to the cell nucleus can also be improved by means of a post-processing step. For example, disturbing, isolated points can be removed by means of a morphological open-close filter.
Die Leistungsfähigkeit des vorgestellten Algorithmus kann anhand einer Sammlung von Proben überprüft werden, die die verschiedensten Typen von Leukozyten enthalten. Dabei kann mit Hilfe verschiedener Kenngrößen die Qualität der automatischen Segmentierung mit einer zuvor per Hand durchgeführten Segmentierung verglichen werden. Bei der Evaluation kann beispielsweise zum Einen der Dice-Koeffizient zum Einsatz kommen als auch eine normierte Hausdorff-MetrikThe performance of the proposed algorithm can be tested against a collection of samples containing a variety of types of leukocytes. It can be compared with the help of various parameters, the quality of the automatic segmentation with a previously performed by hand segmentation. In the evaluation, for example, on the one hand, the dice coefficient as well as a standardized Hausdorff metric
Die Ergebnisse können für Zellkern und -plasma getrennt in folgendermaßen zusammengefasst werden:
Zellplasma: CD = 0,94 ± 0,02; H = 0,91 ± 0,03
und für den
Zellkern: CD = 0,94 ± 0,02; H = 0,90 ± 0,04.The results for nuclear and plasma can be summarized separately in the following way:
Cell plasma: CD = 0.94 ± 0.02; H = 0.91 ± 0.03
and for the
Cell nucleus: CD = 0.94 ± 0.02; H = 0.90 ± 0.04.
Die optischen Eindrücke der Segmentierungsergebnisse bestätigen die Resultate der Evaluierung durch Kennzahlen.The visual impressions of the segmentation results confirm the results of the evaluation by indicators.
Ein erfindungsgemäßes Verfahren zur Segmentierung von Leukozyten in Kern und Plasma, welches anhand von Bildern in Blutausstrichen ausgeführt wird, kann demnach beispielsweise einen Schritt der Vorverarbeitung durch einen Kuwahara-Filter und einen anschließenden Fast-Marching-Verfahren zur Bestimmung der groben Zellumrisse umfassen. Ferner kann ein erfindungsgemäßes Verfahren einen kürzesten Wegealgorithmus umfassen, der zum großen Teil auf den bestimmten Level-Sets operiert, um die Zellfläche zu erhalten. Die Markierung des Zellkerns kann beispielsweise im Wesentlichen durch reine Schwellenwertoperationen erfolgen. Die damit erzielten Ergebnisse erreichen bei einer Evaluierung sowohl auf visueller Basis als auch mittels Standard-Maßzahlen wie Dice-Koeffizienten und Hausdorff-Distanz gute Ergebnisse.A method according to the invention for segmenting leukocytes in the nucleus and plasma, which is carried out on the basis of images in blood smears, can therefore comprise, for example, a step of preprocessing by a Kuwahara filter and a subsequent fast marching method for determining the coarse cell outlines. Further, a method according to the invention may include a shortest path algorithm that operates in large part on the particular level sets to obtain the cell area. The labeling of the cell nucleus can, for example, be carried out essentially by pure threshold value operations. The results achieved with these results achieve good results in an evaluation on a visual basis as well as using standard measures such as Dice coefficients and Hausdorff distance.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen näher erläutert.Preferred embodiments of the present invention will be explained below with reference to the accompanying drawings.
Es zeigen:Show it:
Bevor im Folgenden die vorliegende Erfindung anhand der Zeichnungen näher erläutert wird, wird darauf hingewiesen, dass gleiche Elemente in den Figuren mit den gleichen oder ähnlichen Bezugszeichen versehen sind und dass eine wiederholte Beschreibung dieser Elemente weggelassen wird.Before the present invention is explained in more detail below with reference to the drawings, it is pointed out that the same elements in the figures are given the same or similar reference numerals and that a repeated description of these elements is omitted.
Zunächst werden Kern-Kandidatenbildpunkte Ki, die zu dem Zellkern
Damit ist eine Vorbereitung
Bei weiteren Ausführungsbeispielen kann auch ein anderer Farbraum verwendet werden, jedoch erweist sich der HSV-Farbraum für die Anwendung der Segmentierung von weißen Blutzellen als günstig. Zum Beispiel ist der Wechsel beim Übergang von Zellplasma
Das Ergebnis der Segmentierung
Das Zellplasma
Die Einfärbung des Zellkerns
Um die Rand-Kandidatenbildpunkte PN, PO, PS und PW zu identifizieren, wurde ein Wechsel von einem ersten Abschnitt zu einem zweiten Abschnitt des Farbraumes verwendet und dieser Wechsel entspricht dem deutlichen Abfall der Komponente F2 bei der gestrichelten Linie
Der Wegfindungsalgorithmus bestimmt den Pfad
In
Zusammenfassend kann das erfindungsgemäße Verfahren wie folgt beschrieben werden. Die Segmentierung von Zellkern
Insbesondere wird darauf hingewiesen, dass abhängig von den Gegebenheiten das erfindungsgemäße Schema auch in Software implementiert sein kann. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.In particular, it should be noted that, depending on the circumstances, the inventive scheme can also be implemented in software. The implementation may be on a digital storage medium, in particular a floppy disk or a CD with electronically readable control signals, which may interact with a programmable computer system such that the corresponding method is executed. In general, the invention thus also consists in a computer program product with program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer. In other words, the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.
Claims (21)
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102007013971A DE102007013971B4 (en) | 2007-03-23 | 2007-03-23 | Method and device for determining a cell contour of a cell |
EP08716633A EP2130174B1 (en) | 2007-03-23 | 2008-03-19 | Method and device for determining a cell contour of a cell |
ES08716633T ES2351430T3 (en) | 2007-03-23 | 2008-03-19 | PROCEDURE AND DEVICE FOR DETERMINING A CELLULAR CONTOUR OF A CELL. |
PCT/EP2008/002215 WO2008116589A1 (en) | 2007-03-23 | 2008-03-19 | Method and device for determining a cell contour of a cell |
AT08716633T ATE479965T1 (en) | 2007-03-23 | 2008-03-19 | METHOD AND DEVICE FOR DETERMINING A CELL CONTOUR OF A CELL |
US12/532,456 US20100040276A1 (en) | 2007-03-23 | 2008-03-19 | Method and apparatus for determining a cell contour of a cell |
DE502008001260T DE502008001260D1 (en) | 2007-03-23 | 2008-03-19 | METHOD AND DEVICE FOR DETERMINING A CELL CONTOUR OF A CELL |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102007013971A DE102007013971B4 (en) | 2007-03-23 | 2007-03-23 | Method and device for determining a cell contour of a cell |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102007013971A1 DE102007013971A1 (en) | 2008-09-25 |
DE102007013971B4 true DE102007013971B4 (en) | 2011-07-14 |
Family
ID=39523509
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102007013971A Expired - Fee Related DE102007013971B4 (en) | 2007-03-23 | 2007-03-23 | Method and device for determining a cell contour of a cell |
DE502008001260T Active DE502008001260D1 (en) | 2007-03-23 | 2008-03-19 | METHOD AND DEVICE FOR DETERMINING A CELL CONTOUR OF A CELL |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE502008001260T Active DE502008001260D1 (en) | 2007-03-23 | 2008-03-19 | METHOD AND DEVICE FOR DETERMINING A CELL CONTOUR OF A CELL |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100040276A1 (en) |
EP (1) | EP2130174B1 (en) |
AT (1) | ATE479965T1 (en) |
DE (2) | DE102007013971B4 (en) |
ES (1) | ES2351430T3 (en) |
WO (1) | WO2008116589A1 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7695277B1 (en) | 2004-10-28 | 2010-04-13 | Rmo, Inc. | Orthodontic bracket with frangible cover mechanism |
GB2477116B (en) * | 2010-01-22 | 2014-09-17 | Frederick Warwick Michael Stentiford | A method and apparatus of processing an image |
CA3048769A1 (en) | 2010-07-30 | 2012-02-02 | Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
JP5995215B2 (en) * | 2012-05-14 | 2016-09-21 | 学校法人東京理科大学 | Cancer cell region extraction apparatus, method, and program |
JP5413501B1 (en) * | 2012-12-07 | 2014-02-12 | 富士ゼロックス株式会社 | Image processing apparatus, image processing system, and program |
EP3708254A1 (en) | 2014-09-29 | 2020-09-16 | Biosurfit, S.A. | Cell counting |
CN104484877B (en) * | 2014-12-12 | 2017-08-15 | 山东大学 | A kind of AML cell segmentation methods clustered based on Meanshift with morphological operation |
JP7024231B2 (en) * | 2017-07-10 | 2022-02-24 | ソニーグループ株式会社 | Information processing equipment, information processing methods, programs and observation systems |
CN111095352B (en) * | 2017-08-04 | 2023-12-29 | 文塔纳医疗系统公司 | Automated method and system for detecting cells in stained sample images |
CN111429461B (en) * | 2019-01-09 | 2023-09-01 | 武汉兰丁智能医学股份有限公司 | Novel segmentation method for overlapped and exfoliated epithelial cells |
CN112132153B (en) * | 2020-09-22 | 2022-09-09 | 山东大学 | Tomato fruit identification method and system based on clustering and morphological processing |
CN113793336B (en) * | 2021-11-17 | 2022-03-11 | 成都西交智汇大数据科技有限公司 | Method, device and equipment for detecting blood cells and readable storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999052074A1 (en) * | 1998-04-03 | 1999-10-14 | The University Of Queensland | Method of unsupervised cell nuclei segmentation |
EP1775573A1 (en) * | 2005-10-13 | 2007-04-18 | Evotec Technologies GmbH | Method for detection of contours in biological cells |
EP1646964B1 (en) * | 2003-07-21 | 2007-08-22 | Cellavision AB | Method and arrangement for determining an object contour |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0503629D0 (en) * | 2005-02-22 | 2005-03-30 | Durand Technology Ltd | Method and apparatus for automated analysis of biological specimen |
-
2007
- 2007-03-23 DE DE102007013971A patent/DE102007013971B4/en not_active Expired - Fee Related
-
2008
- 2008-03-19 WO PCT/EP2008/002215 patent/WO2008116589A1/en active Application Filing
- 2008-03-19 DE DE502008001260T patent/DE502008001260D1/en active Active
- 2008-03-19 AT AT08716633T patent/ATE479965T1/en active
- 2008-03-19 ES ES08716633T patent/ES2351430T3/en active Active
- 2008-03-19 US US12/532,456 patent/US20100040276A1/en not_active Abandoned
- 2008-03-19 EP EP08716633A patent/EP2130174B1/en not_active Not-in-force
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999052074A1 (en) * | 1998-04-03 | 1999-10-14 | The University Of Queensland | Method of unsupervised cell nuclei segmentation |
EP1646964B1 (en) * | 2003-07-21 | 2007-08-22 | Cellavision AB | Method and arrangement for determining an object contour |
EP1775573A1 (en) * | 2005-10-13 | 2007-04-18 | Evotec Technologies GmbH | Method for detection of contours in biological cells |
Non-Patent Citations (9)
Title |
---|
Chen, S., Shih, T.Y.: "On the evaluation of edge preserving smoothing filter" Proc. of Geoinformatics. (2002) paper C43 * |
Cseke, I.: "A fast segmentation scheme for white blood cell images" 11th I-APR Int. Conf. On Pattern Recognition, Vol. III: Image, Speech & Signal Analysis. (1992) 530-533 * |
Jetzek F., Rahn C.-D., Dreschler-Fischer L.: "Ein geometrisches Modell für die Zellsegmentierung" Bildverarbeitung für die Medizin 2006, Algorithmen-Systeme-Anwendungen, Proceedings des Workshops vom 19. bis 21. März 2006 in Hamburg, Heinz Handels, Jan Ehrhardt, Alexander Horsch, Hans-Peter Meinzer und Thomas Tolxdorff(Hrsg.): Informatik aktuell, Springer Verlag * |
Jiang, K., Liao, Q.M., Xiong, Y.: "A novel white blood cell segmentation scheme based on feature space clustering" Soft Comput. 10 (2006) 12-19 * |
Liao, Q., Deng, Y.: "An accurate segmentation method for white blood cell images" IEEE Intl. Sym. on Biomedical Imaging, (2002) 245-248 * |
Mues-Hinterwäller S., Kuziela H., Grobe M., Wittenberg T.: "Detektion und berandungsgenaue Segmentierung von Erythrozyten" Bildverarbeitung für die Medizin 2005, Algorithmen-Systeme- Anwendungen, Proceedings des Workshops vom 13. bis 15. März 2005 in Heidelberg, Hans-Peter Meinzer, u.a. (Hrsg.): Informatik aktuell, Springer Verlag, Berlin 2005 * |
Ongun, G., Halici, U., Leblebicioglu, K., et al: "An automated differential blood count system" IEEE Eng. Med. and Biology Soc. 3 (2001) 2583-2586 * |
Ramoser, H., Laurain, V., Bischof, H., et al: "Leukocyte segmentation and classification in blood-smear images" IEEE Engineering Medicine and Biology Society (2005) 3371-3374 * |
Sethian, J.A.: "Levelset methods and fast emarching methods" Cambridge University Press (1999) * |
Also Published As
Publication number | Publication date |
---|---|
DE102007013971A1 (en) | 2008-09-25 |
EP2130174A1 (en) | 2009-12-09 |
DE502008001260D1 (en) | 2010-10-14 |
WO2008116589A1 (en) | 2008-10-02 |
ATE479965T1 (en) | 2010-09-15 |
US20100040276A1 (en) | 2010-02-18 |
ES2351430T3 (en) | 2011-02-04 |
EP2130174B1 (en) | 2010-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102007013971B4 (en) | Method and device for determining a cell contour of a cell | |
EP0014857B1 (en) | Method for the automatic marking of cells and for feature determination of cells from cytological smears | |
EP2188760B1 (en) | Method and apparatus for ascertaining a contour and a centre of an object | |
EP2400458B1 (en) | Method and device for segmenting biological cells in an image | |
AT503459B1 (en) | METHOD AND DEVICE FOR SEGMENTING AREAS | |
DE60127889T2 (en) | Method of detecting double images in an automatic album system | |
EP2656277B1 (en) | Device and method for determining objects in a colour photograph | |
EP1797533B1 (en) | Method and device for segmenting a digital representation of cells | |
DE60310267T2 (en) | MEASUREMENT OF MITOSE ACTIVITY | |
DE602004008471T2 (en) | METHOD AND ARRANGEMENT FOR DETERMINING AN OBJECT CONTOUR | |
WO2009121510A1 (en) | Method and device for the segmentation of a lesion | |
DE112019005143T5 (en) | SYSTEM FOR CO-REGISTRATION OF MEDICAL IMAGES USING A CLASSIFICATOR | |
EP2787485B1 (en) | Method and device for automatic detection of defects in flexible bodies | |
DE60026732T2 (en) | CELL LINES EXTRACTION PROCESS | |
WO2008034599A2 (en) | Method and device for image processing | |
EP2440920B1 (en) | Localizing a valid region of a blood smear | |
DE19754909C2 (en) | Method and device for acquiring and processing images of biological tissue | |
EP1381846B1 (en) | Method for analyzing a biological sample | |
DE112019004112T5 (en) | SYSTEM AND PROCEDURE FOR ANALYSIS OF MICROSCOPIC IMAGE DATA AND FOR GENERATING A NOTIFIED DATA SET FOR TRAINING THE CLASSIFICATORS | |
DE102005049017A1 (en) | Method for segmentation in an n-dimensional feature space and method for classification based on geometric properties of segmented objects in an n-dimensional data space | |
DE102010028382A1 (en) | Method for processing tomographic image data from X-ray computed tomography investigation of liver for recognition of liver tumor, involves performing iterative classification, and calculating image mask from last probability image | |
EP1154370A2 (en) | Automatic labelling of biological objects on the basis of dynamic colour analysis with subsequent size and shape analysis | |
DE19834718C2 (en) | Digital image processing for a quality control system | |
EP2113120B1 (en) | Device and method for adapting a mask image | |
AT511399B1 (en) | METHOD FOR THE AUTOMATED CLASSIFICATION OF INCLUSIONS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
R020 | Patent grant now final |
Effective date: 20111015 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20121002 |