DE602004008471T2 - Verfahren und anordnung zur bestimmung einer objektkontur - Google Patents

Verfahren und anordnung zur bestimmung einer objektkontur Download PDF

Info

Publication number
DE602004008471T2
DE602004008471T2 DE602004008471T DE602004008471T DE602004008471T2 DE 602004008471 T2 DE602004008471 T2 DE 602004008471T2 DE 602004008471 T DE602004008471 T DE 602004008471T DE 602004008471 T DE602004008471 T DE 602004008471T DE 602004008471 T2 DE602004008471 T2 DE 602004008471T2
Authority
DE
Germany
Prior art keywords
image
values
filter
linear combination
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE602004008471T
Other languages
English (en)
Other versions
DE602004008471D1 (de
Inventor
Adam Karlsson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cellavision AB
Original Assignee
Cellavision AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cellavision AB filed Critical Cellavision AB
Publication of DE602004008471D1 publication Critical patent/DE602004008471D1/de
Application granted granted Critical
Publication of DE602004008471T2 publication Critical patent/DE602004008471T2/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Description

  • Querverweis auf verwandte Anmeldung: Diese Anmeldung beansprucht den Nutzen der Schwedischen Patentanmeldung Nr. SE-0032114-4 , eingereicht am 21. Juli, 2003.
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen einer gesuchten Objektkontur in einem digitalen mikroskopischen Bild gemäß dem Oberbegriff von Anspruch 1. Die Erfindung betrifft des Weiteren eine entsprechende Anordnung gemäß dem Oberbegriff von Anspruch 5 sowie ein digitales Speichermedium, das ein entsprechendes Computerprogramm umfasst, gemäß dem Oberbegriff von Anspruch 6.
  • Hintergrund der Technik
  • Das menschliche Blut enthält rote Blutkörperchen, Blutplättchen und weiße Blutkörperchen. In medizinischen Anwendungen besteht oftmals ein Interesse an dem Klassifizieren der weißen Blutkörperchen in ungefähr zwanzig unterschiedliche Unterklassen und an dem Schätzen der Verteilung dieser Unterklassen bei den einzelnen Patienten. Herkömmlicherweise kann diese Klassifizierung auf eine arbeitsaufwändige Weise durch einen menschlichen Experten durchgeführt werden, der durch das Okular eines Hellfeldmikroskops schaut und dadurch das Blut, das auf einem Objektträger aufgebracht worden ist, analysiert. Die Klassifizierung kann auch, obgleich dabei eine Aufteilung in weniger Unterklassen durchführbar ist, in einem sogenannten Blutkörperchenzählgerät durchgeführt werden, durch das in einer sogenannten Messzelle verdünntes Blut Blutkörperchen für Blutkörperchen durch eine schmale Enge hindurchgeleitet wird. Während die Blutkörperchen durch die Messzelle hindurchgeleitet werden, werden Parameter, wie beispielsweise elektrische Impedanz und Lichtstreuung gemessen, die anschließend die Grundlage für die Klassifizierung des eigentlichen weißen Blutkörperchens, das durch das Blutkörperchenzählgerät durchgeführt wird, bilden.
  • Die Fortschritte bei der Bildanalyse in den letzten Jahren haben es möglich gemacht, automatische Hellfeldmikroskope herzustellen, die in der Lage sind, einen Blutausstrich nach weißen Blutkörperchen abzutasten, den Autofokus auf sie zu richten, autofokussierte Blutkörperchenbilder zu speichern, eine automatische Segmentierung der resultierenden Blutkörperchenbilder durchzuführen, sogenannte Merkmale für jedes segmentierte Blutkörperchenbild zu berechnen und schließlich jedes gefundene weiße Blutkörperchen auf Basis der Informationen in den berechneten Merkmalen zu klassifizieren.
  • Bei der Segmentierung handelt es sich um den Prozess des Unterteilens der Inhalte eines Bildes in unterschiedliche Bereiche. In dem Fall der weißen Blutkörperchen besteht das gewünschte Ergebnis darin, dass weiße Blutkörperchen in dem bildartigen Hintergrund von den anderen Objekten, den roten Blutkörperchen, den Blutplättchen, Abfall und natürlich von anderen weißen Blutkörperchen getrennt werden. Es kann des Weiteren auch wünschenswert sein, dass mit der Segmentierung der Zellkern des weißen Blutkörperchens von seinem Zytoplasma getrennt wird.
  • Der Hauptgrund für die Segmentierung der einzelnen Blutkörperchen und ihrer Bestandteile besteht darin, dass heutzutage keine Klassifizierungsverfahren verfügbar sind, die ausreichend gut und schnell genug ohne das Trennen von Bildinformationen, denen die Segmentierung entspricht, funktionieren.
  • Akzeptable Segmentierungsergebnisse können mitunter durch Verwendung einer sogenannten binären Schwellenwertoperation (thresholding) erhalten werden, was bedeutet, dass mit jedem Bildelement, auch Pixel genannt, in dem Blutkörperchenbild in Abhängigkeit davon umgegangen wird, ob seine Intensität oberhalb oder unterhalb einer Schwellenwert-Intensität liegt. Die Schwellenwertintensität kann lokal oder global, das heißt, konstant über das gesamte Bild, sein.
  • Ein scheinbarer Nachteil der binären Schwellenwertoperation besteht darin, dass die Objektkontur, die erhalten wird, empfindlich gegenüber dem Level der ausgewählten Schwellenwertintensität ist, so beispielsweise, wenn die Beleuchtungsbedingungen innerhalb eines Blutkörperchenbildes variieren. Zusätzlich dazu wird die Schwellenwertoperation ungeachtet von Form- oder sogenannten nicht-lokalen Informationen, das heißt, wie das Objekt in einiger Entfernung von der gesuchten Kontur erscheint, durchgeführt. Dementsprechend kann die Schwellenwertoperation das Ergebnis hervorbringen, dass angrenzende Objekte nicht getrennt sind, sondern als ein Objekt segmentiert werden oder dass ein Objekt mit einer ursprünglich glatten gerundeten Kontur nach der Segmentierung eine Zickzackkontur aufweist. Binäre Schwellenwertoperation kann darüber hinaus das Ergebnis hervorbringen, dass ein ursprünglich einzelnes Objekt als eine Vielzahl von Objekten segmentiert wird. Aus diesem Grund werden binäre Schwellenwertoperation und weiter ausgefeilte Verfahren zur Schwellenwertoperation oftmals lediglich als anfängliche Operationen in wirkungsvolleren Segmentierungsverfahren verwendet.
  • Sogenannte aktive Konturmodelle sind eine Klasse von Verfahren, die für ziemlich lange Zeit für die Segmentierung von Bildern angewendet worden sind. Bei der Verwendung der aktiven Konturmodelle wird die Kontur des Objektes über Bildelemente, die zu dem Objekt gehören, direkt anstatt indirekt bestimmt, wie dies unter Verwendung der Schwellenwertoperation durchgeführt wird. Sämtliche aktiven Konturmodelle verwenden eine Art von Kontur, die iterativ, während des Prozesses der Segmentierung, unter dem Einfluss von sogenannten inneren Kräften, die von der Kontur und ihrer Form stammen, und unter dem Einfluss von sogenannten äußeren Kräften, die von dem Bild und hauptsächlich von seinen Inhalten der Kanteninformationen stammen, geändert wird.
  • Ein Weg des Verbesserns der Kanteninformationen in Bildern besteht in dem Berechnen von sogenannten Gradientenbildern. Kurz gesagt bedeutet dies, dass Elemente in dem Bild, wobei die Intensität mit einem großen Maß an Entfernung entsprechend einiger weniger Elemente erhöht oder reduziert wird, entsprechend hohe Werte an den entsprechenden Bildelementpositionen in dem Gradientenbild erhalten. Kanten sind ein gutes Beispiel von Objekten, die Anlass für große Gradientenwerte geben. Die Gradientenbilder können anschließend nachbearbeitet werden, um isolierte hohe Werte zu entfernen, die wahrscheinlich durch Abfall oder kleine Einzelheiten verursacht worden sind, und um die langen Verbindungsstreifen hoher Werte zu verbessern, die wahrscheinlich durch Kanten des gesuchten Objektes und anderer Objekte verursacht worden sind. Im Folgenden wird ein Bild, in dem die Werte der Bildelemente aus einer Art von Gradientenwerten gebildet sind, Kantenbild genannt.
  • Die aktiven Konturmodelle können in zwei Gruppen unterteilt werden. Die erste Gruppe ist die Gruppe der geometrischen Modelle wie die Level-Set-Verfahren (Niveaumengenverfahren) und die Fast-Marching-Verfahren. Die Kontur wird durch die Menge an Bildelementen der Kontur dargestellt. Der Vorteil dieser Darstellung besteht darin, dass die Kontur beliebige Formen aufweisen kann. Die Iterationen umfassen Operationen an den Bildelementen der Kontur und ihren entsprechenden am nächsten liegenden Nachbarn. Da die Kontur beliebige Formen aufweisen kann, ist es relativ kompliziert und vom Rechenaufwand her umfangreich, sämtliche Bildelemente der Kontur, ihrer Nachbarn und ihrer relativen Positionen zueinander zu verwalten.
  • Die zweite Gruppe ist die Gruppe der parametrisierten Modelle wie „Snakes" (Schlangen), siehe dazu die Abhandlung „Snakes: Active contour models", im International Journal of Computer Vision 1(4): 321 bis 331, 1987, von Kass, Witkin och Terzopoulos. Eine Schlange ist ein parametrisiertes Konturmodell. Die Parameter in dem Modell können beispielsweise aus den Positionen der Ecken eines Vieleckes gebildet sein, oftmals ist das Modell jedoch weiter entwickelt und besteht beispielsweise aus verbundenen gebogenen Konturenelementen. Die inneren Kräfte bei der Snake (Schlange) streben nach einer glatten Kontur, wohingegen die äußeren Kräfte danach streben, dass die Kontur entlang vieler der Bildelemente vorbeiläuft, die Kanteninformationen enthalten. Während des Prozesses der Segmentierung iteriert ein auf Snakes basierender Algorithmus Position und Form der Schlange so lange, bis ein guter Kompromiss – wünschenswerterweise die passendste Kontur – zwischen den inneren und den äußeren Kräften gefunden wird. Durch Erhöhen des Einflusses der inneren Kräfte kann die Form des abschließenden Konturenschätzwertes mehr oder weniger auf kreisförmige Objekte begrenzt werden. Durch entsprechendes Erhöhen des Einflusses der äußeren Kräfte kann die Form der abschließenden Kontur eher unregelmäßig werden. Da die Schlange durch eine begrenzte Anzahl von Parametern dargestellt wird, sind ihre möglichen Formen begrenzt. Für weiße Blutkörperchen, die ziemlich regelmäßige Konturen aufweisen, stellt diese Begrenzung selten einen Nachteil dar. Im Gegenteil, es ist ein Vorteil, dass die Schlange selbst in jenen Fällen eine regelmäßige Kontur hat, in denen die Kontur des Objektes nur vage in dem Blutkörperchenbild gesehen wird und in denen demzufolge eine ziemliche Entfernung zwischen Bildelementen vorhanden ist, die Kanteninformationen haben. Zusätzlich dazu führt die begrenzte An zahl von Parametern dazu, dass der Rechenaufwand, der während der Iterationen erforderlich ist, im Vergleich zu dem bei einem geometrischen Modell geringer ist.
  • Wird die Schlange nahe bei der gesuchten Kontur begonnen, wird sie wahrscheinlich auf sichere Weise und mit einer kleinen Anzahl von Iterationen konvergieren. Solch ein Anfang kann für einen menschlichen Bediener einfach sein, ist aber unter Verwendung einer automatischen Bildanalyse schwer zu erreichen. Die automatische Segmentierung macht es dementsprechend erforderlich, dass die Schlange relativ weit von der gesuchten Objektkontur entfernt begonnen werden und dennoch auf sichere und schnelle Weise konvergieren kann. Diese Anforderung führt wiederum zu der Anforderung, dass die äußeren Kräfte der Schlange in der Lage sein müssen, die Schlange sogar korrekt von Bildelementen, die sich weit entfernt von der gesuchten Kontur befinden, zu führen. Um als eine Eingabe in eine Schlange einen Nutzen zu erreichen, sollten die äußeren Kräfte einfach für jedes Bildelement in dem ursprünglichen Bild in Richtung der Bildelemente mit einer größeren Menge an Kanteninformationen, das heißt, mit einer größeren Kantenähnlichkeit, zeigen. Dementsprechend ist es angebracht, den Ausdruck „Vektorkraftfeld" für die äußeren Kräfte als eine Funktion der Position in dem Blutkörperchenbild zu verwenden.
  • Eine bisher bekannte Art und Weise zum Erhalten eines Vektorkraftfeldes besteht darin, mit einem Kantenbild anzufangen, das Werte f(x, y) aufweist, die von der x- und der y-Koordinate des entsprechenden Bildelementes abhängen und die Differenzierungen von f(x, y) in Bezug auf x und y zu berechnen. Die Berechnungen der Differenzierungen können beispielsweise jeweils wie folgt definiert werden: f_x(x, y) = f(x + 1, y) – f(x – 1, y) (Glg. 1) und f_y(x, y) = f(x, y + 1) – f(x, y – 1) (Glg. 2)
  • Das erhaltene Vektorkraftfeld [f_x(x, y), f_y(x, y)] ist ein Beispiel eines äußeren Kraftfeldes. Der größte Nachteil eines solchen Vektorkraftfeldes besteht darin, dass die Menge an Kraft schnell abnimmt, wenn sich die Koordinaten (x, y) von jenen Punkten wegbewegen, die ein Kantenbild f(x, y) aufweisen, das von Null abweicht. Dementsprechend funktioniert ein solches Vektorkraftfeld nicht sehr gut, wenn die Schlange von einer Entfernung aus begonnen wird, die relativ weit von der gesuchten Objektkontur liegt.
  • Eine bisher bekannte Art und Weise des Verbesserns der Fähigkeit des Vektors, bei einer Entfernung zu agieren, besteht in dem Verwischen des Kantenbildes vor oder nach dem Berechnen der Differenzierungen mit beispielsweise einem zweidimensionalen Gaußschen Filter, dies kann jedoch zu anderen Problemen führen, wie beispielsweise dem, dass Einzelheiten dann weniger zu sehen sind.
  • Das Gradient-Vector-Flow-Verfahren ist ein bisher bekanntes Verfahren, mit dem ein statisches äußeres Vektorkraftfeld, ein sogenanntes GVF-Feld (Gradient Vector Flow Field – Gradienten-Vektorfluss-Feld) erhalten wird, das auf Basis einer Differenzierung berechnet wird, die für ein Kantenbild, das Informationen zu der gesuchten Objektkontur enthält, berechnet wird. (Siehe dazu beispielsweise die Doktorarbeit „Segmentation of Histopathological Tissue Sections Using Gradient Vector Flow Snakes", Centre for Mathematical Sciences, Lund University and Lund Institute of Technology, 18. März 2002, von Adam Karlsson, oder das ursprüngliche Referenzdokument „Gradient vector flow: A new external force for snakes, in IEEE Proceedings an Computer Vision and Pattern Recognition, Puerto Rico, Seiten 66 bis 71, 1997, von Xu och Prince).
  • Ein GVF-Feld erfüllt die Anforderung, dass es ein äußeres Vektorkraftfeld ist, das die Schlange auch bei großen geometrischen Entfernungen von der gesuchten Kontur in die korrekte Richtung führt. Eine Schlange, die ein GVF-Feld verwendet, wird im Folgenden als eine GVF-Schlange bezeichnet. Anschließend wird das GVF-Feld einmal pro Segmentierung berechnet – und zwar am Anfang davon. Solche Segmentierungsverfahren sind bisher bekannte Verfahren, siehe dazu „Snakes, Shapes, and Gradient Vector Flow” von Xu. C. und Prince, J., in IEEE Transactions an Image Processing, Seiten 359 bis 369, Bnd. 7, Nr. 3, März, 1998.
  • In der voranstehend erwähnten Doktorarbeit von Adam Karlsson wird des Weiteren ein schneller Weg des Iterierens der Parameter der Schlange beschrieben, das heißt, wie die Position und die Form der Schlange auf Basis des GVF-Feldes iteriert werden. In der Doktorarbeit wird herausgestellt, dass die zeitliche Leistung einer GVF-Schlange, die diesen schnellen Weg des Iterierens der Parameter verwendet, durch die Zeit begrenzt wird, die erforderlich ist, um das GVF-Feld zu berechnen.
  • Der herkömmliche Weg des Berechnens des GVF-Feldes nach Xu och Prince umfasst das iterative Lösen von: μΔu – (u – f_x)(f_x2 + f_y2) = 0 (Gig. 3) und μΔv – (v – f_x)(f_x2 + f_y2) = 0 (Gig. 4),wobei Δ der sogenannte Laplace-Operator ist – eine Art zweidimensionaler Differenzierungsoperator zweiter Ordnung – und wobei μ ein Parameter ist, der in Abhängigkeit von der Anwendung, das heißt, welche Art von Objekt es ist und in welcher Umgebung sie vorhanden sind, möglicherweise abgestimmt werden muss.
  • Die Berechnung des GVF-Feldes bedeutet, dass ein Vektorkraftfeld [f_x(x, y), f_y(x, y)] mit einer begrenzten Fähigkeit, bei einer Entfernung zu agieren, in einem anderen Vektorkraftfeld – dem GVF-Feld, [u(x, y), v(x, y)] mit einer verbesserten Fähigkeit, bei einer Entfernung zu agieren, resultiert, ohne dass dabei Einzelheiten verloren gehen. Die Eingabe bei der Berechnung kann als zwei Bilder erachtet werden, jeweils f_x und f_y, und die Ausgabe der Berechnung kann als zwei andere Bilder erachtet werden, jeweils u und v.
  • Das Lösen der Gleichungssysteme 3 und 4 erfordert eine beachtliche Menge an Iterationen, um ein konvergiertes Ergebnis zu erhalten. Wenn der Bereich von Interesse in dem ursprünglichen Bild die Größe von m mal n Pixeln hat, enthält jedes der Gleichungssysteme 3 und 4 m mal n Gleichungen, was bedeutet, dass genauso viele Unbekannte vorhanden sind, was für Bilder ohne Weiteres in zehntausend Unbekannten resultiert, die während einer jeden Iteration aktualisiert werden müssten.
  • Es ist nicht ungewöhnlich, dass der herkömmliche Weg des Berechnens des GVF-Feldes mit einem 1 GHz-PC-Prozessor mehrere Zehntelsekunden pro Blutkörperchenbild in Anspruch nimmt. Für eine Analyse von 200 weißen Blutkörperchen entspricht dies einer Gesamtsegmentierungszeit von nahezu einer Minute, was die Leistung der verfügbaren Hellfeldmikroskope einschränkt, es sei denn, es wird eine zusätzliche teure Hardware hinzugefügt.
  • Zusammenfassung der Erfindung
  • Es ist eine Aufgabe der vorliegenden Erfindung, die voranstehend beschriebenen Probleme vollständig oder zum Teil zu lösen.
  • Diese Aufgabe wird durch ein Verfahren zum Bestimmen einer gesuchten Objektkontur in einem digitalen mikroskopischen Bild gemäß Anspruch 1, durch eine entsprechende Anordnung gemäß Anspruch 5 und ein digitales Speichermedium, das ein Computerprogramm gemäß Anspruch 6 umfasst, gelöst.
  • Genauer gesagt, betrifft die Erfindung in Übereinstimmung mit einem ersten Aspekt ein Verfahren zum Bestimmen, unter Verwendung eines aktiven Konturmodells, einer gesuchten Objektkontur in einem digitalen mikroskopischen Bild, das eine Vielzahl von Bildelementen enthält, die biologisches Material darstellen. Dieses Verfahren ist charakterisiert durch die Schritte des Zuordnens von Kantenwerten zu wenigstens einer ersten Teilmenge der Bildelemente in dem Bild; des Zuordnens von Werten einer ersten Gradientenvektor-Komponente, deren Werte jeder eine erste Linearkombination von Kantenwerten einiger angrenzender Bildelemente umfassen, zu wenigstens einer zweiten Teilmenge der Bildelemente in dem Bild, wobei die erste Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer Richtung der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht; des Zuordnens von Werten einer zweiten Gradientenvektoren-Komponente, deren Werte jeder eine zweite Linearkombination von Kantenwerten einiger angrenzender Bildelemente umfassen, zu wenigstens einer dritten Teilmenge der Bildelemente in dem Bild, wobei die zweite Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer anderen Richtung in der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht; und des Berechnens eines Schätzwertes der gesuchten Objektkontur auf Basis von Werten der ersten und der zweiten Gradientenvektor-Komponenten.
  • Es hat sich herausgestellt, dass ein solches Verfahren in einem schnell berechneten annäherndem GVF-Feld resultiert, das im Folgenden als AGVF-Feld bezeichnet wird. Die Berechnung des AGVF-Feldes wird so durchgeführt, dass, obgleich das resultierende AGVF-Feld bis zu einem gewissen Grad von dem herkömmlichen GVF-Feld abweicht, die Segmentierungsergebnisse für die weißen Blutkörperchen anscheinend unbeeinträchtigt bleiben. Unter Verwendung eines Verfahrens in Übereinstimmung mit der Erfindung kann die Zeit für die Verwendung von Schlangen mit der GVF-Leistung in der Segmentierung auf diese Weise beachtlich verkürzt werden. Die vorliegende Erfindung macht es auf diese Weise möglich, eine verbesserte Segmentierung in auf dem Markt erhältlichen automatischen Abtastmikroskopen für die Analyse von weißen Blutkörperchen anzuwenden.
  • Für andere Anwendungen als die für weiße Blutkörperchen kann das AGVF in seiner vorliegenden Form oder als ein Mittel zur Beschleunigung, beispielsweise durch Überspringen der anfänglichen Iterationen in einem herkömmlichen GVF-Verfahren verwendet werden.
  • In Übereinstimmung mit einem zweiten Aspekt betrifft die Erfindung eine Vorrichtung zum Bestimmen, unter Verwendung des aktiven Konturmodells, einer gesuchten Objektkontur in einem digitalen mikroskopischen Bild, das eine Vielzahl von Bildelementen enthält, die biologisches Material darstellen. Die Vorrichtung ist charakterisiert durch eine Einrichtung zum Zuordnen von Kantenwerten zu wenigstens einer ersten Teilmenge der Bildelemente in dem Bild; eine Einrichtung zum Zuordnen von Werten einer ersten Gradientenvektoren-Komponente, deren Werte jeder eine ersten Linearkombination von Kantenwerten einiger angrenzender Bildelemente umfassen, zu wenigstens einer zweiten Teilmenge der Bildelemente in dem Bild, wobei die erste Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer Richtung der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht; eine Einrichtung zum Zuordnen von Werten einer zweiten Gradientenvektoren-Komponente, deren Werte jeder eine zweite Linearkombination der Kantenwerte einiger angrenzender Bildelemente umfassen, zu wenigstens einer dritten Teilmenge der Bildelemente in dem Bild, wobei die zweite Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer anderen Richtung der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht; und eine Einrichtung zum Berechnen eines Schätzwertes der gesuchten Objektkontur auf Basis von Werten der ersten und der zweiten Gradientenvektoren-Komponenten.
  • Die Vorrichtung bietet Vorteile, die jenen des Verfahrens entsprechen, und sie kann auch auf ähnliche Weise variiert werden.
  • In Übereinstimmung mit einem dritten Aspekt betrifft die Erfindung ein digitales Speichermedium, das ein Computerprogramm umfasst, zum Bestimmen, unter Verwendung eines aktiven Konturmodells, einer gesuchten Objektstruktur in einem digitalen mikroskopischen Bild, das eine Vielzahl von Bildelementen umfasst, die biologisches Material darstellen. Das Speichermedium ist gekennzeichnet durch Befehle, die den Schritten des Zuordnens von Kantenwerten zu wenigstens einer ersten Teilmenge der Bildelemente in dem Bild; des Zuordnens von Werten einer ersten Gradientenvektor-Komponente, deren Werte jeder eine erste Linearkombination von Kantenwerten einiger angrenzender Bildelemente umfassen, zu wenigstens einer zweiten Teilmenge der Bildelemente in dem Bild, wobei die erste Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer Richtung der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht; des Zuordnens von Werten einer zweiten Gradientenvektor-Komponente, deren Werte jeder eine zweite Linearkombination der Kantenwerte einiger angrenzender Bildelemente umfassen, zu wenigstens einer dritten Teilmenge der Bildelemente in dem Bild, wobei die zweite Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer anderen Richtung in der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht; und des Berechnens eines Schätzwertes der gesuchten Objektkontur auf Basis von Werten der ersten und der zweiten Gradientenvektor-Komponenten entsprechen.
  • Das Computerprogramm bietet Vorteile, die jenen des Verfahrens entsprechen, und sie kann auch auf ähnliche Weise abgewandelt werden.
  • Kurze Beschreibung der Zeichnungen
  • Die 1a und 1b zeigen ein digitales Graustufenbild eines weißen Blutkörperchens, das von dem Hintergrund, roten Blutkörperchen und einem Blutplättchen umgeben ist. Das Bild ist ein Beispiel von dem, was unter einem Blutkörperchenbild verstanden wird.
  • 2 zeigt eine vorläufige Schwellenwertoperation des Zellkerns des weißen Blutkörperchens.
  • 3 zeigt ein Kantenbild, in dem die dunkelsten Bereiche mögliche Blutkörperchenkonturen sind, und die hellsten Bereiche sind so, dass sie aller Wahrscheinlichkeit nach keine Blutkörperchenkonturen sind.
  • 4 zeigt, mit Pfeilen, ein von dem Kantenbild erhaltenes annäherndes GVF-Feld, das zum Vergleich über 3 aufgelegt wurde.
  • 5 zeigt eine mögliche Samenkontur für eine Schlange – nämlich die sogenannte konvexe Hülle des in 2 dargestellten Schwellenwertoperation unterzogenen Blutkörperchen-Zellkerns.
  • 6 zeigt die geschätzte Objektkontur, wenn die Segmentierung mit dem Zytoplasma abgeschlossen ist, das heißt, die Blutkörperchenkontur.
  • 7 zeigt die geschätzte Blutkörperchenkontur aus 6 zusammen mit der geschätzten Kontur des Blutkörperchen-Zellkerns.
  • Die 8a und 8b zeigen eine Anordnung in Übereinstimmung mit der Erfindung.
  • 9 ist ein Ablaufplan eines Verfahren in Übereinstimmung mit der vorliegenden Erfindung.
  • Beschreibung der bevorzugten Ausführungsformen
  • Ein weißes Blutkörperchen besteht, aus der Perspektive der Segmentierung betrachtet, aus zwei Bestandteilen – dem Zellkern des Blutkörperchens 22 und dem angrenzenden Zytoplasma 21. Die Ergebnisse der Segmentierung der Bestandteile hängen bis zu einem gewissen Grad voneinander ab:
    Damit es gelingt, die Grenze zwischen Zytoplasma und dem Hintergrund unter Verwendung der automatischen Bildanalyse trotz des Vorhandenseins von angrenzenden Blutkörperchen, die in 1 mit R und T gekennzeichnet sind, zu finden, ist es von Nutzen, wenn die Schlange ausgehend von einer sogenannten Samenkontur, die sich vollständig im Inneren des Blutkörperchens befindet, begonnen werden kann. Dementsprechend ist es wünschenswert, Zugriff auf einen Schätzwert, beispielsweise eine Segmentierung des Blutkörperchen-Zellkerns, als eine sogenannte Samenkontur für die Schlange zu haben.
  • Um die Segmentierung des Blutkörperchen-Zellkerns zu vereinfachen, ist es im Gegensatz dazu gut, Zugriff auf ein Bild zu haben, in dem lediglich Zytoplasma und der Zellkern übrig sind – das heißt, ein Bild, in dem das Blutkörperchen bereits vom Hintergrund und den angrenzenden Blutkörperchen segmentiert ist. Um einen iterativen Prozess zu vermeiden, wird in einer bevorzugten Ausführungsform eine vorläufige Segmentierung, siehe 2, des Blutkörperchen-Zellkerns verwendet. Diese Segmentierung ist für ihren Zweck ausreichend gut.
  • In einer bevorzugten Ausführungsform wird eine Anzahl von Teiloperationen beginnend mit einem ursprünglichen Blutkörperchenbild, das, wie das in 1 dargestellte Bild, die weißen Blutkörperchen enthält, deren Kontur und Blutkörperchen-Zellkern gesucht werden, durchgeführt. 8b zeigt eine Übersicht dazu, wie diese Teiloperationen zueinander in Bezug stehen können.
  • VORLÄUFIGE SEGMENTIERUNG DES BLUTKÖRPERCHEN-ZELLKERNS
  • Während der Teiloperation, die der Nummer 83 entspricht, wird eine vorläufige Segmentierung des Blutkörperchen-Zellkerns berechnet, um eine Samenkontur für eine Schlan- Schlange zu erzielen. 2 zeigt das Ergebnis einer solchen vorläufigen Segmentierung. Diese vorläufige Segmentierung wird unter Verwendung von Verfahren binärer Schwellenwertoperationen durchgeführt, die vorzugsweise an der grünen Farbkomponente des ursprünglichen Blutkörperchenbildes oder möglicherweise an einer gewichteten Kombination aus grüner und blauer Farbkomponente arbeiten.
  • BERECHNUNG DES KANTENBILDES
  • In der Teiloperation, die der Nummer 84 entspricht, werden die Werte eines Kantenbildes beispielsweise durch eine Gradientenoperation gefolgt von einer Verarbeitung, die nur die stärksten Kanten in dem Bild verbleiben lässt, berechnet. Siehe dazu die dunkelsten Bereiche in 3.
  • In dem Kantenbild wird es bevorzugt, den vorläufigen Blutkörperchen-Zellkern als eine „Anti"-Kante mit negativen Werten seiner Kantenbildelemente einzubringen – siehe dazu die hellsten Bereiche in 3. Dadurch hat das Kantenbild, wenn das AGVF-Feld berechnet worden ist, die Informationen hinzugefügt, dass sich die gesuchte Blutkörperchenkontur außerhalb des Blutkörperchen-Zellkerns befindet.
  • In einer bevorzugten Ausführungsform ist das Kantenbild trinär, das heißt, seine Elemente haben drei mögliche Werte, einen Wert für die Kante (1), einen Wert für den Blutkörperchen-Zellkern (–1) und einen Wert für Anderes (0). Es ist darüber hinaus auch möglich, dass sich die Kantenwerte und die Werte des Blutkörperchen-Zellkerns individuell von den Werten des Anderen (0) unterscheiden.
  • Es ist nicht erforderlich, die Inhalte des Kantenbildes für alle Bildelemente des Blutkörperchenbildes zu berechnen. Es ist ausreichend, die Inhalte in den angrenzenden Bereichen des vorläufig segmentierten Blutkörperchen-Zellkerns zu berechnen, wobei die angrenzenden Bereiche groß genug sind, um auf sichere Weise ein weißes Blutkörperchen aufzunehmen. Durch den Verzicht des Arbeitens mit einem unnötig großen Kantenbild kommt es zu einer Reduzierung der erforderlichen Berechnungen – insbesondere während der Berechnung des AGVF-Feldes.
  • Vorzugsweise wird ein quadratisches Kantenbild ausgesucht, mit Seitenlängen, die einer Potenz von 2 Bildelementen entsprechen, da die im Folgenden erwähnten Fourier-Transformationen für eine solche Seitenlänge unter Verwendung der gut bekannten Fast Fourier Transformation, FFT, am effektivsten berechnet werden. Solch ein quadratisches Kantenbild ist ein Beispiel einer ersten Teilmenge aus Bildelementen.
  • BESTIMMUNG DES SNAKE-SAMEN
  • In der Teiloperation der Nummer 85 wird unter Verwendung von Daten aus einer Teiloperation, die der Nummer 83 entspricht, als Eingabe, eine Berechnung einer Samenkontur durchgeführt. Für die Segmentierung von weißen Blutkörperchen wird vorzugsweise die sogenannte konvexe Hülle des vorläufig segmentierten Blutkörperchen-Zellkerns verwendet. Mit der Bezeichnung "konvexe Hülle" ist eine Menge an Bildelementen mit einer konvexen Kontur, die all die Bildelemente des vorläufig segmentierten Blutkörperchen-Zellkerns enthält, gemeint. Siehe dazu 5.
  • BERECHNUNG DER KOMPONENTEN DES AGVF-FELDES
  • In der Teiloperation der Nummer 86 werden die Werte für die Komponenten des AGVF-Feldes unter Verwendung des Kantenbildes aus einer Teiloperation, die der Nummer 84 entspricht, als Eingabe, berechnet. Die Berechnungen können unter Verwendung von wenigstens zwei Verfahren, die jeweils einem Prinzip entsprechen, durchgeführt werden.
  • In Übereinstimmung mit dem ersten Verfahren wird das Kantenbild zuerst differenziert, was vorzugsweise in Übereinstimmung mit den voranstehend angeführten Gleichungen 1 und 2 ausgeführt wird.
  • Anschließend wird die Haupt-AGVF-Berechnung durchgeführt. In Übereinstimmung mit der Erfindung wird das AGVF-Feld durch Ibsen der folgenden Gleichungen durchgeführt: μΔu – (u – f_x)·1 = 0 (Glg. 5) und μΔv – (v – f_y)·1 = 0 (Glg. 6),wobei Δ der sogenannte Laplace-Operator ist – eine Art zweidimensionaler Differenzierungsoperator zweiter Ordnung, der vorzugsweise durch zweidimensionale Filterung mit der folgenden 3 mal 3 Matrix berechnet wird:
    Figure 00150001
  • Die Gleichungen 5 und 6 können anschließend wie folgt umgestellt werden: (μL – 1)*u = –f_x (Glg. 7), und (μL – 1)*v = –f_y (Glg. 8),wobei das Symbol * eine sogenannte Faltungsoperation der 3 mal 3 Matrix (μL – 1) und der jeweils m mal n Bilder u und v bedeutet. Die Inhalte der 3 mal 3 Matrix ist dementsprechend eine gewichtete Kombination eines Laplace-Filters und eines Einheitsfilters. Dieses Umstellen ist der Schlüssel zu der Geschwindigkeit in dem vorliegenden AGVF-Verfahren. Es ist eine gut bekannte Tatsache, dass während einer Fourier-Transformation die Faltungsoperation durch eine elementenweise Multiplikation ersetzt wird und umgekehrt.
  • Solch ein Umstellen ist mit dem herkömmlichen GVF-Verfahren aufgrund der Tatsache nicht möglich, dass der Faktor (f_x2 + f_y2), der über das Bild hinweg variiert, in den Gleichungen 3 und 4 vorhanden ist.
  • Unter Verwendung der Fast Fourier Transformation, FFT, können die Gleichungen 7 und 8 schnell gelöst werden. Die Komponenten u und v des AGVF-Feldes können explizit über die folgenden Gleichungen erhalten werden: u = –F-1[F(f_x)./F(μL – 1)] (Glg. 9) und v = –F-1[F(f_y)./F(μL – 1)] (Glg. 10) und,wobei F die zweidimensionale Diskrete Fourier Transformation bezeichnet, F-1 bezeichnet die entsprechende Fourier Transformation, und ./ bezeichnet die elementenweise Division in der Frequenzebene.
  • So lange wie μ konstant ist, wird weder F(μL – 1) noch 1./F(μL – 1) variieren, was dazu führt, dass das gesamte Teilergebnis 1./F(μL – 1) gespeichert werden kann, um die Berechnungen sogar noch weiter zu beschleunigen.
  • Geeignete Werte von μ können in dem Bereich von 10 bis 30 liegen. Welche Werte die besten Werte sind, hängt von den gesuchten Objekten ab, der Vergrößerung des Objektivs, der Größe des Blutkörperchens, der Pixelgröße der Kamera, und so weiter. Es wird empfohlen, μ durch Experimentieren mit einer Anzahl von Blutkörperchen unter manueller Aufsicht der Segmentierung auszuwählen.
  • Wie dies anhand der Gleichungen 9 und 10 gesehen werden kann, sind die Berechnungen von u und v lineare Operationen an jeweils f_x und f_y, welche wiederum aus den linearen Differenzierungsoperationen an f hervorgehen. Dementsprechend ist es möglich, in Übereinstimmung mit einem zweiten möglichen Berechnungsverfahren, für solche Kantenbilder, in denen die numerische Stabilität dies zulässt, die Reihenfolge der Differenzierung und der Filterung zu ändern und 50 % der Berechnungen für die Fourier Transformations-Operationen einzusparen. Solch ein Verfahren zum Berechnen von AGVF besteht aus den folgenden Operationen: w = –F-1[F(f)./F(μL – 1)] (Gig. 11), u_w(x, y) = w(x + 1, y) – w(x – 1, y) (Gig. 12) und v_w(x, y) = w(x, y + 1) – w(x, y – 1) (Gig. 13),wobei die Symbole u_w und v_w ausgewählt worden sind, um zu unterstreichen, dass die zwei Komponenten des AGVF_Feldes in diesem Fall anhand eines gemeinsamen Filterungsergebnisses, w, berechnet worden sind.
  • Da der Laplace-Operator eine bestimmte geometrische Breite aufweist, ist es nicht offensichtlich, dass die Komponenten des AGVF-Feldes den gesamten Weg bis zu den Grenzen des Kantenbildes nützlich oder selbst gültig sind. Als Folge können die zweite und die dritte Teilmenge der Bildelemente, die nützliche Werte der AGVF-Feld-Komponenten erhalten, bis zu einem gewissen Grad kleiner sein als die erste Teilmenge.
  • Es ist nicht erforderlich, ein orthogonales Koordinatensystem x und y, weder in dem mikroskopischen Bild noch in dem Kantenbild oder in dem AGVF-Feld zu verwenden, es macht die Berechnungen jedoch einfacher.
  • In einer bevorzugten Ausführungsform wird darüber hinaus eine Normalisierung der elementenweisen Größenordnung des AGVF-Feldes durchgeführt, siehe dazu das Feld in 4. Solch eine Normalisierung zielt auf das Verbessern der Richtung des äußeren Vektorkraftfeldes ab, bei dem es sich um die wichtigsten Informationen für den Snake-Algorithmus handelt.
  • BERECHNUNG DES SCHÄTZWERTES DER GESUCHTEN BLUTKÖRPERCHENKONTUR
  • In der Teiloperation, die der Nummer 87 entspricht, wird die gesuchte Blutkörperchenkontur auf Basis einer Samenkontur aus einer Teiloperation, die der Nummer 85 entspricht und des AGVF-Feldes, das aus einer Teiloperation, die der Nummer 86 entspricht, hervorgeht, geschätzt. Der Schätzwert wird vorzugsweise unter Verwendung einer Schlange, das heißt, unter Verwendung eines parametrisierten Konturmodells, wie das, das in der voranstehend erwähnten Doktorarbeit beschrieben ist, berechnet. Siehe dazu 6.
  • BERECHNUNG DER ABSCHLIEßENDEN SEGMENTIERUNG DES BLUTKÖRPERCHEN-ZELLKERNS
  • In der Teiloperation mit der Nummer 88 wird, wenn dies erforderlich ist, ein Schätzwert der abschließenden Kontur des Blutkörperchen-Zellkerns berechnet.
  • Dies kann mit Hilfe eines Verfahrens durchgeführt werden, das auf Basis der geschätzten Blutkörperchenkontur aus einer Teiloperation, die der Nummer 87 entspricht, funktioniert. Siehe dazu 6. Ein möglicher Weg besteht darin, eine lineare Transformation aus den drei Farbkomponenten des Blutkörperchenbildes zu zwei transformierten Farbkomponenten zusammen mit einer Grenze in der Ebene der zwei transformierten Farbkomponenten zu verwenden. Die Transformation und die Grenze sind vorzugsweise zu einem früheren Zeitpunkt durch Experimente mit manuell segmentierten Blutkörperchen bestimmt worden, wobei die Transformation ebenso wie die Grenze optimiert worden sind, um auf optimale Weise Zytoplasmaelemente und Zellkernelemente in ihre korrekten Klassen zu klassifizieren. Die Experimente müssen möglicherweise für jeden neuen Typ des Färbens der weißen Blutkörperchen erneut durchgeführt werden. Ein anderes mögliches Verfahren besteht darin, dass die Teiloperation die Transformation und/oder die Grenze adaptiv ändert, um Variationen beim Färben zu verfolgen, indem die räumliche Homogenität der Bildelemente, die einer jeden Klasse zugewiesen worden sind, maximiert wird.
  • ERGEBNISSE DER SEGMENTIERUNG
  • Die Segmentierungsergebnisse von einer Teiloperation, die der Nummer 89 entspricht, bestehen aus der Blutkörperchenkontur, der Kontur des Blutkörperchen-Zellkerns und dem Blutkörperchenbild. Durch Anwenden der Konturen kann das gesamte Blutkörperchen oder das getrennte Zytoplasma und der getrennte Blutkörperchen-Zellkern als segmentiertes Bild erhalten werden.
  • 8a zeigt ein System mit einer Anordnung in Übereinstimmung mit der Erfindung. Das System umfasst ein digitales Mikroskop 81, das mit einem Computersystem 82 verbunden ist. Das digitale Mikroskop 81 stellt dem Computersystem 82 digitale mikroskopische Bilder in Grauskala oder in Farbe bereit. Eine bestimmte Menge an digitaler Verarbeitung der digitalen Bilder kann vor ihrer Bereitstellung zu dem Computersystem 82 erfolgen. Das Computersystem 82 kann in dem Mikroskop 81 integriert sein.
  • Das Computersystem 82 umfasst eine Einrichtung 83 bis 89 zum Durchführen der Schritte, die in dem voranstehend beschriebenen Segmentierungsverfahren enthalten sind.
  • Es ist eine Einrichtung 83 zum Auswählen, aus einem digitalen Bild, einer Menge an Bildelementen, bei denen es sich wahrscheinlich um Blutkörperchen-Zellkern-Elemente handelt, enthalten. Die Ausgabe dieser Einrichtung ist ein Anzeichen für die Elemente, die in dem Bild ausgewählt worden sind, siehe dazu 2.
  • Des Weiteren ist eine Einrichtung 84 enthalten, die, auf Basis des digitalen Blutkörperchenbildes und auf Basis der Ausgabe von Einrichtung 83 Kantenwerte für eine Menge von Bildelementen berechnet, die wenigstens die Bildelemente umfasst, die durch die Einrichtung 83 ausgewählt wurden. Die Ausgabe dieser Einrichtung ist ein Kantenbild, siehe dazu 3.
  • Des Weiteren ist eine Einrichtung 85 enthalten, die, auf Basis der Ausgabe der Einrichtung 83, eine zweite Kontur bestimmt. Die Ausgabe dieser Einrichtung ist die Samenkontur, siehe dazu 5.
  • Die Ausgabe der Einrichtung 84 wird der Einrichtung 86 zugeführt, die, für die Bildelemente, die in dem Kantenbild enthalten sind, die Werte der Komponenten in einem annähernden GVF-Feld berechnet. Die Ausgabe der Einrichtung 86 sind die Werte der zwei Komponenten in dem AGVF-Feld.
  • Die Ausgaben der Einrichtungen 85 und 86 werden einer Einrichtung 97 bereitgestellt, die, mit Hilfe eines Snake-Verfahrens, die Objektkontur schätzt, bei der es sich gleichzeitig um die Ausgabe der Einrichtung handelt.
  • Unter Verwendung der Einrichtung 88 kann ein abschließender Schätzwert des Blutkörperchen-Zellkerns auf Basis des digitalen Blutkörperchenbildes, der Ausgabe der Einrichtung 87 und einer Farbtransformation und einer Grenze bestimmt werden, wobei die zwei letztgenannten fixiert sind oder adaptiv verändert werden. Die Ausgabe der Einrichtung 88 besteht aus dem geschätzten Blutkörperchen-Zellkern.
  • Die Einrichtung 89 ist in der Lage, auf Basis des digitalen Blutkörperchenbildes und der Ausgabe der Einrichtungen 87 und 88, Teilbilder des Blutkörperchens, des Zytoplasmas und des Blutkörperchen-Zellkerns zu erzeugen. Die Ausgabe besteht aus Teilbildern, die in den weiteren Operationen der Bildanalyse, wie beispielsweise Merkmalsberechnung und Klassifizierung unter Verwendung von künstlichen Nervennetzwerken weiter analysiert werden können.
  • Die Einrichtungen 83 bis 89, die voranstehend erwähnt worden sind, können im Allgemeinen aus dem Computersystem, das mit einem Computerprogramm zum Durchführen der Schritte in dem Verfahren ausgestattet ist, bestehen. Dieses Computerprogramm kann separat auf einem digitalen Speichermedium gespeichert sein. Es ist jedoch auch möglich, wenigstens einige der voranstehend beschriebenen Einrichtungen in Hardware zu implementieren, so beispielsweise in ASIC-Schaltungen (Application Specific Integrated Circuits – Anwendungsspezifische Integrierte Schaltung) oder in FPGA-Schaltungen (Field Programmed Gate Array – programmierbarer integrierter Schaltkreis).
  • Es ist darüber hinaus auch möglich, Berechungen verteilt durchzuführen. Das Segmentierungsverfahren muss nicht am Ort des Mikroskops durchgeführt werden. Das gesamte Verfahren oder Teile davon können in einem Internet-Server durchgeführt werden, der sich in einer Entfernung zum Mikroskop befindet.
  • 9 zeigt einen Ablaufplan für ein Verfahren 90 in Übereinstimmung mit der Erfindung, zum Bestimmen eines gesuchten Objektes in einem digitalen Bild.
  • In einem ersten Schritt 91 werden die Werte der Elemente in einem Kantenbild bestimmt.
  • In einem zweiten Schritt 92 werden die Werte der Komponenten eines AGVF-Feldes bestimmt.
  • In einem dritten Schritt 93 wird eine Samenkontur bestimmt.
  • In einem vierten Schritt 94 wird die gesuchte Kontur, vorzugsweise unter Verwendung einer Snake, auf Basis der Werte des AGVF-Feldes und der Samenkontur bestimmt.
  • Die Erfindung ist auch für andere Anwendungen als das Segmentieren von weißen Blutkörperchen, wie beispielsweise für das Segmentieren eines einzelnen Zellkerns in histophathologischen Gewebeproben nützlich.

Claims (6)

  1. Verfahren zum Bestimmen, unter Verwendung eines aktiven Konturmodells, einer gesuchten Objektkontur in einem digitalen mikroskopischen Bild, das eine Vielzahl von Bildelementen enthält, die biologisches Material darstellen, wobei wenigstens einer ersten Teilmenge der Bildelemente in dem Bild Kantenwerte (91) zugeordnet werden, gekennzeichnet durch die folgenden Schritte: – Zuordnen von Werten einer ersten Gradientenvektor-Komponente (92), deren Werte jeder eine erste Linearkombination von Kantenwerten einiger angrenzender Bildelemente umfassen, zu wenigstens einer zweiten Teilmenge der Bildelemente in dem Bild, wobei die erste Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer Richtung der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht, – Zuordnen von Werten einer zweiten Gradientenvektor-Komponente (92), deren Werte jeder eine zweite Linearkombination von Kantenwerten einiger angrenzender Bildelemente umfassen, zu wenigstens einer dritten Teilmenge der Bildelemente in dem Bild, wobei die zweite Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer anderen Richtung in der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht, – Berechnen eines Schätzwertes (94) der gesuchten Objektkontur auf Basis von Werten der ersten und der zweiten Gradientenvektor-Komponenten.
  2. Verfahren nach Anspruch 1, wobei die erste und die zweite Linearkombination unter Verwendung von Fourier-Transformation berechnet werden.
  3. Vorrichtung zum Bestimmen, unter Verwendung eines aktiven Konturmodells, einer gesuchten Objektkontur in einem digitalen mikroskopischen Bild, das eine Vielzahl von Bildelementen enthält, die biologisches Material darstellen, mit einer Einrichtung zum Zuordnen von Kantenwerten (84) zu wenigstens einer ersten Teilmenge der Bildelemente in dem Bild, und gekennzeichnet durch: – eine Einrichtung zum Zuordnen von Werten einer ersten Gradientenvektor-Komponente (86), deren Werte jeder eine erste Linearkombination von Kantenwerten einiger angrenzender Bildelemente umfassen, zu wenigstens einer zweiten Teilmenge der Bildelemente in dem Bild, wobei die erste Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer Richtung der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3-Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht, – eine Einrichtung zum Zuordnen von Werten einer zweiten Gradientenvektor-Komponente (86), deren Werte jeder eine zweite Linearkombination der Kantenwerte einiger angrenzender Bildelemente umfassen, zu wenigstens einer dritten Teilmenge der Bildelemente in dem Bild, wobei die zweite Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer anderen Richtung in der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht, – eine Einrichtung zum Berechnen eines Schätzwertes (87) der gesuchten Objektkontur auf Basis von Werten der ersten und der zweiten Gradientvektor-Komponenten.
  4. Vorrichtung nach Anspruch 3, wobei die erste und die zweite Linearkombination eingerichtet sind, um unter Verwendung von Fourier-Transformation berechnet zu werden.
  5. Digitales Speichermedium, das umfasst: ein Computerprogramm zum Bestimmen, unter Verwendung eines aktiven Konturmodells, einer gesuchten Objektstruktur in einem digitalen mikroskopischen Bild, das eine Vielzahl von Bildelementen um fasst, die biologisches Material darstellen, mit Befehlen, die dem Schritt des Zuordnens von Kantenwerten (91) zu wenigstens einer ersten Teilmenge der Bildelemente in dem Bild entsprechen, und gekennzeichnet ist durch: – Zuordnen von Werten einer ersten Gradientenvektor-Komponente (92), deren Werte jeder eine erste Linearkombination von Kantenwerten einiger angrenzender Bildelemente umfassen, zu wenigstens einer zweiten Teilmenge der Bildelemente in dem Bild, wobei die erste Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer Richtung der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht, – Zuordnen von Werten einer zweiten Gradientenvektor-Komponente (92), deren Werte jeder eine zweite Linearkombination der Kantenwerte einiger angrenzender Bildelemente umfassen, zu wenigstens einer dritten Teilmenge der Bildelemente in dem Bild, wobei die zweite Linearkombination in beliebiger Reihenfolge einer Differenzierung in einer anderen Richtung in der Bildebene und einer Filterung in der Bildebene mit der Umkehrung eines 3 × 3 Filters entspricht, wobei das Filter einer Filterung mit einer gewichteten Kombination eines Laplace-Filters und eines Einheitsfilters entspricht, – Berechnen eines Schätzwertes (94) der gesuchten Objektkontur auf Basis von Werten der ersten und der zweiten Gradientvektor-Komponenten.
  6. Digitales Speichermedium nach Anspruch 5, wobei die erste und die zweite Linearkombination eingerichtet sind, um unter Verwendung von Fourier-Transformation berechnet zu werden.
DE602004008471T 2003-07-21 2004-07-21 Verfahren und anordnung zur bestimmung einer objektkontur Active DE602004008471T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE0302114A SE0302114D0 (sv) 2003-07-21 2003-07-21 Sätt att urskilja en objektkontur
SE0302114 2003-07-21
PCT/SE2004/001147 WO2005008569A1 (en) 2003-07-21 2004-07-21 Method and arrangement for determining an object contour

Publications (2)

Publication Number Publication Date
DE602004008471D1 DE602004008471D1 (de) 2007-10-04
DE602004008471T2 true DE602004008471T2 (de) 2008-05-15

Family

ID=27786648

Family Applications (1)

Application Number Title Priority Date Filing Date
DE602004008471T Active DE602004008471T2 (de) 2003-07-21 2004-07-21 Verfahren und anordnung zur bestimmung einer objektkontur

Country Status (6)

Country Link
US (1) US7450762B2 (de)
EP (1) EP1646964B1 (de)
AT (1) ATE371223T1 (de)
DE (1) DE602004008471T2 (de)
SE (1) SE0302114D0 (de)
WO (1) WO2005008569A1 (de)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099580A1 (ja) * 2007-02-13 2008-08-21 Nec Corporation 細胞特徴量算出装置および細胞特徴量算出方法
DE102007013971B4 (de) * 2007-03-23 2011-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., 80686 Verfahren und Vorrichtung zur Ermittlung einer Zellkontur einer Zelle
AT505631B1 (de) * 2007-06-28 2009-03-15 Advanced Comp Vision Gmbh Acv Verfahren zur extraktion von kanten
US7936913B2 (en) * 2007-08-07 2011-05-03 Nextslide Imaging Llc Network image review in clinical hematology
US8064679B2 (en) * 2007-12-27 2011-11-22 Cytyc Corporation Targeted edge detection method and apparatus for cytological image processing applications
JP5466825B2 (ja) * 2008-01-23 2014-04-09 シスメックス株式会社 細胞画像処理システム、細胞画像表示システムおよび細胞画像表示方法
JP5301232B2 (ja) * 2008-09-30 2013-09-25 シスメックス株式会社 血球画像表示装置、検体分析システム、血球画像表示方法、及びコンピュータプログラム
GB2478593B (en) * 2010-03-12 2017-05-31 Inst For Medical Informatics Optimising the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
US9522396B2 (en) 2010-12-29 2016-12-20 S.D. Sight Diagnostics Ltd. Apparatus and method for automatic detection of pathogens
JP5333570B2 (ja) * 2011-12-21 2013-11-06 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
WO2013098821A1 (en) 2011-12-29 2013-07-04 Parasight Ltd. Methods and systems for detecting a pathogen in a biological sample
EP2999988A4 (de) 2013-05-23 2017-01-11 S.D. Sight Diagnostics Ltd. Verfahren und system zur bildgebung einer zellprobe
IL227276A0 (en) 2013-07-01 2014-03-06 Parasight Ltd A method and system for obtaining a monolayer of cells, for use specifically for diagnosis
EP3039477B1 (de) 2013-08-26 2021-10-20 S.D. Sight Diagnostics Ltd. Digitale mikroskopiesysteme, verfahren und computerprogrammprodukte
WO2016030897A1 (en) 2014-08-27 2016-03-03 S.D. Sight Diagnostics Ltd System and method for calculating focus variation for a digital microscope
CN108474934B (zh) 2015-09-17 2022-01-18 思迪赛特诊断有限公司 用于检测身体样本中实体的方法和设备
CA3018536A1 (en) 2016-03-30 2017-10-05 S.D. Sight Diagnostics Ltd Distinguishing between blood sample components
US11099175B2 (en) 2016-05-11 2021-08-24 S.D. Sight Diagnostics Ltd. Performing optical measurements on a sample
EP4177593A1 (de) 2016-05-11 2023-05-10 S.D. Sight Diagnostics Ltd. Probenträger für optische messungen
CN107492088B (zh) * 2016-06-11 2020-12-04 青岛华晶生物技术有限公司 一种妇科显微图像中白细胞自动识别与统计方法
WO2019097387A1 (en) 2017-11-14 2019-05-23 S.D. Sight Diagnostics Ltd Sample carrier for optical measurements
JP7063680B2 (ja) * 2018-03-29 2022-05-09 住友化学株式会社 画像処理装置、異物検査装置、画像処理方法、および異物検査方法
EP3836020A1 (de) * 2019-12-12 2021-06-16 National Cheng Kung University Verfahren zur bestimmung des zellkern-zytoplasma-verhältnisses

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982161A (en) * 1989-08-24 1991-01-01 North American Philips Corporation Multimode magnetic resonance fast imaging method
EP0610916A3 (de) * 1993-02-09 1994-10-12 Cedars Sinai Medical Center Verfahren und Vorrichtung zur Erzeugung vorzugsweiser segmentierter numerischer Bilder.
US20020186874A1 (en) * 1994-09-07 2002-12-12 Jeffrey H. Price Method and means for image segmentation in fluorescence scanning cytometry
US6356649B2 (en) * 1997-04-11 2002-03-12 Arete Associate, Inc. “Systems and methods with identity verification by streamlined comparison and interpretation of fingerprints and the like”
EP1301894B1 (de) * 2000-04-24 2009-06-24 International Remote Imaging Systems, Inc. Vorrichtung und verfahren zur bildlichen darstellung mittels eines multineuralen netzes
US7054367B2 (en) * 2001-12-31 2006-05-30 Emc Corporation Edge detection based on variable-length codes of block coded video

Also Published As

Publication number Publication date
US20060274946A1 (en) 2006-12-07
ATE371223T1 (de) 2007-09-15
US7450762B2 (en) 2008-11-11
EP1646964B1 (de) 2007-08-22
WO2005008569A1 (en) 2005-01-27
SE0302114D0 (sv) 2003-07-21
EP1646964A1 (de) 2006-04-19
DE602004008471D1 (de) 2007-10-04

Similar Documents

Publication Publication Date Title
DE602004008471T2 (de) Verfahren und anordnung zur bestimmung einer objektkontur
EP0014857B1 (de) Verfahren zum automatischen Markieren von Zellen und zur Bestimmung der Merkmale von Zellen aus zytologischen Abstrichpräparaten
DE19747415C2 (de) Verfahren zur Unterstützung eines Betrachters bei der Durchmusterung einer Probe und zytologisches Probenanalysiersystem
DE69630935T2 (de) Bilverarbeitungsverfahren und -vorrichtung zur automatischen Erfassung von Bereichen eines vorbestimmten Krebstyps in einem Intensitätsbild
EP2284795A2 (de) Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen
AT503459B1 (de) Verfahren und einrichtung zur segmentierung von bereichen
DE102016100101A1 (de) System zum maschinellen sehen und analytisches verfahren zur segmentierung planarer oberflächen
EP2130174B1 (de) Verfahren und vorrichtung zur ermittlung einer zellkontur einer zelle
DE10296836T5 (de) System zur Modellierung statischer und dynamischer dreidimensioner anatomischer Strukturen durch 3D-Modelle
EP2188760A1 (de) Verfahren und vorrichtung zum ermitteln einer kontur und eines mittelpunktes eines objekts
DE60310267T2 (de) Messung der mitoseaktivität
EP2400458B1 (de) Verfahren und Vorrichtung zur Segmentierung von biologischen Zellen in einer Aufnahme
WO2007042553A1 (de) Verfahren zur detektion von konturen in bildern biologischer zellen
WO2005122092A1 (de) Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen
DE60313662T2 (de) Histologische bewertung des nuklearpleomorphismus
DE112019005143T5 (de) System zur co-registrierung medizinischer bilder unter verwendung eines klassifikators
WO2019166361A1 (de) Verfahren zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten, computerprogrammprodukt, computerlesbares medium, auf dem das computerprogrammprodukt gespeichert ist, und system zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten
DE60026732T2 (de) Zellenreihen-extraktionsverfahren
DE102005049017B4 (de) Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum
DE102015205502A1 (de) Bildverarbeitungsverfahren und Bildverarbeitungssystem zum Extrahieren verzerrter kreisförmiger Bildelemente
DE102021128523A1 (de) Hierarchische bildzerlegung zur defekterkennung
DE19930598A1 (de) Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen
DE60302191T2 (de) Ermittlung der Schräglage von Dokumentenbildern
DE60206927T2 (de) Verfahren zur verarbeitung von numerischen bildern, insbesondere satellitenbildern
DE102021114287A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder

Legal Events

Date Code Title Description
8364 No opposition during term of opposition