DE69126839T2

DE69126839T2 - Automatisches zellenklassifikationssystem und verfahren

Info

Publication number: DE69126839T2
Application number: DE69126839T
Authority: DE
Inventors: Thomas L. Pasadena Ca 91101 Hall; Mark R. Monsey Ny 10952 Rutenberg
Original assignee: Neuromedical Systems Inc
Current assignee: Autocyte North Carolina Burlington Nc LLC
Priority date: 1990-03-30
Filing date: 1991-03-28
Publication date: 1997-11-20
Anticipated expiration: 2011-03-29
Also published as: ATE155592T1; AU7668191A; DK0479977T3; WO1991015826A1; EP0479977A1; DE69126839D1; ES2104699T3; HK1001010A1; SG49766A1; CA2064571A1; EP0479977B1; GR3025052T3; CA2064571C; EP0479977A4

Description

Diese Erfindung betrifft die Zellenklassifizierung und insbesondere, aber nicht ausschließlich ein System zur Erhöhung der Geschwindigkeit und der Genauigkeit der Analyse von zervikalen Abstrichen.
Die oftmals als Pap-Test bezeichnete Untersuchung eines zervikalen Abstriches ist eine zytologische Mengenaussonderungsuntersuchung, welche gegenwärtig die einzelne Sichtüberprüfung durch eine Person von mehr oder weniger etwa 100.000 Zellen auf einem typischen Objektträger erforderlich macht. Der Test leidet daher an einer hohen Falsch-Negativrate wegen der Langeweile und der Ermüdung, die mit dem Erfordernis erschöpfender Suche verbunden sind.
Veranlaßt durch das erkennbare wirtschaftliche Potential in bezug auf die automatisierte Analyse von zervikalen Abstrichen wurden bisher einige Versuche in dieser Richtung unternommen. Diese Versuche haben sich zumindest teilweise als erfolglos herausgestellt, weil sie sich nicht auf sich überlappende Zellen, wie man sie typischerweise in dem Pap-Abstrich findet, einstellen konnten. Um die durch sich überlappende Zellen erzeugten Klassifizierungsprobleme zu umgehen, wurden spezielle "Monoschicht-Präparate" zubereitet. Ein Monoschicht-Präparat ist ein speziell zubereiteter Abstrich, in welchem die zervikalen Zellen zentrifugiert und gefiltert werden, so daß sich nur eine einzige Schicht aus Zellen ergibt. Neben schwerwiegenden Problemen der Zellenkonservierung und Zellenbeförderung schließen die Kosten und die bei der Monoschicht-Präparat aufzuwendende Zeit ihren Gebrauch als ein Populationsaussonderungsersatz für den Pap-Abstrich aus.
Selbst wenn auf die nicht-überlappenden Zellenbilder beschränkt, die durch das Einzelschicht-Präparat bereitgestellt wurden, waren die Versuche bei automatisierter zytologischer Klassifizierung nach dem Stand der Technik nicht in der Lage, zervikale Abstrichbilder auch nur annähernd in der Zeit manueller Verarbeitung zu verarbeiten. Viele dieser Versuche automatisierter zytologischer Klassifizierung beruhten auf Merkmalsgewinnungsalgorithmen, welche versuchen, ein Merkmal innerhalb des Bildes auszuwählen und zu messen, z.B. die Form des Zellkerns. Merkmalsgewinnungsalgorithmen versagten wegen der Unfähigkeit, das Bild in die Bestandteile zu unterteilen, die Messung erfordern. Man kann zum Beispiel nicht die Kerngröße messen, wenn nicht das Bild unterteilt ist, so daß die Zellkerne identifiziert werden. Schablonenanpassung, bei welcher ein konkretes Bild (kein mathematischer Wert) mit gespeicherten Beispielsbildern verglichen wird, war auch nicht erfolgreich, da sie berechnungsintensiv ist und die unendliche Vielzahl an möglichen Pap-Abstrichbildern oder Szenen eine übergroße Anzahl an Beispielsbildvergleichen erfordern würde. Der Unterschied zwischen der Merkmalsgewinnung und der Schablonenanpassung wird in der Aufzeichnung von Collings auf den Seiten 1 bis 5 umrissen, während Bildunterteilungstechniken in Kapitel 7 der Aufzeichnung von Gonzalez beschrieben werden.
Ein Beispiel der Beschränkungen nach dem Stand der Technik kann in der Druckschrift von 1987 mit dem Titel "Automated Cervical Screen Classification" von Tien et al, weiter unten gekennzeichnet, gefunden werden.
Hintergrund-Druckschriften von Interesse sind folgende:
Rumelhart, David E. und McClelland, James L., "Parallel Distributed Processing" MIT Press, 1986, Band 1,
Tien, D. et al, "Automated Cervical Smear Classification", Veröffentlichungen der IEEE/Neunte Jahreskonferenz der Engineering in Medicine and Bology Society, 1987, Seite 1457-1458,
Hecht-Nielsen, Robert, "Neurocomputing: Picking the Human Brain", IEEE-Spektrum, März 1988, Seiten 36-41, und
Lippmann, Richard P., "An Introduction to Computing with Neuronal Nets", IEEE ASSP Magazine, April 1987, Seiten 4-22.
Unsere veröffentlichte Europäische Patentanmeldung EP-A-O 336 608 beschreibt ein Verfahren und eine Vorrichtung zum Klassifizieren einer zytologischen Probe gemäß den Oberbegriffen von Anspruch 1 bzw. Anspruch 10.
In Analytical and Quantitative Cytology, Band 4, Nr. 4, Dezember 1982, Seite 279-285, beschreiben N. TANAKA et al unter dem Titel "CYBEST Model 3 Automated Cytological Screening System for Uterine Cancer Utilizing Image Analysis Processing" eine zytologische Klassifiziereinrichtung, welche die völlig automatisierte Analyse zervikaler Abstriche versucht. Die Klassifiziereinrichtung folgert für jede Probe, ob die Probe "normal", "verdächtig" oder "zurückzuweisen" ist. Auch nimmt die Klassifiziereinrichtung für jede Probe eine von 19 Einstufungen vor (wirksame Kategorisierungen), die zwischen + 1 und - 1 rangieren, welche den Grad an Untypischkeit der Probe, bestimmt anhand einer statistischen Berechnung, anzeigen.
In Clinical Chemistry, Band 31, Nr.9, Juni 1985 beschreiben Deindoerfer et al unter dem Titel "The yellow iris urinalysis workstation - the first commercial application of automated intelligent microscopy" ein automatisiertes Urinalysesystem, bei welchem Sediment-Teilchen im Urin automatisch in vorbestimmte Einstufungen einsortiert werden, die von der Größe her (auf der Basis der größten Ausmaße) mit Typen, Epithelzellen, Leukozyten, Erythrozyten, etc. übereinstimmen.
Das US-Patent Nr. US-A-4 805 225 beschreibt ein Allzweck- Mustererkennungsverfahren.
Die US-A- 4 700 298 beschreibt ein Bildabtastsystem, bei welchem ein automatisiertes Mikroskop die Position spezieller Zellen in einer Lebendkultur unter Verwendung von Merkmalsgewinnungsverfahren entdeckt und ihnen nachsteuert.
Die Britische Patentanmeldung Nr. GB-A-2 093 586 beschreibt eine vollautomatisierte Analyseeinrichtung für rote Blutzellen, welche im Hinblick auf eine vorgegebene Probe eine Zählung der Anzahl an Zellen verschiedener Formen bereitstellt und aus der Verteilung schlußfolgert, ob die Probe normal ist oder bestimmte Blutmängel oder Krankheiten anzeigt.
In der Toshiba Review (Internationale Ausgabe), Nr. 100, Nov-Dez. 1975, auf den Seiten 6-63, beschreiben Y. MASATO et al unter dem Titel "CYBEST-Automated Pap Smear Prescreener" weiter die vollautomatisierte zytologische Klassifiziereinrichtung, die in der oben zitierten Veröffentlichung von TANAKA et al herausgestellt wurde.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zur Klassifizierung einer zytologischen Probe hinsichtlich der Anwesenheit vorbösartiger oder bösartiger Zellen mit den Stufen bereitgestellt, in denen man
a) eine digitale Darstellung wenigstens eines Teils der Probe erzeugt und
b) eine Klassifizierung einzelner Objekte in der digitalen Darstellung auf Computerbasis als eine Funktion der optischen und/oder morphologischen Eigenschaften der Objekte als wahrscheinlich vorbösartige oder bösartige Zellen durchführt,
dadurch gekennzeichnet, daß die Stufe der Klassifizierung auf Computerbasis einschließt, daß man einzelnen Objekten einen Wert zuweist, der Bereich von Werten liegt, welche die Wahrscheinlichkeit anzeigen, daß eine solche Klassifizierung angibt, daß jedes betreffende Objekt eine vorbösartige oder bösartige Zelle ist, und daß das Verfahren die weiteren Stufen einschließt, in denen man
c) mit Hilfe eines Prozessors die einzelnen Objekte in einer Reihenfolge als eine Funktion des jedem Objekt zugeteilten Wertes einstuft und für eine Darstellung mehrerer der Objekte gemäß der Reihenfolge auswählt, wobei die mehreren ausgewählten Objekte weniger als die Anzahl der eingestuften Objekte sind, und
d) Bilder der ausgewählten Objekte zur Betrachtung und weiteren Klassifizierung durch einen Bediener wiedergibt.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird eine Vorrichtung zum Klassifizieren einer zytologischen Probe hinsichtlich der Anwesenheit vorbösartiger oder bösartiger Zellen mit
einer Kamera, um ein Bild wenigstens eines Teils einer zytologischen Probe zu erhalten,
einer Einrichtung zur Erzeugung einer digitalen Darstellung des Bildes und
einer Klassifiziereinrichtung auf Computerbasis zum Klassifizieren einzelner Objekte in der digitalen Darstellung als eine Funktion der optischen und/oder morphologischen Eigenschaften der Objekte als wahrscheinlich vorbösartige oder bösartige Zellen, dadurch gekennzeichnet, daß die Klassifiziereinrichtung auf Computerbasis so arbeitet, daß sie einzelnen Objekten einen Wert zuteilt, der in einem Bereich von Werten liegt, die die Wahrscheinlichkeit anzeigen, daß eine solche Klassifizierung anzeigt, daß jedes betreffende Objekt eine vorbösartige oder bösartige Zelle ist, und daß die Vorrichtung
einen Prozessor zum Einstufen der einzelnen Objekte in einer Reihenfolge als eine Funktion der jedem Objekt zugeteiltzen Werte und Auswählen mehrerer der Objekte gemäß der Reihenfolge für eine Wiedergabe, wobei die mehreren ausgewählten Objekte weniger als die Anzahl der eingestuften Objekte sind, und
eine Wiedergabeeinrichtung zur Wiedergabe von Bildern der ausgewählten Objekte zur Betrachtung und weiteren Klassifizierung durch einen Bediener einschließt, bereitgestellt.
Die Erfindung stellt auf diese Weise eine halbautomatisierte Klassifizierungsvorrichtung von zytologischen Proben und ein Verfahren bereit, bei denen ein Teil des Zellenklassifizierungsvorgangs (die Betrachtung und weitere Klassifizierung der wiedergegebenen Bilder) von einem Menschen durchgeführt wird.
Der hier verwendete Begriff "halbautomatisiert" bedeutet, daß ein Teil des Verfahrens automatisiert ist und ein Teil des Verfahrens von einer Person ausgeführt wird.
Kurz gesagt, schließt die Erfindung gemäß einer Ausführungsform eine Anfangs- Klassifiziereinrichtung (manchmal als eine primäre Klassifiziereinrichtung bezeichnet), zum vorbereitenden Klassifizieren einer zytologischen Probe und eine anschließende Klassifiziereinrichtung (manchmal als eine sekundäre Klassifiziereinrichtung bezeichnet) ein, um diejenigen Abschnitte der zytologischen Probe zu klassifizieren, die von der Anfangs-Klassifiziereinrichtung für die anschließende Klassifizierung ausgewählt wurden.
Gemäß einer Ausführungsform schließt die Erfindung eine Anfangs-Klassifiziereinrichtung (manchmal als eine primäre Klassifiziereinrichtung bezeichnet), zum vorbereitenden Klassifizieren einer zytologischen Probe, eine Anschluß-Klassifiziereinrichtung (manchmal als eine sekundäre Klassifiziereinrichtung bezeichnet) zum Klassifizieren derjenigen Abschnitte der zytologischen Probe, die von der Anfangs-Klassifiziereinrichtung für die anschließende Klassifizierung ausgewählt wurde und eine tertiäre (durch einen Menschen durchgeführte) Klassifizierung ein, um Eigenschaften der Abschnitte der zytologischen Proben zu bestimmen oder sie zu klassifizieren, die von der Anschluß-Klassifiziereinrichtung für weitere Klassifizierung ausgewählt werden.
Bei einer Ausführungsform erfüllt die primäre Klassifiziereinrichtung eine Aussonderungsfunktion nach morphologischer Eigenschaft auf niedrigem Niveau auf dem gesamten Bild, während die sekundäre Klassifiziereinrichtung eine Musteranpassungs-Identifikation auf hohem Niveau auf den Bildern durchführt, die nicht von der primären Klassifiziereinrichtung ausgesondert wurden.
Bei einer Ausführungsform der Erfindung klassifiziert die primäre Klassifiziereinrichtung Proben nach Größenordnungen und einheitlicher optischer Dichte.
Bei einer Ausführungsform ist die sekundäre Klassifiziereinrichtung ein Nervennetz.
Bei einer Ausführungsform ist die sekundäre Klassifiziereinrichtung ein Neuronalnetz.
Bei einer Ausführungsform führt die vorliegende Erfindung seine Klassifizierung einer Gruppe von Proben innerhalb eines Zeitraums durch, der typischerweise für diese Aufgabe durch vorsichtiges Aussondern von Hand (d.h. ungefähr sechs Minuten/Probe) verbraucht wird oder schneller ist.
Bei einer Ausführungsform führt die vorliegende Erfindung ihre Klassifizierung an zytologischen Proben durch, welche die Anzahl und Typen von Objekten enthält, die anders als einzelne interessierende Zellschichten sind, die typischerweise in zervikalen Pap-Abstrichen gefunden werden (z.B. Zellklumpen, überlappende Zellen, Bruchstücke, Klumpen aus Leukozyten, Bakterien, Schleim).
Bei einer Ausführungsform führt die vorliegende Erfindung die oben beschriebene Klassifizierung an zervikalen Abstrichen zur Feststellung von vorbösartigen und bösartigen Zellen durch.
Bei einer Ausführungsform gibt die vorliegende Erfindung, z.B. auf einem Monitor oder einem anderen Wiedergabemedium, Zellen wieder, die an einer oder mehreren Beispielszellen mit kennzeichnenden Eigenschaften einer bestimmten Zellenklassifizierung, wie etwa großen dunklen Kernen für bösartige oder vorbösartige Zellen, anliegen oder nahe daran sind, um durch Vergleich das Zellenaussondern durch eine Person zu erleichtern.
Bei einer Ausführungsform führt die vorliegende Erfindung ihre Klassifizierung mit kleineren Falsch-Negativ-Fehlerraten durch als denen, die sich typischerweise bei der herkömmlichen zervikalen Abstrichaussonderung von Hand finden.
Bei einer Ausführungsform wird die Klassifizierung der vorliegenden Erfindung zytologischer Proben in medizinisch bedeutsame diagnostische Kategorien zuverlässiger sein, d.h. geringere Falsch-Negativ-Fehlerraten haben als vorhandene Verfahren.
Bei einer Ausführungsform erfordert das zytologische Klassifizierungsystem der vorliegenden Erfindung keine Modifizierung des Verfahrens, durch welches zelluläre Proben von dem Patienten erlangt werden, d.h. es werden Standard-Pap-Abstriche für seine Eingabe verwendet.
Bei einer Ausführungsform wird das zytologische Klassifizierungssystem der vorliegenden Erfindung eine zuverlässige Klassifizierung innerhalb der Verarbeitungszeitbeschränkungen erlauben, die einen wirtschaftlich brauchbaren Betrieb erlauben.
Bei einer Ausführungsform der Erfindung wird die Klassifizierung einer zytologischen Probe durch eine Person vorgenommen, und es kann dann die anschließende automatisierte (oder halb-automatisierte) Klassifizierung der ausgewählten Proben, wie etwa die, die zuerst als negativ von dieser Person bemerkt wurden, oder, wenn gewünscht, aller Proben, durchgeführt werden.
Bei einer Ausführungsform wird ein automatisierter Probenüberführmechanismus bereitgestellt, um zytologische Proben zwsichen einer Lagprimärelle und einer Untersuchungsstelle zu transportieren.
Bei einer Ausführungsform der Erfindung markiert ein Markiersystem ausgewählte Bereiche einer zytologischen Probe, an welcher vorbeschriebene Eigenschaften auftauchen, wobei dieses Markieren entweder automatisch, halbautomatisch oder manuell erfolgt.
Bei einer Ausführungsform der Erfindung wird die Klassifizierung einer zytologischen Probe genehmigt, wenn eine genehmigte Feststellung mit der Probe verbunden wird, und eine solche Klassifizierung kann verhindert werden, wenn eine derartige genehmigte Feststellung nicht gefunden wurde.
Bei einer Ausführungsform der Erfindung werden Verbesserungen an einem automatisierten Mikroskop bereitgestellt, einschließlich zum Beispiel einer oder mehrerer Brennpunktregelungen, der Lichtintensitätsregelung, der Postionierregelung und des Wechsels der Linsen- oder Objektivvergrößerung.
Diese und andere Vorteile und Merkmale der Ausführungsformen der vorliegenden Erfindung werden den Fachleuten klar, nachdem sie die folgende detaillierte Beschreibung der bevorzugten Ausführungsform gelesen haben.
Es ist anzumerken, daß die hier zitierten veröffentlichten Artikel unter besonderer Bezugnahme eingearbeitet wurden.
Darüber hinaus ist hier anzumerken, daß die Erfindung größtenteils in bezug auf die Klassifizierung zytologischer Proben in Form eines zervikalen Abstrichs beschrieben wird, wie es typischerweise in Verbindung mit dem Pap-Test gemacht wird. Es liegt aber auf der Hand, daß dies nur eine Beispiel der Anwendung der Prinzipien der Erfindung ist, welche auch dazu verwendet werden kann, andere zytologische Proben zu klassifizieren.
In den anhängenden Zeichnungen
ist Figur 1A eine schematische Darstellung eines die Erfindung verkörpernden automatisierten Klassifizierungssystems für zytologische Proben,
ist Figur 1B eine schematische Darstellung der automatisierten Fein-Brennpunktregelung des Systems von Figur 1A,
ist Figur 2 ein Blockdiagramm einer automatisierten Aussonderungsvorrichtung für zytologische Proben gemäß der vorliegenden Erfindung mit besonderer Betonung der Klassifizierungsbestandteile,
geben die Figuren 3A und 3B ein schematisches Fließbild in Kurzschriftdarstellung des Klassifizierungsverfahrens von Objekten während eines beispielhaften Betriebs der Erfindung wieder,
ist Figur 4 eine Blockdiagrammdarstellung des durch die Vorrichtung von Figur 1 verwendeten Zellklassifizierungsverfahrens,
ist Figur 5 ein Blockdiagramm einer Klassifizierung eines Objektträgers mit pathologischen Zellen, und
ist Figur 6 ein Blockdiagramm einer Klassifizierung eines Objektträgers mit 50 pathologischen Zellen.

Beschreibung der bevorzugten und anderer Ausführungsformen

Unter Bezugnahme auf die Zeichnungen, in welchen gleiche Bezugsziffern gleiche Gegenstände bezeichnen, und insbesondere auf Figur 1A, wird eine automatisierte Aussonderungsvorrichtung oder ein System zur Klassifizierung (manchmal als Aussonderung bezeichnet) von zytologischen Proben 10 auf Basis eines Neuronal netzes gemäß der vorliegenden Erfindung erläutert. Die Aussonderungsvorrichtung 10 schließt ein automatisiertes Mikroskopsystem 12, eine Kamera 14, einen Strichmarkierungsleser 16, eine Objektträger-Markiereinrichtung 18 und ein Computerverarbeitungssystem 20 ein.
Kurz gesagt, wird die Aussonderungsvorrichtung 10 dazu verwendet, zytologische Proben zu klassifizieren, in der bevorzugten Ausführungsform zu bestimmen und/oder bestimmen zu helfen, ob eine zytologische Probe, die auf einem Objektträger S (oder auf einem oder mehreren anderen Haltern, Behältern etc.) enthalten ist, Eigenschaften oder Merkmale von Interesse einschließt. Beispielhafte Eigenschaften sind solche, die bösartige oder vorbösartige Zellen in dem hatten, was gewöhnlich als Pap-Abstrich bekannt ist. Bei einer unten im Detail beschriebenen beispielhaften Ausführungsform macht das automatisierte Mikroskopsystem 12 eine Untersuchung mit niedriger Auflösung der Probe, während der einige Arbeitsparameter, wie etwa die Stelle der Probe auf dem Objektträger, der Brennpunkt und/oder der Ausleuchtungsgrad (für optimales Betrachten bei der Anschlußuntersuchung mit hoher Auflösung), bestimmt werden. Die Genehmigung zur Durchführung der Untersuchung z.B. unter Verwendung eines Strichmarkierungslesers 16 zum Abfühlen, ob die Strichmarkierung an einem Objektträger passend ist, kann auch vor oder während der Untersuchung mit niedriger Auflösung bestimmt werden. Danach wird im Vertrauen auf diese Arbeitsparameter eine Untersuchung der Probe mit hoher Auflösung durch das Mikroskopsystem 12 durchgeführt. Auf der Basis der während dieser Untersuchung mit hoher Auflösung erhaltenen Informationen werden ein primärer, sekundärer und tertiärer Klassifizierungsvorgang durchgeführt, um zum Beispiel zu bestimmen, ob bösartige oder vorbösartige Zellen in der Probe enthalten sind. Das primäre und sekundäre Verfahren sind automatisiert und die tertiäre Klassifizierung wird manuell, d.h. durch eine Person durchgeführt. Es können aber in Übereinstimmung mit der Erfindung andere Arten von primären, sekundären und/oder tertiären Bildverarbeitungsverfahren verwendet werden.
Der Betrieb des Systems 10 erfolgt im allgemeinen unter Steuerung durch das Computersystem 20. Entsprechend schließt ein solches Computersystem einen Mehrzweckcomputer 20a, wie etwa einen AT-Microcomputer, und eine Bildverarbeitungseinrichtung 20b, wie etwa eine solche, die unter dem in den USA registrierten Warenzeichen PIPE von ASPEX INCORPORATED verkauft wird, und einen Neurocomputer 82, wie etwa den, der unter dem in den USA registrierten Warenzeichen ANZA PLUS durch HNC, Incorporated verkauft wird, ein.
Das automatisiertes Mikroskopsystem 12 schließt eine Reihe von Elementen ein, die so geformt sind, daß sie die rasche und einfache Handhabung von Probenobjektträgern erleichtern. Ein solches Element ist eine Objektträger-Robotergreifeinrichtung 22, welche nach entsprechenden Kommandos von dem Computersystem 20 die Probenobjektträger von einer Halteeinrichtung 23, Kassette genannt, zu einer beweglichen motorisierten Stufe 24 zum Transport in und innerhalb des optisches Weges des Mikroskops für die Zellklassifizierung und dann nach der Klassifizierung zurück zu der Kassette bewegt. An der motorisierten Stufe 24 ist eine Trägerbrücke für Objektträger 25 (manchmal als eine Werkzeugplatte oder Werkzeugbefestigung bezeichnet), auf welcher der Objektträger zur Bewegung durch das Mikroskopsystem 12 gehalten wird, befestigt (vorzugsweise daran angeschraubt). Die Brücke 25 hat einen oder mehr Durchgänge 26 (vorzugsweise vier) in dem Bereich, der unter dem liegt, wo der Objektträger positioniert ist, und eine dem Objektträger gegenüberliegende Öffnung, um die Erzeugung eines Vakuums unter dem Objektträger zu gestatten, um ihn fest und auf der Brücke an Ort und Stelle zu halten. Die Werkzeugbefestigungsbrücke 25 schließt auch einen Freigabebereich oder einen Schlitz 27 ein, um es der Robotergreifeinrichtung 22 zu gestatten, den Objektträger während des Plazierens auf und der Entfernung von der Werkzeugbefestigungsbrücke 25 zu ergreifen. Der Schlitz 27 stellt auch einen Raum für Beleuchtungslicht von einer Lichtquelle 28 bereit, um entlang einem mit 29 bezeichneten optischen Wegs zu den Mikroskopobjektiven 30, 31 zu wandern.
Die motorisierte Stufe 24 ist auf Querwalzlagern befestigt und wird durch zweistufige Motoren 33, 34 mit angeschlossenen Antriebseinrichtungen von Compumotor zusammen mit einer Parker Compumotor PC23-Schnittstellenkontrolleinrichtung 35 angetrieben, um eine präzise Bewegung des Objektträgers in bezug auf den optischen Weg 29 und den Betrachtungsbereich des Mikroskops zu gewährleisten. Die Lager 32 sind an dem Mikroskopsockel oder -rahmen 40 befestigt, welcher seinerseits durch herkömmliche Federn und vibrationsdämpfende Stoßdämpfer 41 an einem schweren Granitsockel 42 (z.B. 500 Pfund schwer) angebracht ist. Der Träger der Lager 32 kann ebenfalls aus Federn und/oder Stoßdämpfern 43 bestehen.
Die Stufenmotoren 33, 34 werden durch die Motorkontrolleinrichtung 44 (die erwähnte PC23-Schnittstelle) gesteuert, welche Kommandos von dem Computerverarbeitungssystem 20 in geeignete Signale umwandelt, um die Motoren 33, 34 dazu zu bringen, die Stufe zu den vorgeschriebenen Stellen zu bewegen. Die präzise Stellung der Stufe 24 und auf diese Weise des Objektträgers wird durch die Positionscodiereinrichtung 44 wahrgenommen. Eine solche Positionscodiereinrichtung 44 kann eine herkömmliche Vorrichtung sein, die Impulse erzeugt, die die Bewegung oder die Stellung der Stufe wiedergeben. Diese Impulse können, wenn sie herkömmliche sind, von dem Computersystem 20 decodiert werden, um die augenblickliche Stellung der Stufe 24 zu identifizieren, z.B. in bezug auf eine Ausgangs- oder Referenzstellung oder in bezug auf irgendwelche andere Stellungen. Eine beispielhafte Positionscodiereinrichtung wird durch Heidenhain vertrieben.
Das automatisierte Mikroskop 12 schließt auch Merkmale zur Bereitstellung eines schnellen, präzisen Bildes von jedem Bereich und/oder ausgewählten Bereichen eines auf der Brücke 25 positionierten Objektträgers ein, wie es weiter unten beschrieben wird. Das optische System 45 des automatisierten Mikroskops 12 schließt ein Objektivlaufwerk 45 und einen Autofocus-Mechanisrnus 46 ein. Die Lichtquelle 28 schließt eine Lampe 47 einer konstanten Farbtemperatur, Lichtintensität-Kontrollfilter 50, eine automatisierte Blende oder eine Membran 51 und angeschlossene Reflektoren, Prismen, Linsen, Lichtleiter etc. ein, die schematisch mit 52 wiedergegeben sind, um Licht entlang dem optischen Weg 29 zu senden, um die Probe von unten zu beleuchten. (Wenn gewünscht, kann die Beleuchtung der Probe von oben erfolgen).
Das Objektivlaufwerk 45 bewegt das geeignete Vergrößerungsobjektiv 30 und 31 (mit angenommener fünf- bzw. zwanzigmaliger Vergrößerung), oder Linsensystem an Ort und Stelle in dem optischen Weg 29, um eine Betrachtung des Objektträgers mit niedriger bzw. hoher Auflösung zu gewährleisten, wie es während der jeweiligen Operationsphase gewünscht wird. Ein Motor 53, welcher über eine Verbindung 54 durch ein Computersystem 20 gesteuert wird, bewegt das Laufwerk 45 und die jeweiligen Objektive 30, 31 in den optischen Weg 29 hinein. Die Grenztaster 55, 56 fühlen den maximalen Weg des Laufwerks 45 und arbeiten mit dem Computersystem 20 in standardisierter Form zusammen, um ein Hinausfahren des Laufwerks zu verhindern. Eine herkömmliche Einstellung 57 ist schematisch für die mittige Niveaueinstellung gezeigt, d.h. die mittige Einstellung der jeweiligen Objektive 30, 31 in dem optischen Weg 29 ohne Rücksicht darauf, ob das Laufwerk 45 sich bewegt hat, um ein oder die anderen Objektive in dem optischen Weg zu positionieren.
Die selbsteinstellende Blende 51, wie etwa eine einstellbare Öffnung oder eine Membran, ist für das Kontrollieren der auf den Objektträger und in dem optischen Weg 29 des Mikroskops 12 zu den Objektiven 30, 31 übermittelten Lichtintensität vorgesehen. Die selbsteinstellende Blende stellt die übertragene Lichtintensität je nachdem, auf welches Objektiv 30, 31 das Laufwerk 45 den optischen Weg 29 positioniert hat, ein. Ein durch das Computersystem 20 gesteuerter Motor 60 stellt die Irisblende 51 auf die jeweils verhältnismäßig offeneren oder verhältnismäßig geschlosseneren Zustände ein, wobei zugleich dieser Motor 53 das Laufwerk 45 bewegt, um jeweils Objektive mit niedriger und hoher Auflösung in dem optischen Weg 29 zu plazieren.
Die Filter 50 können gegenläufig rotierende varaible neutralgraue Polarisationsfilter 50a, 50b sein, die in dem optischen Weg 29 zwischen der Lichtquelle 41 und der Irisblende 51 positioniert sind, um weitere Kontrolle der in den optischen Weg übertragenen Lichtintensität ohne Beeinflussung der Farbtemperatur des Lichtes bereitzustellen. Ein Motor 61 dreht die Filter 50a, 50b unter Kontrolle des Computersystems 20, welches automatisch eine Erhöhung oder Erniedrigung der Beleuchtungsintensität des Objektträgers abrufen kann, z.B. wenn durch einen Verwender gewünscht, wenn die Lichtquelle altert und/oder verändert wird, etc. Durch Drehen der Polarisiereinrichtungen 50a, 50b kann das Ausmaß, in dem sie sich kreuzen oder parallel sind und auf diese Weise die Übertragungsmenge durch sie hindurch kontrolliert werden.
Das automatisierte Mikroskop schließt einen Einstellmechanismus für grobe Bildschärfe und einen Einstellmechanismus für feine Bildschärfe 69 (Figur 1B) ein, die beide herkömmlicher Bauart sind, weswegen keiner von beiden im Detail gezeigt wird. Die Einstellung der groben Bildschärfe kann durch eine Feinsteuerungseinrichtung vorgenommen werden, die z.B. durch Wenden von Hand betrieben werden kann. Die Einstellung der feinen Bildschärfe kann gegebenenfalls auch manuell erfolgen. Die Einstellung der feinen Bildschärfe wird bevorzugt automatisch durch den Autofocus 46 in der unten beschriebenen Weise betrieben. (Andere Arten von Bildschärfeneinstellungen können auch verwendet werden).
Wie in Figur 1B zu sehen ist, schließt der Autofocus 46 eine Lichtquelle 70, eine Doppelzelle 71 (eine Vorrichtung mit zwei Photozellen oder anderen lichtempfindlichen Vorrichtungen 72, 73 in einem Gehäuse 74 mit einer durch ein Paar Öffnungen 75, 76 gebildeten Maske zum Führen von Licht zu den jeweiligen Photozellen), einen Differentialverstärker 77 mit einer Ausgleichverbindung mit dem Computer 20, einer piezoelektrischen Vorrichtung 78 und einer mechanischen Kupplung 79 an dem Focus 69 ein. Licht aus der Quelle 70 wird von der Oberfläche des Deckglases S' auf dem Objektträger S reflektiert. Die Photosensoren 72, 73 erzeugen elektrische Signale, die die Position des Objektträgers in bezug auf die Lichtquelle und die Doppelzelle 71 wiedergeben. Der Differentialverstärker 77 bestimmt den Unterschied zwischen den Signalen der Photosensoren (wobei wünschenswert ist, daß dieser Unterschied minimal ist). Eine Ausgleichspannung kann über den Computer und einen (nicht gezeigten) Digital-Analog- Umsetzer bereitgestellt werden, um die Dicke des Deckglases S' zu kompensieren, so daß der tatsächliche Brennpunkt sich an der Oberfläche des Objektträgers S oder in einer gewünschten Tiefe in der Probe auf dem Objektträger 5 befindet. Das Signal von dem Differentialverstärker 77 kann weiter durch einen Verstärker 77a verstärkt werden und das Signal von einem solchen Verstärker wird verwendet, um eine Spannungseingabe in die piezoelektrische Vorrichtung 78 bereitzustellen. Die piezoelektrische Vorrichtung betätigt dann mechanisch die Steuereinrichtung für die feine Bildschärfe 69 des Mikroskops 1 2 über die mechanische Verbindung 79.
Es kann auch eine andere Bildschärfe-Steuereinrichtung für das Mikroskop 12 bereitgestellt werden. Eine solche Bildschärfe-Steuereinrichtung kann auf Bildverarbeitung, wie weiter unten beschrieben, beruhen, um den Grad der Bildschärfe zu bestimmen, in der ein Objekt vor allem durch die Kamera 14 gesehen wird. Eine solche bildverarbeitende Bildschärfe- Steuereinrichtung kann sowohl dafür verwendet werden, eine Bildschärfenkarte des Objektträgers S herzustellen als auch den Einstellmechanismus für die feine Bildschärfe 69 und/oder den Einstellmechanismus für die grobe Bildschärfe zu kontrollieren, um das Bild in den Brennpunkt für die Kamera zu bringen.
Das beschriebene bildverarbeitende Fokussieren kann während des Betrachtens in hoher und niedriger Auflösung ausgeführt werden. Während des Betrachtens in niedriger Auflösung werden den Brennpunkt betreffende Informationen von der Positionscodiereinrichtung 44 zu Positionskoordinaten in Beziehung gesetzt, um eine Brennpunktkarte zu primärellen, und die sich ergebende Brennpunktkarte wird in dem Arbeitsspeicher des Computers gespeichert. Während der Betrachtung in hoher Auflösung stellt das Computersystem 20 die Brennpunktinformation der gespeicherten Brennpunktkarte entsprechend der Stelle des Betrachtungsfeldes bereit, wie es durch die Positionscodiereinrichtung 44 bestimmt wurde, um die Bildschärfe durch das mechanische Steuern der Einstelleinrichtungen für die grobe und/oder feine Bildschärfe des Mikroskops 12 einzustellen. Dies erlaubt das schnelle Fokussieren während des Aussonderns in hoher Auflösung.
Alternativ dazu kann das Fokussieren während der Untersuchung anderer Abschnitte des Objektträgers in niedriger und/oder hoher Auflösung ausgeführt werden. Beispielsweise kann die Fokussierfunktion vor der Anfangs-Untersuchung in niedriger Auflösung des Objektträgers und/oder vor der primären Untersuchung des Objektträgers in hoher Auflösung ausgeführt werden. Bei der Untersuchung in hoher Auflösung werden, wie weiter unten beschrieben, einige spezielle Bereiche oder "Fliesen" des Objektträgers untersucht, und die Fokussierfunktion kann ausgeführt werden, bevor jede Fliese untersucht wird oder nach dem Anfangs-Fokussieren, wobei dieses Fokussieren immer dann ausgeführt werden kann, wenn eine vorbestimmte Anzahl, z. B. fünf, an Fliesen untersucht wurde.
Der Strichmarkierungsleser 16 kann eine herkömmliche Vorrichtung sein, wie etwa ein Integral-Strichmarkierungslesersystem, welches von Symbol Technologies, Inc. of Bohemia, New York unter dem Warenzeichen LaserScan 6X20 vertrieben wird. Ein solcher Strichmarkierungsleser 16 ist positioniert, um einen ausgewählten Bereich eines Objektträgers zu betrachten, wenn er erst einmal durch eine Objektträger-Robotergreifeinrichtung 22 zu der Stufe 24 transportiert wurde. Bei der bevorzugten Ausführungsform muß jeder dem System 10 zur Klassifizierung angebotene Objektträger eine Strichmarkierung enthalten. Die Strichmarkierung enthält wichtige Informationen, die zum Zuordnen der Klassifizierungsergebnisse zu dem Objektträger, z.B. bezüglich des Arztes, der den Objektträger erstellte und des Patienten, von dem die Probe auf dem Objektträger genommen wurde. Der Strichmarkierungsleser 16 liest die codierten Informationen von dem Objektträger ab und stellt diese Informationen dem Computersystem 20 über die Verbindung 80 zum Speichern und für eine zukünftige Korrelation mit Testergebnissen (d.h. Klassifizierungsergebnissen) zur Verfügung. Im Falle, daß ein Objektträger dem System 10 ohne eine Strichmarkierung oder mit einer ungenügenden oder unleserlichen Strichmarkierung angeboten wird, wird der Objektträger zurückgewiesen und ohne Klassifizierung durch die Objektträger-Robotergreifeinrichtung 22 zu der Kassette 23 zurückgebracht. Bei anderen Ausführungsformen könnten die Strichmarkierung und der Strichmarkierungsleser durch ein System ersetzt werden, das ähnliche Funktionen hat, wie etwa eine Gruppe von Buchstaben und einen optischen Buchstabenleser.
Wenn ein Arzt eine zytologische Probe von einem Patienten nimmt, kann der Arzt ein Strichmarkierungsschild (z.B. ein Klebeschild) an dem Objektträger, auf welchem die Probe plaziert ist, fest anbringen und kann ein damit übereinstimmendes Schild und/oder eine Strichmarkierung fest an dem Krankenblatt des Patienten anbringen. Das Blatt kann von dem Arzt behalten werden. Wenn das System 10 einen Objektträger untersucht, druckt es vorzugsweise auch einen Bericht über die Ergebnisse dieser Untersuchung aus. Die von dem System 10 gelesene Strichmarkierungsinformation wird vorzugsweise auf einem solchen Bericht gedruckt. Der Arzt kann dann die gedruckten Strichmarkierungsinformationen mit der übereinstimmenden Strichmarkierung oder ähnlichen Informationen auf dem Patientenblatt vergleichen, um die genaue Übereinstimmung des Berichts mit dem Patienten sicherzustellen. Der Arzt kann auch das Labor, welches das System 10 benutzt, um die zytologische Probe zu klassifizieren, mit gedruckten Informationen versorgen, wie etwa dem Namen des Patienten und des Arztes, die mit der Strichmarkierung in Beziehung gesetzt und automatisch auf den die Klassifizierungsprobe betreffenden Bericht gedruckt werden können.
Die Kamera 14 ist in dem optischen Weg 29 des Mikroskops positioniert, um ein fokussiertes, vergrößertes elektronisches Bild eines auf dem Objektträger betrachteten Bereiches einzufangen. Die Kamera 14 speist das elektronische Bild in das Computersystem 20 über eine Verbindung 81 zur Klassifizierung der in dem abgebildeten Bereich auftauchenden Zellen ein. Die Kamera kann eine herktmmliche Drei-Chip-gekoppelte RGB-Kamera, wie etwa eine von Sony hergestellte, oder eine andere Kamera sein, die fähig ist, dem Computer geeignete Informationen über die Probe, d.h. ein Bild, bereitzustellen. Ein solches Bild wird vorzugsweise durch elektrische Signale verkörpert, welche durch die Bildberarbeitungseinrichtung 20b des Computersystems 20 verarbeitet werden können.
In dem Computersystem 20 wird eine Reihe von Bildverarbeitungs- und Auswertungsfunktionen verrichtet. Diese schließen die Bestimmung, wo auf einem Objektträger sich tatsächlich das Probenmaterial befindet, ob adäquates Probenmaterial vorhanden ist, um eine bedeutsame Klassifizierung duchzuführen, und die primäre Klassifizierung ein, welche eine Filterung oder Aussonderung auf niedrigem Niveau vornimmt, z.B. auf der Basis von Morphologie, die algorithmisch ausgewertet wird. Der Neuronalcomputerabschnitt 82 des Computersystems 20 bewirkt die sekundäre Klassifizierung, die eine Filterung oder Aussonderung auf höherem Niveau auf Basis der Übung des Neuronalcomputers vornimmt, wie es z.B. in der EP-A-0 336 608 (oben zitiert) und den oben erwähnten Literaturstellen genauso wie der hier vorgelegten Beschreibung beschrieben wird. Die elektronischen Bildverkörperungen von Zellen, welche durch die primäre und die sekundäre Klassifiziereinrichtung als verdächtig klassifiziert wurden, werden in dem Computerspeicher, Diskettenspeicher oder in einer anderen Massenspeichereinrichtung für eine weitere (tertiäre) Klassifizierung durch eine Person gespeichert, die darin geübt ist, die wirklich abnormalen Zellen zu entdecken. Die Stellen solcher verdächtiger Zeilen auf dem Objektträger werden ebenfalls in dem Computer gespeichert. Anschließend können, wenn die tertiäre Klassifiziereinrichtung (der Techniker) die Bilder dieser verdächtigen Zellen betrachten kann, diese durch Betrachten der gespeicherten Bilder auf einem Videomonitor überprüft oder untersucht werden, und der Techniker kann eine Endfeststellung treffen, ob jede dieser verdächtigen Zellen wirklich abnormal ist, z.B. bösartig oder vorbösartig oder von irgend anderem Interesse.
Wenn der tertiäre Klassifizierer eine derartige abnormale Zelle findet, kann er oder sie eine Maus oder eine andere an den Computer 20a gekoppelte Vorrichtung benutzen, um eine solche Zelle zu punktieren. Eine solche Zelle ist dann identifiziert oder mit einem Kennzeichen versehen (z.B. in Form einer Software- oder elektronischen Datenverkörperung einer solchen Zelle) für das bequeme Wiederaufrufen und erneute Wiedergabe zum Betrachten und Untersuchen durch einen Vorgesetzten, Pathologen, etc. Ein Bild einer solchen Zelle kann auf Papier gedruckt werden. Es kann auch die physikalische Stelle auf dem Objektträger markiert werden, z.B. durch Plazieren eines Tintenpunktes in der Nähe einer solchen Zelle auf dem Objektträger oder auf dessen Deckglas.
Insbesondere befiehlt das Computersystem 20, nachdem die tertiäre Klassifiziereinrichtung die wirklich abnormalen Zellen identifiziert hat, der Motorsteuerungseinrichtung 35 und den Stufenmotoren 33, 34, die jeweiligen Bereiche des Objektträgers mit einer abnormalen Zelle unter der Objektträger-Markiereinrichtung 18 zu positionieren. (Wenn der Objektträger zu der Kassette 23 zurückgebracht wurde, setzt die Robotergreifeinrichtung 22 zuerst den Objektträger auf die Brücke auf die gleiche Position zurück, die er hatte, bevor er durch die Kamera überprüft wurde usw.). Die Objektträger-Markiereinrichtung 18 wird dann durch den Computer 20 gesteuert, um einen kleinen Punkt mit einem ungefähren Durchmesser von 0,25 mm auf dem Objektträger in dem (einigen) Bereich(en) des Objektträgers zu machen, wo die abnormale(n) Zelle(n) durch den Betrieb eines (nicht gezeigten) Elektromagneten lokalisiert wurde(n), um Tinte über einen Arm 18a auf den Objektträger aufzubringen. Ein solches Markieren ähnelt der Weise, bei der Siliciumplättchen für spezielle Zwecke im Bereich der Plättchenhprimärellung und Überprüfung markiert werden. Das Computersystem 20 wird dann die Objektträger Robotergreifeinrichtung 22 anweisen, den klassifizierten Objektträger zu der Kassette 23 zurückzubefördern. Es kann dann ein anderer Objektträger wie beschrieben markiert werden, bis alle Objektträger in der Kassette ausgesondert wurden. Die Objektträger-Markiereinrichtung kann eine von der Art sein, wie sie von Xandex vertrieben wird.
Die Bewegung der Stufe 24 zum Herbeibringen von Abschnitten eines Objektträgers S, der auf der Brücke 25 gehalten wird, erfolgt unter Kontrolle des Computers 20. Der Computer sendet Steuersignale an den Schnittstellen-Steuerkreislauf 35, welcher seinerseits geeignete Signale an die mit den Stufenmotoren 33, 34 verbundenen Antriebskreise sendet, um die Stufe in die in Figur 1 gezeigten X- und Y-Richtungen zu bewegen. Die Grenzschalter 90, 91, 92, 93 nehmen den maximalen Weg wahr und sind an den Computer 20 gekoppelt, um das Laufen über Maximalgrenzen hinaus wie herkömmlich zu begrenzen. Die Rückkopplung zum Anzeigen der augenblicklichen Position der Stufe oder der betreffenden Position im Vergleich zu einer Referenzposition wird wie herkömmlich durch eine Positionscodiereinrichtung 44 erreicht.
Der tatsächliche Verlaufsweg der Stufe zum Bewegen des Objektträgers zu gewünschten Positionen in bezug auf den optischen Weg 29 und/oder zum Bewegen des Objektträgers zu einer Position, die günstig für das Aufnehmen und Plazieren durch die Robotergreifeinrichtung 22 ist, kann unter Verwendung herkömmlicher Verfahren in den Computer einprogrammiert werden. Das Bewegen der Stufe 24, der Brücke 25 und des Objektträgers S in bezug auf den optischen Weg 29 zum Plazieren spezieller Zellen in dem optischen Weg für das Betrachten jeweils während der Untersuchung in niedriger und hoher Auflösung durch die jeweiligen Objektive 30, 31 und, wenn spezielle Zellen erneut untersucht werden sollen, kann auch automatisch als eine Funktion der Positionsinformation gesteuert werden, die in dem Computer und/oder dem Mengenspeicher gespeichert werden kann. Weiterhin können die Positionen zum Bewegen von Zeilen für das automatische Punktieren durch die Markiereinrichtung 18 und für den Arm 18a ebenfalls automatisch auf Grundlage gespeicherter Positionsinformationen, die dem Computer 20 geliefert wurden, gesteuert werden. Den Positionsinformationen können geeignete Absätze hinzugefügt werden, um z.B. eine Zelle, die man markieren will, in bezug auf den Arm der Markiereinrichtung 18a unter Berücksichtigung der Position des Armes der Markiereinrichtung 18a, der Position des optischen Wegs, und des Wunsches, die Markierung nahe an der Zelle zu plazieren (und nicht direkt auf der Zelle, um so die Zelle für den Fall, daß sie anschließend betrachtet werden soll, nicht zu verdunkeln), zu bewegen.
Nunmehr eingehend auf die Objektträger-Robotergreifeinrichtung 22, ähnelt diese Vorrichtung einer Siliciumplättchen-Robotergreifeinrichtung, die in der Halbleiterindustrie für die automatische Handhabung, Bewegung, etc. von Siliciumplättchen verwendet wird, auf welchen integrierte Schaltkreise oder ähnliches gebildet werden. Dementsprechend schließt eine solche Greifeinrichtung 22 einen Arm 100 ein, welcher in bezug auf den Mikroskoprahmen 40 für Bewegung befestigt ist, um Objektträger von der Kassette 23 zu der Stufe 25 und umgekehrt zu bewegen. In einem Trägergehäuse 102 ist eine Antriebseinrichtung 101 zum Befestigen und Bewegen dieses Armes vorgesehen. In dem Arm 100 können geeignete Gelenke etc. abhängig von dem gewünschten Grad an Bewegungsfreiheit geschaffen sein. Am Ende des Armes 100 befindet sich ein Trägerfuß 103, auf welchem tatsächlich ein Objektträger getragen wird.
Der Fuß 103 schließt eine obere Oberfläche 104 ein, die unterhalb des Objektträgers S befestigt sein kann, welcher in der Kassette gezeigt wird. Eine Öffnung 105 in der Oberfläche 104 des Fußes und ein Durchgang zu dieser Öffnung stellt eine Vakuumquelle bereit, um den Objektträger auf dem Fuß zu halten. Die Vakuumöffnung ist über einen Durchgang 106 und ein Ventil 107 an eine Vakuumquelle 110 gekoppelt. Diese Vakuumquelle 110 ist ebenfalls über eine Vakuumleitung 111 und ein Ventil 112 an die Vakuumleitungen und die Öffnungen 26 in der Stufe 25 gekoppelt.
Die Kassette 23 ist an einem Hebetisch 113 befestigt und wird vorzugsweise durch ein durch die Öffnungen 114, die Vakuumleitung 115 und das Ventil 116 gezogenes Vakuum darauf gehalten. Das Ventil 116 wird bevorzugt manuell (stromführend oder nicht-stromführend) durch einen hand betätigten Elektroschalter 117 gesteuert. Das Schließen dieses Schalters 117 erregt das Ventil 116, um ein Vakuum bereitzustellen, das die Kassette auf dem Hebetisch 113 hält, wohingegen das Öffnen des Schalters das Ventil abschaltet, um die Kassette von dem Hebetisch freizugeben und ein leichtes Entfernen davon zu ermöglichen.
Der Hebetisch 113 schließt einen Hebemechanismus 120 und eine Trägerplattform 121 ein. Ein elektronischer Steuerungskreislauf 122, welcher durch den Computer 20 gesteuert werden kann, stellt Informationen für den Steuerungskreislauf 122 bereit, um festzustellen, von woher man den nächsten Objektträger erlangt (z.B. von der Kassette und von wo in der Kassette oder von der Stufe 25) und wohin der Objektträger bewegt werden soll. Der Steuerungskreislauf 122 kann, wie bereits vorher erwähnt, der herkömmlichen Art sein, wie sie in den Robotersystemen verwendet werden, die Siliciumplättchen handhaben. Auf diese Weise kann der Computer zum Beispiel nach Senden des geeigneten Signals an den Steuerungs kreislauf 122 einen Arbeitszyklus der Greifeinrichtung 22 einleiten, angenommen, um einen Objektträger aus der Kassette 23 zu entfernen und den Objektträger auf der Stufe 24 zu plazieren und umgekehrt.
Der koordinierte Betrieb des Armes 100, des Fußes 103, des Hebetisches 113, der Stufe 24 und des Steuerungskreislaufes 122 wird durch den Computer 20 gesteuert. Beispielsweise hebt der Hebetisch 113, um einen Objektträger S von einer bestimmten Position aus einer Menge an Lagerpositionen für Objektträger in der Kassette 23 heraus aufzunehmen, die Kassette 23 leicht an, um einen Zwischenraum für den Fuß 103 unter dem bestimmten Objektträger S zu schaffen. Der Antriebsmechanismus 101 bewegt den Roboterarm 100 und den Fuß 103, um den Fuß unter dem Objektträger zu plazieren. Das Ventil 107 wird dann durch den Steuerungskreislauf erregt, um der Öffnung 105 Vakuum zu liefern. Dann senkt der Hebetisch 113 die Kassette 23 ab, um den Objektträger S auf die obere Oberfläche 104 des Fußes 103 abzusenken. Der Objektträger wird dann auf dieser Oberfläche 104 durch das Vakuum und die Schwerkraft gehalten.
Der Computer hat inzwischen die Stufe 24 dazu gebracht, die Brücke 25 zu der Aufladeposition für den Objektträger zu bewegen. Der Arm 100 schwingt dann, um den Objektträger S in Ausrichtung über den Öffnungen 26 an einer geeigneten Stelle auf der Brücke 25 zu bewegen. Die Brücke 25 und/oder der Fuß 103 werden dann vertikal in Beziehung aufeinander bewegt, so daß der Objektträger auf der oberen Oberfläche der Brücke 25 plaziert wird. Der Fuß 103 paßt in eine Aussparung 27 in der Brücke. Das Ventil 11 2 wird erregt, um den Öffnungen 26 Vakuum zu liefern, um den Objektträger auf der Stufe zu halten, und das Ventil 107 wird abgeschaltet, um das den Objektträger an dem Fuß haltende Vakuum zu entlassen.
Ein ähnlicher Betrieb kann verwendet werden, um den Objektträger von der Brücke 25 zurück zu der Kassette zu bewegen, und so weiter.
Unter Bezugnahme auf Figur 2 wird die Aussonderungsvorrichtung 10 unter besonderer Beachtung der in dem Computersystem 20 verkörperten Klassifizierungselemente gezeigt. Das Computersystem 20 schließt eine Bildverarbeitungseinrichtung und eine Digitalisierungseinrichtung 20b, einen Neuronalcomputer82, einen Ausgangsrnonitor 154 und eine allgemeine Verarbeitungseinrichtung 20a mit Periphergeräten für das Drucken, die Speicherung, etc. ein.
Die allgemeine Verarbeitungseinrichtung 20a ist bevorzugt ein IBM-PC/AT oder damit kompatibel, obwohl sie auch aus einem anderen Computer bestehen kann, der für das effiziente Ausführen der hier beschriebenen Funktionen geeignet ist. Die Verarbeitungseinrichtung 20a steuert das Funktionieren und den Datenfluß zwischen den Bestandteilen der Vorrichtung 10, bewirkt die Ausführung zusätzlicher Algorithmen für die Gewinnung vorrangiger Merkmale, wie etwa einer integrierten optischen Dichtefunktion, und handhabt die Speicherung von Bild- und Klassifizierungsinformationen. Die Verarbeitungseinrichtung 20a steuert zusätzlich Periphergeräte, wie etwa einen Drucker 158, Floppy- und Festplattenspeicher 160, 162 und den Strichmarkierungsleser 16, die Markiereinrichtung für den Objektträger 18, den Autofocus 46, die Objektträger-Robotergreifeinrichtung 22, die Stufenmotor-Steuerungseinrichtung 35 und das Objektiv- Laufwerk 45, wobei diese Bestandteile oben vollständiger beschrieben wurden.
Die Bildverarbeitungs- und Digitalisierungseinrichtung 20b führt auch primäre Zellklassifizierungsfunktionen, wie etwa die Überprüfung des Schwellenwertes der Auswaschung und Ausdehnung, aus. Bei der bevorzugten Ausführungsform ist die Bildverarbeitungs- und Digitalisierungseinrichtung 20b eine auf dem Markt erhältliche Bildklassifiziereinrichtung für die Gewinnung morphologischer Merkmale auf niedrigem Niveau, wie etwa die Bildverarbeitungseinrichtung PIPE von ASPEX Incorporated, welche eine Bilddigitalisierfunktion einschließt. Die Bildverarbeitungseinrichtung PIPE ist vollständig in dem U.S. Patent Nr. 4,601,055 beschrieben, wobei deren gesamte Beschreibung hier unter Bezugnahme darauf eingearbeitet ist. Alternativ dazu könnte die Bildverarbeitungs- und Digitalisierfunktion in zwei oder mehrere Bestandteile getrennt werden.
Die Zellklassifizierung in der Sekundärgruppe wird durch den Neuronalcomputer 82 durchgeführt. Der Neuronalcomputer 82 ist eine Computerausführungsform eines neuronalen Netzwerkes, die darin geübt ist, verdächtige Zellen zu identifizieren. Bei dieser Ausführungsform wird die Parallelstruktur eines dreischichtigen neuronalen Rückübertragungs-Netzwerks mit vorbereiteten seriellen Verarbeitungsverfahren, auf einem von einem Datenanbieter auf dem Markt erhältlichen Beschleunigungsvorrichtungsboard für Neuronalcomputer ausgeführt, nachgeahmt. Der Betrieb dieser Neuronalcomputer wird in der zitierten Spectrum-Textstelle besprochen. Das neuronale Netzwerk wird vorzugsweise auf einem Anza Plus-Prozessor implementiert, welcher ein auf dem Markt erhältlicher Neuronalcomputer der Science Hecht-Nielsen Neuronalcomputer(HNC) ist (siehe die obige Verweisung auf Hecht-Nielsen). Alternativ dazu könnten die sekundären Zellklassifizierungsfunktionen unter Verwendung eines Formanpassungsalgorithmus' durchgeführt werden, der zum Identifizieren von Formen gebaut ist, die typisch für eine pathologische Zelle sind. Ein Formanpassungs- oder ein anderer Gruppenverarbeitungsalgorithmus könnte zum Beispiel gut in einem parallel verteilten Verarbeitungsnetz implementiert werden. Eine andere alternative sekundäre Klassifizierungsausführungsform ist ein holographischer Bildprozessor, der so gebaut ist, daß er Klassifizierungen auf Gruppenbasis durchführt.
Unter Bezugnahme auf die Figuren 3A, 3B und 3C wird ein Fließbild des Betriebs eines die vorliegende Erfindung verkörpernden Zellklassifizierungsverfahrens umrissen. Die Initialisierung des Systems 10 wird bei Block 199 ausgeführt. Während der Initialisierung wird die Bildverarbeitungseinrichtung 20b initialisiert, um dafür bereit zu sein, die primäre elektronische Information, die das durch die Kamera 14 aufgenommene Bild verkörpert, zu empfangen und die Bildinformation zu verarbeiten. Die Stufe 24 wird ebenfalls initialisiert, um sie in einer Referenzstellung zu plazieren, die manchmal als Ausgangsstellung bezeichnet wird, so daß der Computer 20 erwarten kann zu wissen, daß die Stufe sich in dieser Position befindet, und zukünftige Positionen auf der Basis der Ausgangsposition bestimmen kann. Die Robotergreifeinrichtung 22 wird ebenfalls initialisiert, um deren verschiedene Abschnitte in einer Ausgangsposition zu plazieren, damit deren zukünftige Positionen und Bewegungen von der anfänglichen Ausgangsposition bestimmt werden können. Das neuronale Netz wird ebenso auf herkömmliche Weise initialisiert.
Um den Betrieb zu beginnen, ergreift die Objektträger-Robotergreifeinrichtung 22 den primären Objektträger von der Kassette 23 und transportiert ihn zu der motorisierten Stufe 24 (Block 200). Wenn die Objektträger-Robotergreifeinrichtung nicht in der Lage war, den nächsten Objektträger zu finden, wenn etwa alle Objektträger in der Kassette 23 klassifiziert worden sind, wird eine Nachricht an den Bediener (205) weitergeleitet. Vorausgesetzt, ein Objektträger ist vorhanden, liest der Strichmarkierungsleser 16 die Strichmarkierungsinformation von dem Objektträger (210) ab und gibt die Information für die Korrelation zukünftiger Klassifizierungsdaten an die allgemeine Verarbeitungseinrichtung 20a (215) weiter. Zellen ohne Strichmarkierungen oder Strichmarkierungen, die unleserlich sind, werden zurückgewiesen, und der nächste Objektträger wird verarbeitet (216). Danach weist die allgemeine Verarbeitungseinrichtung 20a die Stufenmotor-Steuerungseinrichtung 35 und die Motoren 33, 34 an, die Stufe 24 und den Objektträger in den optischen Weg 29 des Mikroskopsystems 12 für den Durchlauf in niedriger Auflösung (220) hinein zu bewegen.
In dem Durchgang für niedrige Auflösung wird das Laufwerk 45 das Objektiv für niedrige Auflösung 30 in den optischen Weg 29 hineinbewegen, und die selbst einstellende Blende 51 wird automatisch die Beleuchtung für das Objektiv für niedrige Auflösung (225) einstellen. Es wird dann eine verhältnismäßig schnelle Abtastung des Objektträgers durchgeführt, um die Bereiche auf dem Objektträger zu finden, die zelluläres Material (230) haben. Wenn keine Bereiche mit zellulärem Material oder einer adäquaten Menge an Material für begründete Klassifizierung auf dem Objektträger gefunden werden, wird der Objektträger dann als für das Durchführen eines aussagekräftigen Tests (235) nicht genügend zelluläres Material enthaltend identifiziert, worauf dann der Objektträger zurückgewiesen werden (240) und das Aussondern des nächsten Objektträgers beginnen kann (200).
Um zu bestimmen, ob adäquates Zellenmaterial auf dem Objektträger oder an verschiedenen Stellen auf dem Objektträger vorhanden ist, und auch um die Fokussierkarte für den Objektträger zu bestimmen, kann das folgende von dem Computersystem 20 ausgeführt werden. Zuerst wird eine Abtastroute bestimmt, so daß mehrere Bereiche auf dem Objektträger der Reihe nach betrachtet werden können. Diese Bereiche können sich in einer geraden Reihe entlang der Länge des Objektträgers S oder in einer anderen Anordnung auf dem Objektträger befinden. Beispielsweise werden mehrere Bereiche betrachtet, die sich der Reihe nach entlang einem Serpentinenweg entlang dem Objektträger befinden. Jeder dieser Bereiche wird hier im Anschluß als "Makro-Fliese" bezeichnet.
Wenn sich eine besondere Makro-Fliese in dem optischen Weg 29 befindet, nimmt die Kamera 14 ein Bild davon auf. Die Makro-Fliese kann zum Beispiel eine Größe von 2 mm × 2 mm haben. In der Bildverarbeitungseinrichtung 20b wird unter Verwendung eines ISMAP- Programms oder eines Algorithmus', der von ASPEX Incorporated, New York, New York (ein Bild-Symbol-Kartograph) erhältlich ist, die Makro-Fliese in sechszehn Bereiche unterteilt, die unten als "Fliesen" bezeichnet werden, und es werden ein Scharfzeichnungsbild und ein Grauskalenbild gemacht. Diese Bilder werden verwendet, um zu bestimmen, ob und/oder wieviel Zellmaterial in der Makro-Fliese enthalten ist. Ein Histogramm des absoluten Werts des Unterschieds zwischen diesen Bildern kann in der Fokussierfunktion des Computers 20 dazu verwendet werden, eine Bildschärfekarte für den Objektträger zu bestimmen.
Insbesondere wird der Wert der optischen Übertragungseigenschaften der Makro-Fliese festgestellt, und gleichzeitig werden zwei aufeinanderfolgende 3-mal 3-Gauß-Filterungen vorgenommen, um ein 5-mal-5-Gauß-Ergebnis zu erhalten. Der Unterschied zwischen diesen beiden wird genommen und in einen absoluten Wert umgewandelt, welcher das Scharfzeichnungsbild verkörpert, das für die Bildschärfekarte verwendet werden kann.
Mit anderen Worten, es wird ein Scharfzeichnungsbild für die Makro-Fliese erreicht, und eine synthetisch erzeugte Grauskalenkarte in der Größe der Makro-Fliese wird primärellt. Die Grauskalenkarte hat eine Vielzahl von Bereichen, die mit den jeweiligen Fliesen der Makro-Flies übereinstimmen. Die schrittweise Grauskala wird entsprechend den Werten in dem Scharfzeichnungsbild unter Verwendung von Histogrammverfahren bestimmt.
Wenn irgendeiner der Trichter in dem Histogramm (welche jeweils Fliesen in der Makro- Fliese verkörpern) über einem Schwellenwert liegt, wird die spezielle Fliese für die Untersuchung und Verarbeitung in hoher Auflösung vorgemerkt, weil dort adäquates Zellmaterial erscheint. Darüber hinaus kann man den speziellen Höchstwert für die Fliese bestimmen, indam man ein weiteres Histogramm des absoluten Werts der Differenz zwischen der ursprünglichen Umwandlungseigenschaft der Makro-Fliese und dem Gauß-Graustufen-gefilterten Bild primärellt, und ein solcher Höchstwert kann als eine Verkörperung der optimalen Fokussierbedingung für das automatisierte Mikroskop zum Betrachten der speziellen Fliese während des Durchlaufs in hoher Auflösung verwendet werden. Siehe Abbildung (250) in Figur 3.
Der Vorteil des Bestimmens, ob eine adäquate Probe auf dem Objektträger für die Klassifizierung vorhanden ist, während des Durchlaufs in niedriger Auflösung in dem Mikroskop 12 ist, daß diese Bestimmung verhältnismäßig schnell gemacht werden kann im Vergleich zu der Zeit, die benötigt wird, die gleiche Bestimmung unter Verwendung des Objektivs für hohe Auflösung 31 zu machen. Der Vorteil des Bestimmens während des Durchlaufs in niedriger Auflösung,welche Fliesen eine weitere Untersuchung in dem Durchlauf in hoher Auflösung erfordern, ist, daß man die Zeit spart, die unnötigerweise dazu gebraucht wird, Fliesen zu untersuchen, die dort kein Zellmaterial oder kein adäquates Zellmaterial haben.
Das Abtastmuster der Bereiche (Fliesen) von Interesse wird primärellt (255), und die den Brennpunkt betreffende Information für jede Fliese wird mit Informationen über die Positionskoordinaten für diese Fliese von der Positionscodiereinrichtung 44 korreliert, um eine Bildschärfekarte (260) bereitzustellen.
Alle Informationen, die notwendig sind, um ein Abtasten des Objektträgers in hoher Auflösung durchzuführen, sind nun verfügbar. Um den Durchlauf in hoher Auflösung in dem Mikroskop 12 zu beginnen, betreibt der Computer 20 den Motor 53, um das Laufwerk 45 zu bewegen, damit das Objektiv für hohe Auflösung 31 in dem optischen Weg 29 (265) plaziert wird. Die Beleuchtung wird automatisch durch die selbsteinstellende Blende 52 und den Motor 60 für das Objektiv in hoher Auflösung eingestellt, und die Stufe 24 wird bewegt, um die primäre Fliese oder das Segment des Objektträgers S, der untersucht werden soll, in das Betrachtungsfeld des Objektivs 31 zu bringen. Der Computer 20a weist den Autofucus 46 an, die Brennweite für den Bereich, das Segment oder die Fliese (270) der Probe unter Prüfung einzustellen, indem ein geeignetes Ausgangssignal auf der Leitung 79 an den Differentialverstärker 77 abgegeben wird.
Die Kamera 14 erhält ein Farbvideobild des fokussierten Bildes (275, Figur 3B), und dieses Bild wird digitalisiert und gespeichert (manchmal als Teilbildpacken bezeichnet), wie hier weiter beschrieben. Die Stufe 24 bewegt dann die nächste Fliese oder das nächste Segment in das Blickfeld, und es werden geeignete Fokussiereinstellungen gemäß der Bildschärfekarte (280) vorgenommen. Wenn das letzte Segment (Fliese) auf dem Objektträger erreicht wird (285), wird ein Kennzeichen gesetzt, und die Verarbeitung des Objektträgers wird nach dem Aussondern dieses Segmentes (290) nicht weiter fortgesetzt. Die Stufe 24 kann an einer Stelle warten, bis ein Bild einer Fliese erhalten wird. Vorzugsweise sollte aber diese Wartezeit minimiert werden, um die für das Untersuchen eines Objektträgers notwendige Zeit zu minimieren.
Bevorzugt kann die Bildverarbeitung eines oder mehrerer Segmente oder Fliesen in der Bildverarbeitungs- und Digitalisierungseinrichtung 20b gleichzeitig ausgeführt werden, während ein Bild eines anderen Segmentes durch die Kamera 14 erzielt wird.
Die Farbbestandteile der Videoverkörperung eines Segmentes werden zusammengezählt, um ein Monochrom-Bild (295) bereitzustellen, und dieses Bild wird an die Bildverarbeitungs- und Digitalisierungseinrichtung 20b weitergeleitet, wo die primäre Klassifizierung des Segmentes beginnt. Am Anfang führt die Bildverarbeitungs- und Digitalisierungseinrichtung 20b einen Schwellenwert-Anpassungsarbeitsschritt an dem Videobild aus, um den Bildkontrast zu erhöhen und Rauschen aus dem Hintergrund (300) auszuscheiden. Dieses mit Schwellenwert versehene Bild wird dann in eine verarbeitungsfähige Digitalverkörperung zerlegt. Die Bildverarbeitungs- und Digitalisierungseinrichtung 20b kann dann Abtragungs- und nicht-verbindende Ausdehnarbeitsschritte an dem Digitalbild vornehmen, um die Objekte in Segmente zu trennen (310). Die monochromen und sich ergebenden gefilterten Bilder werden an den RAM der allgemeinen Verarbeitungseinrichtung 20a weitergeleitet (315, 320).
Die Abtragungs- und Ausdehnverfahren sind herkömmliche Bildverarbeitungsverfahren. Sie schalten den Effekt der überlappenden Zellen aus, bei dem dunkle Bereiche wegen der erhöhten Dichte der Überlappung eher erscheinen können als aufgrund vergrößerter oder spezieller dunkler Zellkerne. Üblicherweise sind es die verdunkelten Kerne oder großen Kerne, die während der Auswertung im Hinblick auf integrierte optische Dichte (IOD) entdeckt werden, die in dem weiter unten beschriebenen Klassifizierungsvorgang auf niedrigem Niveau gemacht wird. Das Abtragungs- und Ausdehnverfahren verbessert auch die genaue Untersuchung der Zellen während der Klassifizierung auf niedrigem Niveau.
Es kann zu diesem Zeitpunkt auch eine Objektzählung durchgeführt werden, um herauszufinden, wieviele Objekte die Abtragung und Ausdehnung durchlaufen haben. Die Anzahl an Objekten gibt ungefähr die Anzahl an Objekten in der Probe wieder. Es ist wünschenswert, daß zumindest eine minimale Anzahl an Objekten in dieser Probe eingeschlossen ist, da, wenn die Probengröße zu klein ist, der Test dann keine aussagekräftigen oder zuverlässigen Testergebnisse erzeugen kann. Die Objektzählung oder ein anderes Mittel zur Bestimmung der "Gültigkeit" der Probe kann zu anderen Zeiten in dem beschriebenen Verfahren vorgenommen werden. Wie hier beschrieben, wird die tertiäre Klassifizierung durch eine Person durchgeführt, wobei von dieser Person normalerweise erwartet wird, daß sie Bilder von einigen Zellen betrachtet, die von der primären und sekundären Klassifizierung als die bestimmt wurden, die eine vergleichsweise hohe Wahrscheinlichkeit der Bösartigkeit oder Vorbösartigkeit aufweisen. Es ist wünschenswert, daß die Person weiß, daß, wenn die Anzahl der manuell betrachteten Bilder Null beträgt oder verhältnismäßig niedrig ist, dies auf der Tatsache beruht, daß die anderen Zeilen gesund sind, und nicht auf der Tatsache, daß nicht genug zu untersuchende Zellen in der Probe vorhanden waren.
Die Verarbeitungseinrichtung 20a führt dann eine weitere Klassifizierung zur Gewinnung primärer Merkmale an dem Segment durch, etwa mit einem Algorithmus (325) im Hinblick auf integrierte optische Dichte (IOD). Es können alternative oder zusätzliche andere morphologische Algorithmen verwendet werden, um auf der Basis von Merkmalen zu klassifizieren, wie etwa der Farbe oder Merkmalen, die die DANN-Ploidieanalyse, Immunhistochemie, DANN- Hybridisierung etc. betreffen. Diese Algorithmen zur Merkmalsgewinnung isolieren bestimmte Objekte, welche über Merkmale verfügen, die bekanntlich typischerweise in pathologischen Zellen vorhanden sind, wie etwa ein dunkler Zellkern, welcher in bezug auf den Rest der Zelle abnormal groß ist. Der Schwerpunkt der von der primären Klassifizierung entdeckten Objekte, die möglicherweise pathologisch sind, wird katalogisiert und in dem RAM der Verarbeitungseinrichtung 20a gespeichert (330). Wenn keine Objekte identifiziert wurden (335, Figur 3C), beginnt die Klassifizierung an dem nächsten Segment (295).
Identifizierte Objekte, d.h. deren elektronische Bildverkörperungen, welche nicht durch die Klassifizierung auf niedrigem Niveau ausgeschieden wurden, werden einzeln zu dem Neuronalcomputer 82 als digitale Bereiche um den Objektschwerpunkt (340) herum weitergeleitet. Der Neuronalcomputer 82 wird die sekundäre Klassifizierung an den Objekten gemäß seiner vorher abgeschlossenen Einübung, welche unten vollständig beschrieben wird (345), durchführen. Zusätzlich kann an diesem Punkt eine Objektzählung (und/oder auch sonstwo in Laufe des Verfahrens, wie bereits oben erwähnt) vorgenommen werden, um zu bestimmen, ob der Neuronalcomputer 82 eine ausreichende Anzahl an Zeilen von der primären Klassifiziereinrichtung erhalten hat, um einen gültigen Test anzuzeigen. Für Objekte, die von dem Neuronalcomputer 82 als verdächtig (350) erkannt wurden, wird die Farbwiedergabe eines geeigneten Bereichs, der den Schwerpunkt umgibt, von der Platte wiedergewonnen und an das hochauflösende Display des hochauflösenden Monitors (355) weitergeleitet. Zellen mit einer Klassifizierung, die geringer als der Schwellenwert ist, werden entsorgt, und der nächste Schwerpunkt wird von dem Allgemeinprozessor (340) erhalten und klassifiziert (345). Wenn bestimmt wird, daß alle Positionen, Fliesen auf dem Display besetzt sind (360), wird das Gesamtbild an den Allgemeincomputer 20a zur vorübergehenden Speicherung (365) weitergeleitet, bis alle Zellen auf dem Objektträger ausgesondert worden sind, und das hochauflösende Board wird gelöscht (370). Wenn erst einmal alle Schwerpunkte für dieses Segment in der primären Klassifiziereinrichtung durch den Neuronalcomputer gefunden worden sind (375) wird das Bild für ein anderes Segment ergriffen (275) und die Klassifizierung für dieses Segment durchgeführt (295-375).
Wenn alle Segmente auf einem Objektträger ausgesondert wurden (380), werden die Farbbilder in Hochauflösung für den Objektträger zu der Platte (385) zum Speichern bis zu einer passenden Zeit für die Darstellung auf dem hochauflösenden Monitor und zur tertiären Klassifizierung durch einen Zelltechniker oder Zytologen weitergeleitet. Alle Anordnungen verdächtiger Zellen können im Speicher mit Informationen versehen werden, die von der Strichmarkierung erhalten werden, um den Objektträger zu identifizieren, auf welchem sie gefunden wurden. Die Position der verdächtigen Zellen auf dem Objektträger kann auch physikalisch durch die Objektträger-Markiereinrichtung 18 auf dem Objektträger markiert werden. Ein Bericht, der die Testergebnisse für diesen Objektträger angibt, welcher mit den von diesem Objektträger erhaltenen Strichmarkierungsinformationen korreliert wird, kann nun oder später auf dem Drucker 158 ausgedruckt werden.
Dann wird der Objektträger zu der Kassette 23 zur"ckgefiihrt, und ein anderer Objektträger wird ausgewählt (200), um den Klassifizierungsvorgang erneut zu beginnen.
Es sollte bemerkt werden, daß, während die in den Figuren 3a und 3b beschriebene und gezeigte Bildverarbeitungs- und Digitalisiereinrichtung 20b, der Allgemeinprozessor 20a und der Neuronalcomputer 82 in serieller Weise arbeiten, in der tatsächlichen Praxis so viele Funktionen wie möglich parallel ausgeführt werden. Folglich können die Bestandteile 20b, 82, 20a verschiedene Objektträgersegmente oder unterschiedliche Bereiche eines Segmentes gleichzeitig verarbeiten, was die erforderliche Zeit zum Aussondern eines Objektträgers außerordentlich verringert.
Unter Hinwendung zu einer tiefergehenden Betrachtung des Klassifizierungsverfahrens und unter Bezugnahme auf Figur 4, wird eine Darstellung der Klassifizierungsfunktionen der Aussonderungsvorrichtung 10 in Blöcken erläutert. Die primäre Klassifizierung, wie etwa die Gewinnung morphologischer Eigenschaft auf niedrigem Niveau, wird, wie oben angezeigt, sowohl von der Bildverarbeitungs- und Digitalisiereinrichtung 20b als auch dem Allgemeincomputer 20a durchgeführt und wird in Figur 4 verbindend als Block 400 wiedergegeben.
Anfänglich erhält die Kamera 14, wie oben vollständiger beschrieben, ein Bild der zytologischen Probe, welches für den Klassifizierungsgebrauch digitalisiert ist. Die primäre Klassifiziereinrichtung 400 führt zunächst eine Abtragung des Bildes durch. Dieser Abtragungsvorgang schält Pixelschichten von jedem Objekt in dem Bild ab, so daß alle Objekte, die kleiner sind als der kleinste bekannte pathologische Zellkern, aus dem Bild entfernt werden. Die verbleibenden Objekte werden dann ausgebreitet, d.h. wiederaufgebaut, indem man diesen Objekten nacheinander wieder Pixelschichten hinzufügt, sie werden aber nicht bis zu dem Punkt ausgebreitet, an dem sie einander berühren. Die Basisarbeitsschritte der Abtragung und Ausdehnung können in mehreren Quellen nach dem Stand der Technik gefunden werden (z.B. Serra, J., "Image Analysis and Mathematical Morphology", Academic Press, 1982).
Auf der Basis von Erfahrungen mit einem Konstruktions-Prototypen, wurde herausgefunden, daß pro 1.000 in einem typischen günstigen Pap-Abstrich gefundene Objekte nicht mehr als etwa 15 Objekte die Abtragungs-/Ausdehnungs-Aussonderung durchlaufen. Diese verhältnismäßig wenigen verbleibenden Objekte werden dann durch die primäre Klassifiziereinrichtung 400 einer Aussonderung in integrierter optischer Dichte (IOD) ausgesetzt.
Die integrierte optische Dichte ist die Summe der Pixel-Grauwerte für jedes Objekt. Vorbösartige Zellen neigen dazu, über große dunkle Kerne zu verfügen. Der IOD-Schwellenwert wird daher so festgesetzt, daß er jedes Objekt herausfiltert, das die Abtragungs-/Ausdehnungs- Aussonderung durchläuft, welches aber eine IOD hat, die über oder unter dem Schwellenwert liegt, der von einer tatsächlich vorbösartigen oder bösartigen Zelle wiedergegeben wird. Für die 15 Objekte, die die Abtragungs-/Ausdehnungs-Aussonderung durchlaufen haben, zeigt die Erfahrung, daß nicht mehr als zehn Objekte den IOD-Filter durchlaufen werden. Auf diese Weise verringert die aus der Abtragung/Ausdehnung und IOD kombinierte Filterung im Durchschnitt ein Eingangsbild von 1.000 Objekten auf ein Ausgangsbild von zehn Objekten. Diese zehn Objekte können nicht nur vorbösartige und bösartige Zeilen einschließen, sondern auch andere Objekte mit einer hohen integrierten optischen Dichte, wie etwa Zellklumpen, Bruchstücke, Klümpchen aus Leukozyten und Schleim. Die Aufgabe der sekundären Klassifiziereinrichtung 420 ist es, die vorbösartigen und bösartigen von diesen anderen Objekten auseinanderzuhalten.
Für die Prototypenkonstruktion war die Klassifiziereinrichtung 420 ein auf einem Neuronalcomputer-Coprozessor enthaltenes neuronales Rückübertragungs-Netzwerk von Anza Plus auf einem IBM-PC. Das Rückübertragungs-Netzwerk wurde mit einer Übungsgruppe aus einigen hundert bekannten gutartigen und vorbösartigen oder bösartigen Zellen trainiert, um ein gutartiges Bild mit einer Diagnose von 0,1 und ein ungutartiges Bild mit einer Diagnose von 0,9 in Verbidnung zu bringen.
Beim tatsächlichen Betrieb wird die sekundäre Klassifiziereinrichtung 420 mit Bildern versorgt, die an sie von der primären Klassifiziereinrichtung 400 weitergegeben wurde. Dies sind Bilder, welche ähnlich sein können, aber nicht identisch mit denen sind, die verwendet wurden, um die Klassifiziereinrichtung 420 zu trainieren. Die Aufgabe der sekundären Klassifiziereinrichtung 420 ist, so von ihrem Einübungsverfahren aus zu verallgemeinern, daß sie erfolgreich gutartige und ungutartige Bilder klassifiziert, denen sie zuvor nicht ausgesetzt war.
Ein großer Vorteil gegenüber dem Stand der Technik besteht in der Tatsache, daß jedes der sekundären Klassifiziereinrichtung 420 vorgelegte Bild durch die primäre Klassifiziereinrichtung 400 an dem Schwerpunkt des verdächtigen Zellkerns vorzentriert ist. Dies wird erreicht, weil die Filterung auf der Basis von Abtragung/Ausdehnung und IOD automatisch zu einer Zentrierung jedes verdächtigen Bildes um seinen dunklen Schwerpunkt herum führt. Bei Versuchen nach dem Stand der Technik, neuronale Netzwerke und andere Formenanpassungs- Musterklassifiziereinrichtungen von hohem Niveau für die Bildwahrnehmung zu benutzen, hat sich die Schwierigkeit ergeben, die Klassifiziereinrichtung ständig mit dem Schwerpunkt der bilderfordernden Klassifizierung zu versorgen. Um ein Beispiel aus einem anderen Anwendungsgebiet zu benutzen, Rückübertragungs-Netzwerke sind hervorragend beim Lesen von handgeschriebenen Postleitzahlenziffern, haben aber Schwierigkeiten beim Herausfinden, wo auf dem Briefumschlag sich die Postleitzahl befindet. Die vorliegende Erfindung überwindet diese Schwierigkeit auf dem Gebiet der Zytologie.
Bei einer Prototypenkonstruktion wurde ein Bild mit 128 × 128 Pixeln um jeden Schwerpunkt herum gespeichert, welcher die Filter auf niedrigem Niveau der Klassifiziereinrichtung 400 durchlief. Ein 64 × 64-Fenster, ebenfalls um den gleichen Schwerpunkt herum zentriert, wurde unter Verwendung einer Pixel-Mittelung auf ein 24 × 24-Pixel-Bild komprimiert. Bemerken Sie, daß dieses Bild immer noch auf dem gleichen großen, dunklen Bild zentriert ist, welches die Abtragungs-/Ausdehnungs- und IOD-Filter der Klassifiziereinrichtung 400 durchlaufen hat. Eine Gruppe von einigen hundert dieser vorzentrierten 24 × 24-Pixel-Bilder bekannter gutartiger und ungutartiger Zeilen wurde verwendet, um die Klassifiziereinrichtung 420 zu trainieren. Während des Modellverfahrens, d.h. nach dem Trainingsvorgang, wenn der Klassifiziereinrichtung 420 neue Bilder vorgelegt werden, auf die sie während des Einübens nicht getroffen war, muß sie von den Einübungsgruppenbildern aus verallgemeinern, um die diagnostische Kategorie auszuwählen, die am ehesten auf das neue Bild paßt. Ein grundlegender Vorteil gegenüber dem Stand der Technik ist, daß während dieses Modellverfahrens, ihrer Betriebsphase nach der Einübung, die Klassifiziereinrichtung 420 mit exakt dem gleichen Typ von 24 × 24-Pixel-Bildern versorgt wird, auf welche sie trainiert wurde. Diese Bilder sind ebenfalls an dem Schwerpunkt des verdächtigen Kerns durch die Klassifiziereinrichtung 400 auf eine Weise zentriert worden, die identisch mit der ist, die verwendet wurde, um die Einübungsgruppenbilder herzustellen. Dies macht die Aufgabe des Verallgerneinerns der Klassifiziereinrichtung 420 sehr viel leichter und so viel erfolgreicher als irgendetwas anderes nach dem Stand der Technik.
Wie oben bemerkt, ist die Klassifiziereinrichtung 420 darauf trainiert, ein bekanntes gutartiges Bild mit einem Ergebnis von 0,1 und einem bekannten pathologischen Bild mit einem Ergebnis von 0,9 miteinander zu verbinden. Diese Ergebnisse geben zum Beispiel den Grad an Sicherheit wieder, daß eine Zelle normal bzw. anomal ist. Wenn die Klassifiziereinrichtung 420 dann mit neuen, unbekannten Zellen versorgt wird, verallgemeinert sie von ihrer Einübung aus und befestigt ein Ergebnis an dem Bild. Je genauer die Klassifiziereinrichtung 420 in der Lage ist, das unbekannte Bild in die gutartige Kategorie einzuordnen, desto näher kommt das Modellverfahrens-Ergebnis dem Wert 0,1. Umgekehrt, je mehr ein unbekanntes Bild der Klassifiziereinrichtung 420 den ungutartigen Bildern ihrer Trainingsgruppe zu gleichen scheint, desto näher kommt ihr Modellverfahrens-Ergebnis für dieses Bild dem Wert 0,9.
Während des Testens einer Prototypenkonstruktion, bei welcher ein neuronales Rückübertragungs-Netzwerk für die Klassifiziereinrichtung 420 verwendet wurde, wurde herausgefunden, daß keine wirklich vorbösartige oder bösartige Zelle ein Ergebnis von weniger als 0,75 anheftete. Um eine Sicherheitsspanne bereitzustellen, sondert die Klassifiziereinrichtung 420 nur Bilder mit einem Ergebnis von 0,65 oder weniger aus. Von jedem Bild, dem ein Ergebnis anhaftet, das größer als 0,65 ist, wird angenommen, daß es eine verdächtige vorbösartige oder bösartige Zelle ist. Für jedes dieser verdächtigen Bilder wird das damit verbundene um dessen Schwerpunkt herum zentrierte 128 × 128-Pixel-Bild aus dem Bildspeicher abgerufen und als eines von einem Feld von 64 solcher Bilder auf einem hochauflösenden Ausgangsrnonitor für die endgutartige Klassifizierung durch einen Zytotechnologen wiedergegeben.
Von allen Bildern, welche durch die Klassifiziereinrichtung 420 so klassifiziert wurden, ein Ergebnis von 0,65 oder weniger zu haben, wird angenommen, daß sie gutartig sind, und sie werden nicht auf dem Ausgangsrnonitor wiedergegeben. Während des Testens der oben beschriebenen Prototypenkonstruktion wurde herausgefunden, daß die Klassifiziereinrichtung 420 durchweg über 80% der an sie durch das Ergebnis der Klassifiziereinrichtung 400 gesandten gutartigen Bilder herausfilterte. Mit anderen Worten, über 80% der wirklich gutartigen Bilder, welche die Abtragungs-/Ausdehnungs- und IOD-Aussonderungen der Klassifiziereinrichtung 400 durchlaufen, wird durch die Klassifiziereinrichtung 420 ein Ergebnis von weniger als 0,65 zugeschrieben, was 20% dieser Bilder übrigläßt, die verdächtige gutartige oder vorbösartige und bösartige Zellen verkörpern, die letztlich von der tertiären Klassifiziereinrichtung 440, d.h. einem Zytotechnologen, klassifiziert werden müssen.
Wie oben erwähnt, kann in einer anderen Ausführungsform die Klassifiziereinrichtung 420 ein Formanpassungs- oder ein holographischer Bildfilter auf hohem Niveau sein. Es ist möglich, diese Filter in einem effizienten Gesamtverarbeitungsschema zu verwenden, weil das Objekt von Interesse bereits durch den Gewinnungsfilter auf niedrigem Niveau, der Klassifiziereinrichtung 400 identifiziert wurde.
Der Gesamtbetrieb des Zellklassifizierungssystems kann unter Bezugnahme auf die Figuren 5 und 6 zusammengefaßt werden. Figur 5 zeigt die Aussonderung eines typischen Pap- Abstrichs, welcher ungefähr 100.000 gutartige Zellen und andere Objekte enthält. Die primäre Klassifiziereinrichtung 400 wird durch die Abtragungs-/Ausdehnungs- und IOD-Filter 99% dieser Objekte herausfiltern und ungefähr 1.000 Objekte zu der sekundären Klassifiziereinrichtung 420 weiterleiten. Die Klassifiziereinrichtung 420, welche in der getesteten und bevorzugten Ausführungsform ein dreischichtiges neuronales Rückübertragungs-Netzwerk verwendet, filtert ihrerseits 80% dieser 1.000 Objekte heraus, wobei die Bilder von ungefähr 200 restlichen Objekten, die als pathologisch höchst verdächtig angesehen werden, an den Ausgangsmonitor für die tertiäre Überprüfung 440 durch Menschen weitergeleitet werden. Diese 200 Objekte werden in zwei oder drei Feldern von jeweils 64 Objekten zusammengestellt. Jedes Objekt wird als ein 128 × 128-Pixel-Bild verkörpert, das aus dem Videoeingang der Klassifiziereinrichtung 400 entnommen und um den verdächtigen Zellkern herum zentriert wurde. Die tertiäre Klassifiziereinrichtung 440, der Zytotechniker oder Zytologe, wird dann die die 200 Objekte weiter bis Null aussondern, da alle gutartig waren.
Das Aussondern eines Pap-Abstriches mit 50 pathologischen Zellen plus den ungefähr 100.000 Zellen und anderen Objekten (oben klassifiziert) wird in Figur 6 gezeigt. Die primäre Klassifiziereinrichtung 400 wird den Objektträger auf 1050 Zellen herunter aussondern (50 pathologische Zellen und 1000 mögliche pathologische Zellen). Die sekundäre Klassifiziereinrichtung 420 wird diese Zellen weiter auf 250 herunter aussondern (50 pathologische plus die 200 höchst verdächtigen gutartigen Zellen). Diese 250 Zellen werden dann von der tertiären menschlichen Klassifiziereinrichtung 440 ausgesondert, was zu 50 als pathologisch klassifizierten Zellen führt.
Das Gesamtergebnis ist, daß der Zytotechnologe, statt 100.000 Zellen unter dem Mikroskop zu untersuchen, 200 bis 250 auf einem hochauflösenden Farbvideobildschirm dargebotene Zellen untersucht, wobei jeder Schirm 64 Bilder enthält und wobei die Aufmerksamkeit des Zytotechnikers auf die Überprüfung des Zentrums jedes der 64 128 × 128-Pixel-Bilder fokussiert ist.
Bei der bevorzugten Ausführungsform wird die Erfindung dazu verwendet, Bilder wiederzugeben, die die primären 64 Zeilen in der untersuchten Probe verkörpern, welche höchstwahrscheinlich bösartig oder vorbösartig sind, d.h. Eigenschaften, Merkmale etc. bekannter bösartiger oder vorbösartiger Zeilen haben. Die tatsächliche Anzahl an Zellbildern oder die Anzahl an Zellen selbst kann höher oder niedriger als die bevorzugte Anzahl von 64 sein.
Darüber hinaus können diese Bilder dem Zytotechniker einzeln, in einer Reihe von vier, sechszehn oder mehr oder weniger Bildern vorgelegt werden, und diese Bilder können in verschiedenen Vergrößerungsstufen präsentiert werden, was weiter die Genauigkeit der tertiären Klassifizierung erleichtert und erhöht.
Das ausgesonderte Bild oder die ausgesonderten Bilder können dem Zytotechniker auch in der Nachbarschaft von Beispielsbildern präsentiert werden, die unverwechselbare Merkmale der Zustände haben, für die die Aussonderung durchgeführt wird. Wenn zum Beispiel ein Objektträger im Hinblick auf vorbösartige oder bösartige Zellen ausgesondert wurde, können ein oder mehrere gespeicherte Bilder mit Merkmalen, die bekannten Arten pathologischer Zellen gemein sind, wie etwa ein großer, dunkler Kern, aus dem Speicher abgerufen und in der Nachbarschaft des verdächtigen Bildes wiedergegeben werden. Folglich wird, wenn der Zytotechniker Zellenbilder aussondert, welche durch die primäre und sekundäre Klassifiziereinrichtung als verdächtig klassifiziert wurden, er oder sie in der Lage sein, einen Vergleich Seite an Seite verdächtiger Zellbilder mit einem bekannten vorbösartigen und/oder bösartigen Zellbild durchzuführen. Dies stellt eine bequeme visuelle Bezugnahme bereit, die der Zytotechniker ständig seinen oder ihren tertiären Aussonderungskriterien zugrundelegen kann. Es ist aber genauso nützlich, das Merkmal des Vergleichs Seite an Seite zu verwenden, wenn die menschliche Klassifiziereinrichtung das anfängliche oder alleinige Aussondern des Objektträgers durchführt.
Die Falsch-Negativ-Rate der zytologischen Aussonderung ist als eine Funktion des Verhältnisses der nicht-pathologischen zu den pathologischen Objekten bekannt, welche visuell auf einer täglichen, fortdauernden Basis überprüft werden. Das vorliegende Verfahren verringert außerordentlich die Anzahl der nicht-pathologischen Objekte, welche einer Überprüfung bedürfen, von 100.000 auf 200-250. Zusätzlich werden alle verdächtigen Zellkerne für den Untersuchenden durch ihre Position im Zentrum des 128 × 128-Pixel-Rechtecks herausgehoben. Das Ergebnis ist ein viel weniger ermüdeter Zytotechnologe und eine spürbare Verringerung in der Falsch- Negativ-Rate.
Es ist axiomatisch für das zytologische Aussondern, daß die Wahrnehmung nur von einer vorbösartigen oder bösartigen Zelle in einer Probe ausreicht, um die weitere Aufmerksamkeit des Arztes für den Patienten, von dem die Probe genommen wurde, sicherzustellen. Das Gegenteil ist aber nicht immer richtig. Das Vorhandensein nur von gutartigen Zellen in einer Probe bedeutet nicht schlüssig, daß ein Patient keinen Vorläufer von zervikalem Krebs hat oder entwikkelt. So kann zum Beispiel ein Pap-Abstrich nicht richtig ausgeführt worden sein, und als Ergebnis kann die Probe ungenügendes Zellmaterial für einen zuverlässigen Test enthalten oder kann gerade den Typ von Zellmaterial nicht enthalten, in welchem zervikaler Krebs sich am häufigsten entwickelt. Ob genügend Zellmaterial vorhanden ist, um eine Probengröße zu enthalten, die groß genug ist, möglicherweise eine zuverlässige Testprobe zu bilden, kann, wie oben beschrieben, durch Objektzählung bestimmt werden. Ein weiteres Verfahren der Bestimmung der Zuverlässigkeit des Tests, welches in Verbindung mit der Objektzählung verwendet werden kann oder nicht, ist die Ermittlung des Vorhandenseins bestimmter Zellen oder Zelltypen in der Probe.
Die Einfassung des Uterus enthält säulenförmige endometriale Zellen, und die Vagina ist mit flachen, plattenartigen Zellen ausgekleidet, bekannt als schuppige Zellen. Das verbindende Organ, der Gebärmutterhals, schließt diese beiden Zelltypen ein und hat einen die Schuppen- Säulen-Verbindung genannten Übergangsbereich, wo sich diese beiden Zelltypen begegnen. Die tatsächliche Position der Verbindung innerhalb des Gebärmutterhalses kann sich während des Alterns einer Frau, ihrer Schwangerschaft, etc. bewegen, und ist von Frau zu Frau unterschiedlich. In diesem Übergangsbereich zwischen den schuppigen und säulenartigen Zellen entwickelt sich zervikaler Krebs im allgemeinen zuerst. Da sich die innerhalb dieses Übergangsbereiches entickelnden bösartigen oder vorbösartigen Zellen nicht bis in die Vagina erstrecken müssen, bis zervikaler Krebs seine späteren Stufen erreicht hat, ist es entscheidend, daß der Pap-Abstrich- Tupfer nicht nicht nur einfach die Vagina und darunter liegende Bereiche des Gebärmutterhalses berührt, sondern daß er den Übergangsbereich weiter innerhalb des Gebärmutterhalses berührt. Der Bereich des Gebärmutterhalses oberhalb der entscheidenden Übergangszone, dieser dem Uterus am nächsten liegende Bereich, ist mit säulenartigen Zellen ausgekleidet, in dem Gebärmutterhals als endozervikale Zellen bekannt. Folglich zeigt das Vorhandensein endozervikaler Zellen in der Probe an, daß tatsächlich eine Probe aus der Übergangszone, oder der Schuppen- Säulen-Verbindung, genommen wurde.
Da selbst gutartige endozervikale Zellen viele Merkmale hat, über die eine vorbösartige oder bösartige Zelle verfügt, wird die sekundäre Klassifiziereinrichtung diesen Zellen eine verhältnismäßig höhere Einstufung geben als den meisten anderen gutartigen Zellen. Dementsprechend werden sich die endozervikalen Zellen, für eine Probe mit bösartigen oder vorbösartigen Zellen, unter den wenigen am höchsten eingestuften Zellen befinden, und am wahrscheinlichsten unter den 64 am höchsten eingestuften Zellen. Aus diesem Grund ist es wünschenswert, daß die Klassifiziereinrichtungen die 64 am höchsten eingestuften Zellen (d.h. die Zellen, die von der Erfindung als die bestimmt wurden, höchstwahrscheinlich böartig oder vorbösartig zu sein) oder andere Objekte für die Überprüfung durch einen Zytotechniker wiedergibt, selbst wenn diese Zellen alle unterhalb einer wirklich vorbösartigen oder bösartigen Zelle eingestuft wurden. Ein geübter Zytotechniker kann leicht eine endozervikale Zelle von anderen gutartigen oder bösartigen Zellen unterscheiden, und durch die Wahrnehmung von wenigstens einer endozervikalen Zelle zwischen den wiedergegebenen Zellen wird schnell offenbar, daß der Pap-Abstrich-Tupfer höchstwahrscheinlich die Übergangszone des Gebärmutterhalses berührt hat. Folglich wird ein sekundäres Verfahren der Bestimmung der Zuverlässigkeit des Tests geschaffen. Weiterhin kann der Zytotechniker bei Abwesenheit irgendwelcher vorbösartiger oder bösartiger Zellen, da eine zervikale Zelle innerhalb der primären 64 wiedergegebenen Objekte wiedergegeben wird, wenn sie in der Probe vorhanden ist, in sehr kurzer Zeit die Testprobe als adäquat und den Test als zuverlässig identifizieren.
Ein anderer Vorteil, der durch die Wiedergabe der 64 am höchsten eingestuften Zellen erlangt wird, ist, daß oftmals Infektionen festgestellt werden können. Da Zellen, die durch viele Infektionen gereizt wurden, wie etwa Venenleiden etc., auch viele der Eigenschaften einer vorbösartigen oder bösartigen Zelle wiedergeben, wird die sekundäre Klassifiziereinrichtung diese verhältnismäßig höher einstufen als gutartige, nicht-gereizte Zellen, aber niedriger als wirklich vorbösartige oder bösartige Zellen. Daher werden im Hinblick auf eine Probe ohne vorbösartige oder bösartige Zellen die infektionsbetroffenen Zellen im allgemeinen innerhalb des primären Bildschirms der am höchsten eingestuften Zeilen zum Betrachten durch den Zytotechniker wiedergegeben. Ein erfahrener Zytotechniker kann dann leicht diese Zellen innerhalb der verhältnismäßig wenigen (64) wiedergegebenen Zellen wahrnehmen, sie, wenn gewünscht, näher analysieren, wie etwa durch Vergrößern des Bildes oder durch Vergleichen der infizierten Zelle mit gespeicherten Darstellungen infizierter Zellen, und die Probe als infektiöse notieren.
Folglich ist offensichtlich, daß selbst dann, wenn die vorliegende Klassifiziervorrichtung die Probenzellen so einstuft, daß sie üblicherweise aus den primären wenigen wiedergegebenen Zellen heraus bestimmen kann, ob die Probe pathologische Zellen enthält, es vorteilhaft sein kann, daß ein Zytotechniker alle Zellen des primären wiedergegebenen Bildschirms der am höchsten eingestuften Zellen untersucht, um die Zuverlässigkeit des Tests zu bestimmen und zu bestimmen, ob sich Hinweise auf bestimmte Infektionen in der Probe finden lassen.
Wie für einen Durchschnittsfachrnann erkennbar, überwindet das hier beschriebene Verfahren alle die Nachteile, die der praktischen automatisierten zytologischen Analyse nach dem Stand der Technik innewohnen. Dies wird durch die einzigartige Kombination des vorliegenden Verfahrens aus der Merkmalsgewinnung und Forrnenanpassungsverfahren erreicht. Diese Kombination aus Verfahren überwindet das Erfordernis der Bildsegrnentierung, das im Stand der Technik aufzufinden ist. Zusätzlich überwindet diese Kombination aus Verfahren das große Hindernis neuronaler Netzwerke und anderer Formanpassungsverfahren unter intensiver Ausnutzung von Computerleistung für die Analyse komplexer Bilder, wie etwa zervikaler Abstriche. Dies wird durch die Tatsache erreicht, daß die primären Klassifiziereinrichtungen des vorliegenden Verfahrens zu einem automatischen Zentrieren der verdächtigen Zellkerne in der Eingangsanordnung des neuronalen Netzwerks führen.
Durch gleichzeitiges Überwinden des Erfordernisses der Bildsegmentierung und das Möglichmachen des primären praktischen Gebrauchs neuronaler Netzwerke für die Zytologie, hat das vorliegende Verfahren zu dem primären praktischen automatisierten zytologischen Aussonderungssystem geführt. Das vorliegende Verfahren hat durch eine Prototypenkonstruktion bewiesen, daß es erfolgreich standardisierte Pap-Abstriche mit sich überlappenden und teilweise undeutlichen Zellen analysieren kann. Es hat sich auch gezeigt, daß diese Analyse innerhalb einer Zeitspanne durchgeführt wird, die typischerweise durch die Untersuchung vollständig von Hand verbraucht wird. Auf diese Weise hat die in dem vorliegenden Verfahren verkörperte einzigartige Kombination aus Verfahren das Ziel von über zwanzigjährigen Versuchen des Standes der Technik im Hinblick auf die automatisierte zytologische Klassifizierung erreicht.
Die Erfindung ist aber nicht auf die Verwendung als eine primäre Aussonderungsvorrichtung beschränkt, sondern kann auch dazu verwendet werden, Zellen erneut auszusondern, die ein Zytotechniker bereits überprüft und als gutartig klassifziert hat. Als solches stellt die Vorrichtung eine effektive Überpröfung bereit, um die Aufmerksamkeit des Zytotechnikers auf Zellen zu fokussieren, welche während des primären Aussonderns übersehen worden sein könnten.
Die Erfindung kann so gestaltet und trainiert werden, daß sie andere Objekte klassifiziert, von denen nicht zu erwarten war, sie in einem typischen Pap-Abstrich zu finden. Ein solches Objekt kann zum Beispiel durch einen Herpesvirus verkörpert werden.
Die Erfindung kann auch dazu verwendet werden, unerwartete Zellen auf einem Objektträger zu klassifizieren, welche zuvor von einem Zytologen oder einem Zytotechniker auf anderer Grundlage ausgesondert wurden. Ein solcher Umstand ergibt sich bei der Klassifizierung eines Pap-Abstriches, der von einer Patientin nach den Wechseljahren genommen wurde. Andere Umstände sind das Aussondern im Hinblick auf Organismen, etc. Folglich wird der Objektträger von einem Zytologen auf das Vorhandensein endometrialer Zellen oder anderer Organismen hin analysiert werden und dann durch die Erfindung im Hinblick auf andere unerwartete Zellen oder Viren, wie etwa bösartige/vorbösartige Zellen oder den Herpesvirus, ausgesondert werden.
Ein anderes wichtiges Merkmal der vorliegenden Vorrichtung ist die Möglichkeit eines anpassungsfähigen Lernens für den Neuronalcomputer 82 bereitzustellen. Dieses Anpassungsverfahren versetzt den Neuronalcomputer 82 in die Lage, erneut trainiert oder auf zusätzliche Informationen trainiert zu werden, die zusätzliche oder besser beschriebene Zellen oder spezielle Eigenschaften verkörpern. Die Eigenschaften dieser Zellen können jene der bösartigen oder vorbösartigen Zeilen sein, können jene der gutartigen Zellen sein, können jene anderer Arten von Zellen oder Eigenschaften anderen Materialtyps sein, die man in den Proben erwartet hat, die untersucht und klassfiziert werden sollen. Weiterhin kann dieses anpassungsfähige Einüben in einem Labor oder einer Forschungsanstalt ausgeführt werden, und die Ergebnisse eines solchen Einübens können an die Vorrichtung geliefert werden, die die Erfindung in diesem Bereich verwendet.
Es liegt auch auf der Hand, daß, während die Erfindung unter vorrangiger Bezugnahme auf Pap-Abstriche beschrieben wurde, die Erfindung auf die meisten anderen zytologischen Probentypen anwendbar ist, wie zum Beispiel etwa die, die abgeblätterte oder abgesaugte Zeilen enthalten.

Claims

1. Verfahren zur Klassifizierung einer zytologischen Probe hinsichtlich der Anwesenheit vorbösartiger oder bösartiger Zeilen mit den Stufen, in denen man

a) eine digitale Darstellung wenigstens eines Teils der Probe erzeugt (20b) und

b) eine Klassifizierung einzelner Objekte in der digitalen Darstellung auf Computerbasis als eine Funktion der optischen und/oder morphologischen Eigenschaften der Objekte als wahrscheinlich vorbösartige oder bösartige Zeilen durchführt (20b, 81),

dadurch gekennzeichnet, daß die Stufe der Klassifizierung auf Computerbasis einschließt, daß man einzelnen Objekten einen Wert zuweist, der im Bereich von Werten liegt, welche die Wahrscheinlichkeit anzeigen, daß eine solche Klassifizierung angibt, daß jedes betreffende Objekt eine vorbösartige oder bösartige Zelle ist, und daß das Verfahren die weiteren Stufen einschließt, in denen man

c) mit Hilfe eines Prozessors (20a) die einzelnen Objekte in einer Reihenfolge als eine Funktion des jedem Objekt zugeteilten Wertes einstuft und für eine Darstellung mehrerer der Objekte gemäß der Reihenfolge auswählt, wobei die mehreren ausgewählten Objekte weniger als die Anzahl der eingestuften Objekte sind, und

d) Bilder der ausgewählten Objekte zur Betrachtung und weiteren Klassifizierung durch einen Bediener wiedergibt (154).

2. Verfahren nach Anspruch 1, bei dem die Stufe des Auswählens ein Auswählen wenigstens einer Mindestzahl von Objekten für die Wiedergabe einschließt unabhängig davon, ob die Einstufung eines Objektes größer oder kleiner als eine vorgeschriebene Wahrscheinlichkeit ist.

3. Verfahren nach Anspruch 1, bei dem die Stufe des Auswählens ein Auswählen wenigstens einer Mindestanzahl der am höchsten eingestuften Objekte einschließt, wobei die Mindestanzahl ausreichend ist, daß Objekte einer vorbestimmten Zelltype in Abwesenheit vorbösartiger oder bösartiger Zellen wiedergegeben werden, und die Zelltype eine solche ist, bei der die Anwesenheit in der Wiedergabe wenigstens einer Zelle jener Zelltype anzeigt, daß der Test wahrscheinlich zuverlässig ist.

4. Verfahren nach Anspruch 1, Anspruch 2 oder Anspruch 3, bei dem die Stufe einer Durchführung einer Klassifizierung auf Computerbasis die Verwendung eines Neuronalcomputergerätes (82) einschließt, um Objekte als wahrscheinlich bösartig oder vorbösartig als eine Funktion der Übung des Neuronalcomputergerätes zu klassifizieren.

5. Verfahren nach einem der vorausgehenden Ansprüche, welches mit einer Probe durchgeführt wird, die endozervikale Zeilen umfaßt.

6. Verfahren nach einem der vorausgehenden Ansprüche, bei dem die Stufe der Wiedergabe eine Anordnung jedes ausgewählten Objektes in der Reihenfolge seiner Einstufung einschließt.

7. Verfahren nach Anspruch 6, bei dem die Stufe der Anordnung eine Anordnung der Objekte in einem Matrixformat einschließt.

8. Verfahren nach Anspruch 7, bei dem das Matrixformat eine 8 × 8-Matrix ist.

9. Verfahren nach Anspruch 1, bei dem die Stufe des Auswählens ein Auswählen wenigstens einer Mindestanzahl der am höchsten eingestuften Objekte einschließt, wobei die Mindestanzahl ausreichend ist, daß für Zellen mit Infektionsindikationen repräsentative Objekte in Abwesenheit von vorbösartigen oder bösartigen Zellen wiedergegeben werden.

10. Vorrichtung (10) zum Klassifizieren einer zytologischen Probe hinsichtlich der Anwesenheit vorbösartiger oder bösartiger Zellen mit

einer Kamera (14), um ein Bild wenigstens eines Teils einer zytologischen Probe zu erhalten,

einer Einrichtung (20b) zur Erzeugung einer digitalen Darstellung des Bildes und einer Klassifiziereinrichtung auf Computerbasis (20b, 81) zum Klassifizieren einzelner Objekte in der digitalen Darstellung als eine Funktion der optischen und/oder morphologischen Eigenschaften der Objekte als wahrscheinlich vorbösartige oder bösartige Zellen,

dadurch gekennzeichnet, daß die Klassifiziereinrichtung auf Computerbasis (20b, 81) so arbeitet, daß sie einzelnen Objekten einen Wert zuteilt, der in einem Bereich von Werten liegt, die die Wahrscheinlichkeit anzeigen, daß eine solche Klassifizierung anzeigt, daß jedes betreffende Objekt eine vorbösartige oder bösartige Zelle ist, und daß die Vorrichtung

einen Prozessor (20a) zum Einstufen der einzelnen Objekte in einer Reihenfolge als eine Funktion der jedem Objekt zugeteilten Werte und Auswählen mehrerer der Objekte gemäß der Reihenfolge für eine Wiedergabe, wobei die mehreren ausgewählten Objekte weniger als die Anzahl der eingestuften Objekte sind, und

eine Wiedergabeeinrichtung (154) zur Wiedergabe von Bildern der ausgewählten Objekte zur Betrachtung und weiteren Klassifizierung durch einen Bediener einschließt.

11. Vorrichtung nach Anspruch 10, bei der die Klassifiziereinrichtung auf Computerbasis ein Neuronalcomputergerät (82) zur Klassifizierung von Objekten als wahrscheinlich bösartig oder vorbösartig als eine Funktion der Übung des Neuronalcomputergerätes einschließt.

12. Vorrichtung nach Anspruch 10 oder Anspruch 11, bei der die Klassifiziereinrichtung auf Computerbasis eine statistische Klassifiziereinrichtung (20b) zum Klassifizieren von Objekten als wahrscheinlich bösartig oder vorbösartig auf der Basis der morphologischen Eigenschaften der Objekte einschließt.