DE2823490A1 - Verfahren zur analyse von organismus- zellen - Google Patents
Verfahren zur analyse von organismus- zellenInfo
- Publication number
- DE2823490A1 DE2823490A1 DE19782823490 DE2823490A DE2823490A1 DE 2823490 A1 DE2823490 A1 DE 2823490A1 DE 19782823490 DE19782823490 DE 19782823490 DE 2823490 A DE2823490 A DE 2823490A DE 2823490 A1 DE2823490 A1 DE 2823490A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- cell
- high resolution
- analyzes
- nucleus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Description
Verfahren zur /uialyse von Organisinus-Zol 1 (Mi
Di ο Erfindung bezieht sich auf ein Vorf aiii cn zui
/uialyse von Organismus-Zellen, dio 'loil einer ZoIlpiobe,
eines Abst riches odei dergleichen Hind.
In den Ui3A leben heute mehr als 70 Millionen Frauen,
die; unter dem Risiko des Gebärmul t er-Ki ebncMS leben.
ßt.at ist isch gesehen werden 46.000 diosser Frauen an
Ki(1I)S eiJ.ianken und 12.000 von ihnen jähilioh f; i <?2—
hen. Der sogenannte Zellbrei- odei PaI)-AUiSHi ι ich-T(U3t
isi in den letzten 30 Jahren dazu vorwendet woidon,
die rrüheikennung dieses Krebstypes zu ermöglichen.
Grundsätzlich beinhaltet dieser Test eine visuelle
Betrachtung und genaue Untersuchung von 1I aufwinden
mikroskopischer Zellbilder, die von gut genchu] t ein
1oisonal durchgeführt werden, mit den üblichen subjektiven
Unterschieden. Die Abstriche; müsKen abgenommen, präpariert und analysiert werden. Di(JHe Veri
ahronsHclu it t ο .«sind zeitraubend und Kostspielig,
haben jedoch zu einer drastischen Kedul.tion doi lodesfälle
bei Frauen geführt, die diese To.'ätis regelmäßig
durchführen laissen. Um die Todesrate durch Früher-Itennung
weiterhin zu reduzieren, wild (-mpiohlen, daß
8 0 9 8 Ü 0 / 0 8 0 0
alle Frauen über 18 den Test einmal und alle Frauen über 40 den Test zweimal jährlich durchführen lassen.
Zur Zeit werden etwa 16 Millionen Tests jährlich durchgeführt, also wesentlich weniger als die Anzahl, die
erforderlich wäre, um die 70 Millionen Frauen mit Krebsrisiko zu untersuchen.
.Wegen der großen Anzahl der notwendigen Tests wäre eine
automatisierte oder halb-automatisierte Früherkennungsmethode für Gebärmutter-Krebs äußerst wünschenswert,
da diese die Kosten der Tests senken würde und einen günstigeren Einsatz des Klinik-Personals erlauben würde.
Eine Automatisierung würde außerdem die Genauigkeit und Arbeitsintensität erhöhen und eine Standardisierung
der Test verschiedener Laboratorien möglich machen. Da eine Automatisierung so viele bedeutende Vorteile
in der Analyse des Ausstrich-Testes ermöglicht, haben Forscher in den letzten 20 Jahren bereits versucht,
derartige Automatisierungsvorrichtungen zu konstruieren. Dabei sind verschiedene Ansätze zur Klassifikation entwickelt
worden, um die individuellen Zellkerne der Epithel-Zellen zu untersuchen und zu entscheiden, wie
sich normale gegenüber abnormale Zellen unterscheiden. Diese Versuche waren jedoch nicht erfolgreich, in jüngerer
Zeit haben sich die Versuche darauf konzentriert,
809850/0800
die Epithel-Zellen-Präparate zu desaggregieren und die Zellen einzeln in Suspensionen zu analysieren,
wenn sie durch verschiedene Meßeinrichtungen fließen. Diese Verfahrensweisen haben begrenzte Auflösungsmöglichkeiten
im Sinne der mikroskopischen Morphologie. Sie messen jedoch die Eigenschaften der Zellen im Sinne
von Merkmalen wie vergrößerter DNA-Gehalt, Kern-Fluoreszenz und dem Verhältnis der Größen von Kern
und Cytoplasma. Diese Konzepte waren jedoch auch nicht erfolgreich. Weitere Forschungen aus jüngerer Zeit haben
versucht, einzelne Zellen unter Benutzung mehrerer Eigenschaften zu klassifizieren, die sich aus einer
Analyse eines hochaufgelösten Digitalbildes ergeben.
Keine dieser Forschungsstrategien, d. h. weder die Technik des niedrig auflösenden Flusses noch die der
hoch aufgelösten digitalen Bilder, ist dazu geeignet, die Fehlerrate für falsch-positive oder falsch-negative
Zellklassifikationen genügend klein zu halten, so daß
sie in einem Uberprüfungsaystem verwendet werden kann, das in annehmbarer Weise die zur Zeit durchgeführte
Untersuchung der Zellabstriche durch Laborpersonal ersetzt. Eine der Schwierigkeiten bei der Entscheidung,
ob eine Probe negativ oder positiv ist, liegt in der Tatsache begründet, daß eine positive Probe die Ent-
809850/0800
deckung einer sehr kleinen Subpopulation erfordert, d. h. in der Größenordnung zehn Zellen von 10.000
bis 100.000 Epithel-Zellen, die auf dem Abstrichgläschen vorhanden sind.
Es sind verschiedene Versuche gemacht worden, um die Entscheidung hierüber auf ein oder zwei Kriterien zu
gründen, beispielsweise Übergröße des Zellkerns, eine Korrelation zwischen der Anzahl der Leukozythen im
Abstrich, Kerndichte oder das Verhältnis von Kerngröße zu Cytoplasma-Größe. Es ergab sich bei diesen
Versuchen, daß ein einzelner Parameter im allgemeinen überlappend zwischen normalen und abnormalen Zellen
liegt; kein einzelner Parameter ist daher ausreichend, um die erforderliche Genauigkeit für eine positive
oder negative Entscheidung über die Bösartigkeit zu gewährleisten.
Wird unter Verwendung von sogenannten Digital-Techniken ein Hochauflösungsbildbereich des Kernes analysiert,
so wird praktisch der Informationsgehalt der Gesamtzelle verworfen. Letztere Information, die dazu verwendet
werden kann, die Abnormalität zu bestimmen, ist damit nicht mehr verfügbar. Analysiert man andererseits
das gesamte Zellbild in ähnlicher Weise durch
809850/0800
digitale Techniken, so ist in Bezug auf den Kern die Auflösung nicht ausreichend, um die Information zu
ergeben, die eine genaue Entscheidung ermöglicht. Vorrichtungen, die entwickelt worden sind, um eine
Voruntersuchung (Prescreening), Einfärbung und Identifizierung
von möglicherweise verdächtigen Zellen zu ermöglichen, die dann von einem Techniker mit hoher
Auflösung überprüft werden, sind nicht von Erfolg gekrönt gewesen, hauptsächlich wegen der Anwesenheit von
Fremdkörpern und anderen Verschmutzungen, die als verdächtig angezeigt wurden. Außerdem tritt eine erhebliche
menschliche Ermüdung auf, die auf der notwendigen Untersuchung jeder dieser Positionen beruht, um zu
entscheiden, ob verdächtige Zellen oder ob ein Fremdkörper vorliegt. In einigen Systemen ist es erforderlich,
daß das Laborpersonal in jeder neuen Position die Vorrichtung refocussiert. Es wird daher allgemein festgestellt,
daß derartige Voruntersuchungssysteme, die immer wieder erneute Beobachtung erfordern, und die es
nicht ermöglichen, Fremdkörper auszuscheiden, Schwierigkeiten bergen, die sich in starker Ermüdung des
Personals und entsprechend geringer Wirtschaftlichkeit und Durchsatz bemerkbar machen.
Anders als die oben beschriebenen Apparate, die im 809850/0800
wesentlichen einzelne Parameter oder mehrere Parameter verwenden, die sich aus einem Bildbereich mit einer
einzelnen bestimmten Auflösung ableiten, verwendet die vorliegende Erfindung viele Parameter, die sich
aus Bildern wesentlich verschiedener Auflösungen ergeben. Außerdem werden Merkmale gemessen und analysiert,
die von den Bildern verschiedener Auflösung stammen. Dies erlaubt simultane Analysen, die aus Untersuchungen
oder Analog-Digital-Umwandlungsvorrichtungen nicht erhalten werden können, die bei einer einzigen optischen
Auflösungsstärke arbeiten.
Bei der gegenwärtigen manuellen Einzeluntersuchungstechnik untersucht der Cytologe ein Zellenpräparat mit
geringer Auflösung, um verdächtige Zellen oder Zellgruppen zu finden. Wenn er eine verdächtige bemerkt
hat, stellt er das Mikroskop auf höhere Auflösung um, um ein besseres Bild von der Größe, dem Umriß und der
Farbe der Zellen und insbesondere ihrer Zellkerne zu gewinnen. Die Struktur der Zellkerne, deren Größe,
ihre Größe im Verhältnis zu dem zugehörigen Cytoplasma und die Farbe des Zellkernes sind die wichtigsten Daten
bei dieser Analyse. Diese Analyse erfordert auch eine Verschiebung des Abstrichgläschens. Es muß allerdings
bezweifelt werden, daß der Beobachter alle Zellen auf dem Gläschen sieht. Es ist daher möglich, daß er einen
809850/0800
kritischen Zellbereich übersieht. Dies ist auch verständlich, da sich zwischen 10.000 und 100.000 Zellen
auf dem Gläschen befinden können. Der Zellforscher untersucht ein Gläschen normalerweise in etwa fünf
Minuten,und ihm steht außerdem die Krankengeschichte des Patienten zur Verfügung, die weitere Informationen
enthält, um ihm bei der Analyse des Abstrichtestes zu helfen. Die genaue Irrtumsrate bei der durch Menschen
durchgeführten Einzelanalyse des Abstrichtestes ist zwar unbekannt*, Forschungen deuten jedoch darauf hin,
daß die Irrtumsrate sehr hoch sein könnte.
Um eine automatisierte Analyse durchzuführen, die wirtschaftlich tragbar ist, muß diese wenigstens die Leistung
eines Cytologen erbringen, und zwar zumindest auf einem oder mehreren Gebieten, wie Geschwindigkeit, Kosten und
Genauigkeit ohne besondere Nachteile in anderen Gebieten. Es wird angenommen, daß eine automatisierte Abstrich-Untersuchungsmethode
die Zellen schneller als der Cytologe untersuchen kann, beispielsweise in einer Zeit von einer oder zwei Minuten. Dies bedeutet did Voruntersuchung,
das Ableiten von Merkmalen und die Klassifizierung von zwischen 10.000 bis 100.000 Zellen in ein
oder zwei Minuten. Da der Automat Im wesentlichen alle
Zellen des Abstrichgläschens sehen wird, während dies
809850/0800
der Cytologe nicht tut, sollte auf diesem Gebiet der Cytologe übertroffen werden. Darüber hinaus sollte die
Fehlerrate für falsch-positive oder falsch-negative Ergebnisse bei dem automatischen Apparat wenigstens
gleich der des mittleren Cytologen und möglichst besser sein als die subjektive Beurteilung durch den Cytologen.
Außerdem sollte das automatisierte System in der Lage sein, die verschiedenen Zellklassen zu zählen,
um weitere Daten, die bis jetzt nicht zugänglich waren, zu erhalten. Dieses sollte jedoch in großem Maßstab
geschehen, um ein neues und wichtiges Instrument zur Analyse von Zellbrei(Pap-)Abstrichen zu erhalten.
Aus den obigen Bemerkungen kann ersehen werden, warum ein erfolgreiches automatisches Abstrich-Untersuchungssyatem
bis jetzt nicht entwickelt worden ist und warum ein Bedürfnis für ein Bolches System besteht. Trotz der
vielen Millionen an Dollars, die in die Forschung investiert worden sind, um ein solches System zu entwickeln,
ist bisher keines so erfolgreich gewesen, daß es marktfähig ist und in kommerziell bedeutsamen Mengen in den
Vereinigten Staaten von Amerika verkauft werden konnte.
Demnach ist es also Ziel und Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zur Ver-
809850/08QQ
fügung zu stellen, um Gewebe- und Zellproben zu analysieren, insbesondere Zellbrei-Abstriche. Die Erfindung
ermöglicht es, die maximal mögliche Information zu erhalten, in dem Bilder der zu untersuchenden Zellen
der Proben mit verschiedenen Auflösungsgraden erzeugt werden und aus diesen Merkmalen entnommen werden,
die eine genauere Klassifikation der Zellen erlauben.
Ein weiteres Ziel der Erfindung Liegt darin, das Bild mit hoher Auflösung dazu zu benutzen, Merkmale abzuleiten,
die eine hohe Auflösung verlangen, d. h. Analyse der Zellstruktur von cervikalen Epithel-Zellen
oder Analyse der Ümfangsgestalt von roten Blutkörperchen. Die Bilder mit niedriger Auflösung sollen dazu
verwendet werden, Merkmale herauszufinden, die keine hohe Auflösung verlangen, d. h. Analyse der Größe und
Dichte des Cytoplasmas und des Zellkernes von cervikalen Epithel-Zellen oder Analyse des Hämoglobin-Gehaltes
von roten Blutkörperchen.
Ein weiteres Ziel der Erfindung ist es, einen automati*-
schen Zellbrei-Austrich-Analyseapparat zu bauen, der
gleichzeitig mit einem opto~elektronischem Gerät die Gesamtzelle und mit einem zweiten solchen Gerät den
Zellkern analysiert.
809850/0800
Weiterhin ist Ziel der Erfindung die simultane und voneinander unabhängige Messung und Analyse der Bilder
mit hoher und niedriger Auflösung. Dies erleichtert die Gesamtanalyse und Klassifikation der Proben.
Insbesondere ist es Ziel der Erfindung, ein Verfahren
und eine Vorrichtung anzugeben, die besonders dazu geeignet ist, automatisch Abstriche zu analysieren, indem
ein Bild des zu untersuchenden Zellkernes mit hoher Auflösung in digitalisierter Form angefertigt wird,
das Messungen und Analysen erlaubt. Weiterhin soll Bimultan ein Bild der gesamten Zelle mit geringerer
Auflösung erzeugt werden, die den Zellkern einschließt, welches andere Messungen bzw. Analysen ermöglicht.
Messungen und Analysen beider Bildbereiche werden gleichzeitig ausgeführt, wobei unabhängig zu betreibende
Schaltkreise verwendet werden, so daß die Arbeitsgeschwindigkeit maximalisiert ist. Die Maximalisierung
beruht auf der simultanen Arbeitsweise und auf der Tatsache, daß nur die notwendige Menge von Daten durch
den jeweiligen Schaltkreis verarbeitet wird, um die
gewünschte Merkmalsinformation zu erhalten. Dies minimalisiert die Analyse redundanter Daten.
Weitere Eigenschaften und Vorteile von Verfahren und Vorrichtung werden anhand der Zeichnung erläutert.
Die Figuren der Zeichnung zeigen:
809850/0800
Figur 1 in schematischer Darstellung eine Vorrichtung
gemäß Erfindung;
Figur 2 ein Blockdiagramm zur Darstellung der Schritte der Zellen-Klassifikation;
Figuren 3a und 3b zeigen Darstellungen des Zellkerns von repräsentativen normalen und abnormalen
Zellen, einschließlich der sich ergebenden elektrischen Signale, die Struktur-Variationen
entsprechen, die entlang der Linien a-a und b-b der jeweiligen Zellen gewonnen wurden;
Figur 4 zeigt ein Flußdiagramm mit den Schritten, die zur Messung und Analyse des Bildbereiches
niedriger Auflösung durchgeführt werden; durch den Logik-Schaltkreis werden vier Merkmale
der Zelle abgeleitet;
Figur 5 a zeigt ein Flußdiagramm der Schritte, die zur Messung und Analyse des Bildbereiches
hoher Auflösung durchgeführt werden; es ergeben sich zwei Merkmale der Struktur des Zellkerns;
Figur 5 b stellt die Wahrscheinlichkeitsmatrix dar,
809850/0800
- VeT-
die verwendet wird, um die beiden Merkmale zu bestimmen, die sich aus dem Logik-Schaltkreis
ergeben;
Figur 6 stellt das mathematische Modell der multivarianten Gauß'sehen Verteilungstechnik dar, die
durch den Klassifikationsschaltkreis durchgeführt werden kann.
Allgemein gesprochen bezieht sich die vorliegende Erfindung auf ein Verfahren und eine Vorrichtung zur
Durchführung von Messungen und Analysen von Gewebe- und Blut-Zellen zum Zwecke der genauen Klassifizierung
der Zellen einer Probe. Insbesondere eignet sich die vorliegende Erfindung dazu, verdächtige oder bösartige
Zellen eines Zellbrei-Ausstrich-Testes (sog. Pap-Test) zu identifizieren. Die Erfindung umfaßt die Automatisierung
der Analyse und der Klassifikation von cervikalen Zell-Abstrich-Glasplättchen, die durch die üblichen
Abstrich-Techniken hergestellt werden zum Zwecke der Bestimmung der Bösartigkeit. Alle Schritte werden
im wesentlichen ohne visuelle Untersuchung durch das Laborpersonal durchgeführt. Die Vorrichtung umfaßt eine
Bühne, auf die das Abstrichplattchen gelegt wird. Das Plättchen wird zu einer Position bewegt, in der eine
Vorabtastung eine Problem- oder Verdachtszelle lokali-
809850/0800
siert hatte. Die Vorabtastung bzw. Voruntersuchung, das sog. Prescreening, wird vorzugsweise mit sehr
geringer Auflösung durchgeführt. Dies ermöglicht insgesamt eine höhere Geschwindigkeit der Untersuchung
des gesamten Abstrichplättchens. Die Voruntersuchung wird durch optisches Abtasten (Scanning) des Plättchens
vorgenommen, vorzugsweise mit Hilfe einer optoelektronischen Abtast-Einrichtung, beispielsweise mit einer
Objektivlinse mit etwa zehnfacher Vergrößerung, um dunkle Objekte im Bereich einer bestimmten Wellenlänge
zu finden, die einen vorher festgelegten Schwellenwert überschreiten; die Position des dunklen Objektes wird
dann in einem elektronischen Speicher gespeichert. Die Speicherinformation wird anschließend dazu benutzt, die
Kontrollorgane für die Lageeinstellung der Bühne zu steuern, so daß die dunklen Objekte weiteren Messungen
und Analysen mit Hilfe der gleichzeitigen Bilduntersuchung bei zwei Auflösungen unterworfen werden können.
Eine genaue Klassifikation der dunklen Objekte kann so durchgeführt werden.
Das Plättchen oder Gläschen wird anfangs durch eine Mikroskop-Optik vergrößert, um den Zellkern auf eine
Bild-Abtast-Vorrichtung oder auf eine Video-Sensor mit ausreichender Auflösung zu projizieren. Die Auflösung
809850/0800
sollte beispielsweise 0,1 bis 0,2 Mikrometer in der Bildebene betragen. Auf diese Weise können verschiedene
Struktur-Messungen und -Analysen durchgeführt werden. Gleichzeitig wird das Bild, das durch die Mikroskop-Optik
erhalten wird, aufgeteilt und über einen zweiten Lichtweg geleitet, der eine Verkleinerungsoptik enthält,
um das Gesichtsfeld zu vergrößern. Auf diese Weise können sowohl ein größerer Bereich der gesamten Zelle
als auch Teile ihrer Umgebung beobachtet werden. Durch den Gebrauch einer zweiten Bildabtasteinrichtung oder
eines Video-Sensors, in Verbindung mit passenden Farbfiltern, können Messungen und Analysen des vergrößerten
Bildbereiches bei niedriger Auflösung durchgeführt werden, um Merkmale zu erhalten, die sich auf die gesamte
Zelle beziehen. Nachdem Messung und Analyse des Bildbereiches bei niederer Auflösung durchgeführt worden
sind - dies geschieht gleichzeitig und parallel mit den Messungen bei hoher Auflösung - werden die Merkmale
beider Bildbereiche (hohe und niedrige Auflösung) durch eine Klassifikationslogik zusammengeführt, um die Zellen
unter Verwendung aller zugänglichen Merkmale zu klassifizieren.
Vorrichtungen gemäß dem Stand der Technik gingen im allgemeinen davon aus, die Abtastauflösung des Bildes
809850/0800
in einer solchen Größe zu halten, daß die gesamte Zelle, einschließlich des Zellkerns, einer einzigen
Analyse unterworfen werden konnte. Die Schwierigkeiten der Geräte dieser Art hängen mit den unverhältnismäßig
verschiedenen Größen von Cytoplasma und Zellkern bei cervikalen Epithel-Zellen zusammen. Beispielsweise
bewegt sich der Durchmesser des Zellkernes in einem Bereich von 2-18 Mikrometer, während der Durchmesser
des Cytoplasmas von 8-95 Mikrometer reicht. Auch sind die Beschränkungen für heutige Speichereinheiten zur
digitalen Bilderfassung dergestalt, daß eine obere Grenze von 100 χ 100 oder 10.000 Speicherelementen
besteht. Speicher, die größer sind, sind nicht nur sehr kostspielig, sondern haben auch eine prohibitiv große
Zugriffszeit für ein individuelles Bildelement bei der Messung. Um beispielsweise eine 0,2 Mikrometer-Auflösung
des Zellkerns in einem Bild zu erhalten und gleichzeitig die gesamte Ausdehnung des Cytoplasmas
zu messen, wäre wenigstens eine Speichergröße von 475 χ 475 oder 225.625 Elementen erforderlich. Jedes
dieser Elemente müßte einzeln abgefragt werden können, um beispielsweise eine Zellgrößenmessung durchzuführen.
Auf der anderen Seite erfordert eine 0,7 Mikrometer-Auflösung nur 136 χ 136, also 18.496 Speicherelemente.
In diesem Falle können Größenmessungen mit entsprechend
809850/0800
- XT-
größerer Geschwindigkeit durchgeführt werden. In diesem Falle erhält man jedoch nur 14 Meßpunkte über den Durchmesser
eines mittleren Zellkerns - zweifellos eine sehr weitmaschige Meßanordnung für Strukturmessungen. Es
wurde gezeigt, daß die Genauigkeit in der Klassifikation der Kernstruktur nicht ausreicht, wenn die Auflösungen
gröber sind als 0,25 Mikrometer. Dies wird in der Doktorarbeit von N. J. Pressman beschrieben ("Optical Texture
Analysis for Automatic Cytology and Histology: A Markovian Approach", Ph. D. Thesis, Lawrence Livermore
Laboratory, University of California, Livermore, October, 1976). Aus diesem Grunde wird deutlich, daß die Verfahrensweisen
gemäß Stand der Technik ungeeignet waren, um aussagefähige Struktur-Messungen am Zellkern durchzuführen,
falls die gesamte Zelle ebenfalls im Bildbereich berücksichtigt worden ist. Sie waren deshalb ungeeignet,
da der digitalisierte Bildbereich nicht ausreichend detailliert war, um Messungen der Zellstruktur
zu ermögliche. Mit der vorliegenden Erfindung können zwei oder mehr Bildbereiche der gesamten Zelle und des Zellkernes
im wesentlichen gleichzeitig erzeugt werden. Dies erlaubt eine Auflösung in Bezug auf den Zellkern
von ungefähr 0,125 bis ungefähr 0,250 Mikrometer, vorzugsweise unter Benutzung einer 100 χ 100 Digital-Matrix.
Die gesamte Zelle ist auf dem größeren Feld des BiId-
809850/0800
bereiches dargestellt. Hierbei wird eine ähnliche Digitalmatrix verwendet, die eine Auflösung von ungefähr
0,7 bis ungefähr 2,0 Mikrometer ermöglicht.
Insbesondere in Figur 1 ist das Gerät gemäß Erfindung schematisch dargestellt. Mit 10 ist eine Bühne
der eingangs beschriebenen Art bezeichnet, welche die zu untersuchenden cervikalen Zell-Abstrich-Glasplättchen
trägt. Die Bühne 10 ist beweglich angebracht, so daß alle Bereiche des Plättchens zur Beobachtung
unter das Mikroskop-Objektiv 12 gebracht werden können.
Die Bühne 10 wird durch die X-Y-Koordinatensteuerung 14 bzw. 16 gesteuert, die vorzugsweise übliche Schrittschaltungen
enthält, um die X-und Y-Koordinaten der Bühne zu ändern, so daß das gesamte Plättchen systematisch
unter die Mikroskop-Optik gebracht werden kann. Während des Arbeitsvorganges wird die Lage der Bühne
vorzugsweise passend indiziert, so daß alle Bereiche, die verdächtige Zellen tragen, nochmals analysiert werden
können. Dies geschieht nach einem Voruntersuchungsschritt, der es ermöglicht, dunkle Objekte im Bereich
einer bestimmten Wellenlänge, die einen Schwellenwert überschreiten, zu finden. Dieser Schritt eliminiert die
zweifelsfrei normalen Zellen und die roten Blutkörperchen. Die Anzahl der Zellen, die genauer gemessen und
809850/0800
- \Sr -
analysiert werden müssen, wird hierdurch reduziert. Diese sogenannten Problemzellen sind grundsätzlich
dunkler. Der Schwellenwert wird deshalb so eingestellt, daß die Zellen roter Blutkörperchen ausgeschlossen werden
können, da diese heller sind als die dunklen Objekte, die in diesem Falle von Interesse sind. Wenn
während des Voruntersuchungsschrittes ein dunkles Objekt lokalisiert wird - möglicherweise der Zellkern
einer bösartigen Zelle -, so wird seine Lage in X- und Y-Koordinaten in einem elektronischen Speicher gespeichert.
Diese Information wird dazu benutzt, die X-, Y-Koordinatensteuerung
zu steuern, um das Objekt in optische Nähe zur Objektiv-Optik 12 zu bringen. Anschließend
kann eine weitere Analyse durch die Vorrichtung gemäß Figur 1 durchgeführt werden.
Vorrichtungen, die für die Voruntersuchung verwendet werden können, sind in der Technik bekannt (vgl. US-PS
3 851 972 oder 3 970 841).
Bei der Objektivlinse 12 des Mikroskopes handelt es sich vorzugsweise um eine Linse mit starker Vergrößerung
und großer Auflösung, beispielsweise um eine 10Ox Ölimmersion-Objektivlinse. Das Bild wandert von
der Objektivlinse 12 über den Lichtweg 18, auf dem es
809850/0800
durch einen sogenannten Strahlteiler 20 aufgeteilt wird. Anschließend gelangt es über Lichtweg (Bildpfad) 22
zu einer Bild-Abtast-Einrichtung, z. B. eine Vidikon-Kamera 24. Dieses Gerät empfängt das Bild und erzeugt
elektrische Signale, die den empfangenen Bildbereich widerspiegeln. Das andere Bild auf dem Bildpfad 18
wandert vom Strahlteiler 20 durch einen optischen Verkleinerer 26, der das Bild verkleinert und demnach einen
Bildbereich geringerer Auflösung mit entsprechend größerem Blickfeld erzeugt. Das Bild wird durch einen Spiegel
28 reflektiert, läuft durch eine drehbare Farbfilteranordnung 30 und wird auf eine andere Bild-Abtast-Vorrichtung
projiziert, vorzugsweise auf eine Vidikon-Kamera 32, die ebenfalls ein elektronisches Ausgangssignal erzeugt,
das den empfangenen Bildbereich widerspiegelt, in diesem Falle den mit dem größeren Blickfeld. Es ist
anzumerken, daß die schematische Darstellung der Figur 1 geometrisch nicht genau ist und daß die Lichtwege,
die von dem Objektiv 12 zu jeder der beiden Kameras führen, gleich lang sind, so daß beide Kameras das Bild
gleichzeitig empfangen. Das Ausgangssignal der Vidikon-Kamera 32 läuft über die Verbindungsleitung 34 zu einem
Analog-Digital-Konverter 36 und einen Video-Monitor 38. Das Ausgangssignal des A/D-Converters 36 erreicht über
die Leitung 40 den Meß- und Logikschaltkreis 42. Ein
809850/0800
- 2er-
Schaltkreis 44, der dazu dient, die dunklen Zellen zu lokalisieren und deren Koordinaten zu bestimmen und
zu speichern, ist mit der Voruntersuchungsvorrichtung verbunden. Er steuert weiterhin über die Leitungen 46
und 48 die X-Y-Koordinatensteuerung 16 bzw. 18. Das Ausgangssignal der Vidikon-Kamera 24 läuft über die
Leitung 50 bis zu einem anderen A/D-Converter 52, der das Signal digitalisiert und dieses über die Leitung
einem zweiten logischen Schaltkreis 56 für die Klassifikationsanalyse zuführt. Das Ausgangssignal der Kamera
24 erreicht über die Leitung 50 ebenfalls einen anderen Video-Monitor 58. Der Schaltkreis 44 ist über die Leitung
57 auch mit den logischen Schaltkreisen 40 und 52 verbunden. Dies ermöglicht die Synchronisation des gesamten
Arbeitsvorganges und stellt weiterhin die Koordinaten von interessierenden Zellen diesen Logik-Schaltkreisen
zur Verfügung. Wie genauer beschrieben werden wird, werden Messung und Analyse, die an jedem der Bildbereiche
durch die Logik-Schaltkreise 52 und 5 6 durchgeführt werden, anschließend über die Leitungen 62 bzw.
dem Klassifikationsschaltkreis 60 zugeführt. Der Klassifikationsschaltkreis
60 führt Klassifikationsentscheidungen in Bezug auf eine interessierende Zelle durch.
Dabei werden sowohl alle Eigenschaften verwendet, die aus den hoch- und niedrigaufgelösten Bildbereichen der
809850/0800
Zelle gewonnen wurden, als auch die Analysen- und Messwerte, die sich aus diesen Bildbereichen ergeben.
Die Analogsignale der Kameras 24 und 32 werden von den Convertern 36 und 52 weiterverarbeitet. Der sich
ergebende digitalisierte Bildbereich ist vorzugsweise wenigstens eine 100 χ 100 Digital-Matrix, die in einen
Speicher, der mit den logischen Schaltkreisen 52 und 56 verbunden ist, gespeichert wird. Die Digital-Matrix
enthält demnach 10.000 Bildelemente oder sogenannte Pixel. Ein wichtiger Aspekt der vorliegenden Erfindung
betrifft die Geschwindigkeit, mit der Messung und Analyse durch die logischen Schaltkreise 42 und 56 durchgeführt
werden. Wenn auch die Digitals-Matrix größer sein kann als 100 χ 100, so ist doch die vergrößerte Anzahl
von Pixel nicht von beträchtlich größerem Wert, wegen der Zeit, die der Schaltkreis benötigt, um jedes Pixel
zu verarbeiten. Eine größere Anzahl von Pixel erfordert daher auch eine größere Verarbeitungszeit, und die Geschwindigkeit
wird in Wirklichkeit herabgesetzt. Ein Vorteil der vorliegenden Erfindung ist, daß der Bildbereich
geringe Auflösung eine 100 χ 100 Digital-Matrix der gesamten Zelle ergibt und damit genügend Details
zur Verfügung stellt, um Merkmale abzuleiten, die sich auf Farbe, Dichte und Größe des Cytoplasmas sowie auf
809850/0800
Dichte und Größe des Kerns beziehen. Eine detailliertere Darstellung würde nur eine redundante Information ergeben,
die insgesamt die Analyse der Merkmale verlangsamen würde. Auf der anderen Seite ermöglicht der Detailreichtum,
der sich aus dem Bildbereich hoher Auflösung ergibt, eine Analyse der Zellkernstruktur. Mit anderen
Worten, die gleichzeitige Messung und Analyse des Zellkerns unter Verwendung eines hochaufgelösten digitalen
Bildbereiches und der gesamten Zelle unter Verwendung eines niedrig aufgelösten digitalen Bildbereiches ermöglicht
insgesamt eine schnelle Arbeitsweise, da nur die Menge von Bildelementen verwendet wird, die notwendig
ist, um die interessierenden Merkmale abzuleiten. Diese Arbeitsweise minimalisiert daher die verschwendete
Zeit, die zur Analyse redundanter Informationen erforderlich ist.
Die Vidikon-Kamera 24 wird dazu verwendet, elektrische Signale zu erzeugen, die repräsentativ für das empfangene
Bild sind, das anschließend vom A/D-Converter 52 digitalisiert und durch den logischen Schaltkreis 56
analysiert wird. Es sei jedoch darauf hingewiesen, daß das Bild hoher Auflösung auch auf eine Fourier-Linse
projiziert und daß mit Hilfe einer Fourier-Transformation die Struktur des Zellkerns analysiert werden kann.
809850/0800
Änderungen in der Struktur wären dann in der Hochfrequenz-Komponente
der Transformation enthalten. Diese Analysentechnik wird in zwei Artikel beschrieben:
1. "The Use of Coherent Optical Processing Techniques
for the Automatic Screening of Cervical Cytologie Samples", R. E. Kopp, J. Lisa, J. Mendelsohm, B.
Pernick, H. Stone and R. Wohlers, Jamal of Histochemistry and Cytochemistry, Vol. 22, No. 7, pp.
598-604, 1974;
Pernick, H. Stone and R. Wohlers, Jamal of Histochemistry and Cytochemistry, Vol. 22, No. 7, pp.
598-604, 1974;
2. "Coherent Optical Processing of Cervical Cytologie
Samples", Jcjrnal of Histochemistry and Cytochemistry,
Vol. 24, No. 1, pp. 122 - 137, 1976.
Wird angenommen, daß die Voruntersuchung durchgeführt ist und daß die Bühne 10 grundsätzlich so eingestellt
ist, daß ein verdächtiges dunkles Objekt sich unterhalb der Objektivlinse 12 befindet, so wird im Rahmen des
Arbeitsverfahrens das Bild hoher Auflösung auf die
Vidikon-Kamera 24 projiziert. Hierdurch wird ein Bild des Zellkerns mit hoher Auflösung erzeugt. Der Zellkern befindet sich demnach unter dem Objektiv 12; der Video-Monitor 50 zeigt einen Bildbereich hoher Auflösung und der A/D-Converter erzeugt einen 100 χ 100
Pixel-Bildbereich in digitalisierter Form, der in dem Speicher des Schaltkreises 42 gespeichert wird. Der
Arbeitsverfahrens das Bild hoher Auflösung auf die
Vidikon-Kamera 24 projiziert. Hierdurch wird ein Bild des Zellkerns mit hoher Auflösung erzeugt. Der Zellkern befindet sich demnach unter dem Objektiv 12; der Video-Monitor 50 zeigt einen Bildbereich hoher Auflösung und der A/D-Converter erzeugt einen 100 χ 100
Pixel-Bildbereich in digitalisierter Form, der in dem Speicher des Schaltkreises 42 gespeichert wird. Der
809850/0800
Bildbereich, der auf dem Monitor 58 gemäß Zeichnung abgebildet wird, soll einen repräsentativen Zellkern
66 zusammen mit einer gewissen Menge des umgebenden Cytoplasmas 68 der Zelle darstellen. Allerdings überdeckt
der Bildbereich nicht genügend Fläche, um auch die äußeren Grenzen der Zelle zu umfassen. Die Information,
die demnach aus dem Bild des Kerns bei hoher α,lösung abegeleitet werden kann, umfaßt die Struktur
des Keihs, die durch verschiedene Techniken gemessen
werden kann, welche im folgenden beschrieben sind. Neben der Messung und der Analyse der Kernstruktur
können auch eingeschlossene Köerper entdeckt werden, die vorhanden sein können. Die Digital-Matrix wird
100 χ 100 Pixel, die von der Objektivlinse mit 100-facher Vergrößerung erzeugt wird, erlauit eine ausreichende
Auflösung, so daß sichergestellt ist, daß die Struktur des Kerns in einer Weise untersucht werden
kann, die vergleichbar ist mit der Untersuchungsmethode, die von Klinik-Fachpersonal durchgeführt wird. Das Bild
vom Lichtweg 18, das über den Strahlteiler 20 und die Verteilungsoptik 26 läuft, ist notwendigerweise von geringerer
Auflösung. Gleichzeitig vergrößert sich das Beobachtungsfeld. Wenn es also mit Hilfe des Spiegels
28 durch das Farbfilterrad 30 auf die Vidikon-Kamera 32 projiziert wird, so wird ein analoges Ausgangssignal
809850/0800
erzeugt, daß diesen Bildbereich repräsentiert. Dieses Signal wird dem zugehörigen Monitor 38 und dem Converter
36 zugeführt. Damit ist die gesamte Zelle, einschließlich des Cytoplasmas beobachtbar und für verschiedene
Messungen und Analysen zugänglich.
Das Farbfilterrad 30 ist vorzugsweise von dem Typ, der in Abschnitte mit verschiedenen Farbfiltern aufgeteilt
ist. Es dient dazu, Licht mit verschiedenen Farben oder Wellenlängenbereichen durchzulassen, daß von
verschiedenen Abschnitten auf die Vidikon-Kamera 32 projiziert wird. Verschiedene Farb-Darstellungen des
gleichen Bildes ermöglichen es, Grenzschichten-Kontraste, Maskierungen und genauere Abgrenzungen von
Fremdkörpern und anderen Objekten durchzuführen. Insbesondere können folgende Effekte durch die verschiedene
Farbfilterung durchgeführt werden:
a) Maskieren von roten Blutkörperchen, die nicht interessieren;
b) Maskieren von Lymphozyten-Ansammlungen, die nicht
interessieren;
c) genauere Abgrenzung der Grenzschicht des Cytoplasmas durch Verwendung verschieden gefärbter Bildbereiche,
die größere Kontraste haben können;
d) Identifizieren von Fremdkörpern und anderen Verunreinigungen,
die nicht von Interesse sind;
809850/0800
e) Zellen, die sehr nahe beieinander liegen, können voneinander unterschieden werden. Hierdurch wird
die genaue Festlegung der Grenzschicht des Cytoplasmas einer bestimmten Zelle ermöglicht.
Die Kamera erzeugt ein Analog-Ausgangssignal, das repräsentativ
für jeden Bildbereich ist, welcher durch die Farbfilteranordnung empfangen wird. Das resultierende
Signal wird auf den A/D-Converter 36 und anschließend auf den Analysen- und Meßschaltkreis 42 gegeben, der,
wie in Figur 4 dargestellt ist, drei hauptsächliche Schritte vollzieht:
1. Berechnung des bivarianten Farbdichte-Histogramms;
2. Gruppieren der Daten im Farb-Dichteraum, um die Bildelemente im Bildraum aufzuteilen. Auf diese
Weise werden die Positionen des Zellkerns, des Cytoplasmas und des Hintergrundes im Digital-Bild lokalisiert;
3. Berechnung der Merkmale.
!Diese Techniken sind dem Fachmann bekannt. Sie sind in
folgenden drei Publikationen ausführlich beschrieben: 1. J. W. Bacus: "A Whitening Transformation for Two-Color
Blood Cell Images", Journal of Pattern Recognition, 8j 53-60, 1976;
809850/0800
2. J. K. Mui, Bacus, J. W. and K. S. Fu: "A Scene Segmentation Technique for Microcopic Cell Images",
in proceedings of symposium on Computer-Aided Diagnosis of Medical Images, IEEE catalogue 76 CH 1170-OC,
page 99 - 106, 1976;
3. R. K. Aggarwal and J. W. Bacus, "A Multi-Spectral Approach for Scene Analysis for Cervical Cytology
Smears", Journal of Histochemistry and Cytochemistry, Voi. 25, 7, 1977.
Nachdem das Bild in Kern, Cytoplasma und Hintergrund
aufgeteilt ist (segmentiert ist), beginnt der Schaltkreis 42 vier Merkmale zu berechnen (F1-F4). Merkmal
F1 ist die Kerngrcr'ße. Sie wird ermittelt durch Summation der dem Kern zugeordneten Pixel. Merkmal F2 ist die
Größe des Cytoplasmas. Sie wird ermittelt durch Summation der dem Cytoplasma zugeordneten Pixel. Merkmal F3
ist die Kerndichte. Sie wird ermittelt durch Summation der dem Kern zugeordneten sogenannten Grau-Level und
Division dieser Summe durch die Kerngröße. Merkmal F4 ist die Farbe des Cytoplasmas. Sie wird berechnet durch
Summation der Differenz zwischen sich entsprechenden Cytoplasma-Pixel in dem Bild einer Spektralfarbe von
dem in einer anderen Spektralfarbe und Dividieren der summierten Differenzen durch die Größe des Cytoplasmas.
809850/0800
Diese Berechnung der Merkmale ist in allen Einzelheiten beschrieben in der Veröffentlichung:
J. W. Bacus and E. E. Goss: "Leukocyte Pattern Recognition" IEEE Transactions on Systems, Man and
Cybernetics. SMC-2: Vol. 4, 513 - 526, 1972.
Das Hochauflösungsbild wird auf die Vidikon-Kamera 24
projiziert, die elektrische Signale erzeugt, die von dem A/D-Converter 52 digitalisiert werden, so daß sie
durch den Klassifikationsschaltkreis 56 analysiert werden können. Dieser Bildbereich hoher Auflösung wird
meßtechnisch sowohl genutzt, um die Grenze des Zellkerns zu finden als auch, um das Bild des Zellkerns
selbst zu untersuchen. Diese Untersuchung dient dazu, Änderungen in der Struktur mit einer oder mehreren Techniken
zu bestimmen, beispielsweise durch die sogenannte Pattern-Identifikation. Diese Methode kann darin bestehen,
Grate (Spalten) oder dergleichen im Kern zu identifi-2ieren. Auch durch statistische Analysen mit Hilfe der
Untersuchung der Umrißänderung des Histogramms des Zellkernes oder durch Analyse der Ubergangswahrscheinlichkeiten
des Grau-Levels, oder durch andere Techniken
lassen sich Variationen in der Struktur des Zellkernes feststellen. Der Hochauflösungsbildbereich läßt sich
auch auf Einschlüsse analysieren, beispielsweise auf
809850/0800
einen Nucleus innerhalb des Zellkernes. Der Bildbereich hoher Auflösung ist viel einfacher aufgebaut als der
der geringen Auflösung, da er nur aus Pixeln des Zellkerns besteht, die oberhalb eines Schwellenwertes
liegen, und aus allen überigen Pixeln, die unterhalb des Schwellenwertes liegen. Drei Schritte werden insbesondere
durch den Logik-Schaltkreis 56, wie in der Figur 5a dargestellt, durchgeführt:
1. Isolation und Normierung des Zellkernes;
2. Berechnung der Abtastlinien-Übergangswahrscheinlichkeitsmatrix
für die Kern-Pixel;
3. Berechnung der Eigenschaften F5 und F6.
Der erste Schritt umfaßt die Berechnung des Grau-Level-Histogramms
der Kern-Pixel sowie die Normierung des ursprünglichen Bildes durch eine nicht-lineare Transformation,
die das Grau-Level-Histogramm in acht Grau-Levil-Bereiche
unterteilt, die jeweils die gleiche Anzahl von Bildelementen enthalten. Der zweite Berechnungsschritt
umfaßt Berechnung der Übergangswahrscheinlichkeitsmatrix für die Kern-Pixel. Im vorliegenden Fall wird
eine 8x8 Matrix berechnet, indem das Bild sequentiell
entlang jeder Abtastlinie verarbeitet wird, beispielsweise wie bei der Abtastlinie a-a der Figur 3a für eine
normale Zelle und Abtastlinie b-b für eine abnormale
809850/0800
Zelle (vergleiche Figur 3b). Für jedes Bildelement eines bestimmten Grau-Levels i mit einem vorhergehenden Nachbarn
des Grau-Levels j wird die Matrix in der Position (i, j) inkrementiert. Die Kurven unterhalb jedes Zellkernes,
wie sie in Figur 3a und 3b dargestellt sind, stellen die Variationen der Grau-Level dar, die auf
den Abtastlinien a-a und b-b für die jeweiligen normalen und abnormalen Zellen gemessen worden sind. Nach dem Abtasten
des gesamten Zellkernes wird die Matrix normiert, indem jedes Element durch die Gesamtzahl an
Bildelementen im Zellkern geteilt wird. Diese Rechnung erzeugt die Abtastlinien-Übergangswahrscheinlichkeitsmatrix
P (i/j). Diese beiden ersten Analysen- und Meßschritte sind dem Fachmann vertraut; sie sind beschrieben
in folgender Publikation:
N. J. Pressman, "Markovian Analysis of Cervical Cell Images", Jotrnal of Histochemistry and Cytochemistry,
Vol. 24, No. 1, pp. 138 - 144, 1976.
Der nächste Schritt, der durch den Logik-Schaltkreis 56 durchgeführt wird, umfaßt die Berechnung der Merkmale
F5 und F6. Diese werden aus der Abtastlinien-Übergangswahrscheinlichkeitsmatrix
berechnet; ein typisches Beispiel ist in Figur 5b dargestellt. Diese Merkmale werden einfach durch Summation der bezeichneten Elemente
809850/0800
in dieser Matrix berechnet.
Wie bereits angedeutet, werden die Messungen gleichzeitig mit der Analyse durch den Schaltkreis 42 durchgeführt.
Nachdem beide logischen Schaltkreise 42 und 56 ihre Analysen beendet haben, werden die sich ergebenden Daten
über die Leitungen 52 und 64 dem Klassifikations-Schaltkreis 60 zugeführt. Dieser logische Schaltkreis arbeitet
entsprechend dem mathematischen Modell, das in Figur 6 dargestellt ist. Dieses ist dem Fachmann vertraut als
die Technik der multiVarianten Gauß-Verteilung. Nach dieser Methode werden die sechs gemessenen Eigenschaften
F1 bis F6, die die untersuchten Zellen beschreiben, analysiert. Diese Analyse ist eine mathematische Beschreibung
der untersuchten Zelle in einem sechsdimensionalen Vektorraum, X. Jede Zellklasse hat einen Cluster
in diesem Vektorraum, der durch einen mittleren Vektor und eine Kovarianz-Matrix beschrieben ist. Kenntnis
des unbekannten Vektors vorausgesetzt, ist die bedingte Wahrscheinlichkeit jeder Klasse, P (j/X), entsprechend
folgender Gleichung zu berechnen:
809850/0800
exp /-1/2 [(X-M,)^:1 (X-M.)]] I Q,|~1/2 P(j)
P(j/X) = !> 3 3 J—* ' 31
ΣΙ exp f-1/2 [(X-M1)^(X-M1
P(j/X) Wahrscheinlichkeit der Klasse j bei vorgegebenen Vektor X;
X= ^F1, F2, F3, F4, F5j
M. mittlerer Vektor der Klasse j Q. Kovarianzmatrix der Klasse j ρ(j) a-priori-Wahrscheinlichkeit der Klasse j.
X= ^F1, F2, F3, F4, F5j
M. mittlerer Vektor der Klasse j Q. Kovarianzmatrix der Klasse j ρ(j) a-priori-Wahrscheinlichkeit der Klasse j.
Die Zelle ist klassifiziert entsprechend der höchsten
Wahrscheinlichkeit, wie in Tabelle 1 dargestellt, wo acht spezifische Typen von Zellen als "normal" oder
"abnormal" klassifiziert sind. Diese Klassifikationstechnik wird genauer beschrieben in folgender Publikatxoni
J. W. Bacus and E. Goss: "Leukocyte Pattern Recognition", a. a. O.
809850/0800
Tabelle 1: | Klasse j | Name |
1 | Superficial | |
2 | Intermediär | |
3 | Endocervical | |
Normal | 4 | Metaplastisch |
5 | Parabasal | |
6 | Dysplastisch | |
7 | Carcinoma in situ | |
Abnormal | 8 | Invasives Carcinom |
Aus dem Vorhergehenden ist ersichtlich, daß ein Verfahren und eine Vorrichtung beschrieben worden sind,
die viele Vorteile gegenüber Verfahren und Vorrichtungen gemäß dem Stand der Technik haben. Diese Vorteile
bestehen insbesondere darin, daß in dualer Arbeitsweise Bildbereiche verschiedener Auflösung simultan analysiert
und gemessen werden können, um wichtige Merkmale abzuleiten, die sich auf das Cytoplasma und den Zellkern
einer bestimmten Zelle beziehen. Dabei kann die Struktur des Kernes zusammen mit einem vergrößerten Bildbereich
mit geringerer Auflösung analysiert werden. Dies erlaubt
809850/0800
die Bestimmung von Größe, Dichte und Farbe des Cytoplasmas.
Zusätzlich können die Größenverhältnisse von Zellkern und Cytoplasma bestimmt werden.
Durch die duale Arbeitsweise, d. h. durch die gleichzeitige
Aufnahme von Bildbereichen verschiedener Auflösungen für eine einzelne Zelle, kann eine wesentlich
größere Anzahl von Eigenschaften bestimmt werden, einschließlich der wichtigen Strukturanalyse des Zellkerns. Mit der
Bestimmung dieser Eigenschaften können bösartige Zellen genauer klassifiziert werden, als es bisher möglich war.
Darüberhinaus wird die Arbeitsgeschwindigkeit des Gerätes durch die simultane, duale Analyse beträchtlich vergrößert.
Die vorgehende Beschreibung bezog sich auf die Analyse des sogenannten Zellbrei-Ausstrich-Testes als bevorzugte
Ausführungsform. Es sei jedoch ausdrücklich darauf hin gewiesen, daß die duale, simultane Arbeitsweise und i.e
hier beschriebene Vorrichtung auch zur Analyse andeirei Zellen verwendet werden kann.
Beispielsweise können rote Blutkörperchen ebenfalls vorteilhaft automatisch, d. h. simultan mit hoher und geringer
Auflösung analysiert werden. Die geringe Auflösung
809850/0800
wird dazu benutzt, Zelleigenschaften wie Zellgröße
und Gesamt-Hämoglobingehalt der Zelle, zu ermittlen.
Bei geringer Auflösung nimmt das Zellbild eine wesentlich kleinere Anzahl von Pixeln ein, als es bei dem
Bild hoher Auflösung der gleichen Zelle der Fall wäre. Es ist daher möglich, die Zellgröße mit ausreichender
Genauigkeit zu bestimmen, indem die Pixel, die durch die Zelle eingenommen werden, bei dem Bild geringer
Auflösung summiert werden. In ähnlicher Weise kann der Gesamt-Hämoglobin-Gehalt eines roten Blutkörperchens
erhalten werden, indem die Grau-Level bei niedriger Auflösung summiert werden. Das gleiche Verfahren
bei hoher Auflösung erfordert notwendigerweise eine größere Anzahl von Pixeln und daraus folgend eine größere
Speicherkapazität. Das letztere Verfahren ergibt jedoch keine aussagefähige Vergrößerung der Genauigkeit
bei der Bestimmung des Hämoglobin-Gehaltes der Zelle. Andererseits würde jedoch das Bild hoher Auflösung
roter Blutkörperchen bei der Unterscheidung solcher Zellen von besonderem Wert sein, die bei niedriger
Auflösung den gleichen Umriß und die gleiche Größe haben, die jedoch bei höherer Auflösung unterscheidbar
sind. Beispielsweise können die sogenannten kleinen Punkte oder "Spiculae" auf sogenannten Nadelzellen
leicht beobachtet und identifiziert werden, um diese
809850/0800
so von den runden Normalzellen generell gleicher Größe zu unterscheiden. Auch kann es in ähnlicher Weise bei
geringer Auflösung schwierig sein, das spitze Ende der Sichelzellen von stiftförmigen oder länglichen Zellen,
die runde oder abgerundete Enden besitzen, zu unterscheiden. Mit der Hochauflösungstechnik für die Analyse
der Zellgrenzregion ist es jedoch möglich, die spitzen Enden der Sichelzellen zu identifizieren und damit die
Sichelzellen von anderen länglichen Zellen zu unterscheiden.
Die vorliegende Erfindung kann auch dazu dienen, sogenannte Neutrophile zu identifizieren und zu klassifizieren,
und zwar in zwei Subklassen:
1. Band-Neutrophile
2. segmentierte Neutrophile.
Das Bild mit hoher Auflösung kann dazu benutzt werden, das Merkmal der Band- oder fingerförmigen Kernverbindungen
zwischen benachbarten Kernmassen in diesen Neutrophilen darzustellen. Dieses Merkmal der Pinger- oder
Band-Verbindung ist nur bei hoher Auflösung erkennbar. Es erlaubt damit die Trennung der beiden Subklassen
von Neutrophilen voneinander.
809850/0800
Selbst bei Verwendung der optimalen Auflösung durch die Auswahl der zu beobachtenden Eigenschaften kann
in vorteilhafter Weise die Effizienz in Bezug auf Geschwindigkeit und Speicherwirtschaftlichkeit erhöht
werden. Als Beispiele waren genannt die Summierung der Pixel für die Zellgrößenbestiinmung und für eine Grau-Level-Analyse,
wobei das Bild geringer Auflösung gewählt wird. Um Detail-Eigenschaften darzustellen,
beispielsweise die sogenannten Spiculae oder bandartigen Verbindungen oder dergleichen, ist die Hochauflösungstechnik
erforderlich, da diese Merkmale oder Eigenschaften nicht messbar sind, wenn die niedrige Auflösung
gewählt wird. Es wurde erläutert, daß die Technik der hier beschriebenen Erfindung (duale Arbeitsweise
mit zwei verschiedenen Auflösungen), sowie die simultane
Analyse beider Bildbereiche eine verlässlichere und schnellere Zellanalyse und Klassifikation erlaubt.
Es sei darauf hingewiesen, daß verschiedene Modifikationen
der vorliegenden Erfindungsbeispiele neben den hier als
bevorzugt dargestellten Anwendungen dem Fachmann möglich sein werden. Im Sinne dieser Feststellung ist der Rahmen
der Erfindung definiert durch die beigefügten A tprüche
und durch eventuell mögliche Äquivalente.
809850/0800
L ο G r s e i t e
Claims (29)
1. !verfahren zur Analyse von Organismus-Zellen, die Teil
einer Zellprobe, eines Abstriches oder dergleichen sind, gekennzeichnet durch folgende Verfahrensschritte:
a) Erzeugung eines Bildes der Zelle mit hoher Auflösung und hohem Gehalt an Detailinformationen
für einen bestimmten Teil der Zelle;
b) Durchführung von Messungen und Analysen anhand des Bildes mit hoher Auflösung, um Merkmale des
bestimmten Teiles der Zelle festzustellen;
c) Erzeugung eines Bildes der Zelle mit geringer Auflösung, bei dem das Sichtfeld die gesamte Zelle
umfaßt;
d) Durchführung von Messungen und Analysen anhand der BiLder mit geringer Auflösung, um Merkmale
festzustellen, die sich aus eier gesamten ZeilIe
ableiten lassen.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
daß als zu untersuchende Zelle eine cervicale KpLthe 1-zelle
und als bestimmter Teil deren Zellkern verwendet werden.
809850/0800
INSPECTED
3. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, daß als Untersuchungsobjekt Zellabstriche des
sog. Pap-Tests verwendet werden, bei dem die Struktur des Zellkerns bei hoher Auflsöung und die Zelle und
ihr Zytoplasma bei geringer Auflösung gemessen werden.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß jedes erzeugte Bild auf eine optische Abtast-(Scanning-)
Vorrichtung projiziert wird und in eine Digitalmatrix mit wenigstens 10.000 Bildelementen
umgewandelt wird.
5. Verfahren nach Anspruch 1, zur Untersuchung einer Zellprobe mit einer Vielzahl von Zellen, bei der
maligne Zellen herausgefunden werden sollen, gekennzeichnet
durch folgende Schritte:
a) Einbringen der Probe in den Bereich eines ersten optischen Systems, so daß ein erstes Bild mit
ausreichender Auflösung des Zellkerns einer zu untersuchenden Zelle hergestellt wird, aus
dem Informationen bezüglich der Zellstruktur al)leitbar sind;
b) Projizieren des ersten Bildes auf opto-elektronische
Mittel, um elektrische Signale entsprechend
8098 5 0/0800
dem ersten Bild zu erzeugen;
c) Durchführung von Messungen und Analysen anhand der elektrischen Signale, um die Zellkernstruktur
festzustellen;
d) Verkleinerung des ersten Bildes, um ein zweites Bild mit verkleinerter Auflösung zu erhalten,
das die gesamte zu untersuchende Zelle zeigt;
e) Projizieren des zweiten Bildes auf opto-elektronische
Mittel, um elektrische Signale entsprechend dem zweiten Bild zu erzeugen;
f) Durchführung von Messungen und Analysen anhand der elektrischen Signale, die sich auf die Zelle
und ihr Zytoplasma beziehen.
6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Bild mit hoher Auflösung mit einer etwa
hundertfachen Vergrößerung der Zelle hergestellt wird.
7. Verfahren nach Anspruch 1 und 3, dadurch gekennzeichnet,
daß das Bild mit geringer Auflösung durch Verkleinerung des Bildes mit hoher Auflösung bei
gleichzeitiger Vergrößerung des Sichtfeldes hergestellt wird.
8. Verfahren nach Anspruch 1 oder 5, dadurch gekenn-
809850/0800
zeichnet, daß bei dem Bild mit hoher Auflösung diese im Bereich von etwa 0,125 bis etwa 0,250
Mikrometer liegt.
9. Verfahren nach Anspruch 1 oder 5, dadurch gekennzeichnet, daß bei dem Bild mit geringer Auflösung
diese im Bereich zwischen etwa 0,7 bis 2,0 Mikrometer liegt.
10. Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, gekennzeichnet durch folgende Einzelteile:
a) Mittel zur Erzeugung eines Bildes der Zelle mit hoher Auflösung und hohem Gehalt an Detailinformationen
für einen bestimmten Teil der Zelle;
b) Mittel zur Durchführung von Messungen und Analysen anhand des Bildes mit hoher Auflösung,
um Merkmale des bestimmten Teiles der Zelle festzustellen;
c) Mittel zur Erzeugung eines Bildes der Zelle mit geringer Auflösung, bei dem das Sichtfeld die
gesamte Zelle umfaßt;
d) Mittel zur Durchführung von Messungen und Analysen anhand des Bildes mit geringer Auflösung,
um Merkmale festzustellen, die sich aus der
809850/0800
- Äf'5 -
gesamten Zelle ableiten lassen.
11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, daß die Mittel zur Erzeugung des Bildes mit hoher
Auflösung eine optische Objektivlinse mit wenigstens hundertfacher Vergrößerung umfassen.
12. Vorrichtung nach Anspruch 10, gekennzeichnet weiterhin
durch Mittel, mit dem eine Klassifikation der Zellen unter Berücksichtigung der Merkmale durchgeführt
werden kann, die aus den genannten Messungen und Analysen ableitbar sind.
13. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet,
daß die Mittel gemäß Merkmal b) und d) folgende Einzelelemente umfassen:
- Vidio-Abtastvorrichtungen, die eines der Bilder empfangen und dafür representative elektrische
Analogsignale erzeugen,
- Analog-Digital-Konverter
- logische Schaltkreise zur Durchführung von Messungen und Analysen anhand von Digital-Signalen.
14. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet,
daß die Mittel gemäß Merkmal c) folgende Einzelelemente
809850/0800
umfassen:
- Strahlteiler (20), die in optischer Aufreihung mit der Objektivlinse (12) liegen und das erzeugte
Bild in zwei Bildpfade (18, 22) aufspalten,
- Mittel (26), die sich in einem der Bildpfade befinden und das Bild mit hoher Auflösung verkleinern
und ein Bild mit geringer Auflösung, jedoch vergrößertem Blickfeld erzeugen.
15. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet,
daß die Mittel gemäß Merkmalen b) und d) simultan zu betreiben sind.
16. Vorrichtung nach Anspruch 10, gekennzeichnet durch
folgende Einzelteile:
a) Vorrichtungen, um eine Probe im optischen Erfassungsbereich einer optischen Vorrichtung zu halten;
b) eine optische Vorrichtung, die ein Bild mit hoher Auflösung von einem Teil einer zu untersuchenden
Zelle ergibt, welche für den zu untersuchenden Zellteil eine detaillierte Information ergibt;
c) Strahlteiler, um das Bild auf zwei Bildpfade
aufzuspalten;
d) erste opbo-elektronische Mittel, die sich in einem
809850/0800
der Bildpfade befinden und das Bild mit hoher Auflösung empfangen und elektrische Signale ergeben,
die diesem Bild entsprechen;
e) ein erster elektrischer Schaltkreis, der die Ausgangssignale empfängt und Meß- und Analysenwerte
ergibt, die die Bestimmung von Merkmalen gemäß den Detailinformationen der genannten Teile der
Zelle ermöglicht;
f) Verkleinerungsvorrichtungen, die das Bild mit hoher Auflösung verkleinern und ein vergrößertes
Blickfeld ergeben, das die gesamte zu untersuchende Zelle abbildet;
g) zweite opto-elektronische Mittel, die das zweite Bild mit geringer Auflösung empfangen und elektrische
Signale ergeben, die dem zweiten Bild entsprechen;
h) ein zweiter elektrischer Schaltkreis, der die letztgenannten Ausgangssignale empfängt und Messungen
und Analysen durchführt, um Merkmale, die der Gesamtzelle entsprechend, zu bestimmen.
17. Vorrichtung nach Anspruch 10, 14 oder 16, gekennzeichnet
durch Filtervorrichtungen (30), die in den Bildpfad (18) eingeschaltet sind.
8098 5 0/0800
18. Vorrichtung nach Anspruch 17, dadurch gekennzeichnet,
daß die Filtervorrichtungen ein Filterrad (30) mit einem oder mehreren Filterabschnitten umfassen.
19. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet,
daß die opto-elektronischen Mittel gemäß Merkmalen
d) und g) analoge Ausgangssignale erzeugen, und daß die elektrischen Schaltkreise gemäß den Merkmalen
e) und h) A/D-Konverter enthalten, die die genannten Ausgangssignale in digitalsignale umwandeln.
20. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, daß wenigstens ein Video-Monitor (38, 58) vorgesehen
ist, der die elektrischen Ausgangssignale empfängt.
21. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet,
daß der Probenträger elektrische steuerbar innerhalb des optischen Erfassungsbereiches beweglich angeordnet
ist.
22. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet,
daß ein dritter elektrischer Schaltkreis vorgesehen ist, der Informationsdaten vom ersten und zweiten
Schaltkreis empfängt und aufgrund der Informationsdaten eine Klassifikationsentscheidung durchführt.
809850/0800
23. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, daß der erste und zweite Schaltkreis unabhängig voneinander
und simultan zu betreiben sind.
24. Vorrichtung nach Anspruch 10 oder 16, dadurch gekennzeichnet,
daß bei dem Bild mit hoher Auflösung diese im Bereich von etwa O,125 bis etwa 0,250 Mikrometern
liegt.
25. Vorrichtung nach Anspruch 10 oder 16, dadurch gekennzeichnet,
daß bei dem Bild mit geringer Auflösung dieses im Bereich von etwa 0,7 bis etwa 2,O Mikrometern
liegt.
26. Vorrichtung nach Anspruch 10 zur automatischen Analyse von Organismus-Zellen, die Teil einer Zellprobe,
eines Abstriches sind, wobei maligne Zellen rasch klassifiziert werden sollen, umf-isüend folgende
Einzelelemente:
a) Tragmittel, um das Probenelement im optischen Erfassungsbereich eines ho· haut lösenden optischen
Vergröi3erungssystems zu halten;
b) optische Vergröi3erung£>elemente, die ein Bild mit
hoher Auflösung des Zellkerne« einer zu untersuchenden Zelle ergeben;
8098 5 0/0800
2S23490
c) Strahlteiler, um das Bild auf wenigstens zwei optische Bildpfade aufzuteilen;
d) erste Mittel, die mit einem der Bildpfade verbunden sind und das Bild mit hoher Auflösung empfangen
und ein elektrisches Ausgangssignal erzeugen, das das letztgenannte Bild repräsentiert;
e) Mittel, die mit dem Mittel gemäß Merkmal d) gekoppelt sind und das Ausgangssignal empfangen
und eine erste Digitalmatrix erzeugen, die das Bild repräsentiert, wobei die Matrix in der Größenordnung
wenigstens 10.000 Bildelemente umfaßt;
f) ein erster Schaltkreis, der die genannte Digitalmatrix misst und analysiert und Informationen erzeugt,
die sich auf die Struktur des Zellkerns der zu untersuchenden Zelle beziehen;
cj) Mittel, die mit dem anderen Bildpfad verbunden sind zur Verkleinerung des erzeugten Bildes, um
ein Bild mit kleinerer Auflösung, aber vergrößerten Bildfeld zu erzeugen, welches die gesamte Zelle umfaßt;
h) zwtiite Mittel, die sich in dem zweiten Bildpfad befinden, das Bild mit geringer Auflösung empfancjnn
und elektrische Ausgangssignale erzeugen, die dem zweiten Bild entsprechen;
i) Mittel, die mit dem zweiten Mittel gem. h) verbunden
8098 5 0/0800
sind und die Ausgangssignale empfangen und eine zweite Digitalmatrix erzeugen, die ebenfalls in
der Größenordnung etwa 10.000 Bildelemente erzeugt;
j) ein zweiter Schaltkreis, der die zweite Matrix misst und analysiert und Informationen erzeugt,
die sich auf die Dichte und die Größe des Zytoplasmas und auf den Kern der zu untersuchenden
Zelle beziehen;
k) Möglichkeit, den ersten und den zweiten elektrischen Schaltkreis unabhängig und simultan zu betreiben.
27. Vorrichtung zur Analyse von Organismus-Zellen, die Teil einer Zellprobe, eines Abstriches oder dergleichen
sind, wobei maligne Zellen, die in der Probe vorhanden sind, klassifiziert werden können, gekennzeichnet
durch folgende Einzelelemente:
a) Halterungen für die Proben, die mit Vorrichtungen ausgestattet sind, die eine Bewegung der Probe
innerhalb des optischen Erfassungsbereiches erlauben;
b) erste optische Elemente, die ein Bild mit hoher Auflösung eines Teiles der Probe erzeugen;
8098B0/0800
c) OjJt-(J-( It ];i roni sehe Mittel, die mit den Teilen
gemäß IV-i !.mal 1>) verbunden sind, das Bild hohe
Auflösungen empfangen und ein el el; irisches Ausgangssignal
ei zeugen, das dem Bild ent sjjiicht;
d) ein π i>i ei Scha] 1 kreis , der die Ausgangssignale
ehr oj)t o-elokt ι oni sehen Mittel aufnimmt und Messungen
und Analysen in Bezug auf die Struktur des Kerns
der zu unt ei .suchenden Zelle vornimmt;
e) zweite opiische Mittel, die optisch mit den ersten
optischen Mitteln gekoppelt sind und das Bild mit hohen /mi Joining verkleinern, wobei sich ein Bild
kleiiK'i hui lösung ergibt, das wenigstens die gesamte
zu unt ei .suchende i',(!lle darstellt;
f) zweite? ο] Ά o-elel.t ronische Mittel, die optisch gekoppeli
i-ind, so daß sie das Bild mit geringer
/uii lösung empfangen und ein eleki ι isches Ausgangssigna] (-11(!U(JCi], da« dem Bild entsjjricht;
g) zweit ei d eki ι i scher Schaltkreis, der das Ausgangssigna] de:; -/weiten opt o-elektroni sehen Mittels
emjjfänqt und Messungen und Analysen in Bezug auf
die Dicht( und die Größe des Zellkerns und Zytoplaijiiinn
der r.u untersuchenden Zelle durchführt;
h) ein diiit(i Schaltkreis, der mit dem ersten und
zweit (Ui logischen Schaltkreis verbunden ist und
die zu uni ei iHH-luniden Zellen klassifiziert, wobei
0 0 9 (J .Ι 0 / 0 8 0 0
3 -
Informationen verwendet werden, die von dem ersten und zweiten Schaltkreis stammen.
28. Vorrichtung gemäß Anspruch 27, dadurch gekennzeichnet,
daß die genannte opto-elektronische Vorrichtung ein Analog-AusgangssignaL erzeugt, und daß der erste
und zweite Schaltkreis Vorrichtungen umfassen, um das Analog-Signal in Digitalsignale umzuwandeln und weiterhin
logische Schaltelemente enthält, um die genannten Messungen und Analysen der Digitalsignale
durchzuführen.
29. Automatische Vorrichtung zur Analyse von Pap-Abstrichen, gekennzeichnet durch Mittel, um ein Abstrichgläschen
zu halten und weiterhin durch optoelektronische Mittel, um ein Zeilbild zu erzeugen
sowie elektrische Ausgangs»ignale, die das ZelibiId
repräsentieren, wobei insbeisotidcr-.! weitere optoelektronische
Mittel vorgesehen sind, um simultan
ein Bild de;:; Zellkernes hnr/.ustol I -n .suv/it; elnktri ■
sehe Ausganges ignale, din ;la.j uwuwX ·*. IÜld reprüsen tieren.
K), Vorrichtung nach Anspruch '), di-lif 'h jiil'a-nn'.'.eichn >t ,
ilaß die opto-elektronischen Μί.Π<;1 ;iii HiId de:;
0 0 9 8 B f) / ο η η η
ZeLlkernes mit hoher AufLösuncj hersteLLen aLss
für das BiLd der ZeLLe se Lbst vorgesehen ist.
H 0 c) 9 ci i) ' 0 8 Π Γ)
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US05/801,623 US4175860A (en) | 1977-05-31 | 1977-05-31 | Dual resolution method and apparatus for use in automated classification of pap smear and other samples |
Publications (2)
Publication Number | Publication Date |
---|---|
DE2823490A1 true DE2823490A1 (de) | 1978-12-14 |
DE2823490C2 DE2823490C2 (de) | 1989-03-02 |
Family
ID=25181627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19782823490 Granted DE2823490A1 (de) | 1977-05-31 | 1978-05-30 | Verfahren zur analyse von organismus- zellen |
Country Status (4)
Country | Link |
---|---|
US (1) | US4175860A (de) |
JP (1) | JPS53149391A (de) |
CA (1) | CA1109153A (de) |
DE (1) | DE2823490A1 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0014857A1 (de) * | 1979-02-01 | 1980-09-03 | Bloss, Werner H.,Prof. Dr.-Ing | Verfahren zum automatischen Markieren von Zellen und zur Bestimmung der Merkmale von Zellen aus zytologischen Abstrichpräparaten |
EP0105194A1 (de) * | 1982-09-02 | 1984-04-11 | Firma Andreas Hettich | Zentrifugationskammern zur zytodiagnostischen Präparation von Epithelzellen und deren Verwendung |
DE4211904A1 (de) * | 1991-04-09 | 1992-11-19 | Werner Maier | Verfahren und vorrichtung zum erstellen einer artenliste fuer eine fluessige probe |
Families Citing this family (128)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4338024A (en) * | 1980-05-02 | 1982-07-06 | International Remote Imaging Systems, Inc. | Flow analyzer and system for analysis of fluids with particles |
JPS5752859A (en) * | 1980-09-16 | 1982-03-29 | Omron Tateisi Electronics Co | Cell analyzer |
US4589140A (en) * | 1983-03-21 | 1986-05-13 | Beltronics, Inc. | Method of and apparatus for real-time high-speed inspection of objects for identifying or recognizing known and unknown portions thereof, including defects and the like |
US4519087A (en) * | 1983-06-20 | 1985-05-21 | International Remote Imaging Systems, Inc. | Method of determining the diagnostic significance of the content of a volume of biological sample containing particles |
US4724215A (en) * | 1985-02-27 | 1988-02-09 | Sherwood Medical Company | Automated microbiological testing apparatus and method |
US5016283A (en) * | 1985-11-04 | 1991-05-14 | Cell Analysis Systems, Inc. | Methods and apparatus for immunoploidy analysis |
US5086476A (en) * | 1985-11-04 | 1992-02-04 | Cell Analysis Systems, Inc. | Method and apparatus for determining a proliferation index of a cell sample |
US5109429A (en) * | 1985-11-04 | 1992-04-28 | Cell Analysis Systems,Inc. | Apparatus and method for analyses of biological specimens |
US4998284A (en) * | 1987-11-17 | 1991-03-05 | Cell Analysis Systems, Inc. | Dual color camera microscope and methodology for cell staining and analysis |
US4741043B1 (en) * | 1985-11-04 | 1994-08-09 | Cell Analysis Systems Inc | Method of and apparatus for image analyses of biological specimens |
US5134662A (en) * | 1985-11-04 | 1992-07-28 | Cell Analysis Systems, Inc. | Dual color camera microscope and methodology for cell staining and analysis |
US5544650A (en) * | 1988-04-08 | 1996-08-13 | Neuromedical Systems, Inc. | Automated specimen classification system and method |
US5740270A (en) * | 1988-04-08 | 1998-04-14 | Neuromedical Systems, Inc. | Automated cytological specimen classification system and method |
JPH07106839B2 (ja) * | 1989-03-20 | 1995-11-15 | 株式会社日立製作所 | エレベーター制御システム |
US5073857A (en) * | 1989-06-01 | 1991-12-17 | Accuron Corporation | Method and apparatus for cell analysis |
US5077806A (en) * | 1989-06-01 | 1991-12-31 | Accuron Corporation | Machine vision analysis apparatus |
US5123055A (en) * | 1989-08-10 | 1992-06-16 | International Remote Imaging Systems, Inc. | Method and an apparatus for differentiating a sample of biological cells |
US5063603A (en) * | 1989-11-06 | 1991-11-05 | David Sarnoff Research Center, Inc. | Dynamic method for recognizing objects and image processing system therefor |
CA2077781A1 (en) * | 1991-09-23 | 1993-03-24 | James W. Bacus | Method and apparatus for automated assay of biological specimens |
US5428690A (en) * | 1991-09-23 | 1995-06-27 | Becton Dickinson And Company | Method and apparatus for automated assay of biological specimens |
AU670938B2 (en) * | 1992-02-18 | 1996-08-08 | Neopath, Inc. | Method for identifying normal biomedical specimens |
EP0592624B1 (de) * | 1992-03-09 | 2001-09-19 | Accumed International Inc. | Diagnostische mikrobiologische testvorrichtung und verfahren |
US5343538A (en) * | 1992-10-02 | 1994-08-30 | International Remote Imaging Systems, Inc. | Method and an apparatus for identifying an object using quantile partitions |
US6136540A (en) | 1994-10-03 | 2000-10-24 | Ikonisys Inc. | Automated fluorescence in situ hybridization detection of genetic abnormalities |
US5352613A (en) * | 1993-10-07 | 1994-10-04 | Tafas Triantafillos P | Cytological screening method |
US5715327A (en) * | 1994-09-20 | 1998-02-03 | Neopath, Inc. | Method and apparatus for detection of unsuitable conditions for automated cytology scoring |
AU3586195A (en) * | 1994-09-20 | 1996-04-09 | Neopath, Inc. | Apparatus for automated identification of cell groupings on a biological specimen |
US5627908A (en) * | 1994-09-20 | 1997-05-06 | Neopath, Inc. | Method for cytological system dynamic normalization |
US5692066A (en) * | 1994-09-20 | 1997-11-25 | Neopath, Inc. | Method and apparatus for image plane modulation pattern recognition |
JPH10506202A (ja) * | 1994-09-20 | 1998-06-16 | ネオパス,インク. | 照明を安定化し均質化するための装置 |
AU3490695A (en) * | 1994-09-20 | 1996-04-09 | Neopath, Inc. | Cytological slide scoring apparatus |
US5757954A (en) * | 1994-09-20 | 1998-05-26 | Neopath, Inc. | Field prioritization apparatus and method |
US5566249A (en) * | 1994-09-20 | 1996-10-15 | Neopath, Inc. | Apparatus for detecting bubbles in coverslip adhesive |
AU3629295A (en) * | 1994-09-20 | 1996-04-09 | Neopath, Inc. | Apparatus for automated identification of thick cell groupings on a biological specimen |
AU3371395A (en) * | 1994-09-20 | 1996-04-19 | Neopath, Inc. | Biological specimen analysis system processing integrity checking apparatus |
US5978497A (en) * | 1994-09-20 | 1999-11-02 | Neopath, Inc. | Apparatus for the identification of free-lying cells |
US5740269A (en) * | 1994-09-20 | 1998-04-14 | Neopath, Inc. | Method and apparatus for robust biological specimen classification |
US5638459A (en) * | 1994-09-20 | 1997-06-10 | Neopath, Inc. | Method and apparatus for detecting a microscope slide coverslip |
AU3544995A (en) * | 1994-09-20 | 1996-04-09 | Neopath, Inc. | Apparatus for identification and integration of multiple cell patterns |
CA2200457C (en) * | 1994-09-20 | 2001-08-14 | Shih-Jong J. Lee | Biological analysis system self-calibration apparatus |
AU3675495A (en) * | 1994-09-30 | 1996-04-26 | Neopath, Inc. | Method and apparatus for highly efficient computer aided screening |
US5619428A (en) * | 1995-05-31 | 1997-04-08 | Neopath, Inc. | Method and apparatus for integrating an automated system to a laboratory |
US5671288A (en) * | 1995-05-31 | 1997-09-23 | Neopath, Inc. | Method and apparatus for assessing slide and specimen preparation quality |
US5625706A (en) * | 1995-05-31 | 1997-04-29 | Neopath, Inc. | Method and apparatus for continously monitoring and forecasting slide and specimen preparation for a biological specimen population |
US6252979B1 (en) | 1995-06-07 | 2001-06-26 | Tripath Imaging, Inc. | Interactive method and apparatus for sorting biological specimens |
US5787208A (en) * | 1995-06-07 | 1998-07-28 | Neopath, Inc. | Image enhancement method and apparatus |
US5745601A (en) * | 1995-07-31 | 1998-04-28 | Neopath, Inc. | Robustness of classification measurement apparatus and method |
US5621519A (en) * | 1995-07-31 | 1997-04-15 | Neopath, Inc. | Imaging system transfer function control method and apparatus |
US5930732A (en) * | 1995-09-15 | 1999-07-27 | Accumed International, Inc. | System for simplifying the implementation of specified functions |
US6148096A (en) * | 1995-09-15 | 2000-11-14 | Accumed International, Inc. | Specimen preview and inspection system |
US6118581A (en) * | 1995-09-15 | 2000-09-12 | Accumed International, Inc. | Multifunctional control unit for a microscope |
US6091842A (en) * | 1996-10-25 | 2000-07-18 | Accumed International, Inc. | Cytological specimen analysis system with slide mapping and generation of viewing path information |
US5963368A (en) * | 1995-09-15 | 1999-10-05 | Accumed International, Inc. | Specimen management system |
CA2185511C (en) * | 1995-09-15 | 2008-08-05 | Vladimir Dadeshidze | Cytological specimen analysis system with individualized patient data |
IL115985A0 (en) * | 1995-11-14 | 1996-01-31 | Elop Electrooptics Ind Ltd | System and method for computerized archiving |
JP2000501184A (ja) * | 1995-11-30 | 2000-02-02 | クロマビジョン メディカル システムズ,インコーポレイテッド | 生体標本の自動画像分析の方法および装置 |
US6272235B1 (en) | 1997-03-03 | 2001-08-07 | Bacus Research Laboratories, Inc. | Method and apparatus for creating a virtual microscope slide |
US6396941B1 (en) * | 1996-08-23 | 2002-05-28 | Bacus Research Laboratories, Inc. | Method and apparatus for internet, intranet, and local viewing of virtual microscope slides |
US6404906B2 (en) | 1997-03-03 | 2002-06-11 | Bacus Research Laboratories,Inc. | Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope |
US5817475A (en) * | 1996-11-15 | 1998-10-06 | Giles Scientific, Inc. | Automatic microbiological testing apparatus and method |
US5937103A (en) * | 1997-01-25 | 1999-08-10 | Neopath, Inc. | Method and apparatus for alias free measurement of optical transfer function |
US6160907A (en) * | 1997-04-07 | 2000-12-12 | Synapix, Inc. | Iterative three-dimensional process for creating finished media content |
US6124864A (en) * | 1997-04-07 | 2000-09-26 | Synapix, Inc. | Adaptive modeling and segmentation of visual image streams |
US6084590A (en) * | 1997-04-07 | 2000-07-04 | Synapix, Inc. | Media production with correlation of image stream and abstract objects in a three-dimensional virtual stage |
KR100303608B1 (ko) | 1997-05-22 | 2001-11-22 | 박호군 | 혈구세포자동인식방법및장치 |
US6181811B1 (en) | 1998-01-13 | 2001-01-30 | Neopath, Inc. | Method and apparatus for optimizing biological and cytological specimen screening and diagnosis |
US6266053B1 (en) | 1998-04-03 | 2001-07-24 | Synapix, Inc. | Time inheritance scene graph for representation of media content |
AUPP278698A0 (en) * | 1998-04-03 | 1998-04-30 | University Of Queensland, The | Method of cell nuclei segmentation |
US6249285B1 (en) | 1998-04-06 | 2001-06-19 | Synapix, Inc. | Computer assisted mark-up and parameterization for scene analysis |
US6297825B1 (en) | 1998-04-06 | 2001-10-02 | Synapix, Inc. | Temporal smoothing of scene analysis data for image sequence generation |
US6143512A (en) * | 1998-08-17 | 2000-11-07 | Markovic; Nenad | Cap-pap test |
US6610973B1 (en) * | 1999-07-27 | 2003-08-26 | Davis, Iii John Merrill | Pill counting aid using a planar light diffusing panel for receipt and retention of the pills |
AU770402B2 (en) * | 1999-10-20 | 2004-02-19 | Qiagen North American Holdings, Inc. | Mixing and pouring apparatus with rotatable arm and related vessel |
US6665060B1 (en) | 1999-10-29 | 2003-12-16 | Cytyc Corporation | Cytological imaging system and method |
US6661501B1 (en) | 1999-10-29 | 2003-12-09 | Cytyc Corporation | Cytological stain composition including verification characteristic |
US6593102B2 (en) | 1999-10-29 | 2003-07-15 | Cytyc Corporation | Cytological stain composition |
US6348325B1 (en) | 1999-10-29 | 2002-02-19 | Cytyc Corporation | Cytological stain composition |
US6535626B1 (en) | 2000-01-14 | 2003-03-18 | Accumed International, Inc. | Inspection system with specimen preview |
US6473172B1 (en) | 2000-09-20 | 2002-10-29 | International Remote Imaging Systems, Inc. | Flow cell and method of operating therefor |
US6466690C1 (en) * | 2000-12-19 | 2008-11-18 | Bacus Res Lab Inc | Method and apparatus for processing an image of a tissue sample microarray |
WO2002074055A2 (en) * | 2001-03-19 | 2002-09-26 | Ikonisys, Inc. | Epifluorecence microscope with improved image contrast |
US6519355B2 (en) * | 2001-03-28 | 2003-02-11 | Alan C. Nelson | Optical projection imaging system and method for automatically detecting cells having nuclear and cytoplasmic densitometric features associated with disease |
US6591003B2 (en) | 2001-03-28 | 2003-07-08 | Visiongate, Inc. | Optical tomography of small moving objects using time delay and integration imaging |
US6944322B2 (en) | 2001-03-28 | 2005-09-13 | Visiongate, Inc. | Optical tomography of small objects using parallel ray illumination and post-specimen optical magnification |
US6522775B2 (en) | 2001-03-28 | 2003-02-18 | Alan C. Nelson | Apparatus and method for imaging small objects in a flow stream using optical tomography |
US20060023219A1 (en) * | 2001-03-28 | 2006-02-02 | Meyer Michael G | Optical tomography of small objects using parallel ray illumination and post-specimen optical magnification |
US7907765B2 (en) * | 2001-03-28 | 2011-03-15 | University Of Washington | Focal plane tracking for optical microtomography |
WO2002079391A2 (en) * | 2001-04-02 | 2002-10-10 | Cytoprint, Inc. | Methods and apparatus for discovering, identifying and comparing biological activity mechanisms |
DE10131508A1 (de) * | 2001-07-02 | 2003-01-16 | Leica Microsystems | Verfahren und Mikroskop zur Detektion eines Objekts |
US6741730B2 (en) | 2001-08-10 | 2004-05-25 | Visiongate, Inc. | Method and apparatus for three-dimensional imaging in the fourier domain |
US6636623B2 (en) * | 2001-08-10 | 2003-10-21 | Visiongate, Inc. | Optical projection imaging system and method for automatically detecting cells with molecular marker compartmentalization associated with malignancy and disease |
KR100479271B1 (ko) * | 2001-09-13 | 2005-03-30 | 학교법인 한림대학교 | 자궁경부 세포진영상의 핵영역분할방법 |
WO2003073365A1 (en) * | 2002-02-22 | 2003-09-04 | Bacus Research Laboratories, Inc. | Focusable virtual microscopy apparatus and method |
US7197355B2 (en) | 2002-04-19 | 2007-03-27 | Visiongate, Inc. | Variable-motion optical tomography of small objects |
US20050085708A1 (en) * | 2002-04-19 | 2005-04-21 | University Of Washington | System and method for preparation of cells for 3D image acquisition |
US7260253B2 (en) * | 2002-04-19 | 2007-08-21 | Visiongate, Inc. | Method for correction of relative object-detector motion between successive views |
US7738945B2 (en) * | 2002-04-19 | 2010-06-15 | University Of Washington | Method and apparatus for pseudo-projection formation for optical tomography |
US7811825B2 (en) * | 2002-04-19 | 2010-10-12 | University Of Washington | System and method for processing specimens and images for optical tomography |
US6697508B2 (en) | 2002-05-10 | 2004-02-24 | Visiongate, Inc. | Tomographic reconstruction of small objects using a priori knowledge |
US6770893B2 (en) * | 2002-05-13 | 2004-08-03 | Visiongate, Inc. | Method and apparatus for emission computed tomography using temporal signatures |
US6674885B2 (en) * | 2002-06-04 | 2004-01-06 | Amersham Biosciences Corp | Systems and methods for analyzing target contrast features in images of biological samples |
US6873725B2 (en) * | 2002-09-09 | 2005-03-29 | Coulter International Corp. | Simultaneous measurement and display of 3-D size distributions of particulate materials in suspensions |
ES2295465T3 (es) * | 2002-09-16 | 2008-04-16 | Pan-Biotech Gmbh | Procedimiento para el cultivo de celulas, en especial de celulas humanas o de animales. |
WO2004033616A1 (de) * | 2002-09-16 | 2004-04-22 | Pan-Biotech Gmbh | Einrichtung zur kultivierung von zellen, insbesondere menschlicher oder tierischer zellen |
US7687167B2 (en) * | 2003-07-18 | 2010-03-30 | Panasonic Corporation | Power supply unit |
US7792338B2 (en) * | 2004-08-16 | 2010-09-07 | Olympus America Inc. | Method and apparatus of mechanical stage positioning in virtual microscopy image capture |
US6991738B1 (en) | 2004-10-13 | 2006-01-31 | University Of Washington | Flow-through drum centrifuge |
US20060096358A1 (en) * | 2004-10-28 | 2006-05-11 | University Of Washington | Optical projection tomography microscope |
US7494809B2 (en) | 2004-11-09 | 2009-02-24 | Visiongate, Inc. | Automated cell sample enrichment preparation method |
DE102005041603A1 (de) * | 2005-09-01 | 2007-03-15 | Siemens Ag | Verfahren zur automatischen Erkennung eines Objektes in einem Bild |
US8411896B2 (en) * | 2006-12-21 | 2013-04-02 | Cypress Envirosystems, Inc. | Gauge reading device and system |
US7835561B2 (en) | 2007-05-18 | 2010-11-16 | Visiongate, Inc. | Method for image processing and reconstruction of images for optical tomography |
US7787112B2 (en) * | 2007-10-22 | 2010-08-31 | Visiongate, Inc. | Depth of field extension for optical tomography |
US8059136B2 (en) * | 2007-12-11 | 2011-11-15 | Honeywell International Inc. | Hierarchichal rapid serial visual presentation for robust target identification |
US8090183B2 (en) * | 2009-03-12 | 2012-01-03 | Visiongate, Inc. | Pattern noise correction for pseudo projections |
US8254023B2 (en) | 2009-02-23 | 2012-08-28 | Visiongate, Inc. | Optical tomography system with high-speed scanner |
US8155420B2 (en) * | 2009-05-21 | 2012-04-10 | Visiongate, Inc | System and method for detecting poor quality in 3D reconstructions |
WO2012019118A1 (en) | 2010-08-05 | 2012-02-09 | Abbott Point Of Care, Inc. | Method and apparatus for automated whole blood sample analyses from microscopy images |
CN103033409B (zh) * | 2011-10-09 | 2015-08-19 | 安徽新标志科技有限公司 | 改进的组织细胞染色方法及其应用 |
US20150073958A1 (en) * | 2013-09-12 | 2015-03-12 | Bank Of America Corporation | RESEARCH REPORT RECOMMENDATION ENGINE ("R+hu 3 +lE") |
US10078778B2 (en) * | 2015-01-15 | 2018-09-18 | Massachusetts Institute Of Technology | Systems, methods, and apparatus for in vitro single-cell identification and recovery |
US11069054B2 (en) | 2015-12-30 | 2021-07-20 | Visiongate, Inc. | System and method for automated detection and monitoring of dysplasia and administration of immunotherapy and chemotherapy |
US10401346B2 (en) * | 2016-09-16 | 2019-09-03 | Rachel Olema Aitaru | Mobile sickle cell diagnostic tool |
WO2018112514A1 (en) * | 2016-12-23 | 2018-06-28 | Queensland University Of Technology | Deep learning systems and methods for use in computer vision |
US11310451B1 (en) | 2019-09-05 | 2022-04-19 | Waymo Llc | Smart sensor with region of interest capabilities |
DE102019132514B3 (de) * | 2019-11-29 | 2021-02-04 | Carl Zeiss Meditec Ag | Optisches Beobachtungsgerät sowie Verfahren und Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen |
US11428550B2 (en) | 2020-03-03 | 2022-08-30 | Waymo Llc | Sensor region of interest selection based on multisensor data |
US11756283B2 (en) | 2020-12-16 | 2023-09-12 | Waymo Llc | Smart sensor implementations of region of interest operating modes |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3895854A (en) * | 1973-10-18 | 1975-07-22 | Coulter Electronics | Chromatic method and apparatus for conducting microscopic examinations at a plurality of magnifications |
DE2552903A1 (de) * | 1974-11-25 | 1976-07-08 | Green James E | Verfahren und vorrichtung zur bildanalyse unter doppelaufloesung |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3770349A (en) * | 1969-03-17 | 1973-11-06 | Sanchez G Legorreta | Method and apparatus for automatically classifying complex, microscopic particles such as human cells |
US3637282A (en) * | 1970-02-21 | 1972-01-25 | Olympus Optical Co | Elongated variable magnification optical system having selectively interchangeable lenses |
JPS503397A (de) * | 1973-05-11 | 1975-01-14 | ||
US3851972A (en) * | 1973-10-18 | 1974-12-03 | Coulter Electronics | Automatic method and system for analysis and review of a plurality of stored slides |
-
1977
- 1977-05-31 US US05/801,623 patent/US4175860A/en not_active Expired - Lifetime
-
1978
- 1978-05-29 CA CA304,352A patent/CA1109153A/en not_active Expired
- 1978-05-30 JP JP6486478A patent/JPS53149391A/ja active Pending
- 1978-05-30 DE DE19782823490 patent/DE2823490A1/de active Granted
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3895854A (en) * | 1973-10-18 | 1975-07-22 | Coulter Electronics | Chromatic method and apparatus for conducting microscopic examinations at a plurality of magnifications |
DE2552903A1 (de) * | 1974-11-25 | 1976-07-08 | Green James E | Verfahren und vorrichtung zur bildanalyse unter doppelaufloesung |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0014857A1 (de) * | 1979-02-01 | 1980-09-03 | Bloss, Werner H.,Prof. Dr.-Ing | Verfahren zum automatischen Markieren von Zellen und zur Bestimmung der Merkmale von Zellen aus zytologischen Abstrichpräparaten |
EP0105194A1 (de) * | 1982-09-02 | 1984-04-11 | Firma Andreas Hettich | Zentrifugationskammern zur zytodiagnostischen Präparation von Epithelzellen und deren Verwendung |
DE4211904A1 (de) * | 1991-04-09 | 1992-11-19 | Werner Maier | Verfahren und vorrichtung zum erstellen einer artenliste fuer eine fluessige probe |
Also Published As
Publication number | Publication date |
---|---|
US4175860A (en) | 1979-11-27 |
CA1109153A (en) | 1981-09-15 |
JPS53149391A (en) | 1978-12-26 |
DE2823490C2 (de) | 1989-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE2823490A1 (de) | Verfahren zur analyse von organismus- zellen | |
DE3689856T2 (de) | Analyseverfahren und vorrichtung für biologische specimen. | |
DE60316113T2 (de) | Verfahren für quantitative video-mikroskopie und vorrichtung und computerprogramm zur durchführung des verfahrens | |
DE69030703T2 (de) | Verfahren und Gerät zur Messung von optischen Eigenschaften biologischer Proben | |
DE69629292T2 (de) | Verfahren zum feststellen der preparationsgüte von objektträgern und proben | |
DE60319816T2 (de) | Verfahren zum automatischen erkennen von zellen mit krankheitsbezogener molekularmarkierungs-kompartimentierung | |
DE60226043T2 (de) | Verfahren für quantitative video-mikroskopie und vorrichtung und programm zur durchführung des verfahrens | |
DE69322498T2 (de) | Verfahren zur identifizierung von normalen biomedizinischen proben | |
EP3575848A1 (de) | Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera | |
DE1498824A1 (de) | Vorrichtung zur maschinellen Krebsdiagnose | |
DE69532276T2 (de) | Automatisiertes cytologisches probenklassifizierungsverfahren | |
WO1997041416A1 (de) | Verfahren zur automatisierten mikroskopunterstützten untersuchung von gewebeproben oder körperflüssigkeitsproben | |
EP1797533B1 (de) | Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen | |
DE2344528A1 (de) | Verfahren und vorrichtung zur analyse unter verwendung von farb-algebra und von bild-verarbeitungsverfahren | |
DE2903625C2 (de) | ||
DE4211904C2 (de) | Automatisches Verfahren zum Erstellen einer Liste unterschiedlicher Arten für eine flüssige Probe | |
EP3430565A1 (de) | Verfahren zur untersuchung verteilter objekte unter segmentierung eines übersichtbildes | |
DE102009033927B4 (de) | Vorrichtung und Verfahren zum Lokalisieren eines validen Bereiches eines Blutausstriches | |
WO2021105801A1 (de) | Verfahren zur digitalen anfärbung von zellen | |
EP3574303B1 (de) | Verfahren und vorrichtung zur untersuchung von zellen | |
EP3540631A1 (de) | In-vitro-verfahren zum markierungsfreien bestimmen eines zelltyps einer weissen blutzelle | |
DE102007060438B4 (de) | Untersuchung einzelner biologischer Zellen | |
DE10355150B4 (de) | Verfahren und System zur Analyse von Co-Lokalisationen | |
EP3647767B1 (de) | Isovolumetrisches aufkugeln von roten blutzellen | |
EP3910399A1 (de) | Verfahren zur virtuellen annotation von zellen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
D2 | Grant after examination | ||
8328 | Change in the person/name/address of the agent |
Free format text: HOFFMEISTER, H., DIPL.-PHYS. DR.RER.NAT., PAT.-ANW., 4400 MUENSTER |
|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |