DE19616997A1

DE19616997A1 - Verfahren zur automatisierten mikroskopunterstützten Untersuchung von Gewebeproben oder Körperflüssigkeitsproben

Info

Publication number: DE19616997A1
Application number: DE19616997A
Authority: DE
Inventors: Bela Dr Med Molnar; Rainer Schaefer; Winfried Dipl Chem Dr Albert
Original assignee: Boehringer Mannheim GmbH
Current assignee: Roche Diagnostics GmbH
Priority date: 1996-04-27
Filing date: 1996-04-27
Publication date: 1997-10-30
Also published as: US6246785B1; JP2007133859A; EP0896661A1; WO1997041416A1; JP2000513465A

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Untersuchung von Gewebeproben oder Körperflüssigkeiten auf einem Objektträger mit einem automatischen Mikroskop sowie einem Videosystem und einem Auswertecomputer mit Neuronalen Netzen. Die Einzelheiten des Verfahrens ergeben sich aus den Ansprüchen 1 und 8.

Im Stand der Technik sind zur Untersuchung von Proben computerunterstützte Bildanalyse systeme bekannt, die ein Mikroskop mit einer Videokamera gekoppelt an einen Computer beinhalten. Mit Hilfe einer Bildverarbeitungskarte wird das von der Videokamera aufge nommene Bild dem Computer zugeführt und mit einer Bildverarbeitungssoftware in ge eigneter Weise auf einem Bildschirm dargestellt. Bei der im Stand der Technik bekannten Vorgehensweise muß der Anwender das Mikroskop auf den zu untersuchenden Bereich einstellen und fokussieren. Die Auswertung der Probe erfolgt anhand des auf dem Bild schirm dargestellten Bildes, wobei gegebenenfalls die Bildverarbeitungssoftware durch Kontrastveränderungen, Einfärbungen usw. unterstützend wirksam sein kann.

Im Stand der Technik sind auch stärker automatisierte Apparaturen bekannt, wie sie bei spielsweise in WO 91/20048 und WO 92/13308 beschrieben sind. Die in diesen Dokumen ten offenbarten Vorrichtungen weisen ein automatisches Mikroskop mit einer Kamera und ein computerunterstütztes Auswertesystem auf. Objektivwechsel, Fokussierung und Probenbewegung werden automatisch vorgenommen. Die Auswertung erfolgt, indem der Hintergrund durch spezielle Verfahren, wie z. B. Schwellenwertverfahren, von der Bildin formation abstrahiert wird. Innerhalb des Bildes werden Objekte lokalisiert und voneinander getrennt. Die lokalisierten Objekte (in der Regel Zellen) werden fokussiert und morpho metrische und densitometrische Parameter bestimmt. Diese Parameter werden anschließend durch regelbasierte oder multivariate statistische Verfahren evaluiert. Eine Voraussetzung für diese Vorgehensweise ist, daß dicht beieinanderliegende Zellen optisch voneinander ge trennt werden können, da sonst eine Zellerkennung aufgrund der morphometrischen und densitometrischen Parameter fehlschlägt. In dem Artikel "Automated Cervical Smear Classification" (IEEE/9th Annual Conference of the Engineering in Medicine and Biological Society, Seite 1457) wird ein derartiges Verfahren beschrieben. In diesem Artikel wird vor geschlagen, das Problem überlappender Zellen zu lösen, indem lediglich die Kerne angefärbt werden und die Klassifizierung aufgrund dieser Anfärbung vorgenommen wird.

Weiterhin sind im Stand der Technik mathematische Optimierungsverfahren bekannt, die versuchen, die Bilder der Objekte in einem multivariablen Raum durch Trenn linien/Trennflächen voneinander zu separieren. Ebenfalls wurden regelbasierte und statistische Verfahren entwickelt, um das Problem der Objektseparierung zu lösen.

Aufgabe der vorliegenden Erfindung war es, ein Verfahren zur Untersuchung von Gewebe proben oder Körperflüssigkeitsproben bereitzustellen, das auch für Proben mit dicht beiein anderliegenden Objekten eine gezielte Auswertung ermöglicht, ohne daß eine Fokussierung und Trennung von Objekten vorgenommen werden muß.

Die vorstehend genannte Aufgabe wird durch ein Verfahren gemäß Anspruch 1 und An spruch 8 gelöst. Insbesondere hat es sich als wichtig erwiesen, bei der Untersuchung der Probe mit einem Neuronalen Netz Zellen, Zellkomplexe oder histologische Strukturen so abzubilden, daß sie nicht am Rand des ausgewerteten Bereiches liegen und teilweise aus dem Auswertebereich herausragen. Das erfindungsgemäße Verfahren schlägt eine Vor gehensweise vor, bei dem weder der Eingriff eines Operateurs noch die Verwendung abge leiteter Größen, wie beispielsweise morphometrische oder densitometrische Größen, not wendig sind. Überraschend hat sich gezeigt, daß eine Untersuchung von Bildsegmenten mit eng beieinanderliegenden Zellen oder Zellkomplexen mit Neuronalen Netzen auch dann möglich ist, wenn keine Fokussierung auf einzelne Zellen vorgenommen wird, wobei jedoch sichergestellt werden muß, daß der Bildbereich, der dem Neuronalen Netz zugeführt wird, die Zellen bzw. die Zellkomplexe vollständig enthält, so daß diese Strukturen nicht aus dem Auswertebereich herausragen. Dies war nicht zu erwarten, da die im Stand der Technik bekannten Verfahren darauf basieren, daß einzelne Objekte, wie Zellen, Zellkomplexe oder histologische Strukturen als einzelne Objekte lokalisiert, fokussiert und identifiziert werden.

Weiterhin hat es sich als vorteilhaft erwiesen, wenn eine Klassifizierung der Art der Probe erfolgt und die Neuronalen Netze unter Berücksichtigung dieser Klassifizierung unter suchen, ob Zelltypen vorliegen, die nicht zur Art der Probe gehören oder ob strukturelle Zell-/Gewebeveränderungen vorliegen. Bei dieser Vorgehensweise hat es sich als wichtig erwiesen, das Bild der Probe zu digitalisieren und die erhaltenen Bildpunkte in zusammen hängende Segmente aufzuteilen, von denen jedes einzeln untersucht werden kann.

Die vorliegende Erfindung fällt in das Gebiet der medizinischen Bilddiagnostik, zu der Tomographie, Ultraschall und Mikroskopie gehören. Von diesen Verfahren ist die mikroskopische Diagnostik das wichtigste Mittel um bösartige Erkrankungen auszu schließen oder zu bestätigen. Bei gynäkologischen, urologischen oder endoskopischen Untersuchungen und Operationen werden deshalb routinemäßig Proben für die onkolo gische Diagnostik in die pathologischen, cytologischen oder hämatologischen Labors ge schickt. Das Probenmaterial besteht aus Zellabstrichen, Zellsuspensionen oder zell- und strukturbildenden Teilen, die bei Biopsien oder Gewebeschnitten erhalten werden.

Bei der heute üblichen Untersuchung entscheidet der Arzt zunächst auf der zellulären Ebene, ob alle Zellteile vorhanden sind, diese in einem normalen Verhältnis zueinander stehen und ob der Zellnukleus eine normale Chromatinverteilung besitzt. Weiterhin wird auf dieser Ebene analysiert, ob ungewöhnliche Zellarten vorhanden sind. Auf der Strukturebene untersucht der Arzt, ob die gefundenen Zellgruppen dem Organ entsprechen, dem sie ent nommen wurden und ob Zellarten auftreten, die untypisch für das untersuchte Gewebe sind. Weiterhin wird analysiert, ob die Grenzen zwischen unterschiedlichen Gewebearten normal oder gestört sind. Die häufigste Ursache für derartige Veränderungen ist die bösartige Um wandlung von Zellen.

Weil die gesuchten Strukturveränderungen in den Proben ohne Anfärung in der Regel nicht sichtbar sind, werden spezielle Färbungen benutzt. Die Präparate werden von Hand oder mit Färbeautomaten gefärbt, wobei auch spezielle immunologische Marker, wie z. B. Tumor marker-Antikörper, eingesetzt werden können. Bei der sogenannten in-situ Hybridisierung werden spezielle DNA-Sonden, die an den Onkogenteil der zellulären DNA binden, einge setzt, um Tumorgene zu finden.

Auf der zellulären Ebene wird versucht, mit Hilfe multivariater statistischer Verfahren Ent scheidungsregeln zu formulieren, so daß die bisher vom Arzt durchgeführte Untersuchung automatisiert werden kann. Eine Automatisierung in diesem Bereich ist sehr wichtig, da die Anzahl der Untersuchung ständig steigt und das notwendige qualifizierte Laborpersonal oft fehlt. Die Früherkennung von krebsartigen Veränderungen würde grundsätzlich zu einer besseren Prognose der Patienten beitragen. Die automatische Bewertung von zellulären und strukturellen Zell- und Organveränderungen eröffnet neue Möglichkeiten bei der Früher kennung von Tumoren und steigert dadurch die Heilungschancen erheblich.

Bei dieser Problematik setzt die vorliegende Erfindung an und schlägt ein automatisiertes Verfahren zur Untersuchung von Gewebeproben oder Körperflüssigkeitsproben vor.

Proben, die mit dem erfindungsgemäßen Verfahren untersucht werden können, sind bei spielsweise Gewebeschnitte, Abstriche, Zellausstriche und Körperflüssigkeiten, wie Blut, Urin, Punktatflüssigkeit und dergleichen. Zur Untersuchung wird die Probe auf einen Ob jektträger gebracht, so daß eine dünne Schicht der Probe erhalten wird, die untersucht wer den kann.

Im Rahmen der Erfindung wird durch Neuronale Netze eine Untersuchung von Zellen, Zell komplexen, histologischen Strukturen usw. vorgenommen. Diese Einheiten werden im Folgenden zusammenfassend als Zellobjekte bezeichnet. Darunter sollen auch solche Ob jekte verstanden werden, die am Rand des aufgenommenen Bildes liegen und nur teilweise erfaßt werden.

Die Auswertung der Probe erfolgt mit einem automatischen Mikroskop. Im Stand der Technik bekannte Mikroskope (beispielsweise WO 91/20048) weisen Einrichtungen zum Einstellen der Fokussierung sowie zur Einstellung gewünschter Bildausschnitte auf. Das gängigste Beispiel für eine solche Vorrichtung zur lateralen Verschiebung der Probe besteht in einem Kreuztisch, durch den der Objektträger innerhalb einer Ebene verschoben wird. Weiterhin kann ein Mikroskop zur Durchführung des erfindungsgemäßen Verfahrens Ein richtungen zum automatischen Wechsel von Objektiven und Filtern besitzen.

In der Bildebene des Mikroskops ist der Sensor eines Videosystems angeordnet. Heute gängige Videokameras besitzen ein CCD-Array von 1024 × 1024 oder 512 × 512 Pixeln. Es sind sowohl CCD-Arrays bekannt, die als Ausgabewert Grauwerte bereitstellen als auch solche, die Farbwerte (rot-grün-blau-Werte) liefern.

Ein erfindungsgemäßes System zur automatischen Untersuchung von Proben weist weiter hin einen Auswertecomputer auf, der mit dem Videosystem und auch mit dem Mikroskop verbunden ist. Auswertecomputer für eine solche Anwendung weisen einen sogenannten "frame-grabber" auf, der dazu dient, die vom Videosystem bereitgestellten Signale in den Auswertecomputer einzulesen.

Weiterhin besitzt der Auswertecomputer Vorrichtungen zur Steuerung des Mikroskops, um eine Fokussierung sowie eine laterale Verschiebung der Probe relativ zum Objektiv des Mikroskopes zu steuern.

Der Auswertecomputer muß zur Lösung der vorliegenden Problemstellung eine hohe Rechenleistung aufweisen. Insbesondere sind in dem Auswertecomputer mehrere Neuronale Netze implementiert.

Neuronale Netze werden als mathematische Modelle biologischer Gehirnfunktionen ver wendet. Durch die Auswahl geeigneter Netztopologien und Verarbeitungsfunktionen wird versucht, komplexe Denk- und Entscheidungsvorgänge mit Hilfe von Computern zu simu lieren. Die wesentlichen Erkenntnisse über künstliche Neuronale Netze sind in dem Buch "Parallel distributed processing: Explorations in the microstructure of cognition" von Rummelhart and McCulloch dargelegt. Es gibt heute über 100 verschiedene Netzwerk modelle sowie eine Vielzahl von Verknüpfungscharakteristika und Funktionen. Die prinzi pielle Funktionsweise eines Neuronalen Netzes ist in der Fig. 1 dargestellt. Auf der Ein gangsseite des Neuronalen Netzes befinden sich sogenannte Input-Neuronen, die mit "Hidden-Neuronen" verbunden sind. Jedes Neuron hat einen oder mehrere gewichtete In puts, entweder in Form externer Signale oder als Output von anderen Neuronen. Es sind sowohl positive als auch negative Wichtungen möglich. Die Summe der gewichteten Inputs wird über eine Transferfunktion in den oder die Outputwerte überführt, die ihrerseits andere Neuronen ansteuern oder als Ausgabewerte dienen. Die in Fig. 1 dargestellten Hidden- Neuronen sind mit den Output-Neuronen verbunden. Selbstverständlich kann der Bereich der Hidden-Neuronen auch wesentlich komplexer aufgebaut sein und aus mehreren unter einander vernetzten Ebenen bestehen. Die Gesamtheit aller Neuronen einer bestimmten Funktionalität wird als Layer, wie z. B. Input-Layer, bezeichnet. Von denen im Stand der Technik bekannten Organisationsstrukturen Neuronaler Netze seien an dieser Stelle nur die Typen Perceptron, Hopfield, Kohnen und Grossberg-Modell erwähnt. Die wichtigsten Parameter eines Netzes sind neben der Topologie die Neuronengrundspannungen sowie die Stärke der Verbindungen der Neuronen untereinander. Zur Einstellung der Parameter wird ein repräsentatives Trainingsset mehrmals durch das Netz evaluiert. Nach jedem Evaluie rungszyklus werden die Wichtungen und die Grundspannungen verändert und neu einge stellt. Diese Iteration wird so oft durchlaufen, bis die Durchschnittsfehlerrate ein vorgege benes Minimum unterschreitet oder ein zuvor definiertes aufgabenbezogenes Abbruchkrite rium erreicht wird. Das Testset wird zur Kontrolle ebenfalls iterativ evaluiert.

Die vorliegende Erfindung ist insbesondere dadurch gekennzeichnet, daß mehrere Neuro nale Netze mit verschiedenen Aufgaben verwendet werden. Zur Analyse durch die Neuro nalen Netze wird das digitalisierte Bild in zusammenhängende Segmente vorzugsweise gleicher Größe aufgeteilt und die erhaltenen Segmente separat voneinander durch die Netze ausgewertet.

Wichtig ist es, daß die untersuchte Probe zunächst gemäß ihrer Art klassifiziert wird. Dies kann entweder durch einen Operateur erfolgen oder das digitalisierte Bild der Probe wird durch ein Neuronales Netz (NN_α untersucht.

Bei dem erfindungsgemäßen Verfahren wird zunächst ein Bild der Probe aufgenommen und die digitalisierten Signale des Bildes einzelnen Bildpunkten zugeordnet. Die erhaltenen Bildpunkte werden zusammenhängenden Segmenten zugewiesen, deren Auswertung ge trennt erfolgt. Die Segmente werden durch Neuronale Netze NN_β _i untersucht, indem die digitalisierten Bildsignale des Segmentes den Input-Neuronen zugeführt werden.

Bei einem ersten Typ der Neuronalen Netze NN_β₁ untersucht das Neuronale Netz, ob in dem jeweiligen Segment eine Zelle, ein Zellkomplex, ein Gewebeteil oder Artefactstruktu ren vorliegen. Alternativ oder zusätzlich kann eine weitere Auswertung durch ein Neuro nales Netz NN_β₂ vorgenommen werden, das untersucht, ob es sich bei dem Gewebe der Probe um Epithelium, Endothelium, Bindegewebe oder Muskulatur handelt oder ob eine Körperflüssigkeit vorliegt. Weiterhin ist die Auswertung durch ein drittes Neuronales Netz NN_β₃ möglich, das untersucht, ob in dem Segment eine Zelle oder ein Zellkomplex vorliegt. Schließlich kann noch eine Untersuchung durch ein viertes Neuronales Netz NN_b₄ vorge nommen werden, das erkennt, wenn ein Zellobjekt über den Rand des jeweiligen Segmentes hinausragt. Ist dies der Fall, so erfolgt eine Auswertung des gesamten Zellobjektes. Wenn das Zellobjekt in andere Segmente hineinragt, für die bereits ein Bild aufgenommen wurde, so kann das Zellobjekt untersucht werden, indem neue Segmente so gebildet werden, daß das Zellobjekt vollständig in einem dieser Segmente liegt. Sollte das Zellobjekt jedoch aus dem mit dem Videosystem aufgenommenen Bild herausragen, so ist es notwendig, ein weiteres Bild aufzunehmen, das das Zellobjekt vollständig erfaßt.

Von den bereits genannten Auswertungen kann bei einer Untersuchung nur eine einzelne verwendet werden, oder die Netze können in geeigneter Weise miteinander kombiniert wer den. Vorteilhaft ist es jedoch, alle vier genannten Neuronalen Netze bei einer Probe zur Anwendung zu bringen.

Bei einem erfindungsgemäßen Verfahren werden die Segmente weiterhin mit ein oder mehreren Neuronalen Netzen NN_γ _i ausgewertet und als pathologisch klassifiziert, wenn Zelltypen vorliegen, die nicht zur Art der Probe gehören oder wenn strukturelle Zell- bzw. Gewebeveränderungen vorliegen. Zur Erkennung, ob fremde Zelltypen oder strukturelle Veränderungen vorliegen, ist es von Bedeutung, in die Auswertung die Art der Probe mit einzubeziehen. Insbesondere ist es vorteilhaft, aufgrund der Kenntnis der Art der Probe die Neuronalen Netze NN_γ _i auszuwählen. So ist es beispielsweise denkbar, für die in der Praxis auftretenden Probenarten jeweils Sätze von Neuronalen Netzen bereitzustellen, die für die spezielle Probenart trainiert wurden. Ob bei der Auswertung der Segmente mit den Neuro nalen Netzen NN_γ _i ein oder mehrere Netze verwendet werden, hängt von der Komplexität des jeweiligen Problems ab.

Wurde die vorliegende Probe als pathologisch klassifiziert, so wird vorzugsweise eine weitere Untersuchung vorgenommen, indem eine Aufnahme des oder der betreffenden Segmente, in denen Besonderheiten gefunden wurden, mit einer höheren Vergrößerung aufgenommen und untersucht werden. Die neue Aufnahme wird wiederum in Segmente unterteilt wie bereits beschrieben und Neuronale Netze NN_β _i werden verwendet, wie dies bereits bei niedriger Auflösung erfolgt ist. Schließlich werden auch für die Aufnahme mit höherer Vergrößerung die Neuronalen Netze NN_γ _i zur Anwendung gebracht und wiederum untersucht, ob Zelltypen vorliegen, die nicht zur Art der Probe gehören oder ob strukturelle Zell-/Gewebeveränderungen vorliegen. Ist dies der Fall, so wird die an dem mit kleinerer Vergrößerung aufgenommenen Bild gestellte Diagnose verifiziert. Es kann auch vorgesehen werden, daß die Aufnahme mit höherer Vergrößerung direkt auf einem Monitor ausgegeben wird, damit ein erfahrener Operateur eine visuelle Auswertung vornehmen kann.

Neben den bereits beschriebenen Verfahren ist ein weiteres Verfahren zur automatisierten mikroskopischen Untersuchung Gegenstand dieser Patentanmeldung, das beschreibt, wie auf effiziente Weise eine Auswertung durch 3 verschiedene Typen von Neuronalen Netzen erfolgen kann. Das bereits beschriebene Verfahren und das folgende Verfahren können auch miteinander kombiniert werden.

Das geschilderte Verfahren ist anhand des Flußdiagrammes in Fig. 5 übersichtlicher dar gestellt.

Bei dem zweiten erfindungsgemäßen Verfahren dient ein erstes Neuronales Netz dazu, die digitalisierten Signale des Videosystems dahingehend auszuwerten, ob sich ein Zelleobjekt in dem Segment befindet, der dem Input-Layer des Neuronalen Netzes zugewiesen wurde. Dieses erste Neuronale Netz (NN_A) besitzt vorzugsweise einen Aufbau, bei dem jedem Output-Neuron ein 16 × 16 Pixelbild im Input-Feld zugeordnet ist. Für eine CCD-Kamera mit 512 × 512 Pixeln ergibt sich daher ein 32 × 32 Output-Feld. Bei dem NN_A und auch den Neuronalen Netzen NN_B und NN_C wird jeweils ein digitalisierter Bildpunkt einem Input- Neuron zugeordnet. Vorzugsweise weist ein erfindungsgemäßes Neuronales Netz pro Segment jeweils ein einzelnes Output-Neuron auf.

Selbstverständlich können auch NN mit mehreren Output-Neuronen pro Segment ver wendet werden, wenn die gewünschte Information in einfacher Weise aus diesen Output- Neuronen ablesbar ist. Aufgabe dieses ersten Netzes ist es, festzustellen, in welchen der Segmente ein Zellobjekt lokalisiert ist. Für diese Analyse ist es notwendig, das verwendete Neuronale Netz entsprechend zu trainieren. Es hat sich insbesondere als vorteilhaft erwie sen, das Neuronale Netz mit Proben der gleichen Art zu trainieren, die später durch das Netz analysiert werden sollen. Das Training von Neuronalen Netzen zur Erzielung des ge wünschten Verhaltens ist im Stand der Technik hinlänglich bekannt und wird daher an dieser Stelle nicht näher erläutert.

Als Ergebnis der Auswertung wird die Information erhalten, in welchen Segmenten Zellob jekte vorhanden sind. Dies wird durch die Aktivität des oder der Output-Neuronen ange zeigt, die jedem Segment zugeordnet sind.

Die Segmente, in denen ein Zellobjekt detektiert wurde, werden durch ein zweites Neuro nales Netz (NN_B) ausgewertet, indem die digitalisierten Signale des jeweiligen Segmentes den Input-Neuronen des NN_B zugeführt werden und jedem der Segmente vorzugsweise ein Output-Neuron zugeordnet ist, dessen Aktivität anzeigt, ob im jeweiligen Segment eine einzelne Zelle oder ein Zellkomplex vorliegt. Geeignete Neuronale Netze können auch für diese Anwendung durch Training an Proben bekannter Zusammensetzung erhalten werden. Analog dem Neuronalen Netz A ist es auch hier vorteilhaft, das Training an Proben gleicher Art durchzuführen. Eine Vorgehensweise, bei der ein Segment mit dem Neuronalen Netz B nur dann ausgewertet wird, wenn zuvor mit dem Neuronalen Netz A in diesem Segment ein Zellobjekt detektiert wurde, besitzt den Vorteil, daß die Zahl der Segmente, die ausgewertet werden müssen, stark reduziert werden kann, was zu einer Einsparung an Rechenzeit führt.

Diese Vorgehensweise ist insbesondere dann von Vorteil, wenn nur sehr wenige Zellobjekte im Bild vorhanden sind (rare event detection).

Für die Verläßlichkeit des erfindungsgemäßen Verfahrens hat es sich weiterhin als not wendig erwiesen, zu überprüfen, ob Zellobjekte an den Bildgrenzen liegen oder gar nur teilweise im Bild enthalten sind. Um dies auszuschließen, wird ein drittes Neuronales Netz (NN_C) eingesetzt, mit dem die Segmente ausgewertet werden, die an den Bildgrenzen liegen und in denen ein Zellobjekt gefunden wurde. Das Neuronale Netz C liefert die Information, ob in einem bestimmten Segment ein Zellobjekt an der Bildgrenze liegt. Ist dies der Fall, so wird ein weiteres Bild der Probe aufgenommen, in dem die Zellobjekte vollständig enthalten sind. Hierzu wird durch den Auswertecomputer das automatische Mikroskop so ange steuert, daß Probe und Objektiv lateral gegeneinander verschoben werden. Dies kann bei spielsweise durch einen motorgetriebenen Kreuztisch realisiert werden.

Wurden die Auswertungsschritte mit den Neuronalen Netzen NN_A, NN_B und NN_C vorge nommen, so werden die Segmente, in denen Zellobjekte detektiert wurden, mit höherer Vergrößerung erneut aufgenommen. Die so erhaltenen Bilder können beispielsweise visuell durch einen Operateur ausgewertet werden. Vorteilhaft wird die Auswertung dieser Auf nahmen jedoch durch ein weiteres Neuronales Netz (NN_D) durchgeführt. Dieses Netz nimmt eine Analyse vor, ob die Probe als pathologisch zu bewerten ist.

Die nachfolgenden vorteilhaften Ausgestaltungen beziehen sich auf beide genannten Verfah ren zur Untersuchung.

Eine Besonderheit der erfindungsgemäßen Verfahren liegt darin, daß in keinem der Schritte eine Fokussierung des Mikroskopes auf einzelne Zellen oder Strukturen erfolgt. Es ist lediglich notwendig, Bilder geeigneter Schichten der Probe aufzunehmen. Die im Stand der Technik bekannten Verfahren zur automatisierten Bildanalytik für die zelluläre Diagnostik führen eine Lokalisierung von Zellen oder Zellkomglomeraten durch und bewerten diese bezüglich morphometrischer und densitometrischer Parameter. Daher war es überraschend, daß mit den erfindungsgemäßen Verfahren die Erkennung pathologischer Strukturverände rungen mit großer Sicherheit auch ohne eine solche Fokussierung auf einzelne Objekte möglich ist.

Als besonders vorteilhaft hat es sich erwiesen, Bilder aus mehreren Schichten der Probe aufzunehmen, wobei keine Fokussierung des Videosystems auf Zellen oder Zellgruppen erfolgt. Die Informationen aus übereinanderliegenden Segmenten der verschiedenen Schich ten können kombiniert werden, um so zu einer genaueren Analyse zu gelangen.

Eine Klassifizierung der Probenart wurde bereits als vorteilhaft beschrieben, da auf Basis dieser Information geeignete Neuronale Netze ausgewählt werden können. Vorteilhaft ver fügt der Auswertecomputer daher über eine Vielzahl unterschiedlicher Neuronaler Netze, die verschiedenen Probenarten angepaßt sind. Bei Kenntnis der Probenart können dann automatisch geeignete Neuronale Netze für die Auswerteschritte des erfindungsgemäßen Verfahrens herangezogen werden. Die Klassifizierung der Probe selbst kann entweder durch den Anwender erfolgen, der aufgrund der Herkunft die Klassifizierung vornimmt oder es kann ein weiteres Neuronales Netz eingesetzt werden, das darauf spezialisiert ist, verschie dene Probenarten voneinander zu unterscheiden.

Für einen Routineeinsatz ist es bevorzugt, den Objektträger, auf dem sich die Probe be findet, bezüglich der Art der Probe zu kennzeichnen (beispielsweise mit einem Barcode). Die Information kann vor Beginn des Untersuchungsverfahrens automatisch eingelesen werden (beispielsweise mit einem Strichcodeleser) und diese Information dem Auswerte computer übermittelt werden, so daß geeignete Neuronale Netze ausgewählt werden.

Die Vergrößerungen, mit denen das Mikroskop arbeitet, liegen für die Schritte mit den Neuronalen Netzen NN_A NN_B und NN_C im Bereich von 30 bis 200, vorzugsweise bei etwa 100. Die Aufnahme mit höherer Vergrößerung zur Analyse von Segmenten, in denen Zellobjekte detektiert wurden, erfolgt mit einer Vergrößerung von 200 bis 600, vorzugs weise etwa 400.

Es hat sich im praktischen Einsatz als vorteilhaft herausgestellt, Neuronale Netze NN_A bzw. NN_β _i einzusetzen, bei denen jedem Output-Neuron ein 16 × 16 Input-Feld zugeordnet ist.

Die Anwendung des erfindungsgemäßen Verfahrens wird anhand der folgenden Anwen dungsbeispiele näher erläutert.

Hämatologische Zelltypisierung

Bei hämatologischer Zelltypisierung stehen die folgenden Aufgaben im Vordergrund:
Erstellung eines quantitativen und eines qualitativen Blutbildes sowie Erkennung und Diffe renzierung von bösartigen hämatologischen Krankheiten, wie z. B. Leukämie und Lympho men.

Zur Durchführung dieser Auswertung wird ein Blutausstrich oder ein Sternumpunktataus strich nach vorgeschriebenen Verfahren vorbereitet und gemäß dem erfindungsgemäßen Verfahren ausgewertet. Bei dieser Anwendung ist es nicht unbedingt notwendig, daß die gewählten Segmente eine ganze Zelle beinhalten müssen, sondern es ist eine Auswertung auch möglich, wenn die Segmente nur Teile der Zelle beinhalten. Da die Farbe bei dieser Anwendung eine wesentliche Informationsquelle darstellt, wird vorzugsweise die Farbin formation der Pixel nach dem RGB-(red-green-blue) oder nach dem HSI(Hue-Saturation- Intensity)-System ausgewertet.

Untersuchung von Urinsedimenten

Bei der Untersuchung von Urinsedimenten wird eine eher qualitative Aussage gefordert. Bei den großen Zellen (Zylinder) des Urinsediments steht die sichere Erkennung dieser Zellen im Vordergrund, während für die Erythrozyten die Zahl im Vordergrund steht.

Histologische Untersuchungen

Die Auswertung histologischer Proben erfolgt heute je nach klinischer Fragestellung sehr unterschiedlich. Im Schnellverfahren werden z. B. Gewebeproben aus dem Operationsraum ausgewertet, wenn das Ergebnis für den weiteren Fortgang des Eingriffs wichtig ist. Eine zweite Art von Proben sind Biopsien. Hier wird, wenn bei ultraschallendoskopischen oder röntgentomographischen Untersuchungen eine Solidmasse im Körper entdeckt wird, eine Probe mit einer Biopsienadel ausgestochen oder mit einer Schere ausgeschnitten. Die Aus wertung einer solchen Probe dauert im allgemeinen etwa 1 Woche. Die dritte Art von Proben werden in einer Operation entnommen aber nicht sofort ausgewertet. Die vierte Art sind differenzialdiagnostisch schwierige Proben, die zu diagnostischen Centren geschickt werden.

Neben der direkten Auswertung von histologischen oder Biopsieproben kommen hier auch noch DNA-Färbungen sowie immunhistochemische Färbungen in Betracht. Da die Proben sehr unterschiedlich sind, ist es bei dieser Anwendung insbesondere wichtig, für die jewei lige Art der Probe ein geeignetes Neuronales Netz auszuwählen. Das Netz, das die Endauswertung vornimmt, unterscheidet zwischen Strukturen, die normalerweise in dieser Art von Gewebe vorliegen und solchen Strukturen, die auf einer abnormalen Veränderung beruhen oder auf Strukturen zurückgehen, die normalerweise nicht in dieser Art von Probe vorhanden sind. Da die hier auftretenden Fallgestaltungen sehr unterschiedlich sind, ist ein Auswertevorgang bevorzugt, bei dem das Neuronale Netz Strukturen lokalisiert, die als ungewöhnlich erkannt wurden und diese auf einem Display dem Operateur anzeigt, so daß eine gesonderte Bewertung erfolgt. Andererseits können hierfür auch differenzial diagnostische Neuronale Netze eingesetzt werden, die an die möglichen Fallgestaltungen angepaßt sind.

Immunhistochemische Untersuchungen

Die immunhistochemischen Reaktionen dienen dazu, die Differenzialdiagnose zu erleichtern und zur Prognose beizutragen. Heute existieren verschiedene immunhistochemische Aus werteverfahren. Bei Zellsuspensionen kann man die Durchflußzytometrie anwenden, obwohl sichere Tumormarker oder Markerpattern dafür noch nicht verfügbar sind.

Mit Hilfe der TV-Bild-Zytometrie können auch die immunhistochemischen Reaktionen der einzelnen Zellen nicht nur qualitativ sondern auch quantitativ bestimmt werden. Bisher wurde die Auswertung von histologischen Proben anschließend manuell mit dem Mikroskop durchgeführt, wobei der Zeitaufwand für gefärbte und mit verschiedenen Antikörpern mar kierte Präparate 5 bis 30 Minuten beträgt. Die Stärke der immunhistochemischen Reaktion wird mit "+" oder "++" oder "+++" gekennzeichnet. Bei bestimmten Tumoren wird zwischen positiver nuklearer und zytoplasmatischer Reaktion unterschieden.

Ein auf Neuronalen Netzen basierendes System teilt das Bild des mit speziellen Antikörpern gefärbten Präparates in Bildsegmente auf und prüft diese Segmente auf positive Reaktionen. Das Training des Neuronalen Netzes wird vorzugsweise beim Hersteller durchgeführt, wo bei für jeden Test ein spezielles Training erfolgen muß. Je nach Schwierigkeit der zu lösen den Aufgabe können auch mehrere, unterschiedlich strukturierte Neuronale Netze, z. B. für unterschiedliche Testverfahren, zum Einsatz kommen. Wenn das Analysesystem über Bar code oder manuelle Programmierung die aktuelle Testanforderung erhält, werden automa tisch der zugehörige Netzwerktyp sowie die gültigen Netzparameter angewählt. Die Aus wertung kann sehr schnell ablaufen, da das Netz für das Bildsegment nur eine Ja/Nein Ent scheidung treffen muß.

Mit Neuronalen Netzen kann eine immunhistochemische Auswertung vorgenommen wer den, nachdem die Probe mit speziellen Antikörpern gefärbt wurde. Das Bild der Probe wird in verschiedene Bildsegmente aufgeteilt und diese auf eine positive Reaktion mit den Anti körpern überprüft. Bei dieser Anwendung ist es wichtig, für jeden Test ein spezielles Neuronales Netz zu trainieren. Je nach Schwierigkeit der zu lösenden Aufgabe können auch mehrere unterschiedlich strukturierte Neuronale Netze für unterschiedliche Testverfahren zum Einsatz kommen. Insbesondere bei dieser Anwendung ist es vorteilhaft, dem Analyse system über einen Barcode oder über manuelle Programmierung den aktuellen Test mitzu teilen, so daß ein geeignetes Neuronales Netz zur Auswertung herangezogen wird.

In-situ-Hybridisierung

Die in-situ-Hybridisierung dient dazu, spezielle DNA-Segmente zu detektieren. Bei diesem Verfahren wird zunächst die zelluläre DNA entfaltet, danach werden mit einem Labelling system versehene DNA-Sonden zugegeben. Nach Abschluß der Reaktion wird ermittelt, ob und wieviele Sonden eine Zelle aufgenommen hat.

Wichtigste Teilaufgaben sind die Bereitstellung der Marker und die Auswertung der Reak tion. Eine automatisierte Auswertung der Reaktion wird zunehmend interessanter, da in zwischen Geräte für die automatische Probenvorbereitung entwickelt wurden. Mit Hilfe der Neuronalen Netze kann der zweite, arbeitsintensive Schritte, die Bildanalyse, vereinfacht und in kürzerer Zeit durchgeführt werden. Zudem kann die Auswertung nicht nur qualitativ (positiv/negativ) sondern auch halb-quantitativ in mehreren Stufen erfolgen.

Beispiel für eine Auswertung mit einem Neuronalen Netz A

Fig. 2 zeigt das Bild eines zu analysierenden Objektes, das sich auf einem Objektträger befindet. Das Bild wird zur weiteren Bearbeitung in einen elektronischen Speicher einge lesen. Bild 3 zeigt für das gleiche Objekt auf der Z-Achse die optische Intensitätsverteilung für das in der XY-Ebene befindliche Objekt. Anstelle der hier gezeigten monochromatischen Intensitätsmessung werden vorteilhaft die Intensitäten der Farben Rot, Gelb und Blau ge messen und einer nachfolgenden Auswertung zugrundegelegt.

Die Auswertung der Intensitätsverteilung in Fig. 3 ist schematisch in Fig. 4 dargestellt. Das über der Intensitätsverteilung eingezeichnete Raster stellt die Aufteilung des Bildes in Segmente dar. Ein Neuronales Netzwerk wertet die einzelnen Segmente aus und prüft, ob in dem jeweiligen Segment eine Gewebeprobe vorhanden ist. Bei weiteren Untersuchungen werden nur diese Bildsegmente berücksichtigt.

Für das Beispiel eines parenchymalen Gewebes wird die Intensitätsinformation weiterhin mit einem Neuronalen Netz auf Abnormalitäten untersucht. Bildsegmente, in denen solche Ab normalitäten gefunden wurden, werden mit Hilfe eines weiteren Neuronalen Netzes klassi fiziert, das zwischen vaskulären Objekten, Neuronenkomplexen und unmittelbar patholo gischen Veränderungen differenzieren kann.

Bei einem epi/endothelialen Organ analysiert ein Neuronales Netz, ob das zu analysierende Objekt Bindegewebemuskulatur, Epithelium oder Endothelium enthält. Ein weiteres Neuronlaes Netz analysiert die Begrenzungen von Epithelium und Bindegewebe, um in vasive Prozesse zu entdecken. Noch ein weiteres Neuronales Netz kann zur Untersuchung eingesetzt werden, ob das Bindegewebe epi/endotheliale Zellinseln enthält. Ein weiteres Neuronales Netz kann in den Segmenten nach vaskulären oder Neuronenkomplexen suchen.

Claims

1. Verfahren zur automatisierten, mikroskopischen Untersuchung von Gewebeproben oder Körperflüssigkeitsproben auf einem Objektträger mit

- einem automatischen Mikroskop,
- einem Videosystem,
- einem Auswertecomputer mit Neuronalen Netzen (NN) mit den Schritten
- a) Aufnahme eines Bildes der Probe mit dem Videosystem und Zuweisung digita lisierter Signale zu einzelnen Bildpunkten,
- b) Klassifizierung der Art der Probe
- c) Aufteilung der Bildpunkte in zusammenhängende Segmente und Auswertung jedes Segmentes durch ein oder mehrere Neuronale Netze (NN_β _i), wobei die digitalisierten Bildsignale des Segmentes den Input-Neuronen des NN_β _i zuge führt werden,
- d) Auswertung der Segmente mit ein oder mehreren Neuronalen Netzen NN_γ _i und Klassifizierung der Probe als pathologisch, wenn
- - Zelltypen vorliegen, die nicht zur Art der Probe gehören oder
- - wenn strukturelle Zell-/Gewebeveränderungen vorliegen.

2. Verfahren gemäß Anspruch 1, bei dem die Klassifizierung der Art der Probe durch ein Neuronales Netz NN_α erfolgt.

3. Verfahren gemäß Anspruch 1, mit einem Neuronalen Netz NN_β _i, das untersucht, ob in dem jeweiligen Segment eine Zelle, ein Zellkomplex, Gewebeteile oder Artefakt strukturen vorliegen.

4. Verfahren gemäß Anspruch 1 oder 3, mit einem Neuronalen Netz NN_β₂, das unter sucht, ob es sich bei dem Gewebe der Probe um Epithelium, Endothelium, Bindege webe, Muskulatur oder um Körperflüssigkeit handelt.

5. Verfahren gemäß Anspruch 1, 3 oder 4, mit einem Neuronalen Netz NN_β₃, das untersucht, ob in dem Segment eine Zelle oder ein Zellkomplex vorliegt.

6. Verfahren gemäß Anspruch 1, 3, 4 oder 5, mit einem Neuronalen Netz NN_β₄, das erkennt, wenn ein Zellobjekt über den Rand des jeweiligen Segmentes hinausragt und wenn dies der Fall ist, eine Untersuchung des gesamten Zellobjektes vorgenommen wird.

7. Verfahren gemäß Anspruch 1, bei dem, wenn die Probe in Schritt d) als pathologisch klassifiziert wurde, eine Aufnahme des oder der betreffenden Segmente mit einer höheren Vergrößerung erfolgt und die Schritte c) und d) erneut durchgeführt werden.

8. Verfahren zur automatisierten, mikroskopischen Untersuchung von Gewebeproben oder Körperflüssigkeitsproben auf einem Objektträger mit

- einem automatischen Mikroskop,
- einem Videosystem,
- einem Auswertecomputer mit mindestens drei verschiedenen Neuronalen Netzen (NN) mit den Schritten
- a) Aufrahme eines Bildes der Probe mit dem Videosystem und Zuweisung digita lisierter Signale zu einzelnen Bildpunkten,
- b) Aufteilung der Bildpunkte in zusammenhängen Segmente und Auswertung jedes Segmentes durch ein erstes Neuronales Netz (NN_A), wobei die digitalisierten Bildsignale des Segmentes den Input-Neuronen des NN_A zugeführt werden und jedem Segment mindestens ein Output-Neuron zugeordnet ist, dessen Aktivität anzeigt, ob ein Zellobjekt im jeweiligen Segment vorhanden ist,
- c) Auswertung der Segmente, in denen ein Zellobjekt detektiert wurde durch ein zweites Neuronales Netz (NN_B), wobei die digitalisierten Bildsignale der Segmente jeweils den Input-Neuronen des NN_B zugeführt werden und jedem der untersuchten Segmente mindestens ein Output-Neuron zugeordnet ist, dessen Aktivität anzeigt, ob im jeweiligen Segment eine einzelne Zelle oder ein Zellkomplex vorliegt,
- d) Auswertung der Segmente, die an den Bildgrenzen liegen und in denen ein Zellobjekt gefunden wurde durch ein drittes Neuronales Netz (NN_C), wobei die digitalisierten Signale jedes der betreffenden Segmente den Input-Neuronen des NN_C zugeführt werden und das NN_C die Information liefert, ob ein Zellob jekt an einer der Bildgrenzen liegt,
- e) wenn in Schritt d) Zellobjekte detektiert wurden, die an einer Bildgrenze liegen, dann Aufnahme eines neuen Bildes, in dem die Zellobjekte vollständig enthalten sind und erneute Durchführung der Schritte b) und c),
- f) Aufnahme der Segmente, in denen in Schritt b) Zellobjekte detektiert wurden mit höherer Vergrößerung.

9. Verfahren gemäß Anspruch 8, bei dem das in Schritt f) aufgenommene Bild durch ein weiteres Neuronales Netz (NN_D) ausgewertet wird und das NN_D als Ausgabe die In formation liefert, ob die Probe pathologisch ist.

10. Verfahren gemäß Anspruch 1 oder 8, bei dem das Videosystem Bilder der Probe in mindestens zwei Schichten aufnimmt, wobei keine Fokussierung des Videosystems auf Zellen oder Zellgruppen erfolgt.

11. Verfahren gemäß Anspruch 9, bei dem zusätzlich eine Klassifizierung der Probe nach ihrer Art erfolgt und bei der Entscheidung, ob eine pathologische Probe vorliegt, diese Information einbezogen wird.

12. Verfahren gemäß Anspruch 9 oder 11, bei dem die Probe als pathologisch erkannt wird, wenn Zellen, Zellkomplexe oder interzelluläre Strukturen vorliegen, die bei nicht-pathologischen Proben der gleichen Art nicht vorliegen.

13. Verfahren gemäß Anspruch 11, bei dem die Klassifizierung der Art der Probe durch den Anwender erfolgt.

14. Verfahren gemäß Anspruch 11, bei dem die Klassifizierung der Art der Probe durch ein weiteres Neuronales Netz erfolgt.

15. Verfahren gemäß Anspruch 11, bei dem aufgrund der Klassifizierung der Probe ein bestimmter Netzwerktyp mit vorgegebenen Netzwerkparametern für das NN_D ausge wählt wird.

16. Verfahren gemäß Anspruch 1 bis 6 oder 11, bei dem aufgrund der Klassifizierung geeignete Neuronale Netze Nn_β _i bzw. NN_A NN_B und NN_C ausgewählt werden.

17. Verfahren gemäß Anspruch 1 oder 8, bei dem als Probe Gewebeschnitte eingesetzt werden und diese vor Beginn des Untersuchungsverfahrens mit immunhisto chemischen oder durch in-situ-Hybridisierung angefärbt werden und eine Auswertung aufgrund der erfolgten Anfärbung erfolgt.

18. Verfahren gemäß Anspruch 7 oder 8, bei dem die Aufnahme des ersten Bildes in Schrift a) mit einer Vergrößerung von 30 bis 200 erfolgt und die Aufnahme des zweiten Bildes in Schritt e) mit einer Vergrößerung von 200 bis 600.

19. Verfahren gemäß Anspruch 18, bei dem die Aufnahme des ersten Bildes mit einer Vergrößerung von etwa 100 und die des zweiten Bildes mit einer Vergrößerung von etwa 400 erfolgt.

20. Verfahren gemäß Anspruch 8, mit einem NN_A, bei dem jedem Output-Neuron ein 16 × 16 Input-Feld zugeordnet ist.

21. Verfahren gemäß Anspruch 8, bei dem das Videosystem eine CCD-Kamera mit 512 × 512 Einzelsensoren ist.

22. Verfahren gemäß Anspruch 9 oder 11, bei dem nach Bildsegmenten gesucht wird, die Zellen von einem Organ enthalten, die bei normalen Proben dieser Art nicht in der Probe vorhanden sind.

23. Verfahren gemäß Anspruch 1 oder 8, dadurch gekennzeichnet, daß keine Fokussie rung auf einzelne Zellen oder Zellkomplexe erfolgt.