DE10250100A1

DE10250100A1 - Mikroskopsystem und Verfahren zur Analyse und Auswertung von Mehrfachfärbungen eines mikroskopischen Objekts

Info

Publication number: DE10250100A1
Application number: DE10250100A
Authority: DE
Inventors: Frank Olschewski
Original assignee: Leica Microsystems Heidelberg GmbH; Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2002-10-28
Filing date: 2002-10-28
Publication date: 2004-05-13
Also published as: US20040098205A1; US7394482B2

Abstract

Es ist ein Mikroskopsystem und ein Verfahren offenbart, das Spektren (60a, 61a, 62a, 63a und 66a) der im Objekt (15) vorhandenen Farbstoffe mit einem SP-Modul (20) aufnimmt. Es wird eine Transformation der Daten der ermittelten Spektren und der in einer Datenbank abgelegten Farbstoffspektren (60b, 61b, 62b, 63b und 66b) durchgeführt. Die Spektren werden in einen entsprechend in einen aufgeteilten Transformationsraum eingetragen. Das Zuordnen der Farbstoffspektren (60b, 61b, 62b, 63b und 66b) zu den gemessenen Spektren (60a, 61a, 62a, 63a und 66a) erfolgt durch einen Vergleich im Transformationsraum.

Description

Die Erfindung betrifft ein Mikroskopsystem zur Analyse und Auswertung von Mehrfachfärbungen eines mikroskopischen Objekts. Im Besonderen betrifft die Erfindung ein Mikroskopsystem zur Analyse und Auswertung von Mehrfachfärbungen in einem mikroskopischen Objekt, mit einen Scanmikroskop, das einen Beleuchtungslichtstrahl und einen Detektionslichtstrahl definiert, einem SP-Modul, das im Detektionslichtstrahl vor mindestens einem Detektor angeordnet ist, und ein Rechnersystem, wobei das Rechnersystem ebenfalls einen Speicher umfasst.
Ferner betrifft die Erfindung ein Verfahren zur Analyse und Auswertung von Mehrfachfärbungen eines mikroskopischen Objekts.
Des Weiteren betrifft die Erfindung ein Verfahren zur Einstellung eines Mikroskops dass zur Aufnahme von Mehrfachfärbungen eines mikroskopischen Objekts eingesetzt wird.
DE 100 65 783 A1 offenbart eine Technik zur Erfassung von Korrelationen in mikroskopischen Anwendungen.
Der Erfindung liegt die Aufgabe zugrunde ein Mikroskopsystem zu schaffen, mit dem auf zuverlässige Weise die Fluoreszenzspektren von mehreren in einer Probe vorhandenen Farbstoffen getrennt werden können.
Die objektive Aufgabe wird durch ein Mikroskopsystem gelöst, das die Merkmale des Patentanspruchs 1 aufweist.
Ferner liegt der Erfindung die Aufgabe zugrunde ein Verfahren zu schaffen mit dem auf zuverlässige Weise die Fluoreszenzspektren von mehreren in einer Probe vorhandenen Farbstoffen getrennt werden können.
Die obige objektive Aufgabe wird durch ein Verfahren gelöst, das die Merkmale des Patentanspruchs 10 aufweist.
Die Erfindung hat den Vorteil, dass eine automatische Zuordnung von gemessenen Spektren zu diskreten Farbstoffspektren möglich ist. Gemessene diskretisierte Farbstoffspektren sind als Referenzdatensatz in einer Datenbank abgelegt. Die auf dem Rechnersystem laufende Software vergleicht nach einer Transformation der Daten von aufgenommenen Spektren und der in der Datenbank abgelegten diskreten Referenzspektren. Die Software ordnet so die transformierten Referenzspektren den gemessenen Farbstoftspektren zu.
Ferner ist das Verfahren zur Analyse und Auswertung von Mehrfachfärbungen in einem mikroskopischen Objekt mit einem Scanmikroskop von Vorteil. Zunächst werden Spektren der im Objekt vorhandenen Farbstoffe mit einem SP-Modul aufgenommen. Aus den aufgenommenen Spektren werden repräsentierende elektrische und, nach Diskretisierung, digitale Signale ermittelt. Durchführen einer Koordinatentransformation der Daten der ermittelten Spektren und Durchführen der Transformation der in einer Datenbank abgelegten diskreten Farbstoffspektren werden in der Software des Rechnersystems durchgeführt. Der nach der Transformation entstandene Merkmalsraum (ein Hyperraum mit sehr vielen Dimensionen) wird in Bereiche aufgeteilt, von denen jeder einem bestimmten Farbstoff zugeordnet ist. Schließlich werden die in den Merkmalsraum transformierten diskreten Referenz-Farbstoffspektren den gemessenen und transformierten Spektren zugeordnet.
Weitere vorteilhafte Ausgestaltungen der Erfindung können den Unteransprüchen entnommen werden.
In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen:
1 eine schematische Darstellung eines Scanmikroskops, wobei den Detektoren ein SP Modul vorgeschaltet ist;
2 eine schematische Beschreibung der Handhabung und Verarbeitung der Messwerte (Intensität), die von den mehreren Detektoren bestimmt werden;
3 eine graphische Darstellung der spektralen Messwerte im Intensitätsraum und parallel dazu im Projektionsraum;
4 eine Projektion der Messwerte auf eine Hyperebene/Hyperkugel;
5 ein Ausführungsbeispiel von vier in einem Objekt gemessene Farbstoffspektren, die in den Eckpunkten eines Polygons im Hyperraum angeordnet sind;
6 eine Darstellung des Polygons im transformierten Hyperraum mit Verbindungslinien auf denen potentielle Mischzustände von Farbstoffspektren liegen;
7 eine Darstellung der gemessenen Spektren der in einer Probe vorhandenen Farbstoffe;
8 eine Überlagerung von L Farbspektren mit den gemessenen Spektren im Hyperraum;
9 eine schematische Darstellung der Zuordnung der L Farbstoffspektren zu den gemessenen Spektren der Farbstoffe an Hand der Schwerpunkte der gemessenen Spektren;
10 ein anderes Ausführungsbeispiel der Zuordnung der L Farbstoffe zu den gemessenen Spektren der in einem Objekt vorhandenen Farbstoffe;
11 eine Darstellung der Eigenwerte an Hand einer Punktwolke eines gemessenen Spektrums; und
12 eine Darstellung der Verwendung der Eigenvektoren aus 11 zur Zuordnung der L Farbstoffspektren zu den gemessenen Spektren.
Begriffsdefinition:
Gemessene Spektren:
Spektren die mit dem Mikroskopsystem gemessen werden. Diese Spektren können Mischzustände aus Farbstoffen darstellen.
Referenz-Farbstoffspektren:
Sind gemessene Farbstoffspektren der in dem Objekt vorhandenen reinen Farbstoffe, wobei keinerlei Mischzustände auftreten. In der weiter unten detailliert beschriebenen Merkmalsraumdarstellung, bilden diese die Eckpunkte des Polygons im Hyperraum.
Diskretisierte Farbstoffspektren:
Spektren die nach Messung und Digitalisierung in einem Rechner in diskretisierter und digitaler Form vorliegen und in einer Datenbank hinterlegt sein können. Diese können durch eine vom Computersystem per Algorithmus durchgeführte Transformation in einen hochdimensionalen Merkmalsraum (Hyperraum) ohne Informationsverlust überführt werden.
Objekt:
Das Objekt wird in der nachstehenden Beschreibung auch als Probe oder Specimen bezeichnet und ist in der Regel biologisches Material.
In 1 ist das Ausführungsbeispiel eines konfokalen Scanmikroskops 100 schematisch gezeigt. Dies soll jedoch nicht als Beschränkung der Erfindung aufgefasst werden. Der von mindestens einem Beleuchtungssystem 1 kommende Beleuchtungslichtstrahl 3 wird von einem Strahlteiler oder einem geeigneten Umlenkmittel 5 zu einem Scanmodul 7 geleitet. Bevor der Beleuchtungslichtstrahl 3 auf das Umlenkmittel 5 trifft, passiert dieser ein Beleuchtungspinhole 6. Das Scanmodul 7 umfasst einen kardanisch aufgehängten Scanspiegel 9, der den Beleuchtungslichtstrahl 3 durch eine Scanoptik 12 und eine Mikroskopoptik 13 hindurch über bzw. durch ein Objekt 15 führt. Das Beleuchtungssystem 1 kann derart ausgestaltet sein, dass es aus dem Licht eines Lasers 10, Weißlicht erzeugt. Hierzu ist ein mikrostrukturiertes Element 8 oder eine tapered Glasfaser vorgesehen. Bei biologischen Objekten 15 (Präparaten) oder transparenten Objekten kann der Beleuchtungslichtstrahl 3 auch durch das Objekt 15 geführt werden. Zu diesen Zwecken werden nichtleuchtende Präparate ggf. mit einem geeigneten Farbstoff und oftmals auch mit mehreren Farbstoffen präpariert (nicht dargestellt, da etablierter Stand der Technik). Die in dem Objekt 15 vorhandenen Farbstoffe werden durch den Beleuchtungslichtstrahl 3 angeregt und senden Licht in einem ihnen eigenen charakteristischen Bereich des Spektrums aus. Dieses vom Objekt 15 ausgehende Licht definiert einen Detektionslichtstrahl 17. Dieser gelangt durch die Mikroskopoptik 13, die Scanoptik 12 und über das Scanmodul 7 zum Umlenkmittel 5, passiert dieses und gelangt über ein Detektionspinhole 18 auf mindestens einen Detektor 36, 37, der jeweils als Photomultiplier ausgeführt ist. Es ist dem Fachmann klar, dass auch andere Detektionskomponenten, wie z.B. Dioden, Diodenarrays, Photomultiplierarrays, CCD Chips oder CMOS Bildsensoren eingesetzt werden können. Der vom Objekt 15 ausgehende bzw. definierte Detektionslichtstrahl 17 ist in 1 als gestrichelte Linie dargestellt. In den Detektoren 36, 37 werden elektrische, zur Leistung des vom Objekt 15 ausgehenden Lichtes, proportionale Detektionssignale erzeugt. Da, wie bereits oben erwähnt, vom Objekt 15 Licht nicht nur einer Wellenlänge ausgesandt wird, ist es sinnvoll vor dem mindestens einen Detektor 36, 37 ein SP-Modul 20 vorzusehen. Die von dem mindestens einen Detektor 36, 37 erzeugten Daten werden an ein Rechnersystem 23 weitergegeben. Dem Rechnersystem 23 ist mindestens ein Peripheriegerät 27 zugeordnet. Das Peripheriegerät 27 kann z.B. ein Display sein, auf dem der Benutzer Hinweise zur Einstellung des Scanmikroskops 100 erhält oder den aktuellen Setup und auch die Bilddaten in graphischer Form entnehmen kann. Ferner ist mit dem Rechnersystem 23 ein Eingabemittel 28 zugeordnet, das z.B. aus einer Tastatur, einer Einstellvorrichtung für die Komponenten des Mikroskopsystems und/oder einer Maus 30 besteht. Ebenso ist dem Rechnersystem 23 ein Speicher 24 zugeordnet in dem eine Datenbank oder eine äquivalente Datenverwaltungseinrichtung für die Verwaltung von Spektren installiert ist. Ferner ist im Rechnersystem 23 eine Software 25 implementiert, mit der die geeigneten Berechnungen für das erfinderische Verfahren durchgeführt werden. Hinzu kommt, dass zusätzlich auf dem Display 27 auch Einstellelemente 40, 41 für die Bildaufnahme dargestellt werden. In der hier gezeigten Ausführungsform sind die Einstellelemente 40, 41 als Schieber dargestellt. Jede andere Ausgestaltung liegt im handwerklichen Können eines Fachmanns.
Der Detektionslichtstrahl 17 wird mit einem Prisma 31 räumlich spektral aufgespalten. Eine weitere Möglichkeit der spektralen Aufspaltung ist die Verwendung eines Reflexions-, oder Transmissionsgitters. Der spektral aufgespaltene Lichtfächer 32 wird mit der Fokussieroptik 33 fokussiert und trifft anschließend auf eine Spiegelblendenanordnung 34, 35. Die Spiegelblendenanordnung 34, 35, die Mittel zur spektralen, räumlichen Aufspaltung, die Fokussieroptik 33 und die Detektoren 36 und 37 werden zusammen als SP-Modul 20 (oder Mutibanddetektor) bezeichnet.
2 beschreibt die Handhabung und die Verarbeitung der Messwerte (Intensität), die von den mehreren Detektoren 36, 37 und 38 gewonnen werden. In 1 sind lediglich zwei Detektoren 36, 37 und 38 dargestellt, es ist jedoch selbstverständlich, dass die Zahl der Detektoren auch mehr als zwei betragen kann. In 2 sind hier nur beispielhaft drei Detektoren eingezeichnet. Es ist jedoch selbstverständlich, das die Zahl auch höher sein kann. Die Detektoren 36, 37 und 38 sind in diesem Ausführungsbeispiel als PMTs (Photo Multiplier Tubes) dargestellt. Die Messwerte werden zur Bewertung lokaler Korrelationen von den PMTs einer elektronischen Einrichtung 45 zugeführt, das die entsprechende Bewertung, wie unten beschreiben, durchführt. Der Einrichtung 45 ist ein Mittel 46 zum Auswählen einer Untermenge aus der Vielzahl von aufgenommenen Spektren nachgeschaltet. Die ausgewählten Spektren werden dem Rechnersystem 23 zugeführt. Das Rechnersystem 23 ist z.B. mit dem SP-Modul 20 verbunden. Das SP-Modul 20 ermittelt an Hand der übermittelten spektralen Repräsentationen das Übersprechen und führt eine automatische Einstellung durch, womit das Übersprechen der einzelnen Detektionskanäle minimiert wird, oder visualisiert diese mit der weiter unten beschriebenen Methode.
3 zeigt eine graphische Darstellung mindestens eines Messwerts 50 im Intensitätsraum 51 und parallel dazu im Projektionsraum 52. In der Regel sind in einem Objekt mehrere Farbstoffe vorhanden, um damit bestimmte Bereiche eines Objekts zu markieren. Bei der Detektion ist es wichtig die aufgenommenen Signale eindeutig den vorhandenen Farbstoffen zuzuordnen. Bei der Messung erhält man eine Mischung von Farbstoffen. Die Mischung von Farbstoffen ist mathematisch ein lineares Problem. Jeder Farbstoff, lässt sich als Vektor s_i mit Anteilen aus spektralen Bändern darstellen. Der von den Detektoren gemessene Intensitätsvektor I erklärt sich dann als
wobei n der vektorielle Hintergrundanteil bzw. das Rauschen ist. In dem in 3 beschrieben Fall hat man drei Farbstoffe und man betrachtet beliebige spektrale Abtastungen (irgendwas zwischen Lambda-Scan und Drei-Kanalscan) so liegt der Messwert 50 (Intensitätswert) im Raum des Vektors I innerhalb einer Pyramide. Wird der Messwert I 50 auf die Einheitskugel des Intensitätsraum projiziert, erhält man auf der Oberfläche dieser Einheitskugel 54 Punktwolken. Bei dem Drei-Kanalscan ist dies relativ einfach. Die umschließende Figur ist immer ein Dreieck, wobei die Eckpunkte den Referenzspektren entsprechen, die den puren Farbstoffen entsprechen. Dies kann man in extrem einfacher Weise auf dem PC Bildschirm visualisieren, indem man ein Dreieck zeichnet und die entsprechenden Punktwolken darin platziert. Der Benutzer kann mit seinen Standard visuellen Fähigkeiten die Gesamtsituation relativ schnell bewerten und die einfache Heuristik „Punktwolken in die ecken bringen" durch Verstellen der Einstellungen des Konfokalmikroskops tunen. Bei Messungen mit mehr als drei Farbstoffen muss man erst eine Dimensionsreduktion rechnen, um eine entsprechende visuelle Darstellung zu erhalten, wobei Vierecke, Fünfecke oder seltsame Polygone erzeugt werden. Diese Visualisierungen haben dann aber nicht die Pragmatik des Drei-Farbstoff-Falls und werden schnell zu kompliziert. Für die Praxis sind 3 Farbstoffe aber in den meisten Fällen hinreichend. Das Dreieck 55 (4) des Projektionsraums kann man sehr effektiv zur Visualisierung heranziehen. Dabei werden für diese Prozedur den Ecken 56 des Dreiecks 55 die Kanäle der einzelnen Farben zugeordnet. An Hand der Lage der Punktwolken bezüglich der Ecken des Dreiecks kann man die Aussteuerung bzw. die Trennung der einzelnen Kanäle bzw. Farbstoffe erkennen. Ziel ist es bei der Messung in die Ecken des Dreiecks zu kommen. Bei falscher Einstellung des Scanmikroskops 100 und/oder des SP-Moduls 20 liegt man hiervon beliebig weit weg. Durch eine Online-Berechnung während des Scans erhält der Benutzer von dem System ein Feedback, um somit zu der Idealeinstellung zu gelangen.
4 zeigt eine schematische Darstellung der Punktwolken innerhalb des Dreiecks 55, das auf dem Display 27 dem Benutzer visuell dargestellt wird. Bei der Beobachtung der Probe mit dem Scanmikroskop 100 erhält man in jedem Pixel eine Mischung aus den in der Probe vorhandenen Farbstoffe. Wie bereits oben erwähnt, lässt sich jeder Farbstoff als Vektor s_i mit Anteilen in den spektralen Bändern darstellen. Die gemessene Intensität erklärt sich dann als
wobei n der Hintergrundanteil bzw. das Rauschen ist, M eine Mischmatrix und die α's die Gewichtung der spektralen Komponenten. Beobachtet man die Probe mit einem Scanningmikroskop, mit dem ein SP-Modul verbunden ist, und nimmt dabei spektrale Scans auf, so ist I ein mehrdimensionaler Vektor mit P Dimensionen. In der Standard-Floureszenzmikroskopie ist oft N = P, bei spektralen Abtastungen gilt P > N und man arbeitet im Hyperraum. In diesem Hyperraum bilden sich die einzelnen Farbstoffwichtungen als Intensitätskeulen aus. Auf der Basis einer Metrik wird die Vektornorm berechnet und anhand des Wertes entschieden, ob es sich um Autofluoreszenzrauschen und Hintergrund oder um ein Nutzsignal handelt (Schwellwertprüfung). Der Test entscheidet, ob der Datenvektor als Nutzsignal einer weiteren Verarbeitung unterliegt oder nicht. Es bietet sich die euklidische Norm an, da dies physikalisch mit Signal-Energien vergleichbar ist. Eine Verallgemeinerung auf andere Metriken der Linearen Algebra ist jedoch jederzeit möglich und dem Fachmann hinreichend bekannt. Das Nutzsignal von den Detektoren 36, 37 wird normiert (und damit in seiner Dimensionalität um eine Dimension reduziert). Die Verarbeitungseinheit 46 ist im wesentlichen ein Vektorquantisierer, ein Mittel/Vorschrift, das durch eine minimale Verrechnung der aufgenommenen Messdaten eine Menge von Repräsentationen innerhalb der Messdaten aufzeigt, die wir im folgenden Code-Book-Vektoren nennen. Vektorquantisierer im allgemeinen bilden das Bindeglied zwischen kontinuierlichen vektoriellen Verteilungen (hier Intensitäten) mit einer diskreten Welt von Repräsentationen und sind Stand der Technik in der Nachrichtentechnik und Signalverarbeitung. Vektorquantisierer werden insbesondere zur verlustbehafteten Übertragung vektorieller Signale genutzt (siehe unter anderem Moon and Stirling, Mathematical methods and algorithms for signal processing. London: Prentice Hall, 2000). Der hier genutzte Vektorquantisierer hat verhältnismäßig wenig interne Code-Book-Vektoren da eine hohe Kompression der Messdaten auf ein sehr einfaches Modell mit hohem Verlust durchgeführt wird und ist adaptiv. Die zugeleiteten Intensitätsvektoren werden mit allen Code-Book Vektoren gleichzeitig verglichen, wobei eine Teilmenge der ähnlichsten Code-Book Vektoren ausgewählt und angepasst werden. Das Ähnlichkeitsmaß und die Teilmenge ist ein Freiheitsgrad des Verfahrens und kann variieren. Die Selektion wird dem aktuellen zugeleiteten Vektor etwas ähnlicher gemacht. Im einfachsten Fall ist dies immer nur der ähnlichste Code-Book-Vektor. Dies geschieht durch mathematische Verfahren wie Abstandsmessungen mit Vektornormen, lokaler Aggregation, rekursiv gleitende Mittelwertbildung, ist jedoch für unterschiedliche Typen lernfähiger Vektorquantisierer unterschiedlich gestaltet. Für eine erfindungsgemäße Ausgestaltung kommt eine Vielzahl unterschiedlicher Verfahren in Betracht und hat in der realen Ausgestaltung extrem viele Freiheitsgerade. Die Ausgestaltungsmöglichkeiten sind dem Fachmann hinreichend bekannt und werden nachfolgend kurz umrissen.
Neben den hier nicht direkt praktikablen Code-Book-Design Verfahren der klassischen Clusteranalyse (vergl. Ripley, Pattern Recognition and Neural Networks, Cambridge: CUP, 1996) – die wir dennoch hier nicht explizit ausschließen wollen – bieten sich insbesondere biologisch motivierte neuronale Netze an. Luo und Unbehauen schlagen unter anderem eine Klasse von wettbewerbslernenden neuronalen Architekturen für die Aufgabe der Vektorquantisierung vor (Luo und Unbehauen, Applied Neural Networks for Signal Processing, Cambridge: CUP, 1997). Derartige Verfahren resultieren aus der Simulation repräsentationsbildender Denkprozesse durch Wettbewerbslernen einzelner Neuronen und erzeugen auch in der stark vereinfachten Modellbildung der Informatik schon gute Repräsentationen. Neuere Arbeiten wie zum Beispiel die Dissertation von Bernd Frizke (Bernd Fritzke, Vektorbasierte Neuronale Netze, Aachen: Shaker, 1998) weisen eine ganze Sammlung unterschiedlicher, brauchbarer Verfahren auf, die im Kontext dieser Meldung zum Ziel führen. Die wesentlichen Unterscheidungskriterien sind die Art und Weise wie die Code-Book-Vektoren an die präsentierte Intensitätsverteilung angepasst werden. Diese Adaption wird in der Literatur neuronaler Netze als Lernverfahren bezeichnet. Der für diese Erfindung essentielle Eigenschaft ist jedoch die Repräsentationsbildung mit der Kernidee des Wettbewerbs unterschiedlicher Instanzen um präsentierte Reize und nicht ein geeignetes mathematische Verfahren bzw. eine simulationsähnliche Annäherung an biologische Vorgänge. Die konkrete Durchführung der Repräsentationsbildung sowie Modelldetails wie Topologien zwischen Repräsentationen, Topologieerhaltung zwischen Repräsentation und Intensitätsraum, Lern- bzw. Adaptionsregeln sind dem Fachmann hinreichend bekannt und im Rahmen dieser Erfindung nicht näher spezifiziert. Die wichtigsten dieser an Wettbewerbslernen angelehnten und dem Erfinder bekannten Adaptionsverfahren sind im folgenden skizziert und im Detail der Literatur zu entnehmen.
Durch die direkte Simulation von Wettbewerbslernen zwischen Neuronen kann zu einer Ausprägung des Vektorquantisierers führen. Zu diesem Zweck wird einer Menge von Neuronen der Eingangsvektor präsentiert, wobei zusätzlich eine laterale Verbindung zwischen den Neuronen zugeschaltet wird, deren Wichtung lokale Verbindungen verstärkt (positive Verbindung) und weiter entfernte hemmt (negative Verbindung). Die Gesamtstruktur wird einer Hebbschen Lernregel ausgesetzt, die Korrelationen zwischen Ein- und Ausgängen verstärkt. Diese Art der Durchführung ist als einleitendes Gedankenmodell in fast allen Lehrbüchern über neuronale Netze zu finden (vergl. Haykin, Neural Networks, New York: MacMaster University Press, 1994) und wird nur selten für reale Systeme genutzt.
So genanntes hartes Wettbewerbslernen initialisiert die Code-Book Vektoren zufällig mit Werten hinreichender Wahrscheinlichkeit. Für jeden dem Vektorquantisierer zugeleiteten normierten Intensität i wird aus der Menge der Code-Book-Vektoren {ω_i } ein Gewinner gemäß einer Vorschrift = winner(i ) ermittelt. In der Regel wird zur Fehlerminimierung der euklidische Abstand zwischen Reiz i und Code-Book {ω_i } zur Gewinnerermittlung gemäß
genutzt. Gemäß der Verarbeitungsvorschrift
wird dieser Gewinner adaptiert. In diesem Kontext ist ε(t) eine Lernrate, die oft über die Betriebsdauer des Vektorquantisierers reduziert wird. Bei konstanter Lernrate bleibt der Vektorquantisierer adaptiv, bei Nutzung einer zu der Anzahl Gewinne invers proportionalen Lernrate erhält man das so genannte „k-Means" Verfahren, das sich exakt in die Mittelwerte der Verteilung legt, durch die Wahl exponentiell abnehmender Lernraten kann man beliebige Zwischenzustände erzeugen aber auch andere Varianten werden angewandt.
Beim so genannten weichen Wettbewerbslernen werden nicht nur die Gewinner adaptiert, sondern weitere, eventuell sogar alle Code-Book-Vektoren.
Eine Ausprägung ist der so genannte „Neuronales Gas" Algorithmus, bei dem ein Ranking der Gewinner auf der Basis der Gewinnerfunktionen die auch bei harten Wettbewerbslernverfahren durchgeführt wird. Auf der Basis dieses Ranking berechnet eine Adaptionsfunktion den Grad der Adaption wobei der Gewinner mit dem besten Rank mehr adaptiert wird als ein Gewinner mit geringerem Rank. Oft wird der Adaptionseinfluss über die Zeit reduziert. In einer Abwandlung namens „Growing Neural Gas" wird über ein Informationstechnisches bzw. Fehlerminimierungskriterium die Anzahl der Vektoren im Code-Book erhöht, bis eine hinreichende Operation gewährleistet ist.
Bei der Ausprägung „Selbstorganisierende Merkmalskarte" wird den Code-Book Vektoren eine Topologie überlagert. Während des Lernvorgangs wird immer eine Nachbarschaft des Gewinners mitadaptiert, wobei in der Regel nähere Nachbarn mehr und weiter entfernte Nachbarn weniger adaptiert werden und der Einfluss des Nachbarschaftslernens über die Zeit reduziert wird. Dies ist Vergleichbar mit einem x-dimensionalen Gummituch, das man in die Verteilung knautscht ohne das es zerreißt. Der Vorteil dieses Verfahrens ist die Erhaltung topologischer Eigenschaften.
Neuere Ansätze charakterisieren sich durch Mischformen, in denen Topologieerhaltung durch den Vektoren überlagerte Graphen wie bei der Selbstorganisierenden Merkmalskarte mit Wachstumskriterien wie beim Growing Neural Gas verknüpft werden. Beispiele sind z.B. „Growing Cell Structures", „Growing Grid".
Die Vektoren im Codebook und das Adaptionsverfahren werden in einem derartigen Setup vor dem Experiment bei der Initialisierung vorgegeben. Dies kann von Anwendung zu Anwendung variieren. Bei der Belegung des Vektorquantisierers gibt es mehrere Varianten: Ein Vektorquantisierer 58, der exakt so viele Codebook Vektoren hat wie Kanäle und die in der Reihenfolge der Kanäle mit orthonormalen Einheitsvektoren des Kanalraums vorinitialisiert sind oder ein Vektorquantisierer 58, der für jeden Kanal einen orthonormalen Einheitsvektor und für jeden möglichen Mischzustand einen schrägen (diagonalen im Signalraum) Einheitsvektor hat. Diese Variante arbeitet statistisch stabiler bei Auftreten von Kolokalisationen. Ferner lässt sich durch Hinzunahme eines Zählers (nicht dargestellt), der zählt wie häufig welcher Code-Book Vektor verändert wurde, dazu nutzen, um Kolokalisationen aufzuspüren. Der Zähler kann für einfache statistische Signifikanztests herangezogen werden, da die Anzahl der Adaptionsschritte die Häufigkeit korrespondierender Messwerte entspricht. In der Verarbeitungseinheit 46 wird auf diese Art ein Abgleich von Messwerten und Repräsentationen durchgeführt, wobei wir die Repräsentationen auch Code-Book Vektoren nennen, wie es in der mathematisch-technischen Literatur über Vektorquantisierer üblich ist. Diese Code-Book-Vektoren werden als Repräsentationen von Spuren lokaler Korrelation mit einem entsprechenden Mittel aus der Verarbeitungseinheit 46 ausgelesen. Wie angedeutet werden für die Verarbeitung die einlaufenden normierten Vektoren (Intensitätsvektor II ) mit den Code-Book-Vektoren verglichen, um die Code-Book-Vektoren den einlaufenden Vektoren immer etwas ähnlicher zu machen und die Repräsentationen an die Eingangsverteilung anzupassen. Diesen Vorgang nennt man Repräsentationsbildung oder auch kurz Lernen. In der bevorzugten Ausführungsform, wie in 2 dargestellt, werden die gemessenen Intensitäten I₁, I₂,...,I_n zu einem Intensitätsvektor I zusammengefasst.
Gemessen werden die Intensitäten I₁, I₂,...,I_n mit dem mindestens einen Detektor, der dem Scanmikroskop 100 zugeordnet ist. Aus dem Intensitätsvektor I wird eine Norm berechnet. Es werden nur Intensitätsvektoren I betrachtet, deren Betrag größer als ein vorgegebener Schwellwert SW ist, um Bildhintergrund, Rauschen, schlecht ausgeprägte Kolokalisationen auszuschließen und nicht der nachfolgenden Berechnung zuzuführen. Ist der Betrag zu klein, werden diejenigen Intensitätsvektoren I aussortiert. Diejenigen Intensitätsvektoren I , die nicht aussortiert wurden, werden normiert, was der Projektion eines n-dimensionalen Problems auf die (n – 1)-Dimensionale Teilfläche der Einheitshyperkugel im positiven Quadranten gleichkommt, wobei eine Position Korrelationsspuren im Originalraum hinreichend beschreibt. Alternativ kann man als mathematischen Trick auch eine Projektion auf die Ebene durch die Einheitsvektoren heranziehen, was eine Abkürzung bzw. Beschleunigung für die Berechnung darstellt aber kleine und meist tolerierbare mathematische Fehler erzeugt. In der in 4 beschriebenen Darstellungsweise, ist in jeder Ecke 56 des Dreiecks 55 jeweils eine Farbe lokalisiert. In der obersten Ecke 56a ist Rot, in der linken Ecke 56b ist Grün und in der rechten Ecke 56c ist blau. In dem hier dargestellten Beispiel wird anstatt der Projektion auf den Einheitskreis eine Projektion auf die Hyperebene durchgeführt (ansonsten müsste man ein Dreieck mit Runden Kanten zeichnen, dass der Abwicklung des Einheitskreises aus dem dreidimensionalen Raum in die Ebene entspricht). Dies erzeugt zwar kleine numerische Fehler, die aber unter den Rauschbedingungen nicht ins Gewicht hallen und eine rechnerische Auswertung lässt sich sehr viel schneller durchführen.
5 zeigt vier in einem Objekt 15 gemessene Farbstoffsspektren. Ein erstes Farbstoffsspektrum 60, ein zweites Farbstoffsspektrum 61, ein drittes Farbstoftsspektrum 62 und ein viertes Farbstoffsspektrum 63 bilden die Eckpunkte eines Polygons im projizierten Hyperraum. Durch oben beschriebene Transformation kann man einen (P – 1) dimensionalen Vektorraum erzeugen. In diesem Vektorraum kann man die Darstellung idealisiert beschreiben, um eine Vorschrift zur Identifikation der Farbstoffe in der zu untersuchenden Probe enthaltenen Farbstoffe zu erzielen. In 6 sind zwischen den einzelnen Punkten des Polygons Verbindungen 64 eingezeichnet, auf denen potentielle Mischzustände liegen können. In 7 sind die Punktwolken der gemessenen Spektren 60a, 61a, 62a, 63a und 66a überlagert dargestellt, wobei die Punktwolken hier durch Ellipsen dargestellt sind. Durch den Vergleich von 6 und 7 kann man das Prinzip des vorgeschlagenen Verfahrens erkennen: Die Muster der Punktwolken müssen mit dem theoretisch aus den Referenzspektren bestimmten Muster übereinstimmen. Aus der Übereinstimmung, bzw. aus den Abweichungen der Übereinstimmung lassen sich Aussagen über die Farbstoffe und deren Mischzustände generieren. So lässt der Vergleich der Punktwolken 60a und 61a (7) mit den Sollpositionen 60 und 61 (6) weitestgehend die Aussage zu, dass es sich bei 60a um den Farbstoff 60 und bei 61a um den Farbstoff 61 handelt. Des Weiteren lässt sich aus der Form der Punktwolke 61a die in Näherung eine Ellipse darstellt, ableiten, dass es evtl. eine Interaktion mit anderen Farbstoffen gibt, da eine schieflagige Hauptachse anscheinend Anteile von 60 und 63 hat. Hierbei ist über die Interpretation allerdings Unklarheit. Die Punktwolke 66a lässt sich jedoch eindeutig als Mischzustand zwischen 60 und 61 klassifizieren, da die Punktwolke eindeutig auf der Verbindungslinie zwischen den Farbstoftspektren liegt. Um eine derartige Klassifizierung systematisch durchführen zu können, benötigen wir die in der Verarbeitungseinheit 46 durchgeführte Repräsentationsbildung.
8 beschreibt schematisch die Verwendung der Darstellung aus 7 zur Identifikation der Farbstoffen an Hand der gemessenen fünf Spektren 60a, 61a, 62a, 63a und 66a. L Farbstoffspektren 60b, 61b, 62b, 63b und 66b sind mit hinreichender Genauigkeit in einer Datenbank abgelegt des Speichers des Rechnersystems abgelegt. Diese Grafik verdeutlicht integriert die Erklärung die oben anhand der 6. u. 7 gegeben wurden. Die oben beschriebene Transformation wird auf die spektralen Pixel der gemessenen fünf Spektren 60a, 61a, 62a, 63a und 66a und auf alle in der Datenbank vorhandenen diskreten Farbstoffspektren 60b, 61b, 62b, 63b und 66b der Datenbank nach Anpassung auf das spektrale Abtastraster angepasst. Die in der in 8 eingezeichneten Linien 75 kennzeichnen einen ersten Bereich 70, einen zweiten Bereich 71 einen dritten Bereich 72 und einen vierten Bereich 73 im Hyperraum, die einem bestimmten Farbstoff zugeordnet werden. Diese Trennebenen im Merkmalsraum (Voronoi Tesselation) erhält man durch die einfache Anwendung einer „Nächste Nachbar Klassifikation" auf jeden Punkt des Merkmalsraums. Eine mögliche Auswertung erhält man durch die pixelweise Zuweisung eines Spektrums zur gehörigen Fläche die zusammen mit einer geeigneten Farbkodierung eine Farbstofflandkarte in Form eines Bildes darstellt. Man kann dem Benutzer auch textuell auf dem Display 27 oder per Sprachausgabe mitteilen, welche Farbstoffe in der Probe vorhanden sind.
9 beschreibt die Möglichkeit der Ermittlung der im Objekt vorhandenen Farbstoffe an Hand der gemessenen Spektren 60a, 61a, 62a, 63a und 66a. Hierzu werden die Zentren 67 der Punktwolken der gemessenen Spektren bestimmt. Dies geschieht vorteilhafterweise durch Vektorquantisierung und Repräsentationsbildung. Die Zuordnung der diskreten Farbstoffspektren 60b, 61b, 62b, 63b und 66b wird entsprechend der minimalen Distanz zum Zentrum der Punktwolken durchgeführt. In 9 sind richtige Zuordnungen mit dem Bezugszeichen 76 bezeichnet. Falsche Zuordnungen werden mit dem Bezugszeichen 77 bezeichnet.
10 beschreibt eine andere Möglichkeit der Zuordnung der diskreten Farbstoffspektren zu den gemessenen Spektren 60a, 61a, 62a, 63a und 66a. Hierzu wird für jede Punktwolke der gemessenen Spektren 60a, 61a, 62a, 63a und 66a ein Schwerpunkt 80 bestimmt. Dies geschieht vorteilhafterweise durch Vektorquantisierung und Repräsentationsbildung Die in 10 eingezeichneten Hyperebenen 81 im Hyperraum sind die Zuteilungsgrenzen. Diese Zuteilungsgrenzen werden an Hand des Abstandes der Schwerpunkte untereinander ermittelt und man erhält so genannte Teilbereich 82, 83, 84, 85 und 86 im Hyperraum. Einzeile Punktwolken in den Teilbereichen 82, 83, 84, 85 und 86 werden als multidimensionale Normalverteilung N (s, V) mit Co-Varianzmatrix modelliert. Dies kann mathematisch als Fit realisiert sein, geschieht aber praktischerweise durch die direkte Berechnung der Co-Varianzmatrix als Erwartungstreuer Schätzer. Dies modelliert im wesentlichen die in allen Figuren eingezeichneten Ellipsen als Punktwolke. Eine Eigenwertanalyse der Co-Varianzmatrix wird durchgeführt. Die Eigenwerte und Eigenvektoren der Punktwolken werden gesammelt und anschließend erfolgt die Farbstoffzuordnung, wobei die Schwerpunkte möglicht nahe an den Farbstoffspektren liegen. Da die Eigenvektoren der Co-Varianzmatrix bei Mischung eine ausgeprägte Richtung haben und nicht wie bei Rauschen gleichförmig ausgeprägt sind, kann man diese zusätzlich zur Klassifikation heranziehen welche Mischprozesse zwischen Farbstoffen stattfinden.
In 11 sind die Eigenvektoren 90a, 90b einer Punktwolke 90 eines gemessenen Spektrums dargestellt. In 12 werden diese Eigenvektoren zur Zuordnung der L Farbstoffspektren zu den gemessenen Spektren verwendet. Mit Hilfe dieser Eigenvektoren ist eine eindeutige Zuordnung möglich. Das gemessene Spektrum 63a liegt in dem dargestellten Beispiel unentscheidbar zwischen den Farbstoffen 63b und 62b. Durch die Hinzunahme der Richtung der Eigenvektoren als Statistik zweiter Ordnung, kann man schließen dass die so herausgefundene Richtung (Gerade C) eher parallel zu einer Mischung von 60b und 63b passt (Gerade A) als zu einer Mischung von 60b und 62b (Gerade B). Aus diesem Grund wird es wohl eher der Farbstoff 63b sein und die Alternative 62b fällt weg. Diese Art der Aussage ist mit dem bisher bekannten Stand der Technik nicht möglich.
Nach der Ermittlung der Farbstoffkonzentration kann man auf die Intensitätsbasen zurückrechnen, eine Pseudoinverse berechnen und die Messwerte korrigieren. Diese Anwendungen sind im Stand der Technik in der Astronomie und der Mikroskopie unter den Stichworten „Linear Unmixing" bekannt.
Die Erfindung wurde in Bezug auf eine besondere Ausführungsform beschrieben. Es ist jedoch selbstverständlich, dass Änderungen und Abwandlungen durchgeführt werden können, ohne dabei den Schutzbereich der nachstehenden Ansprüche zu verlassen.

1: Beleuchtungssystem
3: Beleuchtungslichtstrahl
5: Umlenkmittel
6: Beleuchtungspinhole
7: Scanmodul
8: mikrostrukturiertes Element
9: Scanspiegel
10: Laser
12: Scanoptik
13: Mikroskopoptik
15: Objekt
17: Detektionslichtstrahl
18: Detektionspinhole
20: SP-Modul
23: Rechnersystem
24: Speicher
25: Software
27: Peripheriegerät
29: Einstellvorrichtung
30: Maus
31: Prisma
32: aufgespaltener Lichtfächer
33: Fokussieroptik
34: Spiegelblendenanordnung
35: Spiegelblendenanordnung
36: Detektor
37: Detektor
38: Detektor
40: Einstellelement
41: Einstellelement
45: elektronische Einrichtung
46: Mittel zum Auswählen
50: Messwert
51: Intensitätsraum
52: Projektionsraum
53: Pyramide
54: Einheitskreis
55: Dreieck
56: Ecken des Dreiecks 55
56a: obersten Ecke ist Rot
56b: linke Ecke ist Grün
56c: rechte Ecke ist blau
60: erstes Farbstoffsspektrum
60a: gemessenes Spektrum
60b: diskretes Farbstoffspektrum
61: zweites Farbstoffsspektrum
61a: gemessenes Spektrum
61b: diskretes Farbstoffspektrum
62: drittes Farbstoffsspektrum
62a: gemessenes Spektrum
62b: diskretes Farbstoffspektrum
63: viertes Farbstoffsspektrum
63a: gemessenes Spektrum
63b: diskretes Farbstoffspektrum
64: Verbindungen des Polygons
66a: gemessenes Spektrum
67: Zentren der Punktwolken
70: erster Bereich
71: zweiter Bereich
72: dritter Bereich
73: vierter Bereich
75: Linien
76: Zuordnungen richtig
77: Zuordnungen falsch
80: Schwerpunkt
81: Linien im Hyperraum
82: Teilbereich im Hyperraum
83: Teilbereich im Hyperraum
84: Teilbereich im Hyperraum
85: Teilbereich im Hyperraum
86: Teilbereich im Hyperraum
90: Punktwolke
90a: Eigenvektor
90b: Eigenvektor
100: Scanmikroskop

Claims

Mikroskopsystem zur Analyse und Auswertung von Mehrfachfärbungen in einem mikroskopischen Objekt (15), mit einen Scanmikroskop (100), das einen Beleuchtungslichtstrahl (3) und einen Detektionslichtstrahl (17) definiert, einem SP-Modul (20), das im Detektionslichtstrahl (17) vor mindestens einem Detektor (36, 37) angeordnet ist, und ein Rechnersystem (23), wobei das Rechnersystem (23) ebenfalls einen Speicher umfasst, dadurch gekennzeichnet, dass eine Datenbank vorgesehen ist, in der diskrete Farbstoffspektren abgelegt sind, dass das Rechnersystem (23) eine Software umfasst, die eine Transformation der Daten der ermittelten Spektren und eine Transformation der in der Datenbank abgelegten Farbstoffspektren (60b, 61b, 62b, 63b und 66b) durchführt, und dass die Software die im transformierten Farbstoffspektren (60b, 61b, 62b, 63b und 66b) zu den gemessenen Spektren (60a, 61a, 62a, 63a und 66a) zuordnet, wobei ein Vergleich durchführbar ist.
Mikroskopsystem nach Anspruch 1, dadurch gekennzeichnet, dass der Vergleich durch ein Distanzmaß in einem Projektionsraum erfolgt.
Mikroskopsystem nach Anspruch 1, dadurch gekennzeichnet, dass der Vergleich durch die Distanz und die Ausrichtung lokaler Cluster im Projektionsraum erfolgt.
Mikroskopsystem nach Anspruch 1,2 oder 3, dadurch gekennzeichnet, dass die transformierten Daten auf einem Display darstellbar sind.
Verfahren zur Analyse und Auswertung von Mehrfachfärbungen in einem mikroskopischen Objekt (15) mit einem Scanmikroskop (100), gekennzeichnet durch die folgenden Schritte: a) Aufnehmen von Spektren (60a, 61a, 62a, 63a und 66a) der im Objekt (15) vorhandenen Farbstoffe mit einem SP-Modul (20) und ermitteln der die Spektren repräsentierenden elektrischen Signale; b) Durchführen einer Transformation der Daten der ermittelten Spektren, Durchführen der Transformation der in einer Datenbank abgelegten Farbstoffspektren (60b, 61b, 62b, 63b und 66b); c) Aufteilen des Transformationsraumes in Bereiche (70, 71, 72 und 73), von denen jeder einem bestimmten Farbstoff zugeordnet ist; und d) Zuordnen der Farbstoffspektren (60b, 61b, 62b, 63b und 66b) zu den gemessenen Spektren (60a, 61a, 62a, 63a und 66a) durch einen Vergleich im Transformationsraums.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Vergleich der ermittelten Spektren mit den Referenzspektren auf der Basis eines Distanzmaßes erfolgt.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Vergleich der ermittelten Spektren mit den Referenzspektren auf der Basis eines Distanzmaßes und der Richtungen der Eigenvektoren der Co-Varianzmatrix erfolgt.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Zuordnen der Farbstoffspektren zu den gemessenen Spektren an Hand der „Next Neighbor Methode" im Transformationsraum erfolgt.