DE60316113T2

DE60316113T2 - Verfahren für quantitative video-mikroskopie und vorrichtung und computerprogramm zur durchführung des verfahrens

Info

Publication number: DE60316113T2
Application number: DE60316113T
Authority: DE
Inventors: Raphael Marcelpoil; Didier Morel
Original assignee: TriPath Imaging Inc
Current assignee: TriPath Imaging Inc
Priority date: 2002-01-24
Filing date: 2003-01-22
Publication date: 2008-06-26
Anticipated expiration: 2023-01-23
Also published as: ATE372512T1; EP1470411B1; US7602954B2; DE60316113D1; US20100054574A1; US7826650B2; US20060204068A1; JP4376058B2; AU2003236675B2; CA2473848C; JP2005516188A; US7133547B2; EP1470411A2; US20030138140A1; CA2473848A1; ES2292973T3; WO2003062803A2; WO2003062803A3

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Bildanalyse und betrifft insbesondere ein Verfahren zur quantitativen Videomikroskopie bei Anwendungen in der Zellbiologie und Pathologie sowie ein zugehöriges System und ein Computer-Softwareprogrammprodukt dafür.
Hintergrund der Erfindung
Eine leistungsfähige Analyse von Mikroskopbildern ist in der Zellbiologie und Pathologie wesentlich, insbesondere zur Detektion und Bewertung von Erbgut, beispielsweise von Genen oder Messenger-RNA, oder der Expression dieser Erbinformation in Gestalt von Proteinen, beispielsweise durch Genvervielfältigung, Genzerstörung, Genmutation, Messenger-RNA-Molekülbewertung oder Protein-Expressionsanalysen. Eine Genvervielfältigung stellt das Vorhandensein von zu vielen Kopien desselben Gens in einer Zelle dar, wobei eine Zelle für gewöhnlich zwei Kopien desselben Gens enthält, die üblicherweise als Allele bekannt sind. Eine Genzerstörung deutet daraufhin, dass weniger als zwei Kopien eines Gens in einer Zelle aufgefunden werden können. Eine Genmutation deutet auf das Vorhandensein von unvollständigen oder nicht-funktionalen Genen hin. Messenger-RNAs (mRNA) sind Moleküle einer Erbinformation, die mit Hilfe eines Gen-Ausleseprozesses synthetisiert werden, die als Vorlagen für eine Proteinsynthese dienen. Proteinexpression stellt die Produktion eines vorgegebenen Proteins mit Hilfe einer Zelle dar. Wenn eine Genkodierung für das vorgegebene Protein, das von einem Proteinexpressionsprozess festgelegt wurde, verstärkt wird oder überschüssige Kopien des Gens oder einer mRNA vorhanden sind, kann das Protein in zu großem Umfang hergestellt werden. Wenn andererseits die Genkodierung unterdrückt ist oder nicht vorhanden ist, kann das Protein in zu geringem Umfang ausgedrückt werden oder nicht vorhanden sein.
Das normale Verhalten einer Zelle wird präzise durch molekulare Mechanismen gesteuert, die eine hohe Anzahl von Proteinen, mRNAs und Genen involvieren. Es ist bekannt, dass eine Genvervielfältigung, Genzerstörung und Genmutation eine wesentliche Rolle bei einem anormalen Zellverhalten spielen, und zwar aufgrund einer anormalen Proteinexpression. Die Spannweite des relevanten Zellverhaltens umfasst so unterschiedliche Verhaltensweisen, wie beispielsweise Proliferation oder Differenzierung der Regulation. Deshalb ist eine leistungsfähige Detektion und Quantifizierung bei der Genvervielfältigung, Genzerstörung und Mutation, bei der mRNA-Quantifizierung oder Proteinexpressionsanlyse notwendig, um nützliche Forschungs-, Diagnostik- und Prognostik-Werkzeuge leichter verfügbar zu machen.
Es gibt zahlreiche Labortechniken, die auf eine Detektion und Quantifizierung bei der Genvervielfältigung, Genzerstörung und Mutation, mRNA-Quantifizierung oder bei Proteinexpressionsanalysen abzielen. Solche Techniken beinhalten beispielsweise Western-Blot-, Northern-Blot- und Southern-Blot-Verfahren, Polymerase-Kettenreaktion („PCR"; Polymerase Chain Reaction), ELISA-Nachweisverfahren (Enzyme-Linkend Immunoseparation Assay) und vergleichende Genom-Hybridisierungstechniken („CGH"; Comparative Genomic Hybridization). Die Mikroskopie wird jedoch routinemäßig eingesetzt, weil es sich dabei um eine aussagekräftige Technik handelt, die rasche Untersuchungen auf der zellulären und sub-zellulären Ebene ermöglicht und zugleich zu vergleichsweise geringen Kosten schnell realisiert werden kann.
Wenn die Mikroskopie als Labortechnik gewählt wird, müssen die biologischen Proben als erstes einer speziellen Detektions- und Offenbarungs-Präparation unterzogen werden. Wenn die Proben einmal aufbereitet sind, analysiert ein Experte typischerweise die Proben mit Hilfe eines Mikroskops ausschließlich in einer qualitativen Studie oder mit Hilfe eines Mikroskops, das mit einer Kamera und einem Computer in Verbindung steht, in einer quantitativen und allgemein standardisierten Studie. Manchmal kann das Mikroskop für eine vollautomatische Analyse ausgelegt sein, wobei das Mikroskop mit einem motorisierten Verstelltisch und Fokus, mit motorisierten Objektivwechslern, automatischen Lichtintensitäts-Steuerungsfunktionen und dergleichen automatisiert ist.
Die Aufbereitung der Proben zur Detektion kann verschiedene Arten von Präparationstechniken beinhalten, die für eine mikroskopische Bildanalyse geeignet sind, beispielsweise für auf einer Hybridisierung basierende oder auf Immunolabeling basierende Präparationstechniken. Solche Detektionstechniken können mit geeigneten Enthüllungstechniken kombiniert werden, beispielsweise mit auf einer Fluoreszenz basierenden oder auf einer sichtbaren Farbreaktion basierenden Techniken.
Die In-Situ-Hybridisierung („ISH") und die Fluoreszenz-In-Situ-Hybridisierung („FISH") stellen Detektions- und Enthüllungstechniken dar, die beispielsweise zur Detektion und Quantifizierung bei der Vervielfältigung von Erbinformation bei Mutationsanalysen eingesetzt werden. Sowohl ISH als FISH können auf histologische oder zytologische Proben angewendet werden. Diese Techniken verwenden spezielle komplementäre Sonden, um entsprechende präzise Sequenzen zu erkennen. Abhängig von der verwendeten Technik kann die spezifische Sonde einen Farb-Marker (cISH) oder einen Fluoreszenz-Marker (FISH) beinhalten, wobei die Proben dann unter Verwendung eines Transmissionsmikroskops oder eines Fluoreszenzmikroskops analysiert werden. Die Verwendung eines Farbmarkers oder eines Fluoreszenz-Markers hängt von der Zielsetzung des Benutzers ab, wobei jeder Typ von Marker entsprechende Vorteile gegenüber dem anderen Marker unter besonderen Umständen hat.
Bei Proteinexpressions-Analysen können beispielsweise immunohistochemische („IHC") und immunozytochemische („ICC") Techniken eingesetzt werden. Bei der IHC handelt es sich um die Anwendung einer Immunochemie auf Gewebeschnitte, wohingegen es sich bei der ICC um die Anwendung der Immunochemie auf kultivierte Zellen oder Gewebeabdrücke handelt, nachdem diese speziellen zytologischen Präpärationsverfahren unterzogen worden sind, beispielsweise flüssigkeitsbasierten Präpärationsverfahren. Bei der Immunochemie handelt es sich um eine Familie von Techniken, die auf der Verwendung eines speziellen Antikörpers beruhen, wobei Antikörper dazu verwendet werden, um Moleküle innerhalb von Zellen oder auf der Oberfläche von Zellen in spezieller Weise zu markieren. Der Antikörper enthält typischerweise einen Marker, der eine biochemische Reaktion durchlaufen wird und auf diese Weise eine Farbänderung erfährt, wenn er den zu markierenden Molekülen begegnet. Unter gewissen Umständen kann eine Signalverstärkung in ein spezielles Protokoll integriert werden, wobei ein sekundärer Antikörper, der das Marker-Färbemittel umfasst, der Anwendung eines primären spezifischen Antikörpers folgt.
Sowohl bei Hybridisierungsstudien als auch bei Immunolabeling-Studien werden Chromagene verschiedener Farben dazu verwendet, um zwischen unterschiedlichen Markern zu unterscheiden. Die maximale Anzahl von Markern, die in einer Studie verwendet werden können, ist jedoch aufgrund verschiedener Faktoren beschränkt. Beispielsweise kann die spektrale Überlappung der Farben, die zur Detektion der jeweiligen Marker verwendet werden, einen limitierenden Faktor darstellen, weil Farbstoffe in einem großen Teil des sichtbaren Farbspektrums absorbieren können. Je größer die Anzahl der in einer Studie beteiligten Farbstoffe ist, desto größer ist folglich das Risiko einer spektralen Überlappung. Außerdem kann die spektrale Auflösung der Erfassungseinrichtung einen limitierenden Faktor darstellen und auch die minimale Farbverschiebung, die das Gerät detektieren kann, muss berücksichtigt werden.
Außerdem geht man allgemein davon aus, dass die Immunochemie und auch die Chemie bei ISH eine geringe Empfindlichkeit aufweist, wenn eine Quantifizierung von Marker erhalten werden muss. Die Genauigkeit der Quantifizierung dieser Techniken kann jedoch von verschiedenen Faktoren abhängig sein. Beispielsweise kann der Typ der verwendeten Reaktion eine Rolle bei der Genauigkeit der Technik spielen, weil die Linearität der Beziehung zwischen der Liganden-Konzentration und dem Ausmaß der immunochemischen Färbungsreaktion stark abhängig von dem Reaktionstyp sein kann. Genauer gesagt kann beispielsweise ein Peroxidase-/Anti-Peroxidase-Verfahren linearer sein als ein Biotin-Avidin-Verfahren. Die zelluläre Lokalisierung der Marker kann ebenfalls die Genauigkeit beeinflussen, wobei beispielsweise dann, wenn Membran- und Nuklein-Marker räumlich überlappen, die resultierende Farbe eine Mischung der jeweiligen Farben ist. Weil die entsprechende Quantifizierung subjektiv ist, kann folglich die Genauigkeit der Bestimmung beeinträchtigt werden. Außerdem kann eine Kalibrierungsstandard, beispielsweise Zellen mit bekannten Eigenschaften, Gele mit einer vorgegebenen Konzentration der Marker oder dergleichen, erforderlich sein, wenn ein komplexes Analysemodell in neuen und unterschiedlichen Fällen Anwendung findet. Färbungs-Kits sind allgemein verfügbar, die Kalibrierungsstandards beinhalten. Der Kalibrierungsstandard kann jedoch für gewöhnlich nur bei einer speziellen Probe eingesetzt werden, beispielsweise einer speziellen Zelle oder einer Struktur von einem bestimmten Typ, von der bekannt ist, dass diese in Bezug zu dem Standard konstante Eigenschaften aufweist, und diese kann von begrenztem Nutzen sein, wenn diese bei unterschiedlichen Proben eingesetzt wird.
Insgesamt stellen die beschriebenen „farbmetrischen" Studien die Information einer Probenanalyse in Farbe dar und erleichtern eine Verarbeitung und Quantifizierung der Information, um so eine Diagnose zu erleichtern oder eine Prognose des bestimmten Falles zu bilden. Zum Zweck der Erläuterung kann die Detektion und Quantifizierung der HER2-Proteinexpression und/oder Genvervielfältigung mit Hilfe von unterschiedlichen Lösungsansätzen bewertet werden, die in der quantitativen Mikroskopie eingesetzt werden. HER2 ist ein Membranprotein, für das gezeigt worden ist, dass es eine diagnostische und prognostische Aussagekraft bei metastasenbildendem Brustkrebs besitzt. Weil für HER2-positive Patienten gezeigt wurde, dass diese sensitiver auf Behandlungen sind, die Herceptin^® (eine Zielbehandlung, die von Genentech entwickelt wurde) beinhalten, ist es erwiesen, dass die Definition des HER2-Status von Metastasen bildenden Brustkrebsen von vorrangiger Bedeutung bei der Wahl des geeigneten Behandlungsschemas ist. Diese Definition des HER2-Status basierte auf einer Studie von Proben, die entweder mit Hilfe von Hybridisierungs-Techniken (FISH, ISH) oder mit Hilfe von Immunolabeling-Verfahren (IHC) behandelt wurden.
Bei jeder der Studien, die FISH beispielsweise gemeinsam mit einem von der FDA anerkannten Kit verwenden, beispielsweise PathVysion^®, das von Vysis hergestellt wird, ist ein Bildanalyseprotokoll erforderlich, um die Anzahl von Kopien des HER2-Gens zu zählen, die in jeder Zelle vorhanden sind. In einem Normalfall findet man zwei Kopien des Gens in jeder Zelle, wohingegen mehr als drei Kopien des Gens in einer Zelle andeuten, dass das Gen vervielfältigt wurde. Alternativ erfordert die Verwendung von IHC gemeinsam beispielsweise mit einem von der FDA zugelassenen Kit, beispielsweise Herceptest^®, das von Dako hergestellt wird, ein Bildanalyseprotokoll, das die Fälle in vier Kategorien klassifiziert, die von der Intensität und Lokalisierung der HER2-spezifischen Membranfärbung abhängen. Aktuelle Studien zeigen wahrscheinlich, dass diese beiden Untersuchtungstechniken (Hybridisierung und Immunolabeling) sich ergänzen können und Pathologen bei der Diagnose von Tumor-Untertypen unterstützen können, wenn diese Techniken miteinander kombiniert werden.
Solche farbmetrischen Studien erfordern jedoch eine extensive Probenpräparierung und eine aufwendige Verfahrenskontrolle. Wenn man angepasste Färbungsschemata einsetzt, ist es somit wichtig, dass man verifizieren kann, dass die Färbung jeder Probe auf das bestimmte Modell abgestimmt ist, das in dem Bilderfassungs- und Bildverarbeitungsgerät verwendet wird, so dass nützliche und genaue Ergebnisse aus der gesammelten Information erhalten werden können. Ansonsten muss die Analyse wahrscheinlich wiederholt werden, so dass man erneut im Stadium der Probenpräparierung beginnen muss, was möglicherweise in einem kostspieligen und zeitaufwendigen Prozess resultiert.
In einem typischen Mikroskopiegerät, das auf einer Bilderfassung und Bildverarbeitung basiert, muss das vergrößerte Bild der Probe zunächst mit einer Kamera erfasst und digitalisiert werden, bevor eine Analyse ausgeführt wird. Um die Farbeigenschaften der Probe auszunutzen, sind außerdem multispektrale Bilderfassungsgeräte und zugehörige multispektrale Bildgebungsverfahren entwickelt worden, wobei eine solche multispektrale Bildgebung typischerweise auf die Erfassung von mehreren Bildern einer Szene in unterschiedlichen spektralen Bändern abzielt. Genauer gesagt werden typischerweise digitale CCD-Kameras (Charge Coupled Device) entweder in der quantitativen Lichtmikroskopie oder der quantitativen Fluoreszenz-Mikroskopie eingesetzt. Folglich werden mit Ausnahme von Spektrophotometern allgemein zwei unterschiedliche Techniken dazu verwendet, um farbmetrische mikroskopische Studien auszuführen. Bei einer Technik kann eine schwarzweiß-CCD-Kamera (BW) verwendet werden. In einem solchen Fall wird ein Graustufenbild der Probe erhalten, das einem monochromatischen Licht mit einer Wellenlänge entspricht, die charakteristisch für die Färbung der zu analysierenden Probe ist. Die spezielle Wellenlänge des Lichts erhält man entweder durch Filtern einer Weißlichtquelle mit Hilfe eines speziellen schmalbandigen Filters oder direkt durch Steuerung der Wellenlänge der Lichtquelle, entweder unter Verwendung einer manuellen Steuerung oder einer elektronischen Steuerung. Die europäische Patentanmeldung Nr. EP 1 065 496 A2 für Meyer et al. (worauf der Oberbegriff des beigefügten Patentanspruchs 1 beruht) stellt ein Beispiel für diese Technik dar. Wenn diese Technik verwendet wird, verlängert sich folglich die Analysezeit, wenn die Anzahl von Farben erhöht wird, weil eine Lichtquelle oder ein Filter für jede andere Probenfärbung oder jede andere Wellenlänge gewählt werden muss. Deshalb müssen viele verschiedene Bilder der Probe, die die spektrale Antwort der Probe bei verschiedenen Wellenlängen darstellen, einzeln und der Reihe nach erfasst werden, um die Analyse zu erleichtern. Wenn mehrere Szenen oder Bildfelder analysiert werden müssen, soll das typische Protokoll die Sequenz in einem Batch-Verfahren automatisieren, um Verarbeitungszeit einzusparen.
Gemäß einer zweiten Technik wird eine digitale Farb-CCD-Kamera verwendet, wobei drei Graustufenbilder der Probe gleichzeitig erfasst und erhalten werden. Jedes Graustufenbild entspricht dem roten, grünen bzw. blauen Kanal (RGB) der CCD-Farbkamera. Die Bilder werden dann direkt in dem RGB-Farbraum analysiert, indem die Analyse auf Pixel beschränkt wird, die sich in einem bestimmten Bereich des RGB-Würfels befinden, wobei der bestimmte Bereich auch Pixel aus einer entsprechenden Trainings-Datenbank enthält.
Alternativ werden die Bilder nach einer mathematischen Transformation aus dem RGB-Farbraum in einen der vielen Farbräume analysiert, die von der CIE (International Commission an Illumination) definiert werden, beispielsweise in einem HLS-Raum (Hue, Luminance or Saturation; Farbton, Leuchtdichte oder Farbsättigung). Alternativ stellen gewisse Kamerahersteller spezielle CCD-Kameras her, bei denen schmalbandige Filter für spezielle Ziel-Wellenlängen die normalen roten, grünen und blauen Filter ersetzen. In einem solchen Fall ermöglicht die Kamera eine schnelle Bilderfassung der drei spektralen Komponenten einer Szene in paralleler Weise. Kameras, die auf diese Weise modifiziert worden sind, können jedoch auf spezielle spektrale Analyseparameter beschränkt sein, weil die Filter nicht verändert werden können und deshalb nicht darauf abgestimmt werden können, um für eine spezielle Farbkombination, die für die Probe verwendet wird, geeignet zu sein. Somit beruht die zweite Technik allgemein entweder auf der Detektion des Kontrasts zwischen den relevanten Spezies und dem Rest der Probe oder auf der Analyse der Probe über eine schmale Bandbreite.
Spektrometer, beispielsweise dasjenige, das in dem US-Patent 6,007,996 für McNamara et al. beschrieben ist, können eine spezielle Kombination von Farbstoffen und ein Interferometer realisieren, um die notwendigen Bilddaten für die Analyse zu sammeln. Das '996-Patent offenbart eine Bildgebungstechnik, die Fluoreszenz-Farbstoffe erfordert, die entsprechend einem speziellen Verfahren ausgewählt werden müssen, um so für eine spezielle Kombination von Farbstoffen zu sorgen. Ein Interferometer, das ausgelegt ist, um eine schmale Bandbreite zu untersuchen (einen vorbestimmten Wellenlängenbereich oder einen vorbestimmten Satz von Linearkombinationen einer spektralen Intensität) wird dann benötigt, um die Probe zu analysieren, wobei die Spektraldaten-Erfassungseinrichtung und die Auswahl der Farbstoffe so beschaffen sein müssen, dass die jedem Färbemittel zugeordnete spektrale Komponente erfasst werden kann. Folglich muss das Spektrometer eine Mehrzahl von Vollbildern der Probe in aufeinander folgenden Messintervallen über einem zu untersuchenden Wellenlängenbereich erfassen, wobei jedes der Vollbilder die schmalbandige spektrale Auflösung des interferometrischen Geräts abdeckt. Somit müssen für jede Probe eine Vielzahl von Vollbildern über den Wellenlängenbereich erfasst werden, wobei die Bilder in Entsprechung zu jedem Farbstoff durch Integration der Mehrzahl von Vollbildern, die das optische Signal beinhalten, über den spektralen (Wellenlängen-)Bereich des CCD-Arrays unter Verwendung eines RGB-Algorithmus voneinander getrennt werden, um so ein gewandeltes RGB-Bild bereit zu stellen.
WO 98/55026 für Youvan et al. offenbart eine Bildgebungs-Hardware und -Software, Kalibrierungsmittel und Verfahren zur Visualisierung und Quantifizierung des Fluoreszenz-Resonanz-Energie-Transfers (FREI), der zwischen Donator- und Akzeptor-Molekülen bei der Epifluoreszenz- Mikroskopie auftritt, und verwendet Algorithmen, die das Bild in Falschfarben darstellen, um Pixel anzuzeigen, die eine radiometrisch korrigierte Fluoreszenzemission anhand des Donators (blau), Akzeptors (grün) und FREI (rot) darbieten, wobei eine Orthonormalisierungstransformation (Förster-Gleichung) dazu verwendet wird, um Donator-, Akzeptor- und FRET-Signale in die charakteristischen roten, grünen und blauen Kanäle zu wandeln.
Andere Bildanalyseverfahren sind möglich und können für unterschiedliche Zwecke eingesetzt werden, stehen jedoch nicht mit den hierin beschriebenen Konzepten in einem Zusammenhang. Beispiele hierfür umfassen das US-Patent 6,330,349 für Hays et al., das ein automatisches Verfahren zur Bewertung bzw. Bestimmung der Menge an Restprotein nach einer Behandlung mit Zellproben beschreibt, sowie US-Patent 6,276,798 für Gil et al., das ein spektrales Bio-Bildgebendes Verfahren zur Verstärkung von pathologischen, physiologischen, metabolischen und mit einem Gesundheitszustand im Zusammenhang stehenden spektralen Signaturen eines Augengewebes beschreibt.
Folglich sind Techniken, die bei farbmetrischen Analysen von präparierten Proben verwendet werden, bei der Detektion und Quantifizierung von interessierenden Spezies aufgrund verschiedener Faktoren von begrenztem Nutzen, beispielsweise aufgrund einer spektralen Überlappung, eines Vermischens von Farben aufgrund einer räumlichen Überlappung von Membran-, Cytoplasma- und Nuklein-Markern, chromatischen Aberrationen in dem optischen Pfad, der begrenzten spektralen Auflösung der Erfassungseinrichtung, Besonderheiten der Kalibrierung, der Subjektivität des Detektions- und Quantifizierungs-Prozesses und Unterschieden zwischen den Benutzern. Der Bildverarbeitungsabschnitt der farbmetrischen Analysetechniken ist historisch auf die subjektive Detektion eines Kontrasts innerhalb der präparierten Probe oder auf eine komplexe und datenaufwendige Analyse der Probe bei verschiedenen speziellen Lichtwellenlängen unter Verwendung einer Kombination von Lichtquellen und Filtern gerichtet gewesen.
Somit besteht ein Bedürfnis nach einer einfacheren und leistungsfähigeren farbmetrischen Analysetechnik, die die Unzulänglichkeiten bei der Detektion und Quantifizierung bei den herkömmlichen Analysetechniken überwindet. Solch eine Technik sollte auch hochwertige Daten bereitstellen können, die die notwendige Analyseinformation bezüglich der Probe beinhalten und zugleich die Subjektivität und Uneinheitlichkeit bei der Analyse einer Probe reduzieren.
Zusammenfassung der Erfindung
Gemäß der vorliegenden Erfindung wird ein Verfahren zum Modellieren eines Farbstoffs bereitgestellt, welches Verfahren umfasst:
eine Transmission der mit dem Farbstoff behandelten Probe wird anhand eines Farbbilds der behandelten Probe bestimmt, wobei das Bild eine Mehrzahl von Pixeln umfasst, und zwar jeweils in einem roten, grünen und blauen Kanal eines RGB-Farbraums und für jedes Pixel des Bilds, um so eine RGB-Dreiergruppe für jedes Pixel zu bilden; dadurch gekennzeichnet, dass die RGB-Dreiergruppen in Entsprechung zu der minimalen Transmission in dem roten, grünen und blauen Kanal für die jeweilige RGB-Dreiergruppe gruppiert bzw. geordnet werden;
jede Gruppe der RGB-Dreiergruppen wird durch Summieren des Transmissionen in jedem der jeweiligen roten, grünen und blauen Kanäle und durch anschließendes Dividieren von jeder der aufsummierten Transmissionen durch die Anzahl von RGB-Dreiergruppen in der jeweiligen Gruppe normalisiert, um so jeweilige RGB-Dreiergruppen zu bilden; und
die normalisierten RGB-Dreiergruppen werden in Entsprechung zu der minimalen Transmission von jeder normalisierten RGB-Dreiergruppe tabellarisch geordnet, um so eine Korrespondenztabelle für den Farbstoff zu bilden, wobei sich die Korrespondenztabelle in Inkrementen der Transmission zwischen 0% und 100% Transmission erstreckt.
Kurze Beschreibung der Zeichnungen
Nachdem somit die Erfindung allgemein beschrieben wurde, wird nun Bezug genommen auf die beigefügten Zeichnungen, die nicht notwendigerweise maßstabsgetreu dargestellt sind und worin:
1 eine allgemeine schematische Darstellung eines quantitativen Videomikroskopie-Systems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist.
2A–2C schematisch die Addition von RGB-Dreiergruppen zu einer Korrespondenztabelle für einen Farbstoff gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
3 schematisch die Normalisierung einer Korrespondenztabelle gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
4A ein beispielhaftes Modell eines NFR-Farbstoffs in einem 3D-RGB-Farbraum gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
4B ein beispielhaftes Modell eines BCIP-NBT-Farbstoffs in einem 3D-RGB-Farbraum gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
4C ein beispielhaftes Modell eines NFR-Farbstoffs, wie in der 4A gezeigt, kombiniert mit einem BCIP-NBT-Farbstoff, wie in der 4B gezeigt, in einem 3D-RGB-Farbraum gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
5A ein beispielhaftes Modell eines NFR-Farbstoffs auf einer 1D-Skala (Korrespondenztabelle) gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
5B ein beispielhaftes Modell eines BCIP-NBT-Farbstoffs auf einer 1D-Skala (Korrespondenztabelle) gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
5C ein beispielhaftes Modell eines NFR-Farbstoffs, wie in der 5A gezeigt, kombiniert mit einer orthogonalen Addition zu einem BCIP-NBT-Farbstoff, wie in der 5B gezeigt, auf einer 2D-Skala (Farbraum) gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
6 eine schematische Darstellung eines Farbkombinationsmodells, aufgetragen in einem 3D-RGB-Farbraum, ist, die ein Pixel von einem Bild von einer unbekannten Probe zeigt, die gemäß demselben Schema eingefärbt wurde und gegen das Modell aufgetragen ist, das von dem Modell durch einen Fehler getrennt wurde, und zwar gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
7 ein Beispiel eines Farbkombinationsmodells gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt, aufgetragen in einem 3D-RGB-Farbraum, mit einer überlagerten Darstellung eines Bilds einer unbekannten Probe, die gemäß demselben Schema eingefärbt wurde.
8 ein Beispiel der Verwendung einer 2D-Skala-Darstellung (Farbraum) einer Kombination von zwei Farbstoffen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt, um die Farbeigenschaften eines Pixels eines Bilds einer unbekannten Probe zu bestimmen, die gemäß demselben Schema eingefärbt wurde.
9 eine schematische Darstellung einer 2D-Skala-Darstellung (Farbraum) einer Kombination von zwei Farbstoffen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist, die einen definierten begrenzten Bereich aufweisen, in dem eine Suche nach einer optimalen Kombination für ein Pixel eines Bilds einer unbekannten Probe, die gemäß demselben Schema eingefärbt wurde, ausgeführt wurde.
10 eine schematische Darstellung einer 3D-RGB-Farbraumdarstellung einer Kombination von zwei Farbstoffen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist, die einen definierten begrenzten Bereich aufweisen, in welchem eine Suche nach einer optimalen Kombination für ein Pixel eines Bilds einer unbekannten Probe, die gemäß demselben Schema eingefärbt wurde, ausgeführt wurde.
11 ein Bild einer unbekannten Probe gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist, die mittels einer Kombination von NRF und BCIP-NBT eingefärbt wurde.
12 eine schematische Darstellung der Umsetzung in die Praxis gemäß einem Ausführungsbeispiel der vorliegenden Erfindung in einer erweiterten Konfiguration eines quantitativen Videomikroskopie-Systems ist.
13A ein Bild einer unbekannten Probe, die mittels einer Kombination von NFR und BCIP-NBT eingefärbt wurde, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist und eine unbekannte Komponente darstellt.
13B ein Bild einer Pro-Pixel-Fehlerverteilung des Fehlers zwischen dem Bild, wie in der 13A gezeigt und dem Zwei-Farbstoff-Modell (NFR und BCIP-NBT) gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist.
Ausführliche Beschreibung der Erfindung
Die Erfindung wird nun nachfolgend anhand der beigefügten Zeichnungen ausführlicher beschrieben werden, worin bevorzugte Ausführungsbeispiele der Erfindung gezeigt sind. Die Erfindung kann jedoch in vielen unterschiedlichen Formen realisiert werden und sollte nicht als auf die hierin offenbarten Ausführungsbeispiele beschränkt ausgelegt werden; vielmehr werden diese Ausführungsbeispiele bereitgestellt, sodass diese Offenbarung ausführlich und vollständig sein wird und dem Fachmann auf diesem Gebiet den Schutzbereich der Erfindung vollständig vermitteln wird. Gleiche Bezugszeichen beziehen sich durchgängig auf gleiche Elemente.
Der wahrscheinlich am raschesten zunehmende Krebs scheint das Hautmelanom zu sein, für das kürzlich ein neuer Marker entdeckt worden ist. Eine diagnostische und prognostische Verwendung erfordert jedoch die präzise Quantifizierung der verminderten Expression (Downregulation) dieses Marker in Tumor-Melanozyten. Als solche stellt die Multispektralanalyse eines der zuverlässigsten farbmetrischen Verfahren für eine solche Quantifizierung in einer normalen Hellfeldmikroskopie dar. Folglich wird nachfolgend ein Verfahren beschrieben, das sich der Optimierung der Multispektralanalyse und deren Anwendung bei der Quantifizierung der Melanom-Marker widmet, gemeinsam mit zugehörigen Systemen sowie Computersoftware-Programmen. Genauer gesagt wird die vorliegende Erfindung nachfolgend so beschrieben, dass diese Anwendung findet bei der Quantifizierung des Melastatin-Markers, eines viel versprechenden Hautmelanom-Tumormarkers, wenngleich darauf hingewiesen sei, dass die spezielle Anwendung zum Zwecke der Darlegung des Beispiels dargeboten wird und die Anwendbarkeit der vorliegenden Erfindung in keinster Weise einschränken oder beschränken soll. Folglich kann die vorliegende Erfindung allgemeiner bei farbmetrischen Studien für eine Vielzahl von Proben angewendet werden, die mit Hilfe von einem oder mehreren Farbstoffen eingefärbt sind und gemäß den nachfolgend beschriebenen Verfahren analysiert werden.
Laut der American Cancer Society nimmt die Häufigkeit von Hautmelanomen rascher zu als die von jedem anderen Krebs in den USA. Beispielsweise wird es 2001 etwa 51.400 neue Melanom-Fälle geben, und zwar 29.000 Männer und 22.400 Frauen, was eine Zunahme von 9% gegenüber 2000 bedeutet. 2001 wird unter Zugrundelegung der aktuellen Zahlen 1 von 71 Amerikanern ein lebenslanges Risiko der Entwicklung von Melanomen haben. Allgemein kann das chirurgische Herausschneiden von lokalisierten Hautmelanomen (American Joint Committee an Cancer [AJCC] Stadien I und II, mit etwa 75% der Diagnosefälle) zu einer Heilung von vielen Patienten führen. Außerdem beträgt die 5-Jahres-Überlebenswahrscheinlichkeit für die Patienten, die einem chirurgischen Ausschneiden unterzogen wurden, etwa 80%, was andeutet, dass etwa 20% der Patienten mit Stadium I und II zum Zeitpunkt der Hautmelanom-Diagnose einer Mikrometastasen bildenden Krankheit unterliegen. Bei einem Melanom handelt es sich um die tödlichste Form des Krebses. Beispielsweise trugen 1996 Melanome zu etwa 2% sämtlicher mit Krebs im Zusammenhang stehenden Todesfällen in den USA bei. Aktuell gibt es keine heilende Behandlung für Patienten mit Melanomen, die zu entfernten Orten metastieren, und die durchschnittliche Überlebensdauer solcher Patienten beträgt etwa 6 Monate. Deshalb stellt gemäß Duncan et al., J. Clin. Oncol., Band 19, Nr. 2, Seiten 568–576, 2001 die Identifizierung von Patienten mit einem hohen Risiko für die Entwicklung von Metastasen einen der kritischsten Gesichtspunkte bei der Behandlung dieser Form von Krebs dar.
Ein neues Gen, nämlich Melastatin, dessen Expression mit der In-Vivo-Aggresivität korreliert, ist in B16-Melanom-Mauszellen-Unterlinien mit unterschiedlichem Metastasen-Potential In-Vivo unter Verwendung einer mRNA-Differenzanalyse entdeckt worden. Das menschliche Melastatin ist geklont worden und wird allgemein als MLSN-1 bezeichnet. Eine Nothern-Blot-Analyse hat eine Melastatin-Expression nur in Melanozyten-Zellen und in der Aderhaut (einem Augengewebe) demonstriert, wohingegen für andere Gewebe keine Expression von Melastatin festgestellt wurde. Obwohl eine In-Situ-Hybridisierungsanalyse von menschlichen Melanozyten-Hautgeweben ergab, dass Melastatin-mRNA in gutartigen Melanozyten-Nevus-Zellen gleichmäßig exprimiert wurde, zeigten primäre Hautmelanome eine variable Expression von Melastatin-mRNA. Insbesondere korrelierte der Melastatin-Status mit der Dicke des primären Tumors, und zwar laut Deeds et al., Hum. Pathol., Band 31, Nr. 11, Seiten 1346–1356, 2000. Vorläufige Daten haben auch nahegelegt, dass eine Melastatin-Expression im Rückschluss auf menschliche metastasenbildende Erkrankungen hindeutet. Neuere Ergebnisse deuten jedoch an, dass die verminderte Expression von Melastatin-mRNA in dem primären Hauttumor ein prognostizierender Marker für eine Metastasenbildung bei Patienten mit lokalisierten bösartigen Melanomen ist und unabhängig ist von der Tumordicke und anderen Variablen. In Kombination ermöglichen der Melastatin-Status und die Tumordicke die Identifizierung von Untergruppen von Patienten mit einem hohen und geringen Risiko für die Entwicklung von metastasenbildenden Erkrankungen.
US-Patent 6,025,137 betrifft das Melastatin^TM-Gen und metastasenbildende Melanome und betrifft insbesondere Verfahren zur Detektion von Melastatin^TM in Patienten-Gewebeproben, um zu bestimmen, ob ein Patient ein Risiko für die Entwicklung von metastasenbildenden Melanomen hat oder dieses wahrscheinlich haben wird. Um eine Melastatin^TM-Expression als einen diagnostischen Marker bei Routinearbeiten zu verwenden, muss eine Bewertung zuverlässig und kostengünstig ausgeführt werden. IHC und ISH bezüglich eines histologischen Materials von Hautproben stellen typischerweise die gängigsten Verfahren dar, die routinemäßig dazu verwendet werden, um eine Proteinexpression kostengünstig zu quantifizieren. Somit sind Ausführungsformen der vorliegenden Erfindung auf die Quantifizierung einer Melastatin-Einfärbung sowohl bei normalen Melanozyten-Zellkernen (Melanozyten aus der Basalschicht von Epithelzellen), die man als Referenz-Zellkerne ansieht, und von anormalen Melanozyten-Zellkernen (Melanozyten von Tumor-Schwerpunkten gerichtet). Die Ergebnisse einer solchen quantitativen Analyse zeigen an, ob das Gen in den anormalen Zellkernen entweder vermindert exprimiert oder normal exprimiert wird. Die Effizienz der quantitativen Analyse hängt jedoch stark von dem Bildanalyseverfahren ab, das eine Segmentierung der Melanozyten-Zellkerne berücksichtigen und ausführen muss, und auch von einer farbmetrischen Analyse der speziellen Farbstoffe, die in dem Schema verwendet werden.
Das Hauptinteresse bei der Bewertung von biologischen Proben mittels Bildanalyse verschiebt sich zunehmend von einem Mehrzweck-Bildanalysator zu einer spezialisierteren und oftmals hochspezialisierten speziellen „Pathologie-Workstation". Solche Workstations sind typischerweise ausgelegt, um Routinearbeiten zu erleichtern, wobei oftmals viele der Werkzeuge miteinander kombiniert werden, die benötigt werden, um einen Pathologen mit der notwendigen Information zu versorgen, um die bestmöglichen Ergebnisse zu bestimmen. Ein Beispiel für eine solche Workstation ist in der 1 als quantitatives Videomikroskopie-System dargestellt, das mit dem Bezugszeichen 100 bezeichnet ist, und zwar gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das System 100 umfasst allgemein ein Mikroskop 150 mit einer Lichtquelle 200 und einem vergrößernden Objektiv 250, einer Kamera 300, einer Computereinrichtung 350 und einer Datenübertragungsverbindung 400 zwischen der Kamera 300 und der Computereinrichtung 350. Das Mikroskop 150 kann beispielsweise ein Axioplan-(oder Axiovert-)Mikroskop beinhalten, das von ZEISS aus Deutschland hergestellt wird, oder ein vergleichbares Mikroskop mit einer Hellfeld-Lichtquelle. Die Kamera 300 wirkt mit dem Mikroskop 150 zusammen und umfasst gemäß einem Ausführungsbeispiel eine 3CCD-RGB-Kamera Modell Nr. DE-330E Dage-MTI, die von Dage-MTI, Inc. aus Michigan City, IN hergestellt wird oder eine vergleichbare RGB-Kamera. Typischerweise umfasst eine solche Kamera 300 auch einen zugehörigen Framegrabber (nicht gezeigt), um die Bilderfassung zu erleichtern, wobei sowohl die Kamera 300 als auch der zugehörige Framegrabber hierin zur Vereinfachung gemeinsam als „Kamera 300" bezeichnet werden. In gewissen Fällen kann sowohl die Kamera 300 als auch das Mikroskop 150 beispielsweise durch einen linearen Flachbettscanner mit einem 3CCD-Chip oder einer vergleichbaren Einrichtung und einer gesteuerten Beleuchtungsquelle ersetzt werden. Beispielsweise kann ein von der Nikon Corporation hergestellter Scanner Modell Nr. Super CoolScan 4000ED für eine Bildgebung mit geringer Auflösung verwendet werden. Man beachte, dass, obwohl verschiedene Konfigurationen des notwendigen Systems 100 von der vorliegenden Erfindung angedacht sind, die vorliegende Erfindung nachfolgend anhand einer Kamera 300 und einem zugehörigen Mikroskop 150 beschrieben wird. Folglich wird ein Fachmann auf diesem Gebiet verstehen und es zu würdigen wissen, dass die Eigenschaften und Vorgehensweisen, die mit diesen unterschiedlichen Konfigurationen im Zusammenhang stehen, um die vorliegende Erfindung zu verwirklichen, nachfolgend detailliert erläutert werden.
Die Kamera 300 ist allgemein ausgelegt, um mit Hilfe des vergrößernden Objektivs 250 (wenn ein Flachbettscanner verwendet wird, wird das Bild 450 mittels einer internen Linse bzw. Optik erfasst) ein Bild 450 einer Probe 500 zu erfassen, wobei das Bild 450 außerdem ein digitales Bild mit entsprechenden Bilddaten (die gemeinsam nachfolgend als „das Bild 450" bezeichnet werden) umfassen kann. Das Bild 450 wird allgemein als ganzes erfasst, wobei die entsprechenden Bilddaten ein Rotkanal-Bild 550, ein Grünkanal-Bild 600 und ein Blaukanal-Bild 650 des Blickfelds beinhalten. Die Datenübertragungsverbindung 400 ist ausgelegt um in der Lage zu sein, das Bild 450 an die Computereinrichtung 350 zu übertragen, wobei die Computereinrichtung 350 zusätzlich ausgelegt ist, um in der Lage zu sein, das Bild 450 bezüglich jedes der roten 550, grünen 600 und blauen 650 Kanäle zu analysieren.
Das quantitative Videomikroskopie-System 100 gemäß der vorliegenden Erfindung muss zur Bewertung einer Melastatin-Expression gewisse Kriterien erfüllen, um verwertbare Ergebnisse bereitzustellen, wie diese nachfolgend ausführlicher beschrieben werden. Beispielsweise kann eine Einfärbung von dicken histologischen Proben zu einer Nichtlinearität in der Beziehung zwischen der Intensität der Einfärbung und der Proteinkonzentration in der Probe führen. In einem solchen Fall wird die integrierte Dichte der Probe nicht für stabile reproduzierbare farbmetrische Daten sorgen und somit muss ein alternatives Messverfahren verwendet werden. Außerdem sind normalerweise in den histologischen Proben 3 Chromagene vorhanden: der Marker (BCIP-NBT), ein morphologisches Kontrastfärbemittel (Nuclear Fas Ref – NFR) und natürliches Melanin. Sämtliche 3 Chromagene müssen aus unterschiedlichen Gründen berücksichtigt werden. Erstens, um eine quantitative Analyse des Tumormarkers zu realisieren, wenn ein gewisses Kontrastfärbemittel für eine morphologische Analyse und eine Melanozyten-Erkennung verwendet wird, ist eine bestimmte spektrale Analyse erforderlich, um zwischen dem Marker und dem Kontrastfärbemittel zu unterscheiden und diese zu quantifizieren. Wenn das Kontrastfärbemittel bei einer Probe eingesetzt wird, nachdem der Marker verwendet wurde, werden Zellen, die sehr stark mit dem Marker eingefärbt sind, von dem Gegenfärbemittel weniger stark eingefärbt werden. Auch Melastatin wird als Marker für eine verminderte Expression eingesetzt und wegen des hohen Hintergrundrauschens ist es oftmals problematisch, ein nicht spezifisches Hintergrundrauschen von einer bestimmten Färbung von einem Marker mit verminderter Expression zu unterscheiden. Außerdem kann Melanin (braun) auch eine potentielle Quelle für eine Störung während der Bewertung des Markers in Regionen mit besonders intensiver Einfärbung darstellen.
Somit basiert gemäß einem vorteilhaften Gesichtspunkt der vorliegenden Erfindung eine spektrale Analyse der Melastatin-Expression auf einer Berechnung eines Modells für jeden Farbstoff, der in dem Schema verwendet wird. Wie vorstehend beschrieben, sind bei einer Melastatin-Expression typischerweise drei unterschiedliche spektrale Komponenten involviert: das Kontrastfärbemittel (NFR); der Melastatin-Marker (BCIP-NBT); und ein natürliches Pigment (Melanin) der histologischen Probe. Folglich werden zuerst die spektralen Eigenschaften von jeder der unterschiedlichen spektralen Komponenten gesondert mit dem Videomikroskopie-System 100 gemäß der vorliegenden Erfindung unter Verwendung beispielsweise eines histologischen Schnitts je Farbstoff untersucht. Dies bedeutet, dass während der Trainingsphase des Videomikroskopie-Systems 100 angenommen wird, dass, wenn nur gerade ein Farbstoff von dem System 100 analysiert wird, der Farbstoff dann homogen und gleichmäßig in einem RGB-Farbraum verteilt sein wird. Wenn die histologische Probe 500 für einen bestimmten Farbstoff präpariert worden ist, wird ein Bild 450 der Probe 500 mit Hilfe der Kamera 300 durch das vergrößernde Objektiv 250 hindurch erfasst. Das resultierende digitale Bild 450 ist ein geordneter zwei-dimensionaler (2D) Satz von Pixeln, wobei jedes Pixel durch eine RGB-Dreiergruppe definiert ist. Das heißt, dass für den Fall, dass ein 8-Bit-Farbbilderfassungseinrichtung verwendet wird, beispielsweise eine 8-Bit 3CCD-RGB-Kamera 300, jedes Pixel durch eine gemessene Lichtintensität I oder eine Transmission der Probe 500 in jedem der roten 550, grünen 600 und blauen 650 Kanäle definiert werden kann, wobei das gemessene Licht 256 mögliche Werte haben kann, mit den Grenzwerten von 0 bis 255.
Wenn zumindest ein Bild 450 einer histologischen Probe 500 für jeden Farbstoff erfasst worden ist, dann können künstliche Bilder für jeden Farbstoff in einer separaten unbekannten Probe, die gemäß demselben Schema eingefärbt worden ist, rekonstruiert werden, was nachfolgend ausführlicher beschrieben wird. Typischerweise wird das Bild 450 der histologischen Probe 500 für jeden Farbstoff von einer Computereinrichtung 350 pixelweise analysiert, um so einen entsprechenden Datensatz von RGB-Dreiergruppen bereitzustellen. Ein RGB-Farbraum kann dann aufgespannt werden, wobei der RGB-Farbraum einen Würfel umfasst, der eine Achse für jeden der roten 550, grünen 600 und blauen 650 Kanäle aufweist, wobei jede Achse von für eine 8-Bit-Bilderfassungseinrichtung 300 0 bis 255 reicht. Folglich hat man herausgefunden, dass dann, wenn die RGB-Dreiergruppen in dem RGB-Farbraum aufgetragen werden, um die räumliche Verteilung des Farbstoffs innerhalb dieses Raums darzustellen, der Farbstoff einen charakteristischen Pfad belegt, der sich in dem RGB-Farbraum von schwarz (0% Transmission oder keine Intensität in jedem der roten 550, grünen 600 und blauen 650 Kanäle) bis weiß (100% Transmission bzw. volle Intensität in jedem der roten, 550, grünen 600 und blauen 650 Kanäle) erstreckt. Man beachte, dass die RGB-Eigenschaften, die einer Transmission von 0% und einer Transmission von 100% entsprechen, ohne weiteres für ein bestimmtes System bestimmt werden können und typischerweise bekannte Werte umfassen können. Man hat auch herausgefunden, dass dieselbe Analyse, die für weitere histologische Proben 500 ausgeführt wird, die mit demselben Farbstoff eingefärbt ist, ein reproduzierbares spektrales Muster ergibt, genauer gesagt denselben charakteristischen Pfad 940 für diesen Farbstoff in dem RGB-Farbraum (siehe beispielsweise 4A für NFR und 4B für BCIP-NBT). Somit kann ein spektrales Muster für den jeweiligen Farbstoff in einer entsprechenden Tabelle abgespeichert werden, die nachfolgend auch als Nachschlagetabelle (look-up table; LUT) bezeichnet wird, welche die RGB-Eigenschaften eines Farbstoffs mit einer Transmission von 0% bis 100% in dem RGB-Farbraum beschreibt.
Eine typische Korrespondenztabelle für einen Farbstoff in einem 8-Bit-Bilderfassungssystem kann beispielsweise mit 256 Zeilen und 4 Spalten festgelegt werden, wobei jede Zeile 900 ein Intensitäts- oder Transmissions-Inkrement repräsentiert. Drei der Spalten 905, 910, 915 repräsentieren jeden der roten 550, grünen 600 und blauen 650 Kanäle, während die vierte Spalte 920 für eine Indexierung sorgt, was nachfolgend weiter beschrieben wird. Jede RGB-Dreiergruppe für das entsprechende Pixel in dem Bild 450 wird dann in die Korrespondenztabelle eingetragen und entsprechend der minimalen Intensität oder dem minimalen Transmissionswert der Dreiergruppe indexiert, wobei die minimale Intensität dem am stärksten absorbierenden Kanal für den bestimmten Farbstoff entspricht (der niedrigsten Intensität oder Transmission). Außerdem werden für jede RGB-Dreiergruppe, die der Korrespondenztabelle in der entsprechend indexierten Zeile 900 hinzu gefügt wurde, die Intensitätswerte der RGB-Dreiergruppe in den roten 550, grünen 600 und blauen 650 Kanälen zu den jeweiligen Intensitätswerten für eine RGB-Dreiergruppe, die bereits in die indexierte Zeile 900 eingefügt worden ist, addiert. Außerdem wird für jede RGB-Dreiergruppe, die zu einer indexierten Zeile 900 hinzugefügt worden ist, der Index in der vierten Spalte 920 der entsprechenden Tabelle um eins erhöht, um so die Anzahl von Pixeln zu verfolgen, die von derselben indexierten Zeile 900 in der Korrespondenztabelle definiert werden. Dieser Prozess erfolgt so, wie beispielsweise in den 2A–2C gezeigt, und kann beispielsweise auf einen großen Satz von Bildern für jeden Farbstoff angewendet werden, um so für eine extensive und genaue spektrale Charakterisierung dieses Farbstoffs zu sorgen. Wenn sämtliche der Pixel in der Gruppe von Bildern für diesen Farbstoff bewertet worden sind und in die entsprechende Tabelle entsprechend der entsprechenden RGB-Dreiergruppe für das jeweilige Pixel eingefügt worden sind, ist die Korrespondenztabelle somit abgeschlossen. Danach wird, wie in der 3 gezeigt, die endgültig erstellte Korrespondenztabelle normalisiert, wobei für jede indexierte Zeile 900 der aufsummierte Intensitätswert in jedem der roten 550, grünen 600 und blauen 650 Kanäle durch die Anzahl von RGB-Dreiergruppen, die in dieser Zeile gesammelt sind, dividiert wird, wie durch den Indexwert in der vierten Spalte 920 der Korrespondenztabelle angedeutet. Somit umfassen die normalisierten RGB-Dreiergruppen 925, 930, 935 in der Korrespondenztabelle eine repräsentative Linie 945 durch den RGB-Farbraum für den bestimmten Farbstoff (vgl. beispielsweise 4A für NFR und 4B für BCIP-NBT), wobei sich die repräsentative Linie 945 entlang dem zuvor bestimmten charakteristischen Pfad 940 für diesen Farbstoff erstreckt.
Sobald diese normalisiert sind, werden die indexierten Zeilen allgemein normalisierte RGB-Dreiergruppen für die jeweilige Zeile enthalten. Unter gewissen Umständen kann jedoch in gewissen der indexierten Zeilen eine RGB-Dreiergruppe fehlen, weil beispielsweise eine indexierte Zeile in der Korrespondenztabelle nicht notwendigerweise durch ein entsprechendes Pixel in dem Bild repräsentiert ist. Dies bedeutet, dass es Fälle geben kann, bei denen keine RGB-Dreiergruppe für ein Pixel in dem Bild das Kriterium erfüllt, dass diese zu einer bestimmten Zeile hinzugefügt worden ist. Außerdem können unter gewissen Umständen Aussagekraft-Kriterien eingerichtet werden, um so Artefakte aufgrund einer Unterrepräsentierung in dem Bild zu beseitigen. Beispielsweise kann eine indexierte Zeile in der Korrespondenztabelle nur dann als aussagekräftig angesehen werden, wenn 1000 oder mehr Pixel des Bilds in dieser Zeile indexiert worden sind. Wenn eine indexierte Zeile das Aussagekraft-Kriterium nicht erfüllt, dann können jegliche Werte in den drei R-, G- und B-Spalten verworfen oder ansonsten aus dem Modell für diesen Farbstoff entfernt werden. Folglich kann in Fällen, in denen eine indexierte Zeile der normalisierten Korrespondenztabelle keine normalisierte RGB-Dreiergruppe umfasst, eine Interpolation dazu verwendet werden, um für jegliche Zeile, der eine normalisierte RGB-Dreiergruppe fehlt, eine approximierte RGB-Dreiergruppe zu bestimmen. Typischerweise ist die Anzahl von benachbarten fehlenden oder nicht-aussagekräftigen RGB-Dreiergruppen klein und somit kann beispielsweise eine kubische Spline-Interpolation (vgl. beispielsweise Numerical Recipes in C: The Art of Scientific Computing (ISBN 0-521-43108-5) Seiten 113–117, Copyright (c) 1988–1992 von Cambridge University Press. Programme Copyright (c) 1988–1992 von Numerical Recipes Software) realisiert werden, um so für eine leere Zeile sowohl aus einer bekannten normalisierten RGB-Dreiergruppe in einer indexierten Zeile mit einer höheren Transmission als auch aus einer bekannten normalisierten RGB-Dreiergruppe in einer indexierten Zeile mit niedrigerer Transmission eine approximierte RGB-Dreiergruppe zu erhalten. Ein Fachmann wird jedoch erkennen, dass andere Arten einer Interpolation in gleicher Weise angewendet werden können, was tatsächlich von den Anforderungen der speziellen Anwendung abhängt. Beispielsweise kann unter gewissen Umständen eine lineare Interpolation verwendet werden. Sobald folglich die Korrespondenztabelle vollständig erstellt worden ist, ist der jeweilige Farbstoff ausreichend modelliert und kann das Modell in weiteren Anwendungen, wie nachfolgend beschrieben, eingesetzt werden.
Gemäß einem vorteilhaften Ausführungsbeispiel gemäß der vorliegenden Erfindung können, sobald einzelne Farbstoffe gemäß der vorstehend beschriebenen Prozedur modelliert worden sind, zwei oder mehr dieser Modelle für individuelle Farbstoffe miteinander kombiniert werden, um so einem Einfärbungsschema zu entsprechen, das für eine bestimmte Expression verwendet wird. Somit können beispielsweise für eine Melastatin-Expression einzelne Modelle für die Kontrastmittel-Marker (NFR) und die Melastatin-Marker (BCIP-NBT) miteinander kombiniert werden, um so eine Bewertung einer unbekannten histologischen Probe zu erleichtern, die gemäß diesem Schema eingefärbt worden ist. Allgemein legt die jeweilige Korrespondenztabelle für jeden Farbstoff Transmissionswerte fest, die von schwarz (0% Transmission) bis weiß (100% Transmission) reichen, und zwar mit linearen inkrementellen Schritten (1/256% in der Transmission für eine 8-Bit/Kanal-Bilderfassungseinrichtung) zwischen diesen. Wie vorstehend beschrieben, handelt es sich bei der LUT für einen einzelnen Farbstoff um die repräsentative Linie 945, die sich entlang dem charakteristischen Pfad 940 für diesen Farbstoff in dem RGB-Farbraum erstreckt, wobei die repräsentative Linie 945 durch eine eindimensionale (1D) Skala ausgedrückt werden kann, welche die räumliche Verteilung des Farbstoffs in dem RGB-Farbraum von einer Transmission von 0% bis 100% zusammenfasst (vgl. beispielsweise 5A für NFR und 5B für BCIP-NBT).
Für ein Einfärbungsschema, das eine bestimmte Kombination von Farbstoffen spezifiziert, kann ein Modell des Schemas für diese Farbstoffkombination anhand der orthogonalen Addition der LUTs (Nachschlagetabellen) für die jeweiligen Farbstoffe realisiert werden, wie beispielsweise in der 5C gezeigt. Folglich würde ein solches Modell so definiert werden, dass dieses eine Dimension pro Farbstoff aufweist. Allgemein kann die Addition von beispielsweise 2 Farbstoffen, beispielsweise denjenigen, die bei einer Melastatin-Expression eingesetzt werden, unter Verwendung des Lambert-Beer'schen Gesetztes realisiert werden, um die geeigneten RGB-Dreiergruppen für die spezielle Farbkombination zu erzeugen. Somit ist gemäß einem besonders vorteilhaften Gesichtspunkt der vorliegenden Erfindung das System 100 ausgelegt, um die Probe gemäß dem Lambert-Beer'schen Gesetz zu analysieren.
Das Lambert-Beer'sche Gesetz beschreibt allgemein eine Proportionalität, die zwischen der Konzentration von Molekülen in einer Lösung (die Konzentration der „molekularen Spezies" oder der „Probe") und der Lichtintensität, die beim Durchgang durch die Lösung gemessen wird, beobachtet werden kann, und wird typischerweise wie folgt ausgedrückt: OD = ε·1·C (1)wobei OD die optische Dichte der Lösung, ε eine Professionalitätskonstante, die als molare Extinktion oder molarer Absorptionskoeffizient bezeichnet wird, I die Dicke der Probe und C die Konzentration der molekularen Spezies ist. Der Absorptionskoeffizient ε ist spezifisch für die molekulare Spezies und wird typischerweise in Einheiten von 1·mol^–1·cm^–1 ausgedrückt.
Diese Proportionalitätsbeziehung, die von dem Lambert-Beer'schen Gesetz festgelegt wird, ist unter verschiedenen Bedingungen verifiziert worden, einschließlich beispielsweise einem monochromatischen Licht, das die Probe beleuchtet, einer geringen molekularen Konzentration innerhalb der Probe, grundsätzlich keiner Inhomogenität der Fluoreszenz bzw. der Lichtantwort (vernachlässigbare Fluoreszenz und Diffusion) der Probe und mangelnde chemische Photosensivität der Probe. Außerdem ist eine weitere Bedingung für eine Analyse gemäß dem Lambert-Beer'schen Gesetz beispielsweise eine korrekte Koehler-Beleuchtung der Probe unter dem Mikroskop. Eine Koehler-Beleuchtung steht bei vielen modernen Mikroskopen zur Verfügung, die für eine gleichmäßige Beleuchtung der Probe in der Bildebene sorgen und eine wirkungsvolle Steuerung des Kontrastes ermöglichen. Eine Koehler-Beleuchtung ist wesentlich für gewisse Prozesse, beispielsweise für eine densitometrische Analyse. Eine korrekte Koehler-Beleuchtung wird typischerweise beispielsweise von einem zweistufigen Beleuchtungssystem für das Mikroskop bereitgestellt, worin die Quelle auf die Blende der Unterstufen-Linse mit Hilfe einer zusätzlichen Linse abgebildet wird. Die Unterstufen-Linse ihrerseits bildet ein Bild der zusätzlichen Linse auf dem Objekt aus. Eine Irisblende kann auch bei jeder Linse angeordnet werden, wobei die erste Irisblende die Fläche des zu beleuchtenden Objekts steuert und die zweite Irisblende die numerische Apertur des beleuchteten Lichtstrahls variiert.
Das Lambert-Beer'sche Gesetz verfügt über additive Eigenschaften, so dass beispielsweise dann, wenn die Probe mehrere lichtabsorbierende Molekülspezies umfasst, beispielsweise s₁ und s₂, mit jeweiligen Konzentrationen C₁ und C₂, die OD einer Probe mit einer Dicke I (wobei I₁ = I₂ = I für die Probe gilt, wie in der nachfolgenden Lösungsformel ausgedrückt) wie folgt ausgedrückt werden kann: OD =ε1·l1·C1 + ε2·l2·C2 (2)
Dieser Fall kann beispielsweise bei einer biologischen Analyse auftreten, wo eine „Szene", ein Blickfeld, oder eine Teilabschnitt der Probe mit zwei Farbstoffen eingefärbt worden ist, die aus einem Marker-Farbstoff zum Markieren der interessierenden molekularen Spezies und aus einem Kontrastfarbstoff zum Färben des Rests der Probe besteht.
Wenn das Mikroskop 150 einmal ausgelegt worden ist, um für eine Koehler-Beleuchtung für eine Bilderfassung zu sorgen und wenn chromatische Abbildungsfehler berücksichtigt worden sind, kann die additive Eigenschaft des Lambert-Beer'schen Gesetzes auf die Trennung von Chromagenen angewendet werden. Beispielsweise kann die additive Eigenschaft des Lambert-Beer'schen Gesetzes in einer Situation ausgenutzt werden, in der die Szene in einer farbigen Umgebung analysiert wird, die beispielsweise mittels einer RGB-Kamera erzeugt wird, die in einen roten, grünen und blauen Kanal unterteilt ist. In einem solchen Fall verfügt der Marker-Farbstoff (oder „Farbstoff 1") über die Absorptionskoeffizienten ε_1r, ε_1g bzw. ε_1b in dem roten, grünen und blauen Kanal. Man beachte, dass in gewissen Fällen die Analyse des Bildes in dem roten, grünen und blauen Kanal äquivalent zur Analyse einer roten Darstellung des Bildes über das gesamte rote Spektrum, einer grünen Darstellung des Bildes über das gesamte grüne Spektrum und einer blauen Darstellung des Bildes über das gesamte blaue Spektrum ist. Folglich verfügt der Kontrastfarbstoff (bzw. „Farbstoff 2") über die Absorptionskoeffizienten ε_2r, ε_2g bzw. ε_2b in dem roten, grünen bzw. blauen Kanal. Deshalb führt die additive Eigenschaft des Lambert-Beer'schen Gesetzes bei der Analyse der Probe in der RGB-Umgebung zu drei Gleichungen für deren optische Dichte: ODr = ε1r·l1·C1 + ε2r·l2·C2 (3) ODg = ε1g·l1·C1 + ε2g·l2·C2 (4) ODb = ε1b·l1·C1 + ε2b·l2·C2 (5)wobei OD_r, OD_g und OD_b die optischen Dichten der Probe repräsentieren, die in dem roten, grünen bzw. blauen Kanal gemessen werden. Weiterhin führt dies für den Fall einer komplexeren Probenpräparierung, beispielsweise für den Fall der Behandlung der Probe mit drei verschiedenen Farbstoffen, dazu, dass die Gleichungen (3), (4) und (5) wie folgt ausgedrückt werden können: ODr = ε1r·l1·C1 + ε2r·l2·C2 + ε3r·l3·C3 (6) ODg = ε1g·l1·C1 + ε2g·l2·C2 + ε3g·l3·C3 (7) ODb = ε1b·l1·C1 + ε2b·l2·C2 + ε3b·l3·C3 (8)
In einem solchen Fall können die drei Farbstoffe beispielsweise einen Marker-Farbstoff und zwei Kontrastfarbstoffe oder sogar drei separate Marker-Farbstoffe umfassen. Beispielsweise umfassen in Fortführung der Anwendung einer Melastatin^TM-Expression die drei Farbstoffe den Kontrastfarbstoff (Nuclear Fast Red), den Marker (BCIP/NBT) und das natürliche Pigment (Melanin) der histologischen Probe. Der Fachmann wird jedoch erkennen, dass diese dargelegte Eigenschaft des Lambert-Beer'schen Gesetzes erweitert werden kann, so dass selbst eine größere Anzahl von Farbstoffkombinationen gemäß dem Lösungsgedanken und dem Schutzbereich der vorliegenden Erfindung mit umfasst sein wird. Man beachte auch, dass in gewissen Fällen ein Farbstoff oder mehrere der Farbstoffe anfangs von der beschriebenen Analyse ausgeschlossen sein können und dann später zu dem Modell für die Kombination der Farbstoffe, falls erforderlich, charakterisiert und hinzugefügt werden können. Beispielsweise können gewisse Proben so charakterisiert werden, dass diese wenige bzw. lokalisierte Zellen aufweisen, die Melanin erzeugen. Folglich kann für viele Bilder dieser Probe ein Modell, das nur aus dem Kontrastfarbstoff (Nuclear Fast Red) und dem Marker (BCIP/NBT) besteht, ausreichend sein, um diese Bilder zu analysieren. Wo jedoch Zellen, die Melanin herstellen, vorliegen, kann das Zweifarbstoff-Modell ergänzt werden durch eine dritte Farbstoffkomponente, die Melanin entspricht, wobei die dritte Farbstoffkomponente so wie vorstehend beschrieben, in dem Modell berücksichtigt und in dieses integriert wird. Dass das bestimmte Modell ausreichend ist und Fälle, die die Verwendung von zusätzlichen Farbstoffkomponenten erfordern, wird nachfolgend anhand des Konzepts einer Bestimmung eines Fehlers zwischen jeweiligen Pixeln des Bildes der Probe und des anwendbaren Farbstoffmodells erörtert werden.
Ein besonders vorteilhafter Gesichtspunkt der vorliegenden Erfindung verwendet eine schnelle Farbbilderfassungseinrichtung, beispielsweise eine 3CCD-RGB-Kamera, zur multispektralen Bildgebung der Marker über drei unterschiedliche (rot, grün und blau) Kanäle, um so eine Multispektral-Bildgebung von biologischen Markern zu erleichtern. Folglich erkennt die Anwendung des Lambert-Beer'schen Gesetzes auf ein digitales Mikroskopsystem 100 gemäß der vorliegenden Erfindung, dass das Lambert-Beer'sche Gesetz auch wie folgt ausgedrückt werden kann: OD( x , y ) = log I0(x,y) – log I(x,y) (9)und zwar für ein digitales Bild 450 der Probe 500, das eine Mehrzahl von Pixeln umfasst, die beispielsweise entsprechend einem kartesischen Koordinatensystem angeordnet sind, wobei (x,y) ein bestimmtes Pixel in dem Bild 450 bezeichnet, OD_(x,y) die optische Dichte der Probe 500 bei dem Pixel bezeichnet, I₍ _x _, _y ₎ die gemessene Lichtintensität bzw. Transmission der Probe 500 bei diesem Pixel darstellt und I_0(x,y) die Lichtintensität der Lichtquelle 200 darstellt, wie diese ohne ein sich im Strahlengang befindliches, Licht absorbierendes Objekt gemessen wird, beispielsweise ohne die Probe. Der Fachmann wird außerdem erkennen, dass die in der Gleichung (9) beschriebene logarithmische Abhängigkeit innerhalb des allgemeinen Lösungsgedankens und des Schutzbereichs der vorliegenden Erfindung auch in anderen logarithmischen Basen ausgedrückt werden kann. Beispielsweise kann die Beziehung in der Basis 2, Basis 10 oder als natürlicher Logarithmus ausgedrückt werden, wobei die verschiedenen Basen bzw. Wurzeln mit jeweiligen Proportionalitätskonstanten im Zusammenhang stehen (beispielsweise ln(x) oder log_e(x) = 2,3026 log₁₀ (x)). Somit kann die geeignete Proportionalitätskonstante gewählt werden, wenn Vergleiche hinsichtlich verschiedener Lichtintensitäten angestellt werden. Außerdem bleibt bei der quantitativen Mikroskopie gemäß dem Lambert-Beer'schen Gesetz die proportionale Abhängigkeit zwischen der optischen Dichte OD der Probe und den Farbstoffkonzentrationen erhalten. Deshalb wird für eine präparierte Probe 500, die von dem System 100 untersucht wird, die geeignete Beziehung wie folgt ausgedrückt: ln I0 – ln I = ln I0/I = OD = ε·l·C (10)
Wenn beispielsweise eine 8-Bit-RGB-Kamera 300 in dem System 100 eingesetzt wird, kann die durch die Probe in jedem Kanal transmittierte Lichtintensität durch 2⁸ (= 256) Werte zwischen 0 und 255 ausgedrückt werden. Beispielsweise wird die ursprüngliche Intensität I₀ der Lichtquelle 200, die 100% Transmission entspricht, vorzugsweise in dem roten 550, grünen 600 und blauen 650 Kanal als Wert ausgedrückt werden, der sich 255 annähert, was den hellsten möglichen Wert in jedem Kanal repräsentiert. Die Kamera 300 und/oder die Lichtquelle 200 kann bzw. können entsprechend eingestellt werden, so dass in Abwesenheit der Probe ein rein „weißes" Licht einen Intensitätswert von 255 in dem roten 550, grünen 600 und blauen 650 Kanal aufweisen wird, was einer Transmission von 100% entspricht. Andererseits wird in Abwesenheit von Licht, was allgemein einer Transmission entspricht, die nahe bei 0% liegt, ein „schwarzes Bild" einen Intensitätswert in der Nähe von 0 in dem roten 550, grünen 600 und blauen 650 Kanal haben. Bei jedem Pixel wird deshalb die ursprüngliche Intensität I₀ der Lichtquelle 200, was 100% Transmission entspricht, als die Differenz zwischen dem Intensitätswert, der in Gegenwart der Lichtquelle 200 gemessen wird, abzüglich des Intensitätswerts ausgedrückt, der in Abwesenheit der Lichtquelle 200 gemessen wird, und zwar für den roten 550, grünen 600 und blauen 650 Kanal. Weil die Intensität der Lichtquelle 200 über das Bild 450 räumlich variieren kann, oder über das gemessene Blickfeld, und weil das vergrößernde Objektiv 250 oder andere optische Elemente Licht in unterschiedlicher Weise absorbieren können, kann eine Transmission von 100% durch verschiedene Intensitätsdifferenzen über das gemessene Bildfeld dargestellt werden. Weil jedoch die optische Dichte OD der Probe als der Logarithmus des Verhältnisses von Lichttransmission in Abwesenheit der Probe (ursprüngliche Intensität I₀) zur Lichtransmission in Gegenwart der Probe (I) ausgedrückt wird, ist die optische Dichte OD weithin räumlich unempfindlich gegenüber kleinen Änderungen in den Intensitätsdifferenzen über das gemessene Bildfeld. Weil die Lichtquelle 200 über die Zeit im Wesentlichen konstant bleibt, oder einfach neu bewertet werden kann, kann die Messung der Lichtintensität für irgendein Pixel in Gegenwart der Probe in die Transmission I bei dem Pixel und in dem jeden der roten 550, grünen 600 und blauen 650 Kanäle übersetzt werden. Wenn einmal Werte für die ursprüngliche Intensität I₀ und die Transmission I bestimmt worden sind, kann die optische Dichte OD berechnet werden.
Für den Fall eines Messschemas, das zwei Farbstoffe beinhaltet, beispielsweise für den Fall einer Melastatin-Expression, ist das Modell für die Kombination der beiden Farbstoffe eine 2D-Abbildung, was der orthogonalen Addition der Nachschlagetabelle bzw. LUT für einen Farbstoff zu der Nachschlagetabelle bzw. LUT für den zweiten Farbstoff entspricht, wobei jede LUT als eine eindimensionale (1D) Skala (5A und 5B) ausgedrückt wird, welche die repräsentative Linie 945 beschreibt, die sich entlang des charakteristischen Pfads 940 für diesen Farbstoff in dem RGB-Farbraum von einer Transmission von 0% bis zu einer Transmission von 100% erstreckt. Jedes Pixel an einer Stelle (x,y) auf der 2D-Karte (vgl. 5C) entspricht somit der Addition des Farbstoffs 1 (d. h. NFR) zum Farbstoff 2 (d. h. BCIP-NBT). Das bedeutet, dass jedes Pixel an einer Stelle (x,y) auf der 2D-Karte der Kombination einer RGB-Dreiergruppe von der LUT des Farbstoffs 1 in der indexierten Zeile x mit einer RGB-Dreiergruppe der LUT des Farbstoffs 2 in der indexierten Zeile y entspricht. Folglich kann die resultierende RGB-Dreiergruppe für das Pixel bei (x, y) in der 2D-Karte wie folgt ausgedrückt werden: R(x,y) = 255/exp(ODR(x,y)) (11) G(x,y) = 255/exp(ODG(x,y)) (12) B(x,y) = 255/exp(ODB(x,y)) (13)wobei R(x,y), G(x,y) bzw. B(x,y) die Transmissionen in dem roten 550, 600 bzw. blauen 650 Kanal bezeichnen. Obwohl jedoch die Transmissionen für gewöhnlich keine additiven Eigenschaften haben, haben die optischen Dichten eine additive Eigenschaft. Folglich können für ein 8-Bit-/Kanal-System die optischen Dichten in dem roten 550, grünen 600 und blauen 650 Kanal für das Pixel bei (x,y) in der 2D-Karte wie folgt ausgedrückt werden: ODR(x,y ) = ODRx + ODRy = Ln(255/Rx) + Ln(255/Ry) (14) ODR( x,y ) = ODGx + ODGy = Ln(255/Gx) + Ln(255/Gy) (15) ODB(x,y) = ODBx + ODBy = Ln(255/Bx) + Ln(255/By) (16)
Weil jedes Pixel in dem 2D-Modell durch eine RGB-Dreiergruppe definiert ist, die durch die Kombination einer geeigneten RGB-Dreiergruppe für jeden der beiden Farbstoffe festgelegt ist, können das 1D-Modell für jeden Farbstoff und auch das 2D-Modell für die Kombination der beiden Farbstoffe als solches separat in einem 3D-RGB-Farbraum dargestellt werden, wie in der 4C gezeigt.
Nachdem das Modell für die Kombination der Farbstoffe, die für das bestimmte Messschema verwendet werden, vervollständigt worden ist, kann das Modell anschließend auf unbekannte histologische Proben angewendet werden, die gemäß diesem Schema eingefärbt wurden. Folglich wird dann das System 100 dazu verwendet, um ein Bild 450 einer unbekannten histologischen Probe 500 zu erfassen, die entsprechend einem Schema eingefärbt wurde, beispielsweise der Melastatin-Expression, wofür zuvor ein geeignetes Modell entwickelt worden ist. Wie auch bei der Farbstoff-Modellierungsprozedur wird das Bild 450 der unbekannten histologischen Probe 500 pixelweise analysiert. Somit ist jedes Pixel P_i in dem Bild 450 der unbekannten histologischen Probe 500 durch eine RGB-Dreiergruppe (R_i, G_i, B_i) definiert und ein besonders vorteilhafter Gesichtspunkt der vorliegenden Erfindung erkennt, dass ein solches Pixel P_i in dem Modell mit einer Farbe P_m korreliert werden kann, die als eine RGB-Dreiergruppe (R_m, G_m, B_m) definiert ist. Die Farbe P_m entspricht der Farbstoffkombination, welche den euklidischen Abstand zwischen dem Pixel P_i und dem Modell in dem RGB-Farbraum minimiert, wie in der 6 gezeigt. P_m wird durch Minimieren der Lösung von d (P_i, P_m) über das Modell bestimmt, wobei gilt: d(Pi, Pm) = Quadratwurzel ((Ri – Rm)2 + (Gi – Gm)2 + (B1 – Bm)2) (17)
Außerdem entspricht der minimierte euklidische Abstand zwischen P_i und P_m einem Fehler zwischen dem realen Bild und dem Modell und gibt auf diese Weise die Effizienz des Modells bei der Beschreibung des realen Bildes wieder. Ein solches Konzept kann in dem RGB-Farbraum grafisch dargestellt werden und kann dazu verwendet werden, um die Probe zu bewerten, wie beispielsweise in der 7 gezeigt. Genauer gesagt, kann der mittlere Fehler der Pixel, die ein bestimmtes Objekt (das heißt die Maske eines Zellkerns) innerhalb des Bildes repräsentieren, dazu verwendet werden, um entweder das Modell für dieses bestimmte Objekt zu akzeptieren oder zurückzuweisen. Entsprechend dieser Prozedur können Objekte innerhalb des Bildes identifiziert werden, die Farbstoffe oder keine Farbstoffe beinhalten, die dazu verwendet werden, um das Modell aufzubauen. Beispielsweise kann bei dem Beispiel der Melastatin-Expression ein signifikanter mittlerer Fehler in einem Teilabschnitt des Bildes der Probe darauf hinweisen, dass die gerade in dem Bild untersuchte Struktur das natürliche Pigment (Melanin) enthält, das bei der Entwicklung des Modells der beiden anderen Farbstoffe nicht berücksichtigt wurde oder eine Verunreinigung oder ein nicht identifiziertes Artefakt. Im Gegensatz dazu kann ein kleiner oder verschwindender Fehler darauf hindeuten, dass der Teilabschnitt der gerade untersuchten Probe Gewebe enthält, das von einem Farbstoff oder sämtlichen Farbstoffen eingefärbt wurde, der bzw. die dazu verwendet werden, um das Modell für dieses Schema zu entwickeln. Außerdem kann beispielsweise ein signifikanter konstanter Fehler, den man über sämtliche der Pixel in dem Bild der unbekannten histologischen Probe auffindet, darauf hindeuten, dass das Modell für das Schema gegenüber der unbekannten histologischen Probe verschoben worden ist. In noch anderen Fällen kann ein signifikanter Fehler über sämtliche der Pixel des Bildes darauf hindeuten, dass ein ungeeigneter Farbstoff oder mehrere ungeeignete Farbstoffe verwendet worden ist bzw. sind, um die unbekannte histologische Probe einzufärben.
In Fällen, in denen die Ursache für einen signifikanten mittleren Fehler identifiziert werden kann, beispielsweise anhand einer Untersuchung des Bildes, kann das Farbstoffmodell durch Hinzufügung einer weiteren Farbstoffkomponente ergänzt werden, um so ein verbessertes Modell zur Analyse des Bildes oder eines Objekts innerhalb des Bildes bereitzustellen. Beispielsweise können gewisse Bilder Zellen enthalten, die Melanin erzeugen, was als solches von einem Fachmann auf diesem Gebiet beim Betrachten dieser Bilder identifiziert werden kann. Ein solches Bild ist beispielsweise in der 13A gezeigt, worin die Melanin-Komponente durch eine (d. h. braun gefärbte oder graue) Komponente des Bildes angedeutet ist. Folglich deutet für ein Farbstoffmodell, das nur das Kontrastmittel (Nuclear Fast Red) und den Marker (BCIP/NBT) umfasst, eine Fehlerverteilung, wie diese in der 13B gezeigt ist, auf die Melanin-Komponente (die in dem Farbstoffmodell nicht beinhaltet wäre) als rote oder ansonsten dunkle Komponente hin, wohingegen eine blaue oder andere Lichtkomponente (d. h. der weiße Hintergrund) Bereiche des Bildes bezeichnet, die in ausreichender Weise durch das Zweifarbstoffmodell beschrieben werden, so dass für diese Pixel ein geringfügiger Fehler oder kein Fehler vorliegt. Das bedeutet, dass dunkle Flecken auf Komponenten hinweisen, die durch das Zweifarbstoffmodell nicht beschrieben werden, wohingegen der weiße Hintergrund auf diejenigen Komponenten hinweist, die durch das Zweifarbstoffmodell beschrieben werden. In solchen Fällen kann eine separate Melaninquelle oder -probe so, wie nachfolgend beschrieben, charakterisiert werden und können die Ergebnisse dann zu dem existierenden Zweifarbstoffmodell hinzugefügt werden. Das heißt, dass beispielsweise die hierin beschriebene Melastatin^TM-Expression mit Hilfe eines Dreifarbstoffmodells analysiert werden kann, das eine Komponente für das Kontrastmittel (Nuclear Fast Red), eine Komponente für den Marker (BCIP/NBT) und eine Komponente für das natürliche Pigment (Melanin) enthält, wobei ein Bild der eingefärbten histologischen Probe Zellen darbietet, die Melanin erzeugen. Eine Fehlerverteilungsanalyse des in der 13A gezeigten Bildes, wenn die Melaninkomponente zu dem Zweifarbstoffmodell hinzugefügt wurde, um so ein Dreifarbstoffmodell zu bewirken, würde somit ein blaues Fehlerbild oder ein ansonsten helles Fehlerbild ergeben, was darauf hinweist, dass das Dreifarbstoffmodell nicht ausreichend ist, um sämtliche der Pixel in dem Bild zu beschreiben. Dies bedeutet, dass das Fehlerbild im Wesentlichen überall weiß wäre, was so darauf hinweist. dass das Dreifarbstoffmodell sämtliche Komponenten beschreibt. Man beachte, dass der Fachmann erkennen wird, dass das Hinzufügen der zusätzlichen Farbstoffkomponente zu dem Farbstoffmodell ohne weiteres bewerkstelligt werden kann, wie hierin beschrieben.
Wenn ein Fehler für jedes Pixel des Bildes bestimmt worden ist, kann eine weitere Analyse dieser Fehler eine andere nützliche Information bezüglich des Bildes bereitstellen. Beispielsweise können für eine vorgegebenes Objekt, beispielsweise eine Zelle, innerhalb des Bilds, die Fehler für die Pixel, die das Objekt umfassen bzw. darstellen, integriert werden, um einen Hinweis darauf bereitzustellen, ob das Objekt mit den Farbstoffen eingefärbt ist, die das Modell umfasst, um so zu bewerten, ob das Objekt für eine weitere Untersuchung geeignet ist. In gewissen Fällen kann das bewertete Bild ausgelegt sein, um für eine Verifikation des bestimmten Farbstoffmodells zu sorgen, wie dem Fachmann auf diesem Gebiet ersichtlich sein wird. Außerdem kann eine Analyse der Fehler so ausgelegt sein, dass beispielsweise für eine Detektion von Objekten innerhalb eines Bildes gesorgt wird, die von dem bestimmten Farbstoffmodell nicht beschrieben werden, was auf Abweichungen bei der Präparierung von mehreren Proben hindeutet und auf Abweichungen innerhalb einer einzelnen Probe. Somit kann die Bewertung des Fehlers zwischen dem Bild und dem Modell in vorteilhafter Weise für eine wesentliche und wertvolle Information zur Bewertung der Probe sorgen, wie hierin beschrieben.
Wenn die Pixel des Bildes der unbekannten histologischen Probe einmal erfasst und von dem System 100 bewertet worden sind, können die Pixel entsprechend der jeweils entsprechenden Farbe P_m ausgewertet werden, um die geeignete RGB-Dreiergruppe zu bestimmen, zu der jeder Farbstoff in dem 2D-Kombinationsmodell (d. h. (R_BCIP, G_BCIP, B_BCIP) und (R_NFR, G_NFR, B_NFR)) aus der LUT des jeweiligen Farbstoffs beigetragen hat, wie vorstehend beschrieben und beispielsweise in der 8 gezeigt. Als solches kann das Bild der unbekannten histologischen Probe dann als das erfasste Bild angezeigt werden und als individuelle Bilder, die jeweils die Verteilung eines jeweiligen Farbstoffs repräsentieren. Wie vorstehend beschrieben, weist jeder Farbstoff eine Konzentration auf, die durch eine Transmission im Bereich zwischen 0% Transmission bis 100% Transmission dargestellt wird, wobei der Transmissionsbereich außerdem durch Graustufenwerte von 0 bis 255 für ein 8-Bit-/Kanal-System dargestellt wird. Weil das 2D-Kombinationsmodell dazu verwendet wird, um das Bild der unbekannten histologischen Probe zu bewerten, muss die vorgeschlagene Lösung, wann immer eine Pixelfarbe P_m (RGB-Dreiergruppe) in dem Bild der unbekannten Probe nicht in dem Farbstoff-Kombinationsmodell vorhanden ist, was sich in der Berechnung eines Fehlers bemerkbar macht, der größer als Null ist, bezüglich der Theorie der optischen Dichten und des Lambert-Beer'schen Gesetzes verifiziert werden. Das heißt dann, wenn ein RGB-Wert für ein Pixel in dem Bild der unbekannten histologischen Probe nicht dem Farbstoff-Kombinationsmodell entspricht, kann dieser RGB-Wert ein gewisses Rauschen beinhalten, beispielsweise von der histologischen Probe, der Kamera, den optischen Systemen oder anderen Quellen für ein Rauschen. Außerdem oder alternativ kann der fehlerbehaftete RGB-Wert für das Pixel darauf hindeuten, dass der RGB-Wert mittels einer anderen Farbstoffkombination gegenüber dem Farbstoff-Kombinationsmodell erzeugt wurde.
Um folglich eine Robustheit zu gewährleisten und auch, dass das Verfahren geeignet für das Farbstoff-Kombinationsmodell ist, verwendet ein vorteilhafter Gesichtspunkt der vorliegenden Erfindung einen speziellen Lösungsansatz, wie in der 9 gezeigt. Zuerst wird der Farbraum des Farbstoff-Kombinationsmodells, der während der Suche nach der optimalen Farbstoffkombination untersucht wird, auf einen eingeschränkten Bereich 950 beschränkt, was das untersuchte Pixel des Bilds der unbekannten histologischen Probe anbelangt. Genauer gesagt wird der begrenzte Bereich 950, in dem die optimale Farbstoffkombination für das untersuchte Pixel bestimmt wird, mit Hilfe der indexierten Zeile 955, 960 der LUT für jeden einzelnen Farbstoff festgelegt, die RGB-Werte mit einer Transmission, die gleich oder größer ist als die Transmission des untersuchten Pixels, von RGB-Werten trennt, die gegenüber dem untersuchten Pixel eine geringere Transmission aufweisen, und zwar in jedem der roten 550, grünen 600 und blauen 650 Kanäle. Dies heißt, dass die indexierte Zeile der LUT, die den begrenzten Bereich 950 für den jeweiligen Farbstoff festlegt, keine Transmission in dem roten 550, grünen 600 und blauen 650 Kanal aufweisen kann, die niedriger ist als die Transmission in dem entsprechenden Kanal des untersuchten Pixels. Der begrenzte Bereich 950 wird somit unter der Voraussetzung festgelegt, dass die Suche nach der optimalen Farbstoffkombination nicht unter Farbstoffkonzentrationen ausgeführt werden kann, und zwar für jeglichen Farbstoff und für jeden der roten 550, grünen 600 und blauen 650 Kanäle, die jeweils für sich eine höhere optische Dichte aufweisen würden, als das untersuchte Pixel. Als solcher kann der begrenzte Bereich 950 auch als eine Fehlerkarte in dem RGB-Farbraum angesehen werden, wie in der 10 gezeigt, die für jedes Pixel den Abstand der untersuchten Pixels zu dem Farbstoff-Kombinationsmodell darstellt. Eine Lösung für die optimale Farbstoffkombination für jedes Pixel des Bilds der unbekannten histologischen Probe erleichtert deshalb beispielsweise die Visualisierung und Quantifizierung der Menge jedes Farbstoffs (Kontrastmittel, Marker oder natürliches Pigment), der über das Bild verteilt ist.
Beispielsweise kann das Bild der Probe, wie in der 11 gezeigt, als ein künstliches Bild von nur einem der Komponenten-Farbstoffe dargestellt werden (beispielsweise nur NFR oder nur BCIP-NBT). Solche künstlichen Bilder für jeden der Komponenten-Farbstoffe werden typischerweise anhand der LUT für jeden jeweiligen Farbstoff pixelweise rekonstruiert. Das heißt, dass das künstliche Bild für diese einzelne Farbstoffkomponente pixelweise aus dem tatsächlichen Transmissionswert in dem roten, grünen und blauen Kanal der geeignet indexierten Zeile der LUT für diesen Farbstoff aufgebaut wird, wobei die geeignet indexierte Zeile für das jeweilige Pixel dem Beitrag dieses Farbstoffs entspricht, wie dieser anhand der optimalen Farbstoffkombination für dieses Pixel festgelegt wird. Alternativ kann das ursprüngliche Bild (11) als künstliches Graustufenbild von nur einem dieser Komponenten-Farbstoffe dargestellt werden (d. h. nur NFR oder nur BCIP-NBT). Solche künstlichen Graustufenbilder werden auch typischerweise pixelweise anhand der LUT für jeden jeweiligen Farbstoff rekonstruiert. In gewissen Fällen wird jedoch das Graustufenbild für die einzelne Farbstoffkomponente pixelweise aus der geeignet indexierten Zeile der LUT für diesen Farbstoff aufgebaut, wobei die geeignet indexierte Zeile für das jeweilige Pixel dem Beitrag dieses Farbstoffs entspricht, wie dieser anhand der optimalen Farbstoffkombination für dieses Pixel festgelegt wird. Genauer gesagt, wie vorstehend erörtert, stellt die indexierte Zeile des RGB-Kanals mit der niedrigsten Transmission, die in Kombination mit der ursprünglichen Intensität I₀ ermöglicht, dass das bestimmte Pixel durch eine optische Dichte OD ausgedrückt werden kann, wobei das künstliche Graustufenbild in entsprechender Weise aufgebaut wird, wie dem Fachmann auf diesem Gebiet ersichtlich sein wird. Ein Fachmann wird auch erkennen, dass beispielsweise die anschließende Quantifizierung jeder Farbstoffkomponente innerhalb des Bilds oder eine andere qualitative oder quantitative Analyse eines Bildes weiter ausgeführt werden kann, wenn einmal die künstlichen Bilder unter Verwendung von verschiedenen Bildbearbeitungsprozessen oder anderen Techniken festgelegt wurden, die häufig bei einer Bildanalyse und einer solchen nachfolgenden Analyse verwendet werden, obwohl dies aus Gründen der Kürze nachfolgend nicht im Detail beschrieben ist, wenngleich dies innerhalb des Schutzbereichs der Ausführungsformen der Erfindung, wie hierin erörtert, mit berücksichtigt werden soll.
Wie vorstehend erörtert, wenngleich Ausführungsbeispiele der vorliegenden Erfindung hierin in beispielhafter Weise anhand eines Videomikroskopie-Systems beschrieben werden, wird der Fachmann verstehen und es zu würdigen wissen, dass die hierin beschriebenen Konzepte einen breiten Anwendungsbereich auch auf Nicht-Mikroskopie-Systeme haben können.
Beispielsweise können die hierin beschriebenen Konzepte angewendet werden, wenn eine oder mehrere Farbkomponenten gesondert charakterisiert werden können, so dass eine verwertbare Information bezüglich einer unbekannten Probe, die Farbkomponenten enthält, aus der Verteilung solcher Farbkomponenten abgeleitet werden kann. Solche Fälle können dann relevant sein, wenn beispielsweise eine bekannte Flüssigkeit oder mehrere bekannte Flüssigkeiten charakterisiert werden können, wie hierin beschrieben, und diese Charakterisierungen dann auf die Bestimmung der Eigenschaften einer unbekannten Flüssigkeitslösung angewendet werden, die einzelne bekannte Flüssigkeiten enthält, beispielsweise Flüssigkeiten enthält, wie beispielsweise Farbstoffe oder Kontrastmittel. Allgemeiner gesprochen können die hierin beschriebenen Konzepte dann angewendet werden, wenn eine Charakterisierung eines digitalen Bilds mit einzelnen Komponenten verwendet werden kann, um ein Bild einer unbekannten Probe zu analysieren, die nicht notwendiger Weise die einzelnen bekannten Komponenten zu enthalten braucht, wobei mehr Information anhand eines Vergleichs der unbekannten Probe mit dem gewählten Modell erhalten werden kann, wie dem Fachmann ersichtlich sein wird.
Weitere vorteilhafte Gesichtspunkte der vorliegenden Erfindung werden als Folge der Farbstoff-Identifikationstechniken realisiert, die eine Farbvideo-Bildgebung verwenden, wie hierin vorstehend beschrieben. Beispielsweise kann ein künstliches Bild des Blickfelds in einem RGB-Farbraum oder in Graustufen im Wesentlichen in Echtzeit oder anhand eines Bewegtbildes erzeugt werden, oder auch anhand eines einzelnen Standbilds, und zwar für Kombinationen der Farbstoffe, die einen Marker und/oder ein Kontrastmittel umfassen, der bzw. das für das Färbungsschema für die Probe verwendet wird. Genauer gesagt kann ein künstliches Bild des Blickfelds erzeugt werden, das die von sämtlichen der Farbstoffe beeinflusste Probe darstellt, also beeinflusst von einem oder mehreren Marker-Farbstoffen, oder die von dem Kontrastmittel beeinflusste Probe. Weil die Farbstoffe, die zur Präparierung der Probe verwendet werden, durch das System charakterisiert sind, können folglich die Eigenschaften des Systems so erweitert werden, dass beispielsweise die Probe oder das Blickfeld automatisch gescannt werden kann, um einen speziellen interessierenden Bereich zu detektieren, wie dieser durch die Eigenschaften eines speziellen Farbstoffs (oder die Abwesenheit dieser Eigenschaften) identifiziert wird, oder um eine auszuführende Aufgabe zu beeinflussen oder zu erleichtern, die bezüglich des interessierenden speziellen Bereichs ausgeführt werden soll.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung kann das System ausgelegt sein um in der Lage zu sein, einen Farbstoff oder mehrere spezielle Farbstoffe zu detektieren, die zuvor durch das System charakterisiert worden sind. In gewissen Fällen kann ein solcher Farbstoff beispielsweise die Farbe eines speziellen Schreibstifts oder einen vergleichbaren Farb-Marker umfassen, die für das System charakterisiert worden ist, mit spezifischen Farbmerkmalen, wobei diese spezifischen Farbmerkmale von dem System in Form einer entsprechenden LUT für diesen Farbstoff gespeichert werden. Daraus folgt, dass das System ausgelegt sein kann, um Teilabschnitte des Blickfelds zu erkennen und auf diese zu reagieren, worin dieser Farbstoff identifiziert worden ist, und dass in gewissen Fällen der eine spezielle Marker oder die mehreren speziellen Marker einen konkreten Teilabschnitt eines solches Systems umfassen können, wie hierin beschrieben. Beispielsweise kann ein solcher Schreibstift verwendet werden, wenn eine Bedienperson, beispielsweise ein Pathologe oder ein Zytologe, spezielle interessierende Bereiche auf einem Glas oder einem Kunststoffplättchen mit einer Probe identifiziert. Ein spezieller interessierender Bereich kann beispielsweise einen potentiellen diagnostischen Bereich oder einen Referenzbereich umfassen. Die Bedienperson, die den Schreibstift verwendet, kann den Bereich mit Hilfe dieses Schreibstifts mit einer Farblinie umranden. Nach der Bearbeitung einer Mehrzahl von Plättchen kann die Bedienperson diese Plättchen beispielsweise in ein automatisches Scannersystem zur quantitativen Bewertung einführen. Wenn das System ausgelegt ist, um die Farbe des Schreibstifts zu detektieren, kann das System dann den interessierenden Bereich identifizieren, der dem Bereich innerhalb der farbigen Linie entspricht, der von der Bedienperson mit dem Schreibstift eingekreist wurde. Das System kann dann diesen Bereich des Plättchens in geeigneter Weise bearbeiten, wobei beispielsweise eine Farbe eines farbigen Schreibstifts anzeigen kann, dass eine spezielle diagnostische Bewertung ausgeführt werden muss, während eine andere Farbe des Schreibstifts darauf hindeuten kann, dass der Bereich ein Kalibrierungs- bzw. Referenzmaterial enthält, wodurch das System aufgefordert werden würde, eine entsprechende Kalibrierungsprozedur auszuführen. Man beachte, dass abgesehen von den Plättchen die beschriebene Technik auch ohne weiteres angewendet werden kann, um andere Fixierungstechniken für mikroskopisches Material zu untersuchen, beispielsweise Mikrotiter-Plättchen oder Mikroarrays. Somit wird der Fachmann erkennen, dass die Möglichkeiten solcher Ausführungsbeispiele des Systems, das ausgelegt ist, um bestimmte Farbstoffe oder Farben zu erkennen, viele verschiedene automatische Scannprozesse übertragen werden können, wo eine interaktive Markierung von interessierenden Bereichen mit speziellen Stiften, welche Stifte verschiedene Schreibfarben enthalten, die zuvor von dem System ausgewertet worden sind, dazu verwendet werden können, um eine anschließende Auswertung oder andere Bearbeitung dieses interessierenden Bereichs mit einer geeigneten Komponente des Systems oder einer anderen festgelegten Einrichtung zu bezeichnen und auszulösen.
Außerdem können die künstlichen Bilder des Blickfelds auch die Präsentation der Daten in einer Form erleichtern, die eine Identifizierung und Auswahl von viel versprechenden Objekten oder interessierenden Bereichen ermöglicht, beispielsweise von Standbildern, und zwar in Form eines Reports, der für diagnostische oder andere Berichtszwecke aufbereitet ist. Außerdem kann das künstliche Bild des Blickfelds auch dazu verwendet werden, um die Identifizierung und Extrahierung von ausgewählten Merkmalen der behandelten Probe zu erleichtern. Beispielsweise können Prozesse an markierten Stellen, eine Kontext abhängige Analyse und/oder Geostatistiken dazu verwendet werden, um Merkmale aus dem Bild zu identifizieren und zu extrahieren, basierend beispielsweise auf einer Analyse einer räumlichen Verteilung eines bestimmten Farbstoffs. Eine solche Möglichkeit einer Merkmalsextraktion würde beispielsweise auch ermöglichen, dass Blickfelder oder Objekte, die interessant sind, geordnet bzw. sortiert, markiert oder in anderer Weise identifiziert oder umgeordnet werden können, und zwar beispielsweise basierend auf dem Gesamtinhalt eines vorgegebenen Marker-Farbstoffs oder eines vorgegebenen Verhältnisses des bestimmten Markers. Wenn beispielsweise ein Schwellenwert-Kriterium eingerichtet werden kann, würde eine solche Fähigkeit die Detektion von seltenen, sich verschlimmernden oder anderen ernsthaften Ereignissen ermöglichen. Außerdem können dann basierend insbesondere auf der Bildverarbeitung von bestimmten Bildern, die aus einer Kontrastmittelfärbung und/oder einer Markereinfärbung resultieren, Klassifizierungsmerkmale eingerichtet und dazu verwendet werden, um das Vorhandensein von gewissen Zelltypen zu bewerten bzw. festzustellen oder um auf der Grundlage des Blickfelds eine Diagnose auszuführen. Solche Klassifizierungsmerkmale können für gewöhnlich andere informative Merkmale umfassen, beispielsweise ein Detail, das auf der Morphologie oder der Textur der Zellen beruht.
Noch ein weiterer vorteilhafter Gesichtspunkt der vorliegenden Erfindung wird realisiert, wenn das System in der Lage ist, die Bilddaten schneller zu verarbeiten als die Bilder erfasst werden. Die höhere Geschwindigkeit, mit der die Bilddaten verarbeitet werden, kann beispielsweise ermöglichen, dass Merkmale, die durch einen bestimmten Marker-Farbstoff angezeigt werden, bearbeitet und klassifiziert werden können. Folglich können auf der Grundlage von vorbestimmten Kriterien gewisse Bedingungen identifiziert werden. Als solche können visuelle und/oder akustische Alarmsignale eingerichtet werden und/oder im Zusammenhang mit der Be- bzw. Verarbeitung der Bilddaten abgebildet werden. Somit kann unter gewissen Bedingungen die Aufmerksamkeit einer Bedienperson auf ein bestimmtes Blickfeld oder ein bestimmtes interessantes Objekt gerichtet werden, wenn die Eigenschaft eines Markers einen vorbestimmten Wert annimmt, beispielsweise die Intensität oder das Vorhandensein in einem bestimmten Bild.
Die 12 ist eine schematische Darstellung einer praktischen Realisierungsform einer erweiterten Systemkonfiguration gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei einer solchen Realisierungsform ist das System 100 oder die Arbeitsstation zentral um ein Mikroskop 150 herum angeordnet. Das Mikroskop 150 kann eine oder mehrere Roboterkomponenten enthalten, einschließlich beispielsweise einer motorisierten Verstellstufe, eines automatischen Fokussiermechanismus, eines Motor getriebenen Objektiv-Wechselmechanismus und einer automatischen Lichtintensitäts-Einstellung. Das System 100 kann auch mehrere Eingabegeräte umfassen, beispielsweise Kameras 300a und 300b mit einer schnellen Autofokusfunktion, die ausgelegt sind, um Bilder mit niedriger und hoher Auflösung zu erfassen, einen linearen Flachbettscanner 310, der dazu verwendet wird, um Bilder mit niedriger Auflösung zu erfassen, eine Einspielstation 320 und eine Sprachaufzeichnungseinrichtung 330, die sämtliche mit einer Computereinrichtung 350 über verschiedene Datenübertragungsverbindungen 400 verbunden sind. Die Workstation bzw. Arbeitsstation 100 kann Teil eines lokalen Netzwerks (LAN) 700 sein, kann jedoch auch ausgelegt sein, um verschiedene Datenübertragungsprotokolle zu unterstützen, so dass verfügbare Datenübertragungskanäle, beispielsweise eine normale Telefonverbindung, eine ISDN-Verbindung oder eine T1-Verbindung, die Workstation 100 ohne weiteres mit anderen Komponenten oder Geräten über große Entfernungen mittels eines Weitverkehrsnetzes (WAN) 750 verbinden können, wie der Fachmann ohne weiteres erkennen wird.
Wenn die Pathologie-Workstation 100 ausgelegt, um in einer integrierten Umgebung betrieben zu werden, kann die Verbindung über das WAN 700 oder LAN 750 beispielsweise einen Zugriff auf bestehende Referenz-Datenbanken 800 und ein Krankenhaus-Informationssystem (HIS) 850 erlauben. Mit einer solchen Auslegung können neue Proben und/oder Fälle ohne weiteres mit den Bildern und der beleitenden Information von zuvor abgespeicherten Referenzfällen verglichen werden. Außerdem können Bilder, die von den Proben und/oder Schnitten erfasst werden, die gerade mit der Workstation 100 untersucht werden, mit dem Patienten erörtert und mit der Fallhistorie abgeglichen werden, wenn dies erforderlich ist.
Bei dem Ausführungsbeispiel gemäß der erweiterten Konfiguration, wie in der 12 gezeigt, ist die Pathologie-Workstation 100 insbesondere für eine umfassende Probenbewertung ausgelegt. Mit der Information und den digitalen Bildern der ursprünglichen unpräparierten biologischen Probe können beispielsweise Bilder der Schnitte, die aus der Probe präpariert werden, präpariert und bearbeitet werden, wie hierin beschrieben. Die Patienten- und Fallinformationen, die Bilder und die resultierende quantitative Information bezüglich der Zellkomponenten der Probe und des Probenaufbaus (beispielsweise für den Fall von Gewebeproben) können ebenfalls gesammelt werden, falls dies erforderlich ist, integriert werden und in einer einzelnen Datenbank gespeichert werden. Wenn beispielsweise eine erste und eine zweite Expertenmeinung benötigt wird oder wenn der Schnitt für Trainingszwecke oder zur Überprüfung des Leistungsstands verwendet wird, können die Datenübertragungsmöglichkeiten der erweiterten Konfiguration gemeinsam mit den Automatisierungsmerkmalen des Mikroskops 150 ermöglichen, dass die Workstation 100 als Telesystem für die Pathologie verwendet wird. Beispielsweise können hoch auflösende Bilder, die auf Merkmale oder interessierende Objekte gerichtet sind und auf einem speziellen Schnitt eine zweifelhafte Situation kennzeichnen, in elektronischer Form zu einem Experten und/oder dem geprüften Kandidaten weitergeleitet werden. In gewissen Fällen kann ein Übersichtsbild des Schnitts bereitgestellt werden, wobei das automatische Mikroskop 150 dazu verwendet wird, um den Schnitt beispielsweise Teilbild für Teilbild automatisch zu scannen. Die entsprechenden digitalen Bilder können dann in dem Speicher der Computereinrichtung 350 gespeichert werden. Wenn als Grundlage ein Teilbild verwendet wird, können die Ränder von benachbarten bzw. aufeinander folgenden Teilbildern (Field) exakt unter Verwendung von Korrelationsalgorithmen abgestimmt werden, um so ein einzelnes großen Übersichtsbild des gesamten Schnittes zu ergeben. Ein solches Überblicksbild kann den darauf zurückgreifenden Pathologen dabei unterstützen, eine Bewertung der Information anzustellen. In gewissen Fällen kann der darauf zurückgreifende Pathologe die Workstation 100 von einem entfernten Ort aus steuern, um benötigte und/oder zusätzliche Bilder zu erfassen, die erforderlich sein können, um eine zutreffende und sorgfältige Bewertung des Schnitts anzustellen.
Anschließend kann die so erfasste Information von der Workstation 100 für einen Untersuchungsfall, beispielsweise reale oder mathematisch erzeugte Bilder, Messergebnisse und deren grafische Darstellungen, Patientendaten, Präparierungsdaten und Screening-Karten, selektiv zu einem Bericht zusammengeführt werden, der dann entweder ausgedruckt werden kann oder auf den dann elektronisch zugegriffen werden kann. Ein solcher Bericht würde ein umfassendes Bild des Falles, der gerade bewertet wird, bereitstellen und würde eine Qualitätssicherung und Standardisierung der Prozesse erleichtern.
Man wird erkennen, dass die hierin im Zusammenhang mit dem System 100 beschriebene(n) Vorgehensweise(n) und Prozeduren ein Verfahren zur Quantifizierung der Menge einer molekularen Spezies anhand eines Bildes einer Probe betreffen, das mit Hilfe einer RGB-Kamera in einem Videomikroskopie-System erfasst wurde. Ein Fachmann auf diesem Gebiet wird jedoch auch erkennen, dass ein solches Verfahren auch automatisiert werden kann, was dann ein Computersoftware-Programmprodukt ergibt, das auf einer Computereinrichtung ausgeführt werden kann, mit ausführbaren Abschnitten, welche die Menge einer molekularen Spezies anhand eines digitalen Bildes einer Probe quantifizieren bzw. bestimmen können, das von einer Farbbild-Erfassungseinrichtung erfasst wurde, beispielsweise einer RGB-Kamera, und zwar in einem Videomikroskopie-System. Folglich beschreiben Ausführungsbeispiele des Systems 100 die Realisierung des Verfahrens und/oder des entsprechenden Computersoftware-Programmprodukts, was in einer geeignet ausgelegten Hardware, Software oder einer Kombination von Hardware und Software gemäß dem Schutzbereich der vorliegenden Erfindung bewerkstelligt werden kann.
Die Ausführungsbeispiele gemäß der vorliegenden Erfindung beinhalten eine Technik zur farbmetrischen Analyse von präparierten Proben, die für eine leistungsfähige Detektion und Quantifizierung von interessierenden Spezies sorgt, womit limitierende Faktoren von herkömmlichen Techniken überwunden werden können, beispielsweise eine spektrale Überlappung, ein Vermischen von Farben aufgrund der räumlichen Überlappung von Membran-Markern und Zellkern-Markern, aufgrund der begrenzten spektralen Auflösung der Erfassungseinrichtung, Besonderheiten der Kalibrierung, der Subjektivität des Detektions- und Quantifizierungsprozesses und Unterschieden zwischen menschlichen Bedienpersonen des Analysegeräts. Ausführungsbeispiele gemäß der vorliegenden Erfindung stellen außerdem eine Bildbearbeitungstechnik zur Verfügung, die nicht auf der subjektiven Detektion eines Kontrasts innerhalb der präparierten Probe oder auf einer komplizierten und umfangreichen Analyse der Probe bei speziellen Lichtwellenlängen beruht, unter Verwendung einer Kombination von Lichtquellen und Filtern. Deshalb sorgen Ausführungsbeispiele gemäß der vorliegenden Erfindung für eine einfachere und leistungsfähigere farbmetrische Analysetechnik, die Beschränkungen hinsichtlich Detektion und Quantifizierung von herkömmlichen Analysetechniken überwindet, die Subjektivität und Abweichungen bei der Analyse einer Probe reduziert und in der Lage ist, die notwendige Analyseinformation bezüglich der Probe bereitzustellen, wenn einmal ein Bild der Probe erfasst worden ist, ohne dass diese auf einer weiteren Untersuchung der Probe zurückgreift, um die Analyse zu vervollständigen.
Genauer gesagt und wie auch demonstriert, kann die Analyse (Dektektion und Quantifizierung von interessierenden molekularen Spezies) der präparierten Probe mit Hilfe der Messung von Lichtintensitäten bewerkstelligt werden, die in einem digitalen Bild der Probe auftreten, das mit Hilfe einer Farbbild-Erfassungseinrichtung erfasst wird. Weil die Analyse vergleichsweise stark bildabhängig ist und weniger probenabhängig ist, können zur Analyse nicht gebrauchte Bilder erfasst werden, während viele Proben verarbeitet werden können, um so die erforderlichen Bilder innerhalb eines vergleichsweise kurzen Zeitintervalls zu erfassen. Wenn die Bilddaten einmal erfasst und gespeichert worden sind, kann die tatsächliche Analyse zu einem späteren Zeitpunkt erfolgen oder so, wie dies erforderlich ist, ohne dass die tatsächlich Probe physisch noch vorhanden sein muss. Eine solche Analyse kann außerdem auf die Untersuchung der gesamten Probe oder sogar des gesamten Schnitts angewendet werden. Somit sorgen Ausführungsbeispiele gemäß der vorliegenden Erfindung für ein rasch arbeitendes quantitatives Videomikroskop-System, das die Verwendung eines solchen Systems als Standardwerkzeug oder „Produktions" Werkzeug ermöglicht, das in der Lage ist, einen vergleichsweise hohen Durchsatz zur Analyse zu bewerkstelligen. Tatsächlich werden erhebliche Vorteile durch Ausführungsformen der vorliegenden Erfindung realisiert, wenn man dies mit herkömmlichen quantitativen Mikroskopiesystemen vergleicht, die typischerweise hinsichtlich Probendurchsatz und Analyse Beschränkungen unterlagen, was solche Systeme als Werkzeuge der Forschung bzw. Untersuchung nützlicher macht.
Viele Modifikationen und weitere Ausführungsformen der Erfindung werden dem Fachmann auf diesem Gebiet, auf das sich diese Erfindung bezieht, ersichtlich werden, der Zugang zu der in der vorstehenden Beschreibung und den beigefügten Zeichnungen offenbarten technischen Lehre hat. Deshalb sei darauf hingewiesen, dass die Erfindung nicht auf die speziell hierin offenbarten Ausführungsbeispiele beschränkt ist und dass Modifikationen und weitere Ausführungsformen mit in dem Schutzbereich der beigefügten Patentansprüche liegen sollen. Wenngleich spezielle Ausdrücke hierin verwendet worden sind, werden diese nur in einem allgemeinen und beschreibenden Sinne verwendet und nur zum Zwecke einer Erläuterung.

Claims

Verfahren zum Modellieren eines Farbstoffs, welches Verfahren umfasst: eine Transmission der mit dem Farbstoff behandelten Probe wird anhand eines Farbbildes der behandelten Probe bestimmt, wobei das Bild eine Mehrzahl von Pixeln bzw. Bildpunkten umfasst, und zwar jeweils in einem roten, grünen und blauen Kanal eines RGB-Farbraums und für jedes Pixel des Bildes, um so eine RGB-Dreiergruppe für jedes Pixel zu bilden; dadurch gekennzeichnet, dass die RGB-Dreiergruppen in Entsprechung zu der minimalen Transmission in den roten, grünen und blauen Kanälen für die jeweilige RGB-Dreiergruppe gruppiert bzw. geordnet werden; jede Gruppe der RGB-Dreiergruppen durch Summieren der Transmissionen in jedem der jeweiligen roten, grünen und blauen Kanäle und durch anschließendes Dividieren von jeder der aufsummierten Transmissionen durch die Anzahl von RGB-Dreiergruppen in der jeweiligen Gruppe normalisiert wird, um so jeweilige normalisierte RGB-Dreiergruppen zu bilden; und die normalisierten RGB-Dreiergruppen entsprechend der minimalen Transmission von jeder normalisierten RGB-Dreiergruppe tabellarisch geordnet werden, um so eine Korrespondenztabelle für den Farbstoff zu bilden, wobei sich die Korrespondenztabelle in Inkrementen der Transmission zwischen 0% Transmission und 100% Transmission erstreckt.
Verfahren nach Anspruch 1, weiterhin umfassend das Erfassen eines Bildes der behandelten Probe in einem Video-Mikroskopiersystem mit einer Farbbild-Erfassungseinrichtung, um so das Farbbild der behandelten Probe zu bilden, wobei die Farbbild-Erfassungseinrichtung eine RGB-Kamera und/oder einen RGB-konfigurierten Scanner umfasst.
Verfahren nach Anspruch 2, wobei das Erfassen eines Bildes der behandelten Probe das Beleuchten der Probe unter Koehler-Beleuchtungsbedingungen, das Erfassen eines Bildes der Probe in einem bezüglich chromatischer Aberrationen korrigierten Video-Mikrokopiersystem und/oder das Beleuchten der Probe mit Hilfe einer Lichtquelle sowie das Bestimmen einer transmittierten Intensität des transmittierten Lichtes in jedem der roten, grünen und blauen Kanäle umfasst.
Verfahren nach Anspruch 1, 2 oder 3, weiterhin umfassend, und zwar dann, wenn ein Transmissionsinkrement in der Korrespondenztabelle ohne normalisierte RGB-Dreiergruppe vorliegt: das Bestimmen eines Referenz-Transmissionsinkrements, das eine normalisierte RGB-Dreiergruppe sowohl bei einem größeren Transmissionsinkrement als auch bei einem kleineren Transmissionsinkrement in der Korrespondenztabelle aufweist, und zwar in Bezug zu dem Transmissionsinkrement ohne die normalisierte RGB-Dreiergruppe; und das Interpolieren zwischen den jeweiligen Transmissionswerten in jedem der roten, grünen und blauen Kanäle der Referenz-Transmissionsinkremente, um so eine genäherte Transmission in jedem der roten, grünen und blauen Kanäle zu bilden, wobei die genäherte Transmission in jedem der roten, grünen und blauen Kanäle einer genäherten, normalisierten RGB-Dreiergruppe für das Transmissionsinkrement ohne die normalisierte RGB-Dreiergruppe entspricht.
Das Verfahren nach einem der vorhergehenden Ansprüche, weiterhin umfassend das Vorgeben eines Signifikanz-Schwellenwerts für die Anzahl RGB-Dreiergruppen in einer Gruppe und für eine beliebige Gruppe, die nicht den Signifikanz-Schwellenwert erfüllt bzw. erreicht, das Verwerfen der darin befindlichen RGB-Dreiergruppen als nicht signifikant bzw. unbedeutend.
Verfahren nach einem der vorhergehenden Ansprüche, weiterhin umfassend die grafische Darstellung der RGB-Dreiergruppen für die Pixel des Bildes in einem RGB-Farbraum, um so eine dreidimensionale RGB-Darstellung des jeweiligen Farbstoffs zu erhalten, bevor jede Gruppe der RGB-Dreiergruppen normalisiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, weiterhin umfassend die grafische Darstellung der normalisierten RGB-Dreiergruppen in einem RGB-Farbraum, um so einen kennzeichnenden RGB-Verlauf des jeweiligen Farbstoffs durch den RGB-Farbraum zu erhalten.
Verfahren nach einem der vorhergehenden Ansprüche, weiterhin umfassend die grafische Darstellung der normalisierten RGB-Dreiergruppen auf einer eindimensionalen Skala, um so die Korrespondenztabelle grafisch darzustellen.
Verfahren zum Modellieren einer Kombination aus einer Mehrzahl von Farbstoffen, welches Verfahren umfasst: das Erzeugen einer Korrespondenztabelle für jeden der Mehrzahl von Farbstoffen gemäß dem Verfahren nach einem der Ansprüche 1 bis 8; und das orthogonale Addieren der Korrespondenztabellen der Mehrzahl von Farbstoffen, um so eine Farbstoffraum-Darstellung der Mehrzahl von Farbstoffen zu erzeugen, wobei die Farbstoffraum-Darstellung eine Dimension für jeden Farbstoff aufweist und für ein Referenzmodell für eine Kombination aus der Mehrzahl von Farbstoffen sorgt.
Verfahren nach Anspruch 9, wobei das orthogonale Addieren der Korrespondenztabellen der Mehrzahl von Farbstoffen außerdem das orthogonale Addieren der Korrespondenztabellen der Mehrzahl von Farbstoffen nach dem Lambert-Beer'schen Gesetz umfasst.
Verfahren nach Anspruch 9 oder 10, weiterhin umfassend die grafische Darstellung der Farbstoffraum-Darstellung der Mehrzahl von Farbstoffen auf einer Skala, die eine Anzahl von Dimensionen in Entsprechung zu der Anzahl von Farbstoffen aufweist.
Verfahren nach Anspruch 9, 10 oder 11, wobei das orthogonale Addieren der Korrespondenztabellen der Mehrzahl von Farbstoffen außerdem das orthogonale Addieren der Korrespondenztabellen der Mehrzahl von Farbstoffen umfasst, um so eine Ergebnis-Korrespondenztabelle für die kombinierte Mehrzahl von Farbstoffen zu erzeugen, wobei die Ergebnis-Korrespondenztabelle eine Mehrzahl von Ergebnis-RGB-Dreiergruppen umfasst, die sich zwischen 0% Transmission und 100% Transmission erstrecken.
Verfahren zum Bestimmen der Menge von zumindest einer molekularen Spezies, die eine Probe umfasst, wobei jede molekulare Spezies durch einen Farbstoff angezeigt wird, und zwar anhand eines Bildes der Probe, das mit Hilfe einer Bilderfassungseinrichtung erfasst wird, wobei das Bild eine Mehrzahl von Pixeln bzw. Bildpunkten umfasst, welches Verfahren umfasst: Das Erzeugen einer Farbstoffraum-Darstellung einer Mehrzahl von Farbstoffen gemäß einem Verfahren nach einem der Ansprüche 9 bis 12, wobei jeder Farbstoff eine entsprechende Korrespondenztabelle mit einer Mehrzahl von normalisierten RGB-Dreiergruppen aufweist, wobei die Farbstoffraum-Darstellung eine Dimension für jeden Farbstoff aufweist und für ein Referenzmodell für eine Kombination aus der Mehrzahl von Farbstoffen sorgt; ein Vergleichen von jedem Pixel des Bildes der Probe, welche Probe mit de Kombination aus der Mehrzahl von Farbstoffen behandelt wurde, mit dem Referenzmodell für die Kombination aus der Mehrzahl von Farbstoffen, wobei jedes Pixel eine Farbe aufweist, die durch eine RGB-Dreiergruppe festgelegt ist, um so eine optimale Kombination von normalisierten RGB-Dreiergruppen aus den jeweiligen Korrespondenztabellen der Farbstoffe zu bestimmen, welche die Farbe des jeweiligen Pixels erzeugt, wobei die normalisierten RGB-Dreiergruppen der optimalen Kombination entsprechend dem jeweiligen Farbstoff identifiziert werden können; und das Erzeugen eines künstlichen Bildes der Probe, wobei das künstliche Bild dem Probenbild entspricht, und zwar aus den normalisierten RGB-Dreiergruppen für jeden Farbstoff, der aus der optimalen Kombination bestimmt wurde, wobei das künstliche Bild auf diese Weise eine Verteilung des jeweiligen Farbstoffs über das Probenbild anzeigt und die Bestimmung der Menge der entsprechenden molekularen Spezies erleichtert.
Verfahren nach Anspruch 13, weiterhin umfassend das Bestimmen eines Fehlers zwischen jedem Pixel des Bildes der Probe und dem Referenzmodell für die Kombination aus der Mehrzahl von Farbstoffen, wobei der Fehler dem minimalen Euklid-Abstand zwischen dem jeweiligen Pixel und dem Referenzmodell entspricht.
Verfahren nach Anspruch 14, weiterhin umfassend die grafische Darstellung der Fehler für die jeweiligen Pixel über das Bild, um so jegliche Abweichungen von dem Referenzmodell zu identifizieren.
Verfahren nach Anspruch 14 oder 15, weiterhin umfassend das Identifizieren eines Objektes innerhalb eines Bildes, welches durch entsprechende Pixel festgelegt ist, sowie das Integrieren der Fehler für die Pixel, welche das Objekt umfassen, um so für einen Hinweis zu sorgen, ob das Objekt mit der Kombination aus der Mehrzahl von Farbstoffen behandelt wurde.
Verfahren nach einem der Ansprüche 13 bis 16, wobei der Vergleich von jedem der Pixel des Bildes mit dem Referenzmodell weiterhin das Verwerfen einer beliebigen normalisierten RGB-Dreiergruppe innerhalb der Korrespondenztabelle für den jeweiligen Farbstoff mit einer Transmission in einem beliebigen der roten, grünen und blauen Kanälen umfasst, die niedriger ist als die Transmission in dem entsprechenden Kanal der empirischen RGB-Dreiergruppe für das Pixel.
Computerprogramm, mit Programmcodemitteln zum Ausführen sämtlicher der Schritte nach einem der Ansprüche 1 bis 17, wenn das Programm auf einem Computer abläuft.
System zum Modellieren eines Farbstoffs, der auf eine molekulare Spezies in einer Probe hinweist, anhand eines Bildes der mit dem Farbstoff behandelten Probe, wobei das System umfasst. eine Computereinrichtung mit einem in diese geladenen Computerprogramm nach Anspruch 18 und mit zumindest einem Verarbeitungsabschnitt, der ausgelegt ist, um das Computerprogramm zu verarbeiten.
System nach Anspruch 19, weiterhin umfassend eine Farbbild-Erfassungseinrichtung, die mit der Computereinrichtung betrieblich zusammenwirkt und ausgelegt ist, um in der Lage zu sein, ein vergrößertes digitales Bild der Probe zu erfassen, wobei die Bilderfassungseinrichtung einen RGB-konfigurierten Scanner und/oder ein Mikroskop umfasst, das betrieblich mit einer RGB-Kamera zusammenwirkt.
System nach Anspruch 20, wobei die Bilderfassungseinrichtung und die Computereinrichtung außerdem ausgelegt sind, um miteinander zusammenzuwirken, um ein bezüglich chromatischer Aberrationen korrigiertes Video-Mikrokopiersystem zu bilden.
System nach Anspruch 20 oder 21, weiterhin umfassend eine Lichtquelle, die ausgelegt ist, um die Probe unter Koehler-Beleuchtungsbedingungen zu beleuchten.
Computerlesbares Speichermedium, welches das Computerprogramm nach Anspruch 18 umfasst.