DE112022002756T5 - Informationsverarbeitungsvorrichtung, system zur beobachtung biologischer proben und bilderzeugungsverfahren - Google Patents

Abstract

Eine Informationsverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung umfasst eine Einheit zur Erzeugung simulierter Bilder (131a), die ein simuliertes Bild durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente aufweist, und eines Farbstoffkachelbildes erzeugt, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind; eine Fluoreszenztrennungseinheit (131b), die eine Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des simulierten Bildes trennt und ein getrenntes Bild erzeugt; und eine Bewertungseinheit (131c), die einen Trennungsgrad des getrennten Bildes bewertet.

Description

• Gebiet
• Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein System zur Beobachtung biologischer Proben und ein Bilderzeugungsverfahren.
• Hintergrund
• In der Biofluoreszenzbildgebung ist eine Farbtrennungstechnologie zum Trennen von gefärbter Fluoreszenz und unbeabsichtigter Autofluoreszenz, die von biologischem Gewebe stammt, erforderlich. Zum Beispiel wurde in einer Multiplex-Fluoreszenzbildgebungstechnologie eine Farbtrennungstechnologie unter Verwendung eines Verfahrens wie der Methode der kleinsten Quadrate oder der nichtnegativen Matrixfaktorisierung entwickelt, um die Autofluoreszenz spektral zu trennen und die gefärbte Zielfluoreszenz zu extrahieren (siehe zum Beispiel Patentliteratur 1).
• Literaturverzeichnis
• Patentliteratur
• Patentliteratur 1: JP 2020-020791 A
• Kurzdarstellung
• Technisches Problem
• Da jedoch die Bewertung der Farbtrennungsgenauigkeit nur eine visuelle qualitative Bewertung ist, ist eine Bewertung zwischen Algorithmen schwierig und es ist nicht möglich, eine quantitative Bewertung durchzuführen. Der Grund dafür, dass diese quantitative Bewertung nicht durchgeführt werden kann, liegt darin, dass eine korrekte Bewertung nicht unter Färbungsbedingungen durchgeführt werden kann, bei denen ein Farbstoffluminanzpegel in Bezug auf Überlappung von Farbstoffen oder Autofluoreszenz nicht groß ist, und ein Vergleich zwischen verschiedenen Proben schwierig ist, da ein Autofluoreszenzspektrum in Abhängigkeit von der Stelle des lebenden Gewebes variiert. Demnach ist ein Bewertungssystem zum quantitativen Bewerten der Farbtrennungsgenauigkeit, das heißt, einem angemessenen Bewerten des Fluoreszenztrennungsgrades, erforderlich.
• Demgemäß schlägt die vorliegende Offenbarung eine Informationsverarbeitungsvorrichtung, ein System zur Beobachtung biologischer Proben und ein Bilderzeugungsverfahren vor, die zum angemessenen Bewerten des Fluoreszenztrennungsgrades imstande sind.
• Lösung des Problems
• Eine Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung weist Folgendes auf: eine Einheit zur Erzeugung simulierter Bilder, die ein simuliertes Bild durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente aufweist, und eines Farbstoffkachelbildes erzeugt, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind; eine Fluoreszenztrennungseinheit, die eine Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des simulierten Bildes trennt und ein getrenntes Bild erzeugt; und eine Bewertungseinheit, die einen Trennungsgrad des getrennten Bildes bewertet.
• Ein System zur Beobachtung biologischer Proben gemäß der Ausführungsform der vorliegenden Offenbarung weist Folgendes auf: eine Bildgebungsvorrichtung, die ein nicht gefärbtes Bild erfasst, das eine Autofluoreszenzkomponente aufweist; und eine Informationsverarbeitungsvorrichtung, die das nicht gefärbte Bild verarbeitet, wobei die Informationsverarbeitungsvorrichtung eine Einheit zur Erzeugung simulierter Bilder, die ein simuliertes Bild durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente aufweist, und eines Farbstoffkachelbildes erzeugt, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind, eine Fluoreszenztrennungseinheit, die eine Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des simulierten Bildes trennt und ein getrenntes Bild erzeugt, und eine Bewertungseinheit aufweist, die einen Trennungsgrad des getrennten Bildes bewertet.
• Ein Bilderzeugungsverfahren gemäß der Ausführungsform der vorliegenden Offenbarung weist ein Erzeugen eines simulierten Bildes durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente aufweist, und eines Farbstoffkachelbildes auf, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind.
• Kurze Beschreibung der Zeichnungen
• 1 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration eines Informationsverarbeitungssystems gemäß einer ersten Ausführungsform darstellt.
• 2 ist ein Flussdiagramm, das ein Beispiel eines Verarbeitungsflusses durch eine Informationsverarbeitungsvorrichtung gemäß der ersten Ausführungsform darstellt.
• 3 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Analyseeinheit gemäß der ersten Ausführungsform darstellt.
• 4 ist ein Diagramm zum Beschreiben eines Beispiels eines Verfahrens zur Erzeugung eines verbundenen Fluoreszenzspektrums gemäß der ersten Ausführungsform.
• 5 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Analyseeinheit gemäß einer ersten Ausführungsform darstellt.
• 6 ist ein Diagramm zum Beschreiben eines Beispiels eines simulierten Bildes gemäß der ersten Ausführungsform.
• 7 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Prozesses zur Erzeugung eines simulierten Bildes gemäß der ersten Ausführungsform darstellt.
• 8 ist ein Diagramm zum Beschreiben eines Schrotrauschüberlagerungsprozesses gemäß der ersten Ausführungsform.
• 9 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines quantitativen Bewertungsprozesses gemäß der ersten Ausführungsform darstellt.
• 10 ist ein Diagramm, das ein Beispiel eines getrennten Bildes und eines Histogramms gemäß der ersten Ausführungsform darstellt.
• 11 ist ein Diagramm zum Beschreiben einer Berechnung eines Signaltrennungswerts basierend auf einem Histogramm gemäß der ersten Ausführungsform.
• 12 ist ein Diagramm, das ein Beispiel eines getrennten Bildes gemäß der ersten Ausführungsform darstellt.
• 13 ist ein Diagramm, das ein Beispiel eines getrennten Bildes gemäß der ersten Ausführungsform darstellt.
• 14 ist ein Diagramm, das ein Beispiel eines getrennten Bildes gemäß der ersten Ausführungsform darstellt.
• 15 ist ein Säulendiagramm, das einen Signaltrennungswert für jeden Farbstoff gemäß der ersten Ausführungsform darstellt.
• 16 ist ein Streudiagramm, das einen Signaltrennungswert für jeden Farbstoff gemäß der ersten Ausführungsform darstellt.
• 17 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Fluoreszenzbeobachtungsvorrichtung gemäß der ersten Ausführungsform darstellt.
• 18 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Beobachtungseinheit gemäß der ersten Ausführungsform darstellt.
• 19 ist ein Diagramm, das ein Beispiel einer Probe gemäß der ersten Ausführungsform darstellt.
• 20 ist ein vergrößertes Diagramm, das eine Region darstellt, in der die Probe gemäß der ersten Ausführungsform mit Linienbeleuchtung bestrahlt wird.
• 21 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Analyseeinheit gemäß einer zweiten Ausführungsform darstellt.
• 22 ist ein Diagramm, das die Gesamtkonfiguration eines Mikroskopsystems schematisch darstellt.
• 23 ist ein Diagramm, das ein Beispiel eines Bildgebungsverfahrens darstellt.
• 24 ist ein Diagramm, das ein Beispiel eines Bildgebungsverfahrens darstellt.
• 25 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration von Hardware einer Informationsverarbeitungsvorrichtung darstellt. Beschreibung von Ausführungsformen
• Nachfolgend wird eine Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben. Es sei angemerkt, dass die Vorrichtung, das System, das Verfahren und dergleichen gemäß der vorliegenden Offenbarung durch die Ausführungsform nicht eingeschränkt werden. Ferner sind in der vorliegenden Beschreibung und den Zeichnungen Komponenten mit im Wesentlichen der gleichen funktionalen Konfiguration grundsätzlich mit den gleichen Bezugszeichen versehen und eine redundante Beschreibung wird unterlassen.
• Eine oder mehrere Ausführungsformen (Beispiele und Modifikationen), die im Folgenden beschrieben werden, können jeweils unabhängig implementiert werden. Andererseits können zumindest einige der Mehrzahl von nachstehend beschriebenen Ausführungsformen zumindest mit einigen von anderen Ausführungsformen in geeigneter Weise kombiniert werden. Die Mehrzahl von Ausführungsformen kann neuartige Merkmale aufweisen, die sich voneinander unterscheiden. Daher kann die Mehrzahl von Ausführungsformen zum Lösen verschiedener Aufgaben oder Probleme beitragen und verschiedene Wirkungen aufweisen.
• Die vorliegende Offenbarung wird gemäß der folgenden Punktreihenfolge beschrieben.
1. 1. Erste Ausführungsform
   1. 1-1. Konfigurationsbeispiel eines Informationsverarbeitungssystems
   2. 1-2. Verarbeitungsbeispiel einer Informationsverarbeitungsvorrichtung
   3. 1-3. Beispiel einer Verarbeitung zur Fluoreszenztrennung
   4. 1-4. Konfigurationsbeispiel einer Analyseeinheit in Bezug auf quantitative Bewertung
   5. 1-5. Beispiel einer Verarbeitung zur Erzeugung eines simulierten Bildes
   6. 1-6. Beispiel einer Verarbeitung zur quantitativen Bewertung
   7. 1-7. Bildbeispiel eines getrennten Bildes
   8. 1-8. Bildbeispiel eines Bildes eines Bewertungsergebnisses
   9. 1-9. Anwendungsbeispiel
   10. 1-10. Funktionsweise und Wirkung
2. 2. Zweite Ausführungsform
   1. 2-1. Konfigurationsbeispiel einer Analyseeinheit in Bezug auf eine quantitative Bewertung
   2. 2-2. Funktionsweise und Wirkung
3. 3. Andere Ausführungsformen
4. 4. Anwendungsbeispiel
5. 5. Hardwarekonfigurationsbeispiel
6. 6. Anhang
• <1. Erste Ausführungsform>
• <1-1. Konfigurationsbeispiel eines Informationsverarbeitungssystems>
• Unter Bezugnahme auf 1 wird ein Konfigurationsbeispiel eines Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform beschrieben. 1 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration eines Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform darstellt. Das Informationsverarbeitungssystem ist ein Beispiel eines Systems zur Beobachtung biologischer Proben.
• Wie in 1 dargestellt, weist das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform eine Informationsverarbeitungsvorrichtung 100 und eine Datenbank 200 auf. Als Eingaben in das Informationsverarbeitungssystem gibt es ein fluoreszierendes Reagenz 10A, ein Spezimen 20A und ein fluoreszenzgefärbtes Spezimen 30A.
• (Fluoreszierendes Reagenz 10A)
• Das fluoreszierende Reagenz 10A ist eine Chemikalie, die zum Färben des Spezimens 20A verwendet wird. Das fluoreszierende Reagenz 10A ist zum Beispiel ein fluoreszierender Antikörper (Primärantikörper, die zur direkten Markierung verwendet werden, oder Sekundärantikörper, die zur indirekten Markierung verwendet werden), eine fluoreszierende Sonde, ein nukleares Färbungsreagenz oder dergleichen, aber die Art des fluoreszierenden Reagenz 10A ist nicht speziell darauf beschränkt. Ferner wird das fluoreszierende Reagenz 10A mit Identifikationsinformationen (hierin im Folgenden als „Reagenzidentifikationsinformationen 11A“ bezeichnet) verwaltet, die das fluoreszierende Reagenz 10A (und die Produktionscharge des fluoreszierenden Reagenzes 10A) identifizieren können. Die Reagenzidentifikationsinformationen 11A sind zum Beispiel Strichcodeinformationen (1D-Strichcode-Informationen, 2D-Strichcode-Informationen oder dergleichen), ohne darauf beschränkt zu sein. Die Eigenschaften des fluoreszierenden Reagenz 10A sind in Abhängigkeit vom Produktionsverfahren, dem Zustand der Zellen, aus welchen der Antikörper gewonnen wird, und dergleichen selbst für die gleichen (gleiche Art von) Produkte(n) für jede Produktionscharge verschieden. Zum Beispiel sind im fluoreszierenden Reagenz 10A Spektralinformationen, Quantenausbeute oder Fluoreszenzmarkierungsrate (auch als „F/P-Wert: Fluoreszein/Protein“ bezeichnet, der sich auf die Anzahl von fluoreszierenden Molekülen bezieht, die einen Antikörper markieren) oder dergleichen für jede Produktionscharge verschieden. Daher wird im Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform das fluoreszierende Reagenz 10A für jede Produktionscharge verwaltet, indem es mit den Reagenzidentifikationsinformationen 11A versehen wird (mit anderen Worten werden Reagenzinformationen jedes fluoreszierenden Reagenzes 10A für jede Produktionscharge verwaltet). Demnach kann die Informationsverarbeitungsvorrichtung 100 ein Fluoreszenzsignal und ein Autofluoreszenzsignal unter Berücksichtigung eines geringfügigen Eigenschaftsunterschieds trennen, der für jede Produktionscharge auftritt. Es sei angemerkt, dass die Verwaltung des fluoreszierenden Reagenzes 10A in Einheiten von Produktionschargen lediglich ein Beispiel ist, und das fluoreszierende Reagenz 10A kann in feineren Einheiten als Produktionschargen verwaltet werden.
• (Spezimen 20A)
• Das Spezimen 20A wird zur pathologischen Diagnose, klinischen Untersuchung oder dergleichen aus einem Spezimen oder einer Gewebeprobe hergestellt, die einem menschlichen Körper entnommen ist. Für das Spezimen 20A sind die Art des verwendeten Gewebes (zum Beispiel Organ oder Zelle), die Art der Krankheit von Interesse, die Attribute des Subjekts (zum Beispiel Alter, Geschlecht, Blutgruppe oder Rasse) oder die täglichen Gewohnheiten des Subjekts (zum Beispiel Essgewohnheiten, Übungsgewohnheiten oder Rauchgewohnheiten) nicht speziell beschränkt. Ferner wird das Spezimen 20A mit Identifikationsinformationen (hierin im Folgenden „Spezimenidentifikationsinformationen 21A“) verwaltet, die jedes Spezimen 20A identifizieren können. Wie die Reagenzidentifikationsinformationen 11A sind die Spezimenidentifikationsinformationen 21A zum Beispiel Strichcodeinformationen (1D-Strichcode-Informationen, 2D-Strichcode-Informationen oder dergleichen), ohne darauf beschränkt zu sein. Die Eigenschaften des Spezimens 20A variieren in Abhängigkeit von der Art des verwendeten Gewebes, der Art der Zielkrankheit, den Attributen des Subjekts, den täglichen Gewohnheiten des Subjekts und dergleichen. Zum Beispiel variieren im Spezimen 20A ein Messkanal, Spektralinformationen und dergleichen in Abhängigkeit von der Art des verwendeten Gewebes und dergleichen. Demgemäß wird im Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform das Spezimen 20A individuell verwaltet, indem es mit Spezimenidentifikationsinformationen 21A versehen wird. Demnach kann die Informationsverarbeitungsvorrichtung 100 das Fluoreszenzsignal und das Autofluoreszenzsignal unter Berücksichtigung eines geringfügigen Eigenschaftsunterschieds trennen, der für jedes Spezimen 20A auftritt.
• (Fluoreszenzgefärbtes Spezimen 30A)
• Das fluoreszenzgefärbte Spezimen 30A wird durch Färben des Spezimens 20A mit dem fluoreszierenden Reagenz 10A hergestellt. In der vorliegenden Ausführungsform wird davon ausgegangen, dass im fluoreszenzgefärbten Spezimen 30A das Spezimen 20A mit mindestens einen fluoreszierenden Reagenz 10A gefärbt ist, aber die Anzahl der fluoreszierenden Reagenzien 10A, die zum Färben verwendet wird, ist nicht speziell beschränkt. Ferner wird das Färbungsverfahren durch eine Kombination jedes von dem Spezimen 20A und dem fluoreszierenden Reagenz 10A und dergleichen bestimmt und ist nicht speziell beschränkt. Das fluoreszenzgefärbte Spezimen 30A wird in die Informationsverarbeitungsvorrichtung 100 eingegeben und abgebildet.
• (Informationsverarbeitungsvorrichtung 100)
• Wie in 1 dargestellt, weist die Informationsverarbeitungsvorrichtung 100 eine Erfassungseinheit 110, eine Speichereinheit 120, eine Verarbeitungseinheit 130, eine Anzeigeeinheit 140, eine Steuereinheit 150 und eine Bedieneinheit 160 auf.
• (Erfassungseinheit 110)
• Die Erfassungseinheit 110 ist dazu ausgebildet, Informationen zu erfassen, die für verschiedene Prozesse der Informationsverarbeitungsvorrichtung 100 verwendet werden. Wie in 1 dargestellt, weist die Erfassungseinheit 110 eine Informationserfassungseinheit 111 und eine Bilderfassungseinheit 112 auf.
• (Informationserfassungseinheit 111)
• Die Informationserfassungseinheit 111 ist zum Erfassen der Reagenzinformationen und der Spezimeninformationen ausgebildet. Genauer gesagt erfasst die Informationserfassungseinheit 111 die Reagenzidentifikationsinformationen 11A, mit den das fluoreszierende Reagenz 10A versehen ist, das zum Erzeugen des fluoreszenzgefärbten Spezimens 30A verwendet wird, und die Spezimenidentifikationsinformationen 21A, mit denen das Spezimen 20A versehen ist. Zum Beispiel erfasst die Informationserfassungseinheit 111 die Reagenzidentifikationsinformationen 11A und die Spezimenidentifikationsinformationen 21A unter Verwendung eines Strichcodelesers oder dergleichen. Dann ruft die Informationserfassungseinheit 111 die Reagenzinformationen auf der Basis der Reagenzidentifikationsinformationen 11A und die Spezimeninformationen auf der Basis der Spezimenidentifikationsinformationen 21A aus der Datenbank 200 ab. Die Informationserfassungseinheit 111 speichert die erfassten Informationen in einer Informationsspeichereinheit 121, die später beschrieben wird.
• (Bilderfassungseinheit 112)
• Die Bilderfassungseinheit 112 ist zum Erfassen von Bildinformationen des fluoreszenzgefärbten Spezimens 30A (des mit mindestens einem fluoreszierenden Reagenz 10A gefärbten Spezimens 20A) ausgebildet. Genauer gesagt weist die Bilderfassungseinheit 112 ein beliebiges Bildgebungselement (zum Beispiel ein CCD, einen CMOS oder dergleichen) auf und erfasst die Bildinformationen durch Abbilden des fluoreszenzgefärbten Spezimens 30A unter Verwendung des Bildgebungselements. Es versteht sich jedoch, dass es sich bei den „Bildinformationen“ um ein Konzept handelt, das nicht nur das Bild des fluoreszenzgefärbten Spezimens 30A selbst aufweist, sondern auch einen Messwert, der nicht als Bild visualisiert wird. Zum Beispiel können die Bildinformationen Informationen hinsichtlich eines Wellenlängenspektrums (hierin im Folgenden als Fluoreszenzspektrum bezeichnet) der vom fluoreszenzgefärbten Spezimen 30A emittierten Fluoreszenz aufweisen. Die Bilderfassungseinheit 112 speichert die Bildinformationen in einer Bildinformationsspeichereinheit 122, die später beschrieben wird.
• (Speichereinheit 120)
• Die Speichereinheit 120 ist dazu ausgebildet, Informationen, die für verschiedene Prozesse der Informationsverarbeitungsvorrichtung 100 verwendet werden, oder Informationen zu speichern (zu sichern), die von den verschiedenen Prozessen ausgegeben werden. Wie in 1 dargestellt, weist die Speichereinheit 120 eine Informationsspeichereinheit 121, eine Bildinformationsspeichereinheit 122 und eine Analyseergebnisspeichereinheit 123 auf.
• (Informationsspeichereinheit 121)
• Die Informationsspeichereinheit 121 ist dazu ausgebildet, die Reagenzinformationen und die Spezimeninformationen zu speichern, die von der Informationserfassungseinheit 111 erfasst werden. Es sei angemerkt, dass nach Abschluss eines Analyseprozesses durch eine Analyseeinheit 131 und eines Erzeugungsprozesses der Bildinformationen durch eine Bilderzeugungseinheit 132 (eines Rekonstruktionsprozesses der Bildinformationen), die später beschrieben werden, die Informationsspeichereinheit 121 den freien Platz durch Löschen der Reagenzinformationen und der Spezimeninformationen, die für den Prozess verwendet wurden, vergrößern kann.
• (Bildinformationsspeichereinheit 122)
• Die Bildinformationsspeichereinheit 122 ist dazu ausgebildet, die Bildinformationen des fluoreszenzgefärbten Spezimens 30A zu speichern, die von der Bilderfassungseinheit 112 erfasst werden. Es sei angemerkt, dass nach Abschluss des Analyseprozesses durch die Analyseeinheit 131 und des Erzeugungsprozesses der Bildinformationen durch die Bilderzeugungseinheit 132 (des Rekonstruktionsprozesses der Bildinformationen) die Bildinformationsspeichereinheit 122 den freien Platz wie die Informationsspeichereinheit 121 durch Löschen der für den Prozess verwendeten Bildinformationen, vergrößern kann.
• (Analyseergebnisspeichereinheit 123)
• Die Analyseergebnisspeichereinheit 123 ist dazu ausgebildet, ein Ergebnis des Analyseprozesses zu speichern, der von der Analyseeinheit 131 durchgeführt wird, die später beschrieben wird. Zum Beispiel speichert die Analyseergebnisspeichereinheit 123 das Fluoreszenzsignal des fluoreszierenden Reagenzes 10A oder das Autofluoreszenzsignal des Spezimens 20A, die von der Analyseeinheit 131 getrennt werden. Außerdem stellt die Analyseergebnisspeichereinheit 123 das Ergebnis des Analyseprozesses für die Datenbank 200 getrennt bereit, um die Analysegenauigkeit durch maschinelles Lernen oder dergleichen zu verbessern. Es sei angemerkt, dass nach dem Bereitstellen des Ergebnisses des Analyseprozesses für die Datenbank 200 die Analyseergebnisspeichereinheit 123 den freien Platz durch entsprechendes Löschen des darin gespeicherten Ergebnisses vergrößern kann.
• (Verarbeitungseinheit 130)
• Die Verarbeitungseinheit 130 ist eine funktionale Konfiguration, die verschiedene Prozesse unter Verwendung der Bildinformationen, der Reagenzinformationen und der Spezimeninformationen durchführt. Wie in 1 dargestellt, weist die Verarbeitungseinheit 130 die Analyseeinheit 131 und die Bilderzeugungseinheit 132 auf.
• (Analyseeinheit 131)
• Die Analyseeinheit 131 ist dazu ausgebildet, die verschiedenen Analyseprozesse unter Verwendung der Bildinformationen, der Spezimeninformationen und der Reagenzinformationen durchzuführen. Zum Beispiel führt die Analyseeinheit 131 Verarbeitung zum Trennen des Autofluoreszenzsignals des Spezimens 20A und des Fluoreszenzsignals des fluoreszierenden Reagenzes 10A aus den Bildinformationen auf der Basis der Spezimeninformationen und der Reagenzinformationen durch.
• Genauer gesagt erkennt die Analyseeinheit 131 ein oder mehrere Elemente, die das Autofluoreszenzsignal darstellen, auf der Basis des in den Spezimeninformationen enthaltenen Messkanals. Zum Beispiel erkennt die Analyseeinheit 131 eine oder mehrere Autofluoreszenzkomponenten, die das Autofluoreszenzsignal darstellen. Dann sagt die Analyseeinheit 131 das in den Bildinformationen enthaltene Autofluoreszenzsignal unter Verwendung der Spektralinformationen dieser in den Spezimeninformationen enthaltenen Autofluoreszenzkomponenten vorher. Danach trennt die Analyseeinheit 131 das Autofluoreszenzsignal und das Fluoreszenzsignal aus den Bildinformationen auf der Basis der in den Reagenzinformationen enthaltenen Spektralinformationen der Fluoreszenzkomponente des fluoreszierenden Reagenzes 10A und des vorhergesagten Autofluoreszenzsignals.
• Wenn das Spezimen 20A mit zwei oder mehr fluoreszierenden Reagenzien 10A gefärbt ist, trennt die Analyseeinheit 131 hierbei das Fluoreszenzsignal jedes dieser zwei oder mehr fluoreszierenden Reagenzien 10A aus den Bildinformationen (oder das Fluoreszenzsignal nach der Trennung vom Autofluoreszenzsignal) auf der Basis der Spezimeninformationen und der Reagenzinformationen. Zum Beispiel trennt die Analyseeinheit 131 das Fluoreszenzsignal jedes der fluoreszierenden Reagenzien 10A vom gesamten Fluoreszenzsignal nach der Trennung vom Autofluoreszenzsignal durch Verwenden der in den Reagenzinformationen enthaltenen Spektralinformationen der Fluoreszenzkomponente jedes der fluoreszierenden Reagenzien 10A.
• Falls außerdem das Autofluoreszenzsignal durch zwei oder mehr Autofluoreszenzkomponenten gebildet wird, trennt die Analyseeinheit 131 das Autofluoreszenzsignal jeder Autofluoreszenzkomponente aus den Bildinformationen (oder das Autofluoreszenzsignal nach der Trennung vom Fluoreszenzsignal) auf der Basis der Spezimeninformationen und der Reagenzinformationen. Zum Beispiel trennt die Analyseeinheit 131 das Autofluoreszenzsignal jeder Autofluoreszenzkomponente vom gesamten Autofluoreszenzsignal nach der Trennung vom Fluoreszenzsignal durch Verwenden der in den Spezimeninformationen enthaltenen Spektralinformationen jeder Autofluoreszenzkomponente.
• Die Analyseeinheit 131, die das Fluoreszenzsignal und das Autofluoreszenzsignal getrennt hat, führt verschiedene Prozesse unter Verwendung dieser Signale durch. Zum Beispiel kann die Analyseeinheit 131 das Fluoreszenzsignal aus den Bildinformationen des anderen Spezimens 20A durch Durchführen eines Subtraktionsprozesses (hierin auch als
  „Hintergrundsubtraktionsprozess“ bezeichnet) an den Bildinformationen des anderen Spezimens 20A unter Verwendung des Autofluoreszenzsignals nach der Trennung extrahieren. Falls es eine Mehrzahl von Spezimina 20A gibt, die in Bezug auf das für das Spezimen 20A verwendete Gewebe, die Art der Zielkrankheit, die Attribute des Subjekts, die täglichen Gewohnheiten des Subjekts und dergleichen gleich oder ähnlich sind, besteht eine große Möglichkeit, dass die Autofluoreszenzsignale dieser Spezimina 20A ähnlich sind. Das hier erwähnte ähnliche Spezimen 20A weist zum Beispiel eine Gewebesektion vor dem Färben einer zu färbenden Gewebesektion (hierin im Folgenden als Sektion bezeichnet), eine Sektion benachbart zu einer gefärbten Sektion, eine von einer gefärbten Sektion im gleichen Block verschiedene Sektion (entnommen von der gleichen Stelle wie die gefärbte Sektion) oder eine Sektion in einem anderen Block im gleichen Gewebe (entnommen von einer einander Stelle als die gefärbte Sektion), eine einem anderen Patienten entnommene Sektion und dergleichen auf. Wenn daher das Autofluoreszenzsignal aus einem bestimmten Spezimen 20A extrahiert werden kann, kann die Analyseeinheit 131 das Fluoreszenzsignal aus den Bildinformationen des anderen Spezimens 20A durch Entfernen des Autofluoreszenzsignals aus den Bildinformationen des anderen Spezimens 20A extrahieren. Wenn außerdem der S/N-Wert unter Verwendung der Bildinformationen des anderen Spezimens 20A berechnet wird, kann die Analyseeinheit 131 den S/N-Wert durch Verwenden des Hintergrunds nach dem Entfernen des Autofluoreszenzsignals verbessern.
• Zusätzlich zum Hintergrundsubtraktionsprozess kann die Analyseeinheit 131 verschiedene Prozesse unter Verwendung des Fluoreszenzsignals oder des Autofluoreszenzsignals nach der Trennung durchführen. Zum Beispiel kann die Analyseeinheit 131 den Fixierungszustand des Spezimens 20A unter Verwendung dieser Signale analysieren und sie kann Segmentierung (oder Regionsteilung) zum Erkennen einer Region eines Objekts (beispielsweise einer Zelle, einer intrazellulären Struktur (Zytoplasma, Zellmembran, Kern oder dergleichen) oder eines Gewebes (Tumorstelle, Nicht-Tumorstelle, Bindegewebe, Blutgefäß, Blutgefäßwand, Lymphgefäß, Fibrosestruktur, Nekrose und dergleichen) durchführen, die in den Bildinformationen enthalten sind. Die Analyse und die Segmentierung des Fixierungszustands des Spezimens 20A werden später ausführlich beschrieben.
• (Bilderzeugungseinheit 132)
• Die Bilderzeugungseinheit 132 ist dazu ausgebildet, die Bildinformationen auf der Basis des Fluoreszenzsignals oder des Autofluoreszenzsignals, die von der Analyseeinheit 131 getrennt wurden, zu erzeugen (rekonstruieren). Zum Beispiel kann die Bilderzeugungseinheit 132 die Bildinformationen erzeugen, die nur das Fluoreszenzsignal aufweisen, oder die Bildinformationen erzeugen, die nur das Autofluoreszenzsignal aufweisen. Falls zu diesem Zeitpunkt das Fluoreszenzsignal durch eine Mehrzahl von Fluoreszenzkomponenten gebildet ist oder das Autofluoreszenzsignal durch eine Mehrzahl von Autofluoreszenzkomponenten gebildet ist, kann die Bilderzeugungseinheit 132 die Bildinformationen in Einheiten jeweiliger Komponenten erzeugen. Falls außerdem die Analyseeinheit 131 verschiedene Prozesse (zum Beispiel Analyse des Fixierungszustands des Spezimens 20A, Segmentierung, Berechnung des S/N-Wertes oder dergleichen) unter Verwendung des Fluoreszenzsignals oder des Autofluoreszenzsignals nach der Trennung durchführt, kann die Bilderzeugungseinheit 132 die Bildinformationen erzeugen, die ein Ergebnis des Prozesses angeben. Bei dieser Konfiguration werden Verteilungsinformationen des fluoreszierenden Reagenzes 10A, das mit einem Zielmolekül oder dergleichen markiert ist, das heißt eine zweidimensionale Ausbreitung und Intensität der Fluoreszenz, eine Wellenlänge und eine Lagebeziehung davon visualisiert, und insbesondere kann in einer Gewebebildanalyseregion, in der Informationen einer Zielsubstanz kompliziert sind, die Sicht eines Arztes oder Forscher, der der Benutzer ist, verbessert werden.
• Außerdem kann die Bilderzeugungseinheit 132 auf der Basis der Trennung des Fluoreszenzsignals und des Autofluoreszenzsignals durch die Analyseeinheit 131 Steuerung durchführen, um das Fluoreszenzsignal in Bezug auf das Autofluoreszenzsignal zu unterscheiden, und die Bildinformationen erzeugen. Konkret können die Bildinformationen durch Durchführen von Steuerung zum Verbessern der Luminanz des Fluoreszenzspektrums des mit dem Zielmolekül oder dergleichen markierten fluoreszierenden Reagenzes 10A, Extrahieren und Ändern des Farbe nur des Fluoreszenzsektrums des markierten fluoreszierenden Reagenzes 10A, Extrahieren des Fluoreszenzspektrums von zwei oder mehr fluoreszierenden Reagenzien 10A aus dem mit zwei oder mehr fluoreszierenden Reagenzien 10A markierten Spezimens 20A und Umändern der Farbe jedes von ihnen in eine andere Farbe, Extrahieren und Teilen oder Subtrahieren nur des Autofluoreszenzspektrums des Spezimens 20A, Verbessern des Dynamikbereichs und dergleichen erzeugt werden. Demnach kann der Benutzer Farbinformationen, die vom fluoreszierenden Reagenz stammen, das an die Zielsubstanz gebunden ist, klar unterscheiden und die Sicht des Benutzers kann verbessert werden.
• (Anzeigeeinheit 140)
• Die Anzeigeeinheit 140 ist dazu ausgebildet, die von der Bilderzeugungseinheit 132 erzeugten Bildinformationen durch Anzeigen der Bildinformationen auf der Anzeige für den Benutzer darzustellen. Es sei angemerkt, dass die Art der Anzeige, die als die Anzeigeeinheit 140 verwendet wird, nicht speziell beschränkt ist. Obwohl in der vorliegenden Ausführungsform außerdem nicht im Einzelnen beschrieben, können die von der Bilderzeugungseinheit 132 erzeugten Bildinformationen für den Benutzer dargestellt werden, indem sie durch einen Projektor projiziert oder durch einen Drucker gedruckt werden (mit anderen Worten ist ein Verfahren zur Ausgabe der Bildinformationen nicht speziell beschränkt).
• (Steuereinheit 150)
• Die Steuereinheit 150 weist eine funktionale Konfiguration auf, die die von der Informationsverarbeitungsvorrichtung 100 durchgeführte Gesamtverarbeitung umfassend steuert. Zum Beispiel steuert die Steuereinheit 150 den Beginn, das Ende und dergleichen verschiedener Prozesse (zum Beispiel Bildgebungsprozess, Analyseprozess, Prozess zur Erzeugung von Bildinformationen (Prozess zur Rekonstruktion von Bildinformationen), Prozess zur Anzeige von Bildinformationen und dergleichen des fluoreszenzgefärbten Spezimens 30A), wie vorstehend beschrieben, auf der Basis eine Bedieneingabe durch den Benutzer, die über die Bedieneinheit 160 erfolgt. Es sei angemerkt, dass der Steuerungsinhalt der Steuereinheit 150 nicht speziell beschränkt ist. Zum Beispiel kann die Steuereinheit 150 Verarbeitung steuern, die im Allgemeinen in einem Universalcomputer, einem PC, einem Tablet-PC oder dergleichen (zum Beispiel Verarbeitung in Bezug auf ein Betriebssystem (OS)) durchgeführt wird.
• (Bedieneinheit 160)
• Die Bedieneinheit 160 ist zum Empfangen einer Bedieneingabe von einem Benutzer ausgebildet. Genauer gesagt weist die Bedieneinheit 160 verschiedene Eingabeeinheiten wie etwa eine Tastatur, eine Maus, eine Schaltfläche, ein Touch-Panel oder ein Mikrofon auf, und der Benutzer kann verschiedene Eingaben in die Informationsverarbeitungsvorrichtung 100 durch Bedienen dieser Eingabeeinheiten tätigen. Informationen hinsichtlich der Bedieneingabe, die über die Bedieneinheit 160 durchgeführt wird, werden für die Steuereinheit 150 bereitgestellt.
• (Datenbank 200)
• Die Datenbank 200 ist eine Vorrichtung, die die Spezimeninformationen, die Reagenzinformationen und die Ergebnisse des Analyseprozesses verwaltet. Genauer gesagt verwaltet die Datenbank 200 die Spezimenidentifikationsinformationen 21A und die Spezimeninformationen sowie die Reagenzidentifikationsinformationen 11A und die Reagenzinformationen in Verbindung miteinander. Demnach kann die Informationserfassungseinheit 111 die Spezimeninformationen auf der Basis der Spezimenidentifikationsinformationen 21A des zu messenden Spezimens 20A und die Reagenzinformationen auf der Basis der Reagenzidentifikationsinformationen 11A des fluoreszierenden Reagenzes 10A aus der Datenbank 200 abrufen.
• Wie bereits erwähnt, sind die von der Datenbank 200 verwalteten Spezimeninformationen Informationen, die den Messkanal und die Spektralinformationen aufweisen, die für die im Spezimen 20A enthaltenen Autofluoreszenzkomponente eindeutig sind. Zusätzlich dazu können die Spezimeninformationen jedoch Zielinformationen für jedes Spezimen 20A, insbesondere Informationen hinsichtlich der Art des verwendeten Gewebes (zum Beispiel, Organ, Zelle, Blut, Körperflüssigkeit, Aszites oder Pleuraerguss), der Art der Krankheit, die ein Ziel sein soll, der Attribute des Subjekts (zum Beispiel Alter Geschlecht, Blutgruppe oder Rasse) oder der täglichen Gewohnheiten des Subjekts (zum Beispiel Essgewohnheiten, Übungsgewohnheiten oder Rauchgewohnheiten), umfassen und die Informationen, die den Messkanal und die Spektralinformationen aufweisen, die für die in dem Spezimen 20A enthaltenen Autofluoreszenzkomponente eindeutig sind, und die Zielinformationen können mit jedem Spezimen 20A assoziiert werden. Demnach können die Informationen, die den Messkanal und die Spektralinformationen umfassen, die für die in dem Spezimen 20A enthaltenen Autofluoreszenzkomponente eindeutig sind, leicht aus dem Zielinformationen verfolgt werden, und zum Beispiel kann die Analyseeinheit 131 veranlasst werden, einen ähnlichen Trennungsprozess, wie er in der Vergangenheit aus der Ähnlichkeit der Zielinformationen in der Mehrzahl von Spezimina 20A durchgeführt wurde, auszuführen, so dass die Messzeit verkürzt werden kann. Es sei angemerkt, dass das „verwendete Gewebe“ nicht speziell auf ein von dem Subjekt entnommenes Gewebe beschränkt ist, sondern auch ein In-vivo-Gewebe oder eine Zelllinie eines Menschen, eines Tieres oder dergleichen und eine Lösung, ein Lösungsmittel, einen gelösten Stoff oder ein Material, das in einem zu messenden Objekt enthalten ist, aufweisen kann.
• Ferner sind die Reagenzinformationen, die von der Datenbank 200 verwaltet werden, die die Spektralinformationen des fluoreszierenden Reagenzes 10A aufweisen, wie oben beschrieben, aber zusätzlich dazu können die Reagenzinformationen Informationen in Bezug auf das fluoreszierende Reagenz 10A, beispielsweise eine Produktionscharge, eine Fluoreszenzkomponente, einen Antikörper, einen Klon, eine Fluoreszenzmarkierungsrate, eine Quantenausbeute, einen Fading-Koeffizienten (Informationen, die eine Leichtigkeit des Reduzierens der Fluoreszenzintensität des fluoreszierenden Reagenzes 10A angeben) und eine Absorptionsquerschnittsfläche (oder einen molaren Absorptionskoeffizienten)aufweisen. Außerdem können die Spezimeninformationen und die Reagenzinformationen, die von der Datenbank 200 verwaltet werden, in verschiedenen Konfigurationen verwaltet werden, und insbesondere kann es sich bei den Informationen in Bezug auf das Reagenz um eine Reagenzdatenbank handeln, die eine optimale Kombination von Reagenzien für den Benutzer darstellt.
• Hierbei wird davon ausgegangen, dass die Spezimeninformationen und die Reagenzinformationen von einem Erzeuger (Hersteller) oder dergleichen bereitgestellt oder im Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung unabhängig gemessen werden. Zum Beispiel messen oder liefern die Hersteller des fluoreszierenden Reagenzes 10A häufig nicht für jede Produktionscharge Spektralinformationen, Fluoreszenzmarkierungsraten und dergleichen. Daher kann durch eindeutiges Messen und Verwalten dieser Informationselemente im Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung die Trenngenauigkeit des Fluoreszenzsignals und des Autofluoreszenzsignals verbessert werden. Zusätzlich kann die Datenbank 200 zur Vereinfachung der Verwaltung einen von einem Erzeuger (Hersteller) oder dergleichen offenbarten Katalogwert, einen in verschiedenen Dokumenten beschriebenen Dokumentwert oder dergleichen als die Spezimeninformationen und die Reagenzinformationen (insbesondere die Reagenzinformationen) verwenden. Da jedoch im Allgemeinen die tatsächlichen Spezimeninformationen und Reagenzinformationen sich häufig vom Katalogwert und dem Dokumentwert unterscheiden, ist es vorzuziehen, dass die Spezimeninformationen und die Reagenzinformationen im Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung, wie oben beschrieben, eindeutig gemessen und verwaltet werden.
• Außerdem kann die Genauigkeit des Analyseprozesses (zum Beispiel eines Trennungsprozesses des Fluoreszenzsignals und des Autofluoreszenzsignals und dergleichen) durch Techniken maschinellen Lernens unter Verwendung der Spezimeninformationen, der Reagenzinformationen und der Ergebnisse des Analyseprozesses, die in der Datenbank 200 verwaltet werden, verbessert werden. Das Subjekt, das Lernen unter Verwendung der Technik maschinellen Lernens oder dergleichen durchführt, ist nicht speziell beschränkt, aber in der vorliegenden Ausführungsform wird als ein Beispiel ein Fall beschrieben, bei dem die Analyseeinheit 131 der Informationsverarbeitungsvorrichtung 100 Lernen durchführt. Zum Beispiel erzeugt die Analyseeinheit 131 durch Verwenden eines neuronalen Netzwerks einen mit Lerndaten maschinell erlernten Klassifikator oder Schätzer, wobei das Fluoreszenzsignal und das Autorfluoreszenzsignal nach der Trennung mit den zur Trennung verwendeten Bildinformationen, Spezimeninformationen und Reagenzinformationen assoziiert werden. Falls die Bildinformationen, die Spezimeninformationen und die Reagenzinformationen neu erfasst werden, kann die Analyseeinheit 131 dann das Fluoreszenzsignal und das Autofluoreszenzsignal, die in den Bildinformationen enthalten sind, durch Eingeben dieser Informationselemente in den Klassifikator und den Schätzer vorhersagen und ausgeben.
• Zusätzlich können ähnliche Trennungsprozesse, die in der Vergangenheit durchgeführt wurden (Trennungsprozess unter Verwendung ähnlicher Bildinformationen, Spezimeninformationen oder Reagenzinformationen), mit höherer Genauigkeit als das vorhergesagte Fluoreszenzsignal und Autofluoreszenzsignal berechnet werden, die Inhalte der Verarbeitung (für die Verarbeitung verwendete Informationen, Parameter und dergleichen) in den Prozessen können statistisch oder regressiv analysieret werden und ein Verfahren zur Verbesserung des Trennungsprozesses des Fluoreszenzsignals und des Autofluoreszenzsignals auf der Basis des Analyseergebnisses kann ausgegeben werden. Es sei angemerkt, dass das Verfahren für maschinelles Lernen nicht auf das Vorhergesagte beschränkt ist, sondern auch eine bekannte Technik für maschinelles Lernern verwendet werden kann. Zusätzlich kann der Trennungsprozess des Fluoreszenzsignals und des Autofluoreszenzsignals durch künstliche Intelligenz durchgeführt werden. Ferner können nicht nur der Trennungsprozess des Fluoreszenzsignals und des Autofluoreszenzsignals, sondern auch verschiedene Prozesse, die das Fluoreszenzsignal und des Autofluoreszenzsignal nach der Trennung verwenden (zum Beispiel Analyse des Immobilisierungszustands des Spezimens 20A, Segmentierung oder dergleichen) durch die Technik maschinellen Lernens oder dergleichen verbessert werden.
• Vorstehend wurde das Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform beschrieben. Es sei angemerkt, dass es sich bei der oben beschriebenen Konfiguration, die unter Bezugnahme auf 1 beschrieben wurde, lediglich um ein Beispiel handelt und die Konfiguration der Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform nicht auf solch ein Beispiel beschränkt ist. Zum Beispiel muss die Informationsverarbeitungsvorrichtung 100 nicht unbedingt alle der funktionalen Konfigurationen aufweisen, die in 1 dargestellt sind. Außerdem kann die Informationsverarbeitungsvorrichtung 100 die Datenbank 200 darin aufweisen. Die funktionale Konfiguration der Informationsverarbeitungsvorrichtung 100 kann gemäß Spezifikationen und Operationen flexibel modifiziert werden.
• Außerdem kann die Informationsverarbeitungsvorrichtung 100 andere Verarbeitung als die vorstehend beschriebene Verarbeitung durchführen. Wenn zum Beispiel die Reagenzinformationen Informationen wie etwa die Quantenausbeute, die Fluoreszenzmarkierungsrate und die Absorptionsquerschnittsfläche (oder den molaren Absorptionskoeffizienten) in Bezug auf das fluoreszierende Reagenz 10A aufweisen, kann die Informationsverarbeitungsvorrichtung 100 die Anzahl von fluoreszierenden Molekülen, die Anzahl von an die fluoreszierenden Moleküle gebundenen Antikörpern oder dergleichen in den Bildinformationen durch Verwenden der Bildinformationen, aus denen das Autofluoreszenzsignal entfernt wurde, und der Reagenzinformationen berechnen.
• <1-2. Verarbeitungsbeispiel einer Informationsverarbeitungsvorrichtung>
• Unter Bezugnahme auf 2 wird ein Verarbeitungsbeispiel einer Informationsverarbeitungsvorrichtung 100 gemäß der vorliegenden Ausführungsform beschrieben. 2 ist ein Flussdiagramm, das ein Beispiel eines Verarbeitungsflusses der Informationsverarbeitungsvorrichtung 100 gemäß der vorliegenden Ausführungsform darstellt.
• Wie in 2 dargestellt, bestimmt der Benutzer in Schritt S1000 ein fluoreszierendes Reagenz 10A und ein Spezimen 20A, die für eine Analyse verwendet werden sollen. In Schritt S1004 färbt der Benutzer das Spezimen 20A unter Verwendung des fluoreszierenden Reagenzes 10A, um ein fluoreszenzgefärbtes Spezimen 30A herzustellen.
• In Schritt S1008 bildet die Bilderfassungsvorrichtung 112 der Informationsverarbeitungsvorrichtung 100 das fluoreszenzgefärbte Spezimen 30A ab, um Bildinformationen zu erfassen. In Schritt S1012 ruft die Informationserfassungseinheit 111 die Reagenzidentifikationsinformationen und die Spezimeninformationen auf der Basis der Reagenzidentifikationsinformationen 11A, mit den das fluoreszierende Reagenz 10A versehen ist, das zum Erzeugen des fluoreszenzgefärbten Spezimens 30A verwendet wird, und der Spezimenidentifikationsinformationen 21A, mit denen das Spezimen 20A versehen ist, aus der Datenbank 200 ab.
• In Schritt S1016 trennt die Analyseeinheit 131 das Autofluoreszenzsignal des Spezimens 20A und das Fluoreszenzsignal des fluoreszierenden Reagenzes 10A aus den Bildinformationen auf der Basis der Spezimeninformationen und der Reagenzinformationen. Wenn hierbei das Fluoreszenzsignal Signale einer Mehrzahl von fluoreszierenden Farbstoffen (Schritt S1020/Ja) aufweist, trennt die Analyseeinheit 131 das Fluoreszenzsignal jedes fluoreszierenden Farbstoffs in Schritt S1024. Es sei angemerkt, dass, wenn die Signale der Mehrzahl von fluoreszierenden Farbstoffen nicht im Fluoreszenzsignal enthalten sind (Schritt S1020/Nein), der Trennungsprozess des Fluoreszenzsignals jedes fluoreszierenden Farbstoffs in Schritt S1024 nicht durchgeführt wird.
• In Schritt S1028 erzeugt die Bilderzeugungseinheit 132 Bildinformationen unter Verwendung des von der Analyseeinheit 131 getrennten Fluoreszenzsignals. Zum Beispiel erzeugt die Bilderzeugungseinheit 132 Bildinformationen, in welchen das Autofluoreszenzsignal aus den Bildinformationen entfernt ist, oder sie erzeugt Bildinformationen, in welchen das Fluoreszenzsignal für jeden fluoreszierenden Farbstoff angezeigt wird. In Schritt S1032 zeigt die Anzeigeeinheit 140 die von der Bilderzeugungseinheit 132 erzeugten Bildinformationen an, womit die Verarbeitungsreihe endet.
• Es sei angemerkt, dass die Schritte in dem Flussdiagramm von 2 zeitlich nicht unbedingt in der beschriebenen Reihenfolge verarbeitet werden. Das heißt, jeder Schritt in dem Flussdiagramm kann in einer anderen Reihenfolge als der beschriebenen Reihenfolge verarbeitet werden oder er kann parallel verarbeitet werden.
• Zum Beispiel kann die Analyseeinheit 131 nach dem Trennen des Autofluoreszenzsignals des Spezimens 20A und des Fluoreszenzsignals des fluoreszierenden Reagenzes 10A aus den Bildinformationen in Schritt S1016 das Fluoreszenzsignal jedes fluoreszierenden Farbstoffs direkt aus den Bildinformationen trennen, statt das Fluoreszenzsignal jedes fluoreszierenden Farbstoffs in Schritt S1024 zu trennen. Außerdem kann die Analyseeinheit 131 nach dem Trennen des Fluoreszenzsignals jedes fluoreszierenden Farbstoffs aus den Bildinformationen das Autofluoreszenzsignal des Spezimens 20A aus den Bildinformationen trennen.
• Zusätzlich kann die Informationsverarbeitungsvorrichtung 100 auch Verarbeitung ausführen, die in 2 nicht dargestellt ist. Zum Beispiel kann die Analyseeinheit 131 nicht nur die Signale trennen, sondern auch Segmentierung auf der Basis des getrennten Fluoreszenzsignals oder Autofluoreszenzsignals durchführen oder den Immobilisierungszustand des Spezimens 20A analysieren.
• <1-3. Beispiel einer Verarbeitung zur Fluoreszenztrennung>
• Unter Bezugnahme auf 3 und 4 wird ein Beispiel der Verarbeitung zur Fluoreszenztrennung gemäß der vorliegenden Ausführungsform beschrieben. 3 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Analyseeinheit 131 gemäß der vorliegenden Ausführungsform darstellt. 4 ist ein Diagramm zum Beschreiben eines Beispiels eines Verfahrens zur Erzeugung eines verbundenen Fluoreszenzspektrums gemäß der vorliegenden Ausführungsform.
• Wie in 3 dargestellt, weist die Analyseeinheit 131 eine Verbindungseinheit 1311, eine Farbtrennungseinheit 1321 und eine Spektrumextraktionseinheit 1322 auf. Die Analyseeinheit 131 ist dazu ausgebildet, verschiedene Prozesse, einschließlich eines Fluoreszenztrennungsprozesses, durchzuführen. Zum Beispiel ist die Analyseeinheit 131 dazu ausgebildet, Fluoreszenzspektren als Vorverarbeitung des Fluoreszenztrennungsprozesses zu verbinden und das verbundene Fluoreszenzspektrum für jedes Molekül zu trennen.
• (Verbindungseinheit 1311)
• Die Verbindungseinheit 1311 ist dazu ausgebildet, das verbundene Fluoreszenzspektrum durch Verbinden zumindest eines Teils der von der Bilderfassungseinheit 112 erfassten Mehrzahl von Fluoreszenzspektren in der Wellenlängenrichtung zu erzeugen. Zum Beispiel extrahiert die Verbindungseinheit 1311 Daten einer vorgegebenen Breite in jedem Fluoreszenzspektrum, sodass sie den Maximalwert der Fluoreszenzintensität in jedem der vier von der Bilderfassungseinheit 112 erfassten Fluoreszenzspektren (A bis D in 4) umfassen. Die Breite des Wellenlängenbandes, in dem die Verbindungseinheit 1311 Daten extrahiert, kann auf der Basis der Reagenzinformationen, einer Anregungswellenlänge, einer Fluoreszenzwellenlänge oder dergleichen bestimmt werden, und sie kann für jede Fluoreszenzsubstanz verschieden sein (mit anderen Worten kann die Breite des Wellenlängenbandes, in dem die Verbindungseinheit 1311 Daten extrahiert, für jedes der in A bis D von 4 dargestellten Fluoreszenzspektren verschieden sein). Wie in E von 4 dargestellt, erzeugt die Verbindungseinheit 1311 dann ein verbundenes Fluoreszenzspektrum, indem sie die extrahierten Daten in der Wellenlängenrichtung miteinander verbindet. Es sei angemerkt, dass die Wellenlängen an einer Grenze verbundener Datenelemente nicht kontinuierlich sind, da das verbundene Fluoreszenzspektrum Daten aufweist, die aus einer Mehrzahl von Fluoreszenzspektren extrahiert sind.
• Zu diesem Zeitpunkt führt die Verbindungseinheit 1311 auf der Basis der Intensität des Anregungslichts die vorstehend beschriebene Verbindung nach dem Ausgleichen der jedem der mehreren Fluoreszenzspektren entsprechenden Intensität des Anregungslichts (mit anderen Worten nach dem Korrigieren der Mehrzahl von Fluoreszenzspektren) durch. Genauer gesagt führt die Verbindungseinheit 1311 die vorstehend beschriebene Verbindung nach dem Ausgleichen der jedem der mehreren Fluoreszenzspektren entsprechenden Intensität des Anregungslichts durch, indem sie jedes Fluoreszenzspektrum durch die Anregungsleistungsdichte, das heißt die Intensität des Anregungslichts, teilt. Demnach wird ein Fluoreszenzspektrum bei Bestrahlung mit dem Anregungslicht mit derselben Intensität erhalten. Falls ferner die Intensität des Anregungslichts zur Bestrahlung unterschiedlich ist, ist die Intensität eines Spektrums, das vom fluoreszenzgefärbten Spezimen 30A (im Folgenden als „Absorptionsspektrum“ bezeichnet) absorbiert wird, in Abhängigkeit von der Intensität ebenfalls unterschiedlich. Wie bereits erwähnt, wird daher die Intensität des Anregungslichts, die jedem der Mehrzahl von Fluoreszenzspektren entspricht, ausgeglichen, wodurch das Absorptionsspektrum in geeigneter Weise bewertet werden kann.
• Hierbei sind A bis D von 4 spezifische Beispiele der von der Bilderfassungseinheit 112 erfassten Fluoreszenzspektren. In A bis D von 4 enthält das fluoreszenzgefärbte Spezimen 30A zum Beispiel vier fluoreszierende Substanzen von DAPI, CK/AF488, PgR/AF594 und ER/AF647, und es sind spezifische Beispiele für Fluoreszenzspektren dargestellt, die erfasst werden, wenn die fluoreszierenden Substanzen mit Anregungslicht mit Wellenlängen von 392 [nm] (A von 4), 470 [nm] (B von 4), 549 [nm] (C von 4) und 628 [nm] (D von 4) bestrahlt werden. Es sei angemerkt, dass die Fluoreszenzwellenlänge aufgrund der Emission von Energie für die Fluoreszenzemission zu einer Seite längerer Wellenlänge als der Anregungswellenlänge verschoben wird (Stokes-Verschiebung). Ferner sind die im fluoreszenzgefärbten Spezimen 30A enthaltene fluoreszierende Substanz und die Anregungswellenlänge des Anregungslichts für die Bestrahlung nicht auf das Vorhergesagte beschränkt.
• Konkret extrahiert die Verbindungseinheit 1311 ein Fluoreszenzspektrum SP1 im Wellenlängenband der Anregungswellenlänge von 392 nm oder mehr und 591 nm oder weniger aus dem Fluoreszenzspektrum, das in A von 4 dargestellt ist, extrahiert sie ein Fluoreszenzspektrum SP2 im Wellenlängenband der Anregungswellenlänge von 470 nm oder mehr und 669 nm oder weniger aus dem Fluoreszenzspektrum, das in B von 4 dargestellt ist, extrahiert sie ein Fluoreszenzspektrum SP3 im Wellenlängenband der Anregungswellenlänge von 549 nm oder mehr und 748 nm oder weniger aus dem Fluoreszenzspektrum, das in C von 4 dargestellt ist, und extrahiert sie ein Fluoreszenzspektrum SP4 im Wellenlängenband der Anregungswellenlänge von 628 nm oder mehr und 827 nm oder weniger aus dem Fluoreszenzspektrum, das in D von 4 dargestellt ist. Als Nächstes korrigiert die Verbindungseinheit 1311 eine Wellenlängenauflösung des extrahierten Fluoreszenzspektrums SP1 auf 16 nm (ohne Intensitätskorrektur), sie korrigiert die Intensität des Fluoreszenzspektrums SP2 auf das 1,2-fache und sie korrigiert die Wellenlängenauflösung davon auf 8 nm, sie korrigiert die Intensität des Fluoreszenzspektrums SP3 auf das 1,5-fache (ohne Korrektur der Wellenlängenauflösung) und sie korrigiert die Intensität des Fluoreszenzspektrums SP4 auf das 4,0-fache und sie korrigiert die Wellenlängenauflösung davon auf 4 nm. Dann erzeugt die Verbindungseinheit 1311 das verbundene Fluoreszenzspektrum, wie in E von 4 dargestellt, indem sie die korrigierten Fluoreszenzspektren SP1 bis SP4 der Reihe nach verbindet.
• Es sei angemerkt, dass die Bandbreiten der durch die Verbindungseinheit 1311 extrahierten Fluoreszenzspektren nicht miteinander übereinstimmen müssen, sondern verschieden voneinander sein können, auch wenn 4 einen Fall darstellt, in dem Fluoreszenzspektren SP1 bis SP4 mit einer vorgegebenen Bandbreite (200 nm Breite in 4) aus der Anregungswellenlänge extrahiert werden, wenn die Verbindungseinheit 1311 jedes Fluoreszenzspektrum erfasst und verbindet. Das heißt, die von der Verbindungseinheit 1311 aus jedem Fluoreszenzspektrum extrahierte Region kann eine Region sein, die die Spitzenwellenlänge jedes Fluoreszenzspektrums aufweist, und das Wellenlängenband und die Bandbreite können entsprechend geändert werden. Zu diesem Zeitpunkt kann die Verschiebung der Spektrumwellenlänge aufgrund der Stokes-Verschiebung berücksichtigt werden. Wie bereits erwähnt, kann die Datenmenge durch Eingrenzen des zu extrahierenden Wellenlängenbandes reduziert werden, sodass der Fluoreszenztrennungsprozess mit einer höheren Geschwindigkeit durchgeführt werden kann.
• Außerdem kann es sich bei der Intensität des Anregungslichts in der vorliegenden Beschreibung um Anregungsleistung oder Anregungsleistungsdichte handeln, wie bereits erwähnt. Bei der Anregungsleistung oder der Anregungsleistungsdichte kann es sich um Leistung oder eine Leistungsdichte handeln, die durch tatsächliches Messen des von der Lichtquelle emittierten Anregungslichts erhalten wird, oder um Leistung oder eine Leistungsdichte handeln, die von einer an die Lichtquelle angelegten Ansteuerspannung erhalten wird. Es sei angemerkt, dass die Intensität des Anregungslichts in der vorliegenden Beschreibung ein Wert sein kann, der durch Korrigieren der Leistungsdichte mit einer Absorptionsrate für jedes Anregungslicht der zu beobachteten Sektion oder einer Verstärkungsrate eines Detektionssignals in einem Detektionssystem, das die von der Sektion emittierte Fluoreszenz detektiert, erhalten wird (der Bilderfassungseinheit 112 oder dergleichen). Das heißt, bei der Intensität des Anregungslichts in der vorliegenden Beschreibung kann es sich um die Leistungsdichte des Anregungslichts, das tatsächlich zur Anregung der fluoreszierenden Substanz beiträgt, einen Wert, der durch das Korrigieren der Leistungsdichte mit dem Verstärkungsfaktor des Detektionssystems erhalten wird, oder dergleichen handeln. Durch Berücksichtigen der Absorptionsrate, der Verstärkungsrate und dergleichen ist es möglich, die Intensität des Anregungslichts, die sich gemäß der Änderung des Maschinenzustands, der Umgebung und dergleichen ändert, entsprechend zu korrigieren, sodass es möglich ist, das verbundene Fluoreszenzspektrum zu erzeugen, das Farbtrennung mit höherer Genauigkeit ermöglicht.
• Es sei angemerkt, dass der Korrekturwert (auch als Intensitätskorrekturwert bezeichnet), der auf der Intensität des Anregungslichts für jedes Fluoreszenzspektrum basiert, nicht auf einen Wert zum Ausgleichen der Intensität des Anregungslichts beschränkt ist, die jedem der Mehrzahl von Fluoreszenzspektren entspricht, sondern verschiedentlich modifiziert werden kann. Zum Beispiel neigt eine Signalintensität eines Fluoreszenzspektrums mit einer Intensitätsspitze auf der Seite der langen Wellenlänge dazu, niedriger als eine Signalintensität eines Fluoreszenzspektrums mit einer Intensitätsspitze auf der Seite der kurzen Wellenlänge zu sein. Wenn daher das verbundene Fluoreszenzspektrum sowohl das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der langen Wellenlänge als auch das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der kurzen Wellenlänge aufweist, wird das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der langen Wellenlänge kaum berücksichtigt und es kann nur das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der kurzen Wellenlänge extrahiert werden. In solch einem Fall ist es zum Beispiel durch Einstellen des Intensitätskorrekturwerts für das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der langen Wellenlänge auf einen größeren Wert möglich, die Trennungsgenauigkeit des Fluoreszenzspektrums mit der Intensitätsspitze auf der Seite der kurzen Wellenlänge zu verbessern.
• (Farbtrennungseinheit 1321)
• Die Farbtrennungseinheit 1321 weist zum Beispiel eine erste Farbtrennungseinheit 1321a und eine zweite Farbtrennungseinheit 1321b auf und führt Farbtrennung an dem verbundenen Fluoreszenzspektrum der von der Verbindungseinheit 1311 eingegebenen gefärbten Sektion (auch als gefärbte Probe bezeichnet) für jedes Molekül durch.
• Genauer gesagt führt die erste Farbtrennungseinheit 1321a einen Farbtrennungsprozess an dem verbundenen Fluoreszenzspektrum der von der Verbindungseinheit 1311 eingegebenen gefärbten Probe unter Verwendung eines in den Reagenzinformationen enthaltenen verbundenen Referenz-Fluoreszenzspektrums und eines in den Spezimeninformationen enthaltenen verbundenen Referenz-Autofluoreszenzspektrums aus, die von der Informationsspeichereinheit 121 eingegeben werden, um dadurch das verbundene Fluoreszenzspektrum in Spektren für jedes Molekül zu trennen. Es sei angemerkt, dass zum Beispiel eine Methode der kleinsten Quadrate (LSM), eine Methode der gewichteten kleinsten Quadrate (WLSM), eine nicht-negative Matrixfaktorisierung NMF), eine nicht-negative Matrixfaktorisierung unter Verwendung einer Gram-Matrix ^tAA oder dergleichen für den Farbtrennungsprozess verwendet werden können.
• Die zweite Farbtrennungseinheit 1321b führt den Farbtrennungsprozess unter Verwendung des verbundenen Referenz-Autofluoreszenzspektrums nach der Anpassung aus, das von der Spektrumextraktionseinheit 1322 an dem verbundenen Fluoreszenzspektrum der von der Verbindungseinheit 1311 eingegebenen gefärbten Probe eingegeben wird, um dadurch das verbundene Fluoreszenzspektrum in Spektren für jedes Molekül zu trennen. Es sei angemerkt, dass, wie bei der ersten Farbtrennungseinheit 1321a, zum Beispiel eine Methode der kleinsten Quadrate (LSM), eine Methode der gewichteten kleinsten Quadrate (WLSM), eine nicht-negative Matrixfaktorisierung NMF), eine nicht-negative Matrixfaktorisierung unter Verwendung einer Gram-Matrix ^tAA oder dergleichen für den Farbtrennungsprozess verwendet werden können.
• Hierbei wird zum Beispiel bei der Methode der kleinsten Quadrate das Farbmischungsverhältnis berechnet, indem das von der Verbindungseinheit 1311 erzeugte verbundene Fluoreszenzspektrum an das Referenzspektrum angepasst wird. Außerdem wird bei der Methode der gewichteten kleinsten Quadrate das Gewichten so durchgeführt, dass ein Fehler eines niedrigen Signalpegels hervorgehoben wird, indem die Tatsache verwendet wird, dass Rauschen des verbundenen Fluoreszenzspektrums (Signal), wobei es sich um einen gemessenen Wert handelt, eine Poisson-Verteilung aufweist. Ein oberer Grenzwert, bei dem keine Gewichtung durch die Methode der gewichteten kleinsten Quadrate durchgeführt wird, wird jedoch als ein Offsetwert eingestellt. Der Offsetwert wird durch Charakteristiken eines für die Messung verwendeten Sensors bestimmt und, falls ein Bildgebungselement als Sensor verwendet wird, muss der Offsetwert separat optimiert werden.
• (Spektrumextraktionseinheit 1322)
• Die Spektrumextraktionseinheit 1322 ist eine Konfiguration zur Verbesserung des verbundenen Referenz-Autofluoreszenzspektrums, sodass ein genaueres Farbtrennungsergebnis erhalten werden kann, und passt das verbundene Referenz-Autofluoreszenzspektrum, das in den von der Informationsspeichereinheit 121 eingegebenen Spezimeninformationen enthalten ist, auf der Basis des Farbtrennungsergebnisses durch die Farbtrennungseinheit 1321 an eines an, das ein genaueres Farbtrennungsergebnis erhalten kann.
• Die Spektrumextraktionseinheit 1322 führt einen Spektrumextraktionsprozess unter Verwendung des von der ersten Farbtrennungseinheit 1321a eingegebenen Farntrennungsergebnisses an dem von der Informationsspeichereinheit 121 eingegeben verbundenen Referenz-Autofluoreszenzspektrum aus und passt das verbundene Referenz-Autofluoreszenzspektrum auf der Basis des Ergebnisses an, um dadurch das verbundene Referenz-Autofluoreszenzspektrum zu einem zu verbessern, das ein genaueres Farbtrennungsergebnis erhalten kann. Es sei angemerkt, dass für den Spektrumextraktionsprozess zum Beispiel eine nicht-negative Matrixfaktorisierung (NMF), eine Singulärwertzerlegung (SVD) oder dergleichen verwendet werden kann.
• Es sei angemerkt, dass in 3 der Fall veranschaulicht ist, in dem die Anpassung des verbundenen Referenz-Autofluoreszenzspektrum einmal durchgeführt wird, aber die vorliegende Erfindung ist nicht darauf beschränkt, sondern ein Prozess des Eingebens des Farbtrennungsergebnisses durch die zweite Farbtrennungseinheit 1321b in die Spektrumextraktionseinheit 1322 und des ein- oder mehrmaligen erneuten Ausführens der Anpassung des verbundenen Referenz-Autofluoreszenzspektrums in der Spektrumextraktionseinheit 1322 kann wiederholt werden und das endgültige Farbtrennungsergebnis kann dann erfasst werden.
• Wie bereits erwähnt, können die erste Farbtrennungseinheit 1321a und die zweite Farbtrennungseinheit 1321b ein eindeutiges Spektrum als das Trennungsergebnis ausgeben (das Trennungsergebnis wird nicht für jede Anregungswellenlänge geteilt), indem sie den Fluoreszenztrennungsprozess unter Verwendung der in der Wellenlängenrichtung verbundenen Referenzspektren (des verbundenen Referenz-Autofluoreszenzspektrums und des verbundenen Referenz-Fluoreszenzspektrums) durchführen. Daher kann der Implementierer das korrekte Spektrum leichter erhalten. Da außerdem das Referenzspektrum (das verbundene Referenz-Autofluoreszenzspektrum) in Bezug auf die zur Trennung verwendete Autofluoreszenz automatisch erfasst wird und der Fluoreszenztrennungsprozess durchgeführt wird, ist es nicht notwendig, dass der Implementierer ein Spektrum, das der Autofluoreszenz entspricht, aus einem entsprechenden Raum einer nicht gefärbten Sektion extrahiert.
• Hierbei gab es herkömmlicherweise kein Verfahren zur Durchführung einer quantitativen Bewertung eines tatsächlich gefärbten Bildes, um einen Farbtrennungsalgorithmus wie oben beschrieben (zum Beispiel die Farbtrennungsgenauigkeit oder dergleichen), quantitativ zu bewerten. Die Gründe dafür umfassen: „1. in einem Bild, das durch tatsächliches Färben und Aufnehmen eines Bildes einer biologischen Probe erhalten wird, ist es nicht möglich, zu bestimmen, wo der Farbstoff gefärbt wurde, und es nicht möglich, zu bestimmen, ob der Farbstoff und die Autofluoreszenz erfolgreich getrennt wurden (die korrekte Antwort ist unbekannt)“, „2. ein System, das in der FCM (Durchflusszytometrie) verwendet wird und unter Verwendung des Spektrums eines Farbstoffs und von Wellenlängenauflösungscharakteristiken eines Detektionssystems ein Panel mit guter Farbstofftrennbarkeit erzeugt, kann nicht verwendet werden in einem Fall, in dem sich die Farbstoffe überlappen oder ein Einfluss der Autofluoreszenz groß ist“, „3. in dem System, in dem ein Panel aus einer Antigenexpressionsrate, einer Antikörper-Farbstoffmarkierungsrate, einer Farbstoffluminanz und einer Anregungseffizienz bestimmt wird, variieren die Autofluoreszenzcharakteristiken in Abhängigkeit von der Gewebestelle und können demnach nicht für eine räumliche komplexe Bewertung verwendet werden“, und „4. in den beiden vorstehenden Systemen sind die spektrale Form der Messautofluoreszenz, ein zu verleihender Pegel und ein Rauschpegel des Messsystems unbekannt und können zum Zeitpunkt des Paneldesigns nicht berücksichtigt werden“.
• Daher ist es effektiv, ein simuliertes Bild zu verwenden, um eine quantitative Bewertung, wie beispielsweise einen Farbtrennungsalgorithmus, durchzuführen. Zum Beispiel wird in der vorliegenden Ausführungsform ein Farbstoffkachelbild (Fluoreszenzbild) erzeugt, indem ein Farbstoffspektrum, dem eine Rauschcharakteristik verliehen wird, die einem Bildgebungsparameter entspricht, in Kachelform auf ein durch Bildaufnahme erfasstes nicht gefärbtes Bild gelegt wird, und das Farbstoffkachelbild und das nicht gefärbte Bild werden kombiniert, um ein Bild (simuliertes Bild) zu erzeugen, das eine tatsächliche Messung simuliert. Demnach können auch Färbungsbedingungen oder dergleichen, bei welchen der Farbstoffluminanzpegel in Bezug auf die Autofluoreszenz nicht hoch ist, reproduziert werden und ein Farbstoff und ein Pixel mit Autofluoreszenz können unterschieden werden. Folglich kann die Genauigkeit der Farbtrennung quantitativ als ein Signaltrennungswert aus dem Durchschnitt und der Varianz von Pixeln erhalten werden. Diese quantitative Bewertung wird im Folgenden ausführlich beschrieben.
• <1-4. Konfigurationsbeispiel einer Analyseeinheit in Bezug auf eine quantitative Bewertung>
• Unter Bezugnahme auf 5 und 6 wird ein Konfigurationsbeispiel der Analyseeinheit 131 gemäß der quantitativen Bewertung gemäß der vorliegenden Ausführungsform beschrieben. 5 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Analyseeinheit 131 gemäß der vorliegenden Ausführungsform darstellt. 6 ist ein Diagramm zum Beschreiben eines Beispiels eines simulierten Bildes gemäß der vorliegenden Ausführungsform.
• Wie in 5 dargestellt, weist die Analyseeinheit 131 eine Einheit zur Erzeugung simulierter Bilder 131a, eine Fluoreszenztrennungseinheit 131b und eine Bewertungseinheit 131c auf. Die Fluoreszenztrennungseinheit 131b entspricht der Farbtrennungseinheit 1321.
• Wie in 6 dargestellt, erzeugt die Einheit zur Erzeugung simulierter Bilder 131a ein simuliertes Bild, indem sie ein nicht gefärbtes Bild (Hintergrundbild), das eine Autofluoreszenzkomponente enthält, und ein Farbstoffkachelbild (Fluoreszenzbild) überlagert. Das Farbstoffkachelbild ist eine Farbstoffkachelgruppe mit einer Mehrzahl von Farbstoffkacheln. Dieses Farbstoffkachelbild ist zum Beispiel ein Bild, in dem ein Standardspektrum (Referenzspektrum) eines fluoreszierenden Farbstoffs (erster fluoreszierender Farbstoff) und Bildgebungsrauschen für jedes Pixel eines nicht gefärbten Bildes miteinander assoziiert sind.
• Zum Beispiel wird die Intensität des Farbstoffs, die der Autofluoreszenzintensität des nicht gefärbten Bildes verliehen werden soll, aus einer Antigenexpressionsrate, einer Antikörpermarkierungsrate, einer Farbstoffanregungseffizienz, einer Farbstoffleuchteffizienz und dergleichen bestimmt. Die Autofluoreszenzkomponente ist endogenes Rauschen, das in der Gewebeprobe entsteht. Beispiele für das endogene Rauschen weisen zusätzlich zu der Autofluoreszenzkomponente des nicht gefärbten Bildes ein Standardspektrum eines anderen fluoreszierenden Farbstoffs (zweiter fluoreszierender Farbstoff) des nicht gefärbten Bildes auf. Ferner ist das Bildgebungsrauschen zum Beispiel ein Rauschen, das sich gemäß den Bildgebungsbedingungen des nicht gefärbten Bildes ändert, und dergleichen. Der Grad des Bildgebungsrauschens wird für jedes Pixels quantifiziert oder visualisiert. Die Bildgebungsbedingungen des nicht gefärbten Bildes weisen zum Beispiel Laserleistung, Verstärkung, Belichtungszeit und dergleichen auf.
• Beispiele für das Bildgebungsrauschen (Messsystemrauschen) umfassen: „1. unnötiges Signalrauschen aufgrund von Autofluoreszenz“, „2. Zufallsrauschen (zum Beispiel Ausleserauschen, Dunkelstromrauschen und dergleichen), das durch Sensorschaltungen wie etwa CMOS verursacht wird“, und „3. Schrotrauschen (zufällig), das gemäß der Quadratwurzel der Menge detektierter Ladungsmenge zunimmt“. Zum Simulieren des Bildgebungsrauschens ist das Rauschen, das mit dem Standardspektrum (Kachelbild) assoziiert ist, das heißt diesem verliehen wird, in erster Linie das Schrotrauschen des vorstehenden Beispiels 3. Der Grund dafür ist, dass die vorstehenden Beispiele 1 und 2 im nicht gefärbten Bild (Autofluoreszenzbild) des Hintergrunds enthalten sind. Durch Überlagern der Kachel und des Hintergrunds ist es möglich, alle vorstehenden Beispiele 1 bis 3 von Bildgebungsrauschen (Messsystemrauschen), das simuliert werden soll, auszudrücken. Die im vorstehenden Beispiel 3 zu verleihende Schrotrauschmenge kann aus der Anzahl von Photonen (oder der Ladungsmenge) eines der Kachel zu verleihenden Farbstoffsignals bestimmt werden. Zum Beispiel wird in der vorliegenden Ausführungsform die Ladungsmenge des nicht gefärbten Bildes des Hintergrunds berechnet, die Ladungsmenge des Farbstoffs wird aus dem Wert bestimmt und ferner wird die Schrotrauschmenge bestimmt. Es sei angemerkt, dass das Schrotrauschen auch Photonenrauschen genannt wird und durch physikalische Fluktuation der Menge von Photonen verursacht wird, die den Sensor erreichen, ohne einen konstanten Wert anzunehmen. Dieses Schrotrauschen wird nicht beseitigt, egal wie sehr die Schaltung des Messsystems verbessert wird.
• Hier weist die Farbstoffkachel im Beispiel von 6 10 × 10 Pixel (Pixel für die Anzeige) (etwa 0,3 µm/Pixel) auf. Dies ist ein Fall, in dem das nicht gefärbte Bild mit einer 20-fachen Bildaufnahmevergrößerung aufgenommen wird und, wenn die Vergrößerung geändert wird, muss die Größe der Farbstoffkachel gemäß der Zellgröße geändert werden. Die Größe (das Volumen) einer Farbstoffkachel entspricht der Größe der Zelle und die Anzahl von Pixeln des Farbstoffkachelbildes entspricht der Anzahl von Pixeln der Zellgröße. Die kleinste Pixeleinheit ist gleich der Zellgröße. Das Farbstoffkachelbild weist ein Standardspektrum für jede einer Mehrzahl von Arten von Farbstoffkacheln mit unterschiedlichen Farbstoffen, das heißt einer Mehrzahl von fluoreszierenden Farbstoffen, auf. Es sei angemerkt, dass es auch möglich ist, die Farbtrennungsperformance unter einer Doppelfärbungsbedingung oder einer Dreifachfärbungsbedingung zu bewerten, indem eine Mehrzahl von Farbstoffen in einer Farbstoffkachel anstelle eines Farbstoffs in einer Farbstoffkachel gemischten wird.
• Im Beispiel von 6 werden neun Farben von Farbstoffen (Farbstoffkacheln) verwendet. Das Farbanordnungsmuster der Farbstoffkacheln aus neun Farben ist ein Muster, bei dem die Farbstoffkacheln derselben Farbe in einer schrägen Streifenform angeordnet sind, ohne darauf beschränkt zu sein. Zum Beispiel kann das Farbanordnungsmuster jeder Farbkachel ein Muster sein, bei dem die Farbstoffkacheln derselben Farbe in einer vertikalen Streifenform, einer horizontalen Streifenform, einem schachbrettartigen Muster oder dergleichen angeordnet sind, und es kann ein vorgegebenes Farbanordnungsmuster sein, das definiert, welche Farbstoffkachel sich in welcher Position befindet.
• Konkret erfasst die Einheit zur Erzeugung simulierter Bilder 131a ein nicht gefärbtes Bild (nicht gefärbtes Gewebebild) und einen Bildgebungsparameter als Eingabeparameter. Der Bildgebungsparameter ist ein Beispiel für Bildgebungsbedingungen und weist zum Beispiel Laserleistung, Verstärkung, Belichtungszeit und dergleichen auf. Die Einheit zur Erzeugung simulierter Bilder 131a erzeugt eine Farbstoffkachel durch Hinzufügen einer dem Bildgebungsparameter entsprechenden Rauschcharakteristik zum Farbstoffspektrum, ordnet die Farbstoffkacheln entsprechend der Anzahl der vom Benutzer für die Färbung gewünschten Farbstoffe wiederholt an und erzeugt einen Datensatz des Farbstoffkachelbildes.
• Die Fluoreszenztrennungseinheit 131b trennt eine Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des von der Einheit zur Erzeugung simulierter Bilder 131b erzeugten simulierten Bildes und erzeugt ein getrenntes Bild. Die Fluoreszenztrennungseinheit 131b führt die Farbtrennungsberechnung am simulierten Bild (Datensatz) durch, um ein getrenntes Bild zu erzeugen. Es sei angemerkt, dass die Fluoreszenztrennungseinheit 131b die Farbtrennungseinheit 1321 ist und dieselbe Verarbeitung wie die Farbtrennungseinheit 1321 durchführt. Das Farbtrennungsverfahren weist zum Beispiel LSM, NMF und dergleichen auf.
• Die Bewertungseinheit 131c bewertet den Grad der Trennung des gentrennten Bildes, das von der Fluoreszenztrennungseinheit 131b erzeugt wurde. Die Bewertungseinheit 131c bestimmt den Grad der Trennung des getrennten Bildes (Qualität des Panels) aus dem Durchschnitt und der Varianz der Ergebnisse der Farbtrennungsberechnung. Zum Beispiel erzeugt die Bewertungseinheit 131c ein Histogramm aus dem getrennten Bild, berechnet einen Signaltrennungswert zwischen einem Farbstoff und einem anderen Signal als dem des Farbstoffs aus dem Histogramm und bewertet den Trennungsgrad auf der Basis des Signaltrennungswerts. Als ein Beispiel stellt die Bewertungseinheit 131c positive und negative Pixel getrennt in Farbe durch ein Histogramm dar und erzeugt einen Graphen, der einen Signaltrennungswert angibt, der ein numerischer Wert eines Berechnungsergebnisses der Farbtrennungsgenauigkeit ist.
• Die Anzeigeeinheit 140 zeigt Informationen an, die ein Bewertungsergebnis (zum Beispiel einen Signaltrennungswert für jeden Farbstoff) der Bewertungseinheit 131c oder eines Bildes angeben. Zum Beispiel zeigt die Anzeigeeinheit 140 einen Graphen, ein Diagramm oder dergleichen an, um den Signaltrennungswert für jeden Farbstoff anzugeben, der von der Bewertungseinheit 131c erzeugt wird. Demnach kann der Benutzer das Bewertungsergebnis der Bewertungseinheit 131c erfassen.
• <1-5. Beispiel einer Verarbeitung zur Erzeugung eines simulierten Bildes>
• Unter Bezugnahme auf 7 und 8 wird ein Beispiel der Verarbeitung zur Erzeugung eines simulierten Bildes gemäß der vorliegenden Ausführungsform beschrieben. 7 ist ein Flussdiagramm, das ein Beispiel eines Flusses des Prozesses zur Erzeugung eines simulierten Bildes gemäß der vorliegenden Ausführungsform darstellt. 8 ist ein Diagramm zum Beschreiben eines Schrotrauschüberlagerungsprozesses gemäß der vorliegenden Ausführungsform.
• Wie in 7 dargestellt, wählt der Benutzer in Schritt S11 eine Kombination eines zu färbenden Antikörpers und eines Farbstoffs aus. In Schritt S12 bestimmt die Einheit zur Erzeugung simulierter Bilder 131a die zu verleihende spektrale Intensität eines Farbstoffs aus der Autofluoreszenzintensität des zu überlagernden nicht gefärbten Bildes. In Schritt S13 erzeugt die Einheit zur Erzeugung simulierter Bilder 131a ein Fluoreszenzbild (ein Farbstoffkachelbild), indem sie Farbstoffkacheln wiederholt anordnet und dabei Rauschen (Bildgebungsrauschen) unter Berücksichtigung eines Rauschpegels zum Zeitpunkt der Bildaufnahme und der Messung für jedes Pixel vermittelt. Die Einheit zur Erzeugung simulierter Bilder 131a überlagert das nicht gefärbte Bild mit dem erzeugten Fluoreszenzbild. Somit ist das simulierte Bild fertiggestellt.
• Konkret wird im vorstehenden Schritt S12 die der Autofluoreszenzintensität des nicht gefärbten Bildes (Hintergrundbild) zu verleihende spektrale Intensität des Farbstoffs bestimmt. Zum Beispiel wird die der Autofluoreszenzintensität des nicht gefärbten Bildes zu verleihende Luminanz des Farbstoffspektrums durch die folgenden Flüsse (a) bis (c) bestimmt.
• (a) Berechnung der Spitzenpositionsintensität des Farbstoffs
• Die Einheit zur Erzeugung simulierter Bilder 131a erfasst die Intensität, die einer Spitzenposition von 16 nm (die 2 Kanälen vom Maximalwert entspricht) jedes Farbstoffspektrums entspricht, und integriert die Werte.
• (b) Spitzenpositionsintensität der Autofluoreszenz
• Die Einheit zur Erzeugung simulierter Bilder 131a erfasst die Autofluoreszenzintensität des Hintergrundbildes. Zum Beispiel integriert die Einheit zur Erzeugung simulierter Bilder 131a die spektrale Intensität des Hintergrundbildes, die zwei Kanälen einer Spitzenposition jedes Farbstoffs entspricht. Zu diesem Zeitpunkt ist die spektrale Intensität des Wellenlängenkanals des Hintergrundbildes ein Mittelwert aller Pixel.
• (c) Bestimmung der Farbstoffintensität, die der Autofluoreszenzintensität verliehen werden soll
• Die Einheit zur Erzeugung simulierter Bilder 131a bestimmt die Farbstoffintensität, die der Autofluoreszenzintensität des Hintergrundbildes verliehen werden soll, aus einer Antigenexpressionsrate, einer Antikörpermarkierungsrate, einer Farbstoffanregungseffizienz, einer Farbstoffleuchteffizienz und dergleichen. Die Einheit zur Erzeugung simulierter Bilder 131a erhält die Vergrößerung des Farbstoffspektrums aus der in den vorstehenden Flüssen (a) und (b) erhaltenen spektralen Intensität und passt sie an, um die eingestellte Farbstoffintensität zu erhalten. Es sei angemerkt, dass die Vergrößerung aus dem folgenden Ausdruck (1) erhalten wird. Ausdruck (1) ist ein Ausdruck, der mit einem Verfahren zum Erhalten von Farbstoffintensität in Bezug auf Autofluoreszenz in Beziehung steht.
  $$\begin{array}{l}\frac{\text{Spektrale Spitzenpositionsintensität des Farbstoffs}\times \text{Vergrößerung}}{\begin{array}{c}\text{Spektrale Intensität der Autofluoreszens des Hintergrundbildes}\\ \text{der entsprechenden Position}\end{array}}\\ =\text{Festgelegte Farbstoffintensität}\end{array}$$

  
• Ferner wird im vorstehenden Schritt S13 Rauschüberlagerung entsprechend dem Bildgebungsparameter durchgeführt. Zum Beispiel weisen Rauschcharakteristiken eines CMOS als Aufzeichnungsvorrichtung Dunkelstrom- und Ausleserauschen, die im Verhältnis zur Belichtungszeit zunehmen, und Schrotrauschen auf, das proportional zur Quadratwurzel der Signalintensität ist. Da in diesem Bewertungssystem die Dunkelstromrausch- und die Ausleserauschkomponente bereits im tatsächlich gemessenen nicht gefärbten Bild enthalten sind, kann dem Farbstoffspektrum nur die Schrotrauschkomponente zur Überlagerung verliehen werden. Die Schrotrauschüberlagerung wird in den folgenden Flüssen (a) bis (d) durchgeführt.
1. (a) Die Einheit zur Erzeugung simulierter Bilder 131a teilt das Farbstoffspektrum durch die Wellenlängenkalibrierungsdaten (Umwandlungskoeffizient vom Kameraausgabewert in die spektrale Strahldichte) und gibt es auf den AD-Wert zurück.
2. (b) Die Einheit zur Erzeugung simulierter Bilder 131a wandelt den AD-Wert in eine Ladungsmenge e- aus der Verstärkung und der Pixelsättigungsladungsmenge zum Zeitpunkt der Aufnahme des Hintergrundbildes um.

$$\begin{array}{l}\text{Verstärkung Verstärkung}=10\left(\begin{array}{c}\text{dB}\\ \text{Wert}\end{array}/20\right)\\ \text{Umwandlungs}-\\ \begin{array}{cc}\text{koeffizeint }& \text{H}=\begin{array}{c}\text{Sättigungs}\\ \text{ladungsmenge}\end{array}\times \end{array}\frac{\frac{\text{Binning}}{\text{Verstärkung}}}{\begin{array}{c}\text{Maximaler}\\ \text{AD}-\text{Umwandlungspixelwert}\end{array}}\\ \text{Ladung E}\left(\mathrm{\lambda }\right)=\frac{\text{E}\left(\mathrm{\lambda }\right)}{\text{Cor}\left(\mathrm{\lambda }\right)}\times \text{H}\end{array}$$

• Ausdruck (2) ist eine Ladungsmengenumwandlungsgleichung. F (λ): Standardspektrum des Farbstoffs, Cor (λ): Wellenlängenkalibrierungsdaten, H: Umwandlungskoeffizient, und E (λ): Ladungsmenge.
• (c) Die Einheit zur Erzeugung simulierter Bilder 131a überlagert Zufallsrauschen von σ = S^1/2 (S: Ladungsmenge e^- pro Pixel) als Schrotrauschen. $$\begin{array}{c}\text{newE}\left(\mathrm{\lambda }\right)=\text{E}\left(\mathrm{\lambda }\right)+\sqrt{\text{E}\left(\mathrm{\lambda }\right)}\times \text{Nrand}\\ =\text{E}\left(\mathrm{\lambda }\right)+\sqrt{\text{S}}\end{array}$$

  
• Ausdruck (3) ist eine Schrotrauschüberlagerungsgleichung. newE (λ): Standardspektrum des Farbstoffs, dem Schrotrauschen überlagert wird, Nrand: normale Zufallszahl mit σ = 1, und S: Ladungsmenge pro Pixel e-.
• (d) Nach der Überlagerung des Schrotrauschens im vorstehenden Fluss (c) führt die Einheit zur Erzeugung simulierter Bilder 131a das Farbstoffspektrum im umgekehrten Fluss von (a) bis (b) zur spektralen Strahldichte zurück.
• 8 stellt die vorstehenden beschriebenen Flüsse (a) bis (d) dar. Da das durch die vorstehenden Flüsse (a) bis (d) erzeugte Farbstoffspektrum einem Pixel des Bildes entspricht, werden die Farbstoffspektren wiederholt als Farbstoffkacheln von 10 × 10 Pixel angeordnet und ein Fluoreszenzbild (Farbstoffkachelbild) wird erzeugt.
• <1-6. Beispiel einer Verarbeitung zur quantitativen Bewertung>
• Unter Bezugnahme auf 9 bis 11 wird ein Beispiel der Verarbeitung zur quantitativen Bewertung gemäß der vorliegenden Ausführungsform beschrieben. 9 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines quantitativen Bewertungsprozesses gemäß der vorliegenden Ausführungsform darstellt. 10 ist ein Diagramm, das ein Beispiel eines getrennten Bildes und eines Histogramms gemäß der vorliegenden Ausführungsform darstellt. 11 ist ein Diagramm zum Beschreiben einer Berechnung eines Signaltrennungswerts basierend auf dem Histogramm gemäß der vorliegenden Ausführungsform.
• Wie in 9 dargestellt, empfängt die Fluoreszenztrennungseinheit 131b in Schritt S21 das simulierte Bild. In Schritt S22 führt die Fluoreszenztrennungseinheit 131b die Farbtrennungsberechnung am simulierten Bild durch. In Schritt S23 erzeugt die Bewertungseinheit 131c ein Histogramm aus dem getrennten Bild. In Schritt S24 berechnet die Bewertungseinheit 131c einen Signaltrennungswert.
• Konkret führt die Fluoreszenztrennungseinheit 131b im vorstehenden Schritt S22 Farbtrennung unter Verwendung eines Farbtrennungsalgorithmus (zum Beispiel LSM, NMF oder dergleichen) durch, die unter Verwendung des Satzes von verwendeten Farbstoffspektren und des Satzes von Autofluoreszenzspektren als Eingabewerte bewertet werden soll.
• Im vorstehenden Schritt S23 erzeugt die Bewertungseinheit 131c nach der Farbtrennungsberechnung ein Histogramm aus dem getrennten Bild für jeden Farbstoff, wie in 10 dargestellt.
• Außerdem berücksichtigt die Bewertungseinheit 131c im vorstehenden Schritt S24 10 × 10 Pixel, die einer Zelle entsprechen, und die Mittelwertluminanz einer Kachel als ein Signal und berechnet den Signaltrennungswert aus dem Mittelwert µ und der Standardabweichung σ der Luminanz aller Kacheln, wie in 11 dargestellt. Wenn zum Beispiel der Signaltrennungswert den Detektionsgrenzwert von 3,29 σ = 1,645 überschreitet, ist die Farbtrennungsperformance (zum Beispiel die Farbtrennungsgenauigkeit) ausreichend.
  $$\text{Signaltrennungswert}=\frac{{\mathrm{\mu }}_1-{\mathrm{\mu }}_0}{{\mathrm{\sigma }}_1+{\mathrm{\sigma }}_2}$$

  
• Ausdruck (4) ist ein Ausdruck zur Berechnung eines Signaltrennungswerts. µ_0: Mittelwert von Kacheln eines anderen als dem zu bewertenden Farbstoff, µ_1: Mittelwert von Kacheln des zu bewertenden Farbstoffs, σ_1: Standardabweichung von Kacheln des zu bewertenden Farbstoffs und σ_2: Standardabweichung von Kacheln eines anderen als dem zu bewertenden Farbstoff (siehe 11).
• <1-7. Bildbeispiel eines getrennten Bildes>
• Unter Bezugnahme auf 12 bis 14 wird ein Bildbeispiel des getrennten Bildes gemäß der vorliegenden Ausführungsform beschrieben. 12 bis 14 sind Diagramme, die ein Beispiel eines getrennten Bildes gemäß der vorliegenden Ausführungsform darstellen.
• 12 ist ein gutes Beispiel des getrennten Bildes, 13 ist ein schlechtes Beispiel 1 des getrennten Bildes (Verlust von Autofluoreszenz) und 14 ist ein schlechtes Beispiel 2 des getrennten Bildes (Verlust von Autofluoreszenz). Diese Bilder werden durch die Anzeigeeinheit 140 nach Bedarf angezeigt. Das Vorhandensein oder Nichtvorhandensein der Anzeige kann durch einen Eingabevorgang des Benutzers auf der Bedieneinheit 160 auswählbar sein.
• Wie in 12 dargestellt, liegt im getrennten Bild kein Autofluoreszenzverlust vor. In dem Beispiel von 12 ist eine teilweise vergrößerte Ansicht dargestellt, aber selbst in dieser teilweise vergrößerten Ansicht liegt kein Autofluoreszenzverlust vor. Wie andererseits in 13 dargestellt, liegt im getrennten Bild Autofluoreszenzverlust vor. In dem Beispiel von 13 ist eine teilweise vergrößerte Ansicht eines Abschnitts mit Autofluoreszenzverlust dargestellt, es liegt jedoch ein starker Autofluoreszenzverlust vor. Wie in 14 dargestellt, tritt ähnlich 13 Autofluoreszenzverlust im getrennten Bild auf. In dem Beispiel von 14 ist ähnlich 13 eine teilweise vergrößerte Ansicht eines Abschnitts dargestellt, in dem Autofluoreszenzverlust auftritt, es liegt jedoch ein starker Autofluoreszenzverlust vor.
• <1-8. Bildbeispiel eines Bildes eines Bewertungsergebnisses>
• Unter Bezugnahme auf 15 und 16 wird ein Bildbeispiel eines Bildes eines Bewertungsergebnisses gemäß der vorliegenden Ausführungsform beschrieben. 15 ist ein Säulendiagramm, das einen Signaltrennungswert für jeden Farbstoff gemäß der vorliegenden Ausführungsform darstellt. 16 ist ein Streudiagramm, das einen Signaltrennungswerts für jeden Farbstoff gemäß der vorliegenden Ausführungsform darstellt.
• Wie in 15 dargestellt, wird ein Säulendiagramm, das den Signaltrennungswert für jeden Farbstoff angibt, auf der Anzeigeeinheit 140 angezeigt. Wie in 16 dargestellt, wird außerdem ein Streudiagramm, das den Signaltrennungswert für jeden Farbstoff angibt, auf der Anzeigeeinheit 140 angezeigt. Dieses Streudiagramm ist ein Streudiagramm, das einen Verlust zwischen Farbstoffen bei enger Anregung darstellt. Diese Säulenmarkierungen und Dispersionsdiagramme werden von der Bewertungseinheit 131c erzeugt und an die Anzeigeeinheit 140 ausgegeben. Das Säulendiagramm und das Dispersionsdiagramm sind Bilder, die die Bewertungsergebnisse der Bewertungseinheit 131c angeben und dienen lediglich als Beispiele. Das Vorhandensein oder Nichtvorhandensein der Anzeige und des Anzeigemodus (zum Beispiel eines Anzeigemodus wie ein Säulendiagramm oder ein verteiltes Diagramm) kann durch einen Eingabevorgang eines Benutzers auf der Bedieneinheit 160 auswählbar sein.
• Wie bereits erwähnt, werden mit dem Informationsverarbeitungssystem gemäß der vorliegenden Erfindung während des Konzipierens einer Überlagerung des Farbstoffspektrums für jedes Pixel mit Rauschcharakteristiken, die Bildgebungsparametern wie etwa Verstärkung und Belichtungszeit entsprechen, Farbstoffkacheln mit der Anzahl von Pixeln entsprechend der Größe der Zelle für die Anzahl von zu färbenden Farbstoffen wiederholt angeordnet und dem nicht gefärbten Bild überlagert, um dadurch ein gefärbtes Bild (simuliertes Bild) zu erzeugen, das die tatsächliche Messung simuliert. Dies ermöglicht es, die Spektralform der gemessenen Autofluoreszenz und die Charakteristiken des Rauschpegels so widerzuspiegeln, dass ein simuliertes Bild unter beliebigen Bildaufnahmebedingungen erzeugt werden kann.
• Ferner kann durch das Erzeugen eines simulierten Bildes, in dem Farbstoffkacheln wiederholt angeordnet sind, ein Pixel, dem ein Farbstoff überlagert ist, und andere Pixel, die Autofluoreszenz aufweisen, unterschieden werden, sodass die Genauigkeit einer Farbtrennung als Signaltrennungswert aus dem Durchschnitt und der Standardabweichung jedes Pixels quantitativ berechnet werden kann. Da außerdem die dem Autofluoreszenzspektrum des nicht gefärbten Bildes zu verleihende Farbstoffintensität aus der Antigenexpressionsrate, der Antikörpermarkierungsrate, der Farbstoffanregungseffizienz, der Farbstoffleuchteffizienz und dergleichen festgelegt werden kann, kann die Farbtrennungsgenauigkeit selbst unter beliebigen Färbungsbedingungen bewertet werden.
• Das heißt, die Einheit zur Erzeugung simulierter Bilder 131a erzeugt ein Farbstoffkachelbild, indem einem durch Bildaufnahme erfassten nicht gefärbten Bild ein Farbstoffspektrum, dem eine Rauschcharakteristik verliehen wird, die dem Bildgebungsparameter entspricht, in Kachelform überlagert wird, und kombiniert das Farbstoffkachelbild und das nicht gefärbte Bild, um ein Bild (simuliertes Bild) zu erzeugen, das eine tatsächliche Messung simuliert. Demnach können auch Färbungsbedingungen oder dergleichen, bei welchen der Farbstoffluminanzpegel in Bezug auf die Autofluoreszenz nicht hoch ist, reproduziert werden und ein Farbstoff und ein Pixel mit Autofluoreszenz können unterschieden werden. Folglich kann die Genauigkeit der Farbtrennung quantitativ als ein Signaltrennungswert aus dem Durchschnitt und der Varianz von Pixeln erhalten werden.
• Zum Beispiel kann die Genauigkeit des Farbtrennungsalgorithmus als numerischer Wert, der als Signaltrennungswert bezeichnet und aus der Varianz und dem Durchschnitt erhalten wird, quantitativ erhalten werden. Ferner kann auch die Bewertung einer Kombination von Farbstoffen oder eine Kombination eines Farbstoffs und eines Reagenzes quantitativ als ein numerischer Wert erhalten werden. Außerdem kann die quantitative Bewertung selbst an Gewebestellen mit unterschiedlichen Autofluoreszenzspektren (unterschiedlichen Geweben) durchgeführt werden und es kann auch eine zusammengesetzte Bewertung durchgeführt werden.
• Üblicherweise ist die Genauigkeit des Farbtrennungsalgorithmus eine qualitative Bewertung durch visuelle Beobachtung, aber gemäß der vorliegenden Ausführungsform kann eine quantitative Bewertung durchgeführt werden, um einen optimalen Farbtrennungsalgorithmus auszuwählen. Obwohl außerdem ein Problem in den vorstehenden Ausdrücken 1 bis 4 beschrieben wird, kann die Genauigkeit der Farbtrennung selbst unter beliebigen Färbungsbedingungen quantitativ bewertet werden. Da ferner eine zusammengesetzte Bewertung möglich ist, kann ein optimaleres Paneldesign erstellt werden. Außerdem kann die Bewertung selbst in einem Fall durchgeführt werden, in dem Überlappung von Farbstoffen oder ein Einfluss von Autofluoreszenz groß ist. Obwohl außerdem Charakteristiken von Autofluoreszenz in Abhängigkeit von der Gewebestelle variieren, kann auch eine räumliche zusammengesetzte Bewertung durchgeführt werde. Das Paneldesign kann unter Berücksichtigung des Rauschpegels des Messsystems simuliert werden.
• Wenn zum Beispiel das zu überlagernde nicht gefärbte Bild nur DAPI-(4',6-Diamidino-2-phenylindol, Dihydrochlorid-)Färbung ist, wird Simulation mit dem vom Benutzer ausgewählten Farbstoff + DAPI möglich. Ferner kann Bewertung des Farbtrennungsalgorithmus und des Paneldesigns unter Berücksichtigung eines Verlusts von DAPI und dergleichen durchgeführt werden.
• <1-9. <Anwendungsbeispiel>
• Die Technologie gemäß der vorliegenden Offenbarung kann zum Beispiel auf eine Fluoreszenzbeobachtungsvorrichtung 500 (ein Beispiel für ein Mikroskopsystem) oder dergleichen angewendet werden. Im Folgenden wird hierin ein Konfigurationsbeispiel einer anwendbaren Fluoreszenzbeobachtungsvorrichtung 500 unter Bezugnahme auf die 17 und 18 beschrieben. 17 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Fluoreszenzbeobachtungsvorrichtung 500 gemäß der vorliegenden Ausführungsform darstellt. 18 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Beobachtungseinheit 1 gemäß der vorliegenden Ausführungsform darstellt.
• Wie in 17 dargestellt, weist die Fluoreszenzbeobachtungsvorrichtung 500 die Beobachtungseinheit 1, eine Prozesseinheit 2 und eine Anzeigeeinheit 3 auf.
• Die Beobachtungseinheit 1 weist eine Anregungseinheit (Bestrahlungseinheit) 10, einen Objekttisch 20, eine Spektralbildgebungseinheit 30, ein optisches Beobachtungssystem 40, einen Abtastmechanismus 50, einen Fokusmechanismus 60 und eine Nicht-Fluoreszenz-Beobachtungseinheit 70 auf.
• Die Anregungseinheit 10 bestrahlt das Beobachtungsziel mit einer Mehrzahl von Strahlen von Bestrahlungslicht mit unterschiedlichen Wellenlängen. Zum Beispiel bestrahlt die Anregungseinheit 10 ein pathologisches Spezimen (eine pathologische Probe), die das Beobachtungsziel ist, mit einer Mehrzahl von Linienbeleuchtungen mit unterschiedlichen Wellenlängen, die parallel zu unterschiedlichen Achsen angeordnet sind. Der Objekttisch 20 ist ein Tisch, der das pathologische Spezimen trägt, und so ausgebildet, dass er in einer Richtung senkrecht zur Richtung des Linienlichts durch die Linienbeleuchtung durch den Abtastmechanismus 50 bewegt werden kann. Die Spektralbildgebungseinheit 30 weist ein Spektroskop auf und erfasst ein Fluoreszenzspektrum (spektroskopische Daten) des pathologischen Spezimens, das durch die Linienbeleuchtungen linear angeregt wird.
• Das heißt, die Beobachtungseinheit 1 fungiert als ein Linienspektroskop, das spektroskopische Daten erfasst, die den Linienbeleuchtungen entsprechen. Ferner fungiert die Beobachtungseinheit 1 außerdem als eine Bildgebungsvorrichtung, die eine Mehrzahl von Fluoreszenzbildern aufnimmt, die durch ein Bildgebungsziel (pathologisches Spezimen) für jede einer Mehrzahl von Fluoreszenzwellenlängen für jede Linie erzeugt werden, und Daten der Mehrzahl von aufgenommenen Fluoreszenzbildern in einer Anordnungsreihenfolge der Linien erfasst.
• Hierbei bedeutet parallel zu den unterschiedlichen Achsen, dass die Mehrzahl von Linienbeleuchtungen unterschiedliche Achsen aufweist und parallel ist. Die unterschiedlichen Achsen bedeuten, dass die Achsen nicht koaxial sind, und der Abstand zwischen den Achsen ist nicht speziell beschränkt. Die Parallelität ist nicht auf Parallelität im engeren Sinne beschränkt, sondern umfasst einen im Wesentlichen parallelen Zustand. Zum Beispiel kann eine Verzerrung, die von einem optischen System, beispielsweise einer Linse, herrührt, oder eine Abweichung von einem parallelen Zustand aufgrund einer Herstellertoleranz vorliegen, und dieser Fall wird ebenfalls als parallel angesehen.
• Die Anregungseinheit 10 und die Spektralbildgebungseinheit 30 sind über das optische Beobachtungssystem 40 mit dem Objekttisch 20 verbunden. Das optische Beobachtungssystem 40 weist die Funktion auf, durch den Fokusmechanismus 60 einem optimalen Fokus zu folgen. Die Nicht-Fluoreszenz-Beobachtungseinheit 70 zum Durchführen von Dunkelfeldbeobachtung, Hellfeldbeobachtung und dergleichen kann mit dem optischen Beobachtungssystem 40 verbunden sein. Außerdem kann eine Steuereinheit 80, die die Anregungseinheit 10, die Spektralbildgebungseinheit 30, den Abtastmechanismus 50, den Fokusmechanismus 60, die Nicht-Fluoreszenzeinheit 70 und dergleichen steuert, mit der Beobachtungseinheit 1 verbunden sein.
• Die Prozesseinheit 2 weist eine Speichereinheit 21, eine Datenkalibriereinheit 22 und eine Bildbildungseinheit 23 auf. Die Prozesseinheit 2 bildet typischerweise ein Bild des pathologischen Spezimens oder gibt eine Verteilung des Fluoreszenzspektrums auf der Basis des Fluoreszenzspektrums des pathologischen Spezimens (im Folgenden auch als Probe S bezeichnet) aus, das durch die Beobachtungseinheit 1 erfasst wird. Das Bild, auf das hierin Bezug genommen wird, bezieht sich auf ein Bestandteilverhältnis der Autofluoreszenz, die von einem Farbstoff oder einer Probe oder dergleichen stammt, die das Spektrum bildet, ein aus Wellenformen in RGB-Farben (Rot, Grün und Blau) umgewandeltes Bild, eine Luminanzverteilung in einem spezifischen Wellenlängenband und dergleichen.
• Die Speichereinheit 21 weist ein nichtflüchtiges Speichermedium, beispielsweise ein Festplattenlaufwerk oder einen Flash-Speicher auf, und eine Speichersteuereinheit auf, die das Schreiben und Auslesen von Daten in das und aus dem Speichermedium steuert. Die Speichereinheit 21 speichert spektroskopische Daten, die eine Korrelation zwischen jeder Wellenlänge von Licht, das von jeder der in der Anregungseinheit 10 enthaltenen Mehrzahl von Linienbeleuchtungen emittiert wird, und der Fluoreszenz angibt, die durch die Kamera der Spektralbildgebungseinheit 30 empfangen wird. Ferner speichert die Speichereinheit 21 im Voraus Informationen, die ein Standardspektrum der Autofluoreszenz in Bezug auf eine zu beobachtende Probe (pathologisches Spezimen) angeben, und Informationen, die ein Standardspektrum eines einzelnen Farbstoffs angeben, der die Probe färbt.
• Die Datenkalibriereinheit 22 konfiguriert die spektroskopischen Daten, die in der Speichereinheit 21 gespeichert sind, auf der Basis des aufgenommenen Bildes, das von der Kamera der Spektralbildgebungseinheit 30 aufgenommen wird. Die Bildbildungseinheit 23 bildet ein Fluoreszenzbild der Probe auf der Basis der spektroskopischen Daten und einem Intervall Δy der Mehrzahl von Linienbeleuchtungen, die von der Anregungseinheit 10 emittiert wird. Zum Beispiel ist die Prozesseinheit 2, die die Datenkalibriereinheit 22, die Bildbildungseinheit 23 und dergleichen aufweist, durch Hardwareelemente, die in einem Computer verwendet werden, wie etwa eine zentrale Verarbeitungseinheit (CPU), ein Direktzugriffsspeicher (RAM) und ein Festwertspeicher (ROM), und ein erforderliches Programm (Software) implementiert. Anstelle von oder zusätzlich zu der CPU können eine programmierbare Logikvorrichtung (PLD - Programmable Logic Device), wie etwa ein feldprogrammierbares Gate-Array (FPGA - Field Programmable Gate Array), ein Digitalsignalprozessor (DSP), eine anwendungsspezifische integrierte Schaltung (ASIC - Application Specific Integrated Circuit) oder dergleichen verwendet werden.
• Die Anzeigeeinheit 3 zeigt zum Beispiel verschiedene Arten von Informationen wie etwa ein Bild an, das auf dem durch die Bildbildungseinheit 23 gebildeten Fluoreszenzbild basiert. Die Anzeigeeinheit 3 kann zum Beispiel einen Monitor aufweisen, der fest in die Prozesseinheit 2 eingebaut ist, oder sie kann eine Anzeigevorrichtung sein, die mit der Prozesseinheit 2 verbunden ist. Die Anzeigeeinheit 3 weist zum Beispiel ein Anzeigeelement wie etwa eine Flüssigkristallvorrichtung oder eine organische EL-Vorrichtung und einen Berührungssensor auf und ist als eine Benutzeroberfläche (UI) ausgebildet, die Eingabeeinstellungen von Bildaufnahmebedingungen, ein aufgenommenes Bild und dergleichen anzeigt.
• Als Nächstes werden Einzelheiten der Beobachtungseinheit 1 unter Bezugnahme auf 18 beschrieben. Hierbei erfolgt eine Beschreibung in der Annahme, dass die Anregungseinheit 10 zwei Linienbeleuchtungen Ex1 und Ex2 aufweist, die jeweils Licht von zwei Wellenlängen emittieren. Zum Beispiel emittiert die Linienbeleuchtung Ex1 Licht mit einer Wellenlänge von 405 nm und Licht mit einer Wellenlänge von 561 nm, und die Linienbeleuchtung Ex2 emittiert Licht mit einer Wellenlänge von 488 nm und Licht mit einer Wellenlänge von 645 nm.
• Wie in 18 dargestellt, weist die Anregungseinheit 10 eine Mehrzahl von Anregungslichtquellen L1, L2, L3, und L4 (vier Anregungslichtquellen in diesem Beispiel) auf. Jede der Anregungslichtquellen L1 bis L4 weist eine Laserlichtquelle auf, die Laserlicht mit einer Wellenlänge von 405 nm, 488 nm, 561 nm bzw. 645 nm ausgibt. Zum Beispiel weist jede der Anregungslichtquellen L1 bis L4 eine Leuchtdiode (LED), eine Laserdiode (LD) oder dergleichen auf.
• Außerdem weist die Anregungseinheit 10 eine Mehrzahl von Kollimatorlinsen 11, eine Mehrzahl von Laserlinienfiltern 12, eine Mehrzahl von dichroitischen Spiegeln 13a, 13b und 13c, einen Homogenisator 14, einen Kondensorlinse 15 und einen Einfallsschlitz 16 so auf, dass sie jeder der Anregungslichtquellen L1 bis L4 entsprechen.
• Das von der Anregungslichtquelle L1 emittierte Laserlicht und das von der Anregungslichtquelle L3 emittierte Laserlicht werden durch die Kollimatorlinse 11 kollimiert, zum Beschneiden eines Randes jeder Wellenlängenbandes durch das Laserlichtfilter 12 durchgelassen und durch den dichroitischen Spiegel 13a koaxial gemacht. Die beiden koaxialen Laserlichter werden ferner durch den Homogenisator 14, beispielsweise eine Fliegenaugenlinse, und die Kondensorlinse 15 strahlgeformt, sodass sie die Linienbeleuchtung Ex1 sind.
• Ähnlich werden das von der Anregungslichtquelle L2 emittierte Laserlicht und das von der Anregungslichtquelle L4 emittierte Laserlicht durch die dichroitischen Spiegel 13b und 13c koaxial gemacht, und Linienbeleuchtung wird so durchgeführt, dass die Linienbeleuchtung Ex2 sich in der Achse von der Linienbeleuchtung Ex1 unterscheidet. Die Linienbeleuchtungen Ex1 und Ex2 bilden Linienbeleuchtungen mit unterschiedlichen Achsen (Primärbild), die im Einfallsschlitz 16 (Schlitzkonjugat), der eine Mehrzahl von Schlitzabschnitten aufweist, durch die jede der Linienbeleuchtungen Ex1 und Ex2 durchtreten kann, durch einen Abstand Δy getrennt sind.
• Es sei angemerkt, dass in der vorliegenden Ausführungsform ein Beispiel, in dem vier Laser zwei koaxiale Achsen und zwei unterschiedliche Achsen aufweisen, beschrieben wird, aber zusätzlich dazu die zwei Laser zwei unterschiedliche Achsen aufweisen können oder die vier Laser vier unterschiedliche Achsen aufweisen können.
• Die Probe S auf dem Objekttisch 20 wird mittels des optischen Beobachtungssystems 40 mit dem Primärbild bestrahlt. Das optische Beobachtungssystem 40 weist eine Kondensorlinse 41, dichroitische Spiegel 42 und 43, eine Objektivlinse 44, ein Bandpassfilter 45 und eine Kondensorlinse (ein Beispiel einer Bildgebungslinse) 46 auf. Die Linienbeleuchtungen Ex1 und Ex2 werden durch die Kondensorlinse 41 gepaart mit der Objektivlinse 44 kollimiert, durch die dichroitischen Spiegel 42 und 43 reflektiert, durch die Objektivlinse 44 durchgelassen und bestrahlen die Probe S auf dem Objekttisch 20.
• Hierbei ist 19 ein Diagramm, das ein Beispiel der Probe S gemäß der vorliegenden Ausführungsform darstellt. 19 zeigt einen Zustand, in dem die Probe S von den Bestrahlungsrichtungen der Linienbeleuchtungen Ex1 und Ex2 als Anregungslicht betrachtet wird. Die Probe S ist typischerweise durch einen Objektträger ausgebildet, der ein Beobachtungsziel Sa aufweist, beispielsweise eine Gewebesektion, wie in 19 dargestellt, aber natürlich auch etwas anderes sein kann. Das Beobachtungsziel Sa ist zum Beispiel eine biologische Probe wie etwa eine Nukleinsäure, eine Zelle, ein Protein, eine Bakterie oder ein Virus. Die Probe S (Beobachtungsziel Sa) wird mit einer Mehrzahl von fluoreszierenden Farbstoffen gefärbt. Die Beobachtungseinheit 1 vergrößert und beobachtet die Probe Sa mit einer gewünschten Vergrößerung.
• 20 ist ein vergrößertes Diagramm, das eine Region A darstellt, in der die Probe S gemäß der vorliegenden Ausführungsform mit den Linienbeleuchtungen Ex1 und Ex2 bestrahlt wird. Im Beispiel von 20 sind zwei Linienbeleuchtungen Ex1 und Ex2 in der Region A angeordnet und Bildgebungsbereiche R1 und R2 der Spektralbildgebungseinheit 30 sind so angeordnet, dass sie die Linienbeleuchtungen Ex1 und Ex2 überlappen. Die beiden Linienbeleuchtungen Ex1 und Ex2 sind jeweils parallel zu einer Z-Achsrichtung und in einem vorgegebenen Abstand Δy in einer Y-Achsrichtung voneinander angeordnet.
• Die Linienbeleuchtungen Ex1 und Ex2 sind auf der Oberfläche der Probe S gebildet, wie in 20 dargestellt. Wie in 18 dargestellt, wird die in der Probe S durch die Linienbeleuchtungen Ex1 und Ex2 angeregte Fluoreszenz durch die Objektivlinse 44 gebündelt, durch den dichroitischen Spiegel 43 reflektiert, durch den dichroitischen Spiegel 42 und das Bandpassfilter 45, das das Anregungslicht abschneidet, durchgelassen, durch die Kondensorlinse 46 erneut gebündelt und fällt auf die Spektralbildgebungsvorrichtung 30 ein.
• Wie in 18 dargestellt, weist die Spektralbildgebungseinheit 30 einen Beobachtungsschlitz (Öffnung) 31, ein Bildgebungselement 32, ein erstes Prisma 33, einen Spiegel 34, ein Beugungsgitter 35 (Wellenlängendispersionselement) und ein zweites Prisma 36 auf.
• Im Beispiel von 18 weist das Bildgebungselement 32 zwei Bildgebungselemente 32a und 32b auf. Das Bildgebungselement 32 erfasst (empfängt) eine Mehrzahl von Lichtstrahlen (Fluoreszenz und dergleichen) wellenlängendispergiert durch das Beugungsgitter 35. Als das Bildgebungselement 32 wird zum Beispiel ein zweidimensionales Bildgerät wie etwa ein ladungsgekoppeltes Bauelement (CCD) oder ein komplementärer Metall-Oxid-Halbleiter (CMOS) eingesetzt.
• Der Beobachtungsschlitz 31 ist am Bündelungspunkt der Kondensorlinse 46 angeordnet und weist die gleiche Anzahl (zwei in diesem Beispiel) von Schlitzabschnitten wie die Anzahl von Anregungslinien auf. Die Fluoreszenzspektren, die von den beiden Anregungslinien stammen, die durch den Beobachtungsschlitz 31 durchtraten, werden durch das erste Prisma 33 getrennt und durch eine Beugungsfläche des Beugungsgitters 35 über den Spiegel 34 reflektiert, sodass die Fluoreszenzspektren ferner in Fluoreszenzspektren jeweiliger Anregungswellenlängen getrennt werden. Die vier getrennten Fluoreszenzspektren fallen über den Spiegel 34 und das zweite Prisma 36 auf die Bildgebungselemente 32a und 32b ein und werden als spektroskopische Daten zu spektroskopischen Daten (x, A) entwickelt, die durch die Position x in der Linienrichtung und die Wellenlänge λ ausgedrückt werden. Bei den spektroskopischen Daten (x, X) handelt es sich um einen Pixelwert eines Pixels in einer Position x in einer Zeilenrichtung und in einer Position einer Wellenlänge λ in einer Spaltenrichtung unter Pixeln, die im Bildgebungselement 32 enthalten sind. Es sei angemerkt, dass die spektroskopische Daten (x, λ) einfach als spektroskopische Daten beschrieben werden können.
• Es sei angemerkt, dass die Pixelgröße [nm/Pixel] der Bildgebungselemente 32a und 32b nicht speziell beschränkt ist und beispielsweise auf gleich oder größer als 2 [nm/Pixel] und gleich oder kleiner als 20 [nm/Pixel] eingestellt werden kann. Dieser Dispersionswert kann optisch oder durch einen Abstand des Beugungsgitters 35 erreicht werden, oder er kann durch Verwenden von Hardware-Binning der Bildgebungselemente 32a und 32b erreicht werden. Außerdem sind der dichroitische Spiegel 42 und das Bandpassfilter 45 in der Mitte des optischen Pfades eingefügt, sodass das Anregungslicht (Linienbeleuchtungen Ex1 und Ex2) das Bildgebungselement 32 nicht erreicht.
• Keine der Linienbeleuchtungen Ex1 and Ex2 ist auf den Fall beschränkt, mit einer einzigen Wellenlänge konfiguriert zu sein, sondern jede kann mit einer Mehrzahl von Wellenlängen konfiguriert sein. Wenn die Linienbeleuchtungen Ex1 und Ex2 jeweils durch eine Mehrzahl von Wellenlängen ausgebildet sind, weist die durch dieselben angeregte Fluoreszenz ebenfalls eine Mehrzahl von Spektren auf. In diesem Fall weist die Spektralbildgebungseinheit 30 ein Wellenlängendispersionselement zum Trennen der Fluoreszenz in ein Spektrum auf, das von der Anregungswellenlänge abgeleitet ist. Das Wellenlängendispersionselement weist ein Beugungsgitter, ein Prisma oder dergleichen auf und ist typischerweise auf einem optischen Pfad zwischen dem Beobachtungschlitz 31 und dem Bildgebungselement 32 angeordnet.
• Es sei angemerkt, dass der Objekttisch 20 und der Abtastmechanismus 50 einen X-Y-Objekttisch bilden und die Probe S in der X-Achsrichtung und der Y-Achsrichtung bewegen, um ein Fluoreszenzbild der Probe S zu erfassen. Bei der Whole-Slide-Bildgebung (WSI) wird ein Vorgang des Abtastens der Probe S in der Y-Achsrichtung, anschließenden Bewegens der Probe S in der X-Achsrichtung und Weiterdurchführens des Abastens in der Y-Achsrichtung wiederholt. Durch Verwenden des Abtastmechanismus 50 ist es möglich, kontinuierlich bei unterschiedlichen Anregungswellenlängen angeregte Farbstoffspektren (Fluoreszenzspektren) zu erfassen, die durch den Abstand Δy auf der Probe S (Beobachtungsziel Sa) in der Y-Achsrichtung räumlich getrennt sind.
• Der Abtastmechanismus 50 wechselt die mit dem Bestrahlungslicht bestrahlte Position in der Probe S mit der Zeit. Zum Beispiel tastet der Abtastmechanismus 50 den Objekttisch 20 in der Y-Achsrichtung ab. Der Abtastmechanismus 50 kann den Objekttisch 20 zum Abtasten der Mehrzahl von Linienbeleuchtungen Ex1 und Ex2 in der Y-Achsrichtung, das heißt in der Anordnungsrichtung der Linienbeleuchtungen Ex1 und Ex2, veranlassen. Dies ist nicht auf dieses Beispiel beschränkt, sondern die Mehrzahl von Linienbeleuchtungen Ex1 und Ex2 kann in der Y-Achsrichtung durch einen Galvanospiegel abgetastet werden, der in der Mitte des optischen Systems angeordnet ist. Da die von jeder der Linienbeleuchtungen Ex1 und Ex2 stammenden Daten (zum Beispiel die zweidimensionalen Daten oder dreidimensionalen Daten) Daten sind, deren Koordinaten in Bezug auf die Y-Achse um den Abstand Δy verschoben sind, werden die Daten auf der Basis des vorab gespeicherten Abstands Δy oder des Wertes des aus der Ausgabe des Bildgebungselements 32 berechneten Abstands Δy korrigiert und ausgegeben.
• Wie in 18 dargestellt, weist die Nicht-Fluoreszenz-Beobachtungseinheit 70 eine Lichtquelle 71, den dichroitischen Spiegel 43, die Objektivlinse 44, eine Kondensorlinse 72, ein Bildgebungselement 73 und dergleichen auf. Bei der Nicht-Fluoreszenz-Beobachtungseinheit 70 ist ein Beobachtungssystem durch Dunkelfeldbeleuchtung im Beispiel von 18 dargestellt.
• Die Lichtquelle 71 ist auf der Seite angeordnet, die der Objektivlinse 44 in Bezug auf den Objekttisch 20 zugewandt ist, und bestrahlt die Probe S auf dem Objekttisch 20 mit Beleuchtungslicht von der Seite, die den Linienbeleuchtungen Ex1 und Ex2 gegenüberliegt. Im Falle der Dunkelfeldbeleuchtung beleuchtet die Lichtquelle 71 von außerhalb der (numerische Apertur) der Objektivlinse 44, und durch die Probe S gebeugtes Licht (Dunkelfeldbild) wird durch das Bildgebungselement 73 über die Objektivlinse 44, den dichroitischen Spiegel 43 und die Kondensorlinse 72 abgebildet. Durch Verwenden der Dunkelfeldbeleuchtung kann sogar eine scheinbar transparente Probe, wie beispielsweise ein fluoreszenzgefärbte Probe, mit Kontrast beobachtet werden.
• Es sei angemerkt, dass dieses Dunkelfeldbild gleichzeitig mit Fluoreszenz beobachtet und für Echtzeitfokussierung verwendet werden kann. In diesem Fall kann als die Beleuchtungswellenlänge eine Wellenlänge ausgewählt werden, die die Fluoreszenzbeobachtung nicht beeinflusst. Die Nicht-Fluoreszenz-Beobachtungseinheit 70 ist nicht auf das Beobachtungsystem beschränkt, das ein Dunkelfeldbild erfasst, sondern kann auch durch ein Beobachtungssystem ausgebildet sein, das ein Nicht-Fluoreszenz-Bild wie etwa ein Hellfeldbild, ein Phasendifferenzbild, ein Phasenbild und ein Inline-Hologrammbild erfassen kann. Zum Beispiel können als Verfahren zur Erfassung eines Nicht-Fluoreszenz-Bildes verschiedene Beobachtungsverfahren wie etwa ein Schlieren-Verfahren, ein Phasendifferenzkontrastverfahren, ein Polarisationsbeobachtungsverfahren und ein Epi-Beleuchtungsverfahren eingesetzt werden. Die Position der Beleuchtungslichtquelle ist nicht auf unter dem Objekttisch 20 beschränkt, sondern kann auch über dem Objekttisch 20 oder um die Objektivlinse 44 sein. Außerdem kann nicht nur ein Verfahren zum Durchführen von Fokussteuerung in Echtzeit, sondern auch ein anderes Verfahren, wie beispielsweise ein Prefocus-Map-Verfahren zum Vorab-Aufzeichnen von Fokuskoordinaten (Z-Koordinaten), eingesetzt werden.
• Es sei angemerkt, dass in der vorstehenden Beschreibung die Linienbeleuchtung als das Anregungslicht zwei Linienbeleuchtungen Ex1 und Ex2 aufweist, aber nicht darauf beschränkt ist, sondern drei, vier oder fünf oder mehr aufweisen kann. Außerdem kann jede Linienbeleuchtung eine Mehrzahl von Anregungswellenlängen aufweisen, die so ausgewählt werden, dass die Farbtrennungsperformance möglichst nicht verschlechtert wird. Selbst wenn es nur eine Linienbeleuchtung gibt, wenn es sich dabei um eine Anregungslichtquelle handelt, die eine Mehrzahl von Anregungswellenlängen aufweist und jede Wellenlänge in Verbindung mit den vom Bildgebungselement 32 erfassten Daten aufgezeichnet wird, ist es ferner möglich, ein polychromatisches Spektrum zu erhalten, obwohl es nicht möglich ist, Trennbarkeit parallel zu verschiedenen Achsen zu erreichen.
• Es wurde das Anwendungsbeispiel beschrieben, in dem die Technologie gemäß der vorliegenden Offenbarung auf die Fluoreszenzbeobachtungsvorrichtung 500 angewendet wird. Es sei angemerkt, dass es sich bei der vorstehend beschriebenen Konfiguration, die unter Bezugnahme auf 17 und 18 beschrieben wurde, lediglich um ein Beispiel handelt und die Konfiguration der Fluoreszenzbeobachtungsvorrichtung 500 gemäß der vorliegenden Ausführungsform nicht auf solch ein Beispiel beschränkt ist. Zum Beispiel muss die Fluoreszenzbeobachtungsvorrichtung 500 nicht unbedingt alle der in 17 und 18 dargestellten Konfigurationen aufweisen, sondern kann auch Konfigurationen aufweisen, die in 17 und 18 nicht dargestellt sind.
• <1-10. Funktionsweise und Wirkung>
• Wie bereits erwähnt, werden gemäß der ersten Ausführungsform die Einheit zur Erzeugung simulierter Bilder 131a, die ein simuliertes Bild durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente enthält, und eines Farbstoffkachelbildes erzeugt, in dem ein Standardspektrum (Referenzspektrum) eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen für jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind, die Fluoreszenztrennungseinheit 131b, die die Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des simulierten Bildes trennt und ein getrenntes Bild erzeugt, und die Bewertungseinheit 131c bereitgestellt, die einen Trennungsgrad des getrennten Bildes bewertet. Demnach wird ein simuliertes Bild erzeugt, der Farbtrennungsprozess an dem simulierten Bild durchgeführt, um ein getrenntes Bild zu erzeugen, und der Trennungsgrad des getrennten Bildes bewertet. Durch Verwenden des simulierten Bildes auf diese Weise kann die Farbtrennungsgenauigkeit quantitativ bewertet werden, sodass der Fluoreszenztrennungsrad entsprechend bewertet werden kann.
• Ferner kann das Farbstoffkachelbild das Standardspektrum des zweiten fluoreszierenden Farbstoffs zusätzlich zum ersten fluoreszierenden Farbstoff aufweisen und ein Bild sein, in dem das Standardspektrum jedes von dem ersten fluoreszierenden Farbstoff und dem zweiten fluoreszierenden Farbstoff und das Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind. Demnach können simulierte Bilder erzeugt werden, die einer Mehrzahl von fluoreszierenden Farbstoffen entsprechen.
• Außerdem kann das Bildgebungsrauschen Rauschen sein, das sich gemäß den Bildgebungsbedingungen des nicht gefärbten Bildes ändert. Demnach ist es möglich, das simulierte Bild zu erzeugen, das den Bildgebungsbedingungen des nicht gefärbten Bildes entspricht.
• Außerdem können die Bildgebungsbedingungen des nicht gefärbten Bildes mindestens eine oder alle von Laserleistung, Verstärkung oder Belichtungszeit umfassen. Demnach ist es möglich, ein simuliertes Bild zu erzeugen, das diesen Informationselementen entspricht.
• Außerdem kann das Farbstoffkachelbild eine Farbstoffkachelgruppe mit einer Mehrzahl von Farbstoffkacheln sein. Demnach ist es möglich, ein simuliertes Bild zu erzeugen, das jeder Farbstoffkachel entspricht.
• Außerdem können die individuellen Größen der Mehrzahl von Farbstoffkacheln auch gleich wie die Zellgröße sein. Demnach ist es möglich, ein simuliertes Bild zu erzeugen, das jeder Farbstoffkachel mit der gleichen Größe wie die Zellgröße entspricht.
• Außerdem kann die Mehrzahl von Farbstoffkacheln in einem vorgegebenen Farbanordnungsmuster angeordnet sein. Demnach ist es möglich, den Farbtrennungsprozess am simulierten Bild entsprechend jeder Farbstoffkachel auf der Basis des vorgegeben Farbanordnungsmusters durchzuführen, sodass der Farbtrennungsprozess effizient ausgeführt werden kann.
• Außerdem kann der Grad des Bildgebungsrauschens für jede Farbstoffkachel quantifiziert oder visualisiert werden. Wenn daher der Grad des Bildgebungsrauschens quantifiziert wird, kann ein simuliertes Bild erzeugt werden, dass dem quantifizierten Grad des Bildgebungsrauschens entspricht. Wenn ferner der Grad des Bildgebungsrauschens visualisiert wird, kann der Benutzer den Grad des Bildgebungsrauschens erfassen.
• Außerdem kann die Einheit zur Erzeugung simulierter Bilder 131a die Farbstoffkacheln entsprechend der vom Benutzer festgelegten Anzahl der Farbstoffe zum Erzeugen des Farbstoffkachelbildes wiederholt anordnen. Demnach ist es möglich, das simulierte Bild zu erzeugen, das der Fachstoffkachel entspricht, die der vom Benutzer festgelegten Anzahl von Farbstoffen entspricht.
• Außerdem kann die Einheit zur Erzeugung simulierter Bilder 131a eine Farbstoffkachel durch Mischen der Mehrzahl von Farbstoffen erzeugen. Demnach kann die Farbtrennungsperformance (zum Beispiel die Farbtrennungsgenauigkeit) unter Doppelfärbungsbedingungen, Dreifachfärbungsbedingungen oder dergleichen bewertet werden.
• Außerdem kann die Einheit zur Erzeugung simulierter Bilder 131a die spektrale Intensität des Farbstoffs bestimmen, die der Autofluoreszenzintensität des nicht gefärbten Bildes verliehen werden soll. Demnach kann die Färbungsbedingung, unter der der Farbstoffluminanzpegel in Bezug auf die Autofluoreszenzintensität nicht groß ist, reproduziert werden und der Farbstoff und das Pixel mit Autofluoreszenz können voneinander unterschieden werden.
• Außerdem kann die Einheit zur Erzeugung simulierter Bilder 131a Bildgebungsrauschen dem Standardspektrum des ersten fluoreszierenden Farbstoffs überlagern. Demnach kann das Farbstoffkachelbild durch Assoziieren des Standardspektrums und des Bildgebungsrauschens erzeugt werden.
• Außerdem kann das zu überlagernde Bildgebungsrauschen Schrotrauschen sein. Demnach kann ein Farbstoffkachelbild erzeugt werden, das Schrotrauschen entspricht.
• Außerdem kann die Fluoreszenztrennungseinheit 131b die Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente durch die Farbtrennungsberechnung trennen, die mindestens eine von der Methode der kleinsten Quadrate, der Methode der gewichteten kleinsten Quadrate oder der nicht-negative Matrixfaktorisierung aufweist. Demnach kann der Farbtrennungsprozess mit hoher Genauigkeit durchgeführt werden.
• Außerdem kann die Bewertungseinheit 131c ein Histogramm aus dem getrennten Bild erzeugen, einen Signaltrennungswert zwischen einem Farbstoff und einem anderen Signal als dem des Farbstoffs aus dem Histogramm berechnen und den Trennungsgrad auf der Basis des Signaltrennungswerts bewerten. Demnach kann der Trennungsgrad genau bewertet werden. Zum Beispiel kann in einem Fall, in dem der Signaltrennungswert einen vorgegebenen Wert (zum Beispiel 1,645) überschreitet, eine Bewertung erfolgen, dass der Trennungsgrad gut ist.
• <2. Zweite Ausführungsform>
• <2-1. Konfigurationsbeispiel einer Analyseeinheit in Bezug auf eine quantitative Bewertung>
• Unter Bezugnahme auf 21 wird ein Konfigurationsbeispiel der Analyseeinheit 131 in Bezug auf die quantitative Bewertung gemäß der vorliegenden Ausführungsform beschrieben. 21 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Analyseeinheit 131 gemäß der vorliegenden Ausführungsform darstellt.
• Wie in 21 dargestellt, weist die Analyseeinheit 131 eine Empfehlungseinheit 131d zusätzlich zu der Einheit zur Erzeugung simulierter Bilder 131a, der Fluoreszenztrennungseinheit 131b und der Bewertungseinheit 131c gemäß der ersten Ausführungsform auf.
• Die Empfehlungseinheit 131d empfiehlt ein optimales Reagenz (fluoreszierendes Reagenz 10A) aus den Farbstoffen, die vom Benutzer aus dem von der Bewertungseinheit 131c bewerteten Trennungsgrad festgelegt werden. Zum Beispiel erzeugt die Empfehlungseinheit 131d ein Bild (zum Beispiel einen Tisch, ein Diagramm oder dergleichen), um dem Benutzer eine räumliche Informationsbewertung durch Gewebe mit unterschiedlichen Autofluoreszenzspektren oder eine optimale Farbstoffkombination für die Gewebe zu präsentieren, und die Anzeigeeinheit 140 zeigt das von der Empfehlungseinheit 131d erzeugte Bild an. Demnach kann der Benutzer das Anzeigebild visuell erkennen und die optimale Farbstoffkombination erfassen.
• Zum Beispiel berechnet die Bewertungseinheit 131c einen Signaltrennungswert für eine Kombination von zum Färben verwendeten Farbstoffen oder eine Kombination eines Farbstoffs und eines Reagenzes. Die Empfehlungseinheit 131d erzeugt ein Bild, um dem Benutzer auf der Basis des Berechnungsergebnisses (zum Beispiel des Signaltrennungswerts für jede Kombination) zu zeigen, welche Kombination optimal ist. Zum Beispiel schließt die Empfehlungseinheit 131d einen Farbstoff aus, dessen Signaltrennungswert 1,645 nicht überschreitet, und erzeugt ein Bild, das eine optimale Kombination angibt. Es sei angemerkt, dass zusätzlich zum Erzeugen einer optimalen Kombination zum Beispiel ein Bild (zum Beispiel ein Tisch, ein Diagramm oder dergleichen), das eine Mehrzahl von empfohlenen Kombinationen zusammen mit Farbtrennungsperformance (zum Beispiel den Farbtrennungswert) angibt, erzeugt werden kann. Ferner kann ein Bild (zum Beispiel ein Tisch oder dergleichen), das Matrixinformationen darstellt, die eine Kombination eines Antikörpers und eines Farbstoffs angeben, als Referenz angezeigt werden.
• <2-2. Funktionsweise und Wirkung>
• Wie bereits erwähnt, können gemäß der zweiten Ausführungsform Wirkungen erzielt werden, die jenen der ersten Ausführungsform ähneln. Ferner wird die Empfehlungseinheit 131d bereitgestellt, die ein optimales Reagenz (fluoreszierendes Reagenz 10A) empfiehlt, das dem vom Benutzer auf der Basis des Trennungsgrads festgelegten Farbstoff entspricht. Da der Benutzer somit das optimale Reagenz erfassen kann, kann der Komfort des Benutzer verbessert werden.
• Außerdem kann die Empfehlungseinheit 131d ein Bild (zum Beispiel einen Tisch, ein Diagramm oder dergleichen) erzeugen, das eine Kombination von Farbstoffen oder eine Kombination eines Farbstoffs und eines Reagenzes angibt. Somit kann der Benutzer die Kombination von Farbstoffen oder die Kombination des Farbstoffs und des Reagenzes erfassen, sodass der Komfort des Benutzers verbessert werden kann.
• Außerdem kann die Empfehlungseinheit 131d ein Bild (zum Beispiel Zeichnungen und dergleichen) erzeugen, das eine Kombination eines Antikörpers und eines Farbstoffs angibt. Somit kann der Benutzer die Kombination des Antikörpers und des Farbstoffs erfassen, sodass der Komfort des Benutzers verbessert werden kann.
• <3. Andere Ausführungsformen>
• Die Verarbeitung gemäß der vorstehend beschriebenen Ausführungsform (oder der Modifikation) kann in mehreren verschiedenen Modi (Modifikationen) durchgeführt werden, die sich von der vorstehend beschriebenen Ausführungsform unterscheiden. Zum Beispiel können unter den Prozessen, die in den vorstehenden Ausführungsformen beschrieben sind, alle oder ein Teil der Prozesse, die als automatisch durchgeführt beschrieben sind, auch manuell durchgeführt werden oder alle oder ein Teil der Prozesse, die als manuell durchgeführt beschrieben sind, können durch ein allgemein bekanntes Verfahren automatisch durchgeführt werden. Ferner können die Verarbeitungsprozedur, der spezifische Name und Informationen, die verschiedene Daten und Parameter umfassen, die im Dokument und den Zeichnungen dargestellt sind, willkürlich geändert werden, sofern nicht anders festgelegt. Zum Beispiel sind die verschiedenen Arten von Informationen, die in jeder Figur dargestellt sind, nicht auf die dargestellten Informationen beschränkt.
• Ferner ist jede Komponente jeder in den Zeichnungen dargestellten Vorrichtung funktional konzeptionell und physisch nicht unbedingt so ausgebildet, wie in den Zeichnungen dargestellt. Das heißt, eine spezifische Form der Verteilung und Integration jeder Vorrichtung ist nicht auf die dargestellte Form beschränkt, sondern die Gesamtheit oder ein Teil davon kann funktional oder physisch in jeder Einheit gemäß unterschiedlicher Lasten, Nutzungsbedingungen und dergleichen verteilt und darin integriert sein.
• Außerdem können die vorstehend beschriebenen Ausführungsformen (oder Modifikationen) innerhalb eines Bereichs, der den Verarbeitungsinhalten nicht widerspricht, entsprechend kombiniert werden. Ferner sind die in der vorliegenden Beschreibung beschriebenen Wirkungen lediglich Beispiele und nicht beschränkt, sodass auch andere Wirkungen bereitgestellt werden können.
• <4. <Anwendungsbeispiel>
• Die Technologie gemäß der vorliegenden Offenbarung kann zum Beispiel auf ein Mikroskopsystem und dergleichen angewendet werden. Unter Bezugnahme auf 22 und 24 wird hierin im Folgenden ein Konfigurationsbeispiel eines Mikroskopsystems 5000 beschrieben. Eine Mikroskopvorrichtung 5100, die ein Teil des Mikroskopsystems 5000 ist, fungiert als eine Bildgebungsvorrichtung.
• 22 zeigt eine beispielhafte Konfiguration eines Mikroskopsystems der vorliegenden Offenbarung. Ein Mikroskopsystem 5000, das in 22 dargestellt ist, weist eine Mikroskopvorrichtung 5100, eine Steuereinheit 5110 und eine Informationsverarbeitungseinheit 5120 auf. Die Mikroskopvorrichtung 5100 weist eine Lichtbestrahlungseinheit 5101, eine optische Einheit 5102 und eine Signalerfassungseinheit 5103 auf. Die Mikroskopvorrichtung 5100 weist ferner eine Probenplatzierungseinheit 5104 auf, auf der eine biologische Probe S platziert wird. Es sei angemerkt, dass die Konfiguration der Mikroskopvorrichtung nicht auf die beschränkt ist, die in 22 dargestellt ist. Zum Beispiel kann die Lichtbestrahlungseinheit 5101 außerhalb der Mikroskopvorrichtung 5100 vorhanden sein und eine Lichtquelle, die nicht in der Mikroskopvorrichtung 5100 enthalten ist, kann als die Lichtbestrahlungseinheit 5101 verwendet werden. Alternativ kann die Lichtbestrahlungseinheit 5101 so angeordnet sein, dass die Probenplatzierungseinheit 5104 sandwichartig zwischen der Lichtbestrahlungseinheit 5101 und der optischen Einheit 5102 eingefügt ist, und sie kann zum Beispiel auf der Seite angeordnet sein, auf der die optische Einheit 5102 vorhanden ist. Die Mikroskopvorrichtung 5100 kann so ausgelegt sein, dass sie in der Lage ist, eines oder mehreres von Folgendem durchzuführen: Hellfeldbeobachtung, Phasenkontrastbeobachtung, Differenzialinterferenzkontrastbeobachtung, Polarisationsbeobachtung, Fluoreszenzbeobachtung und Dunkelfeldbeobachtung.
• Das Mikroskopsystem 5000 kann als ein sogenanntes Whole-Slide-Imaging-System (WSI-System) oder ein Bildgebungssystem für digitale Pathologie ausgelegt sein und zur pathologischen Diagnose verwendet werden. Alternativ kann das Mikroskopsystem 5000 als ein Fluoreszenzbildgebungssystem oder insbesondere als ein Multifluoreszenzbildgebungssystem ausgelegt sein.
• Zum Beispiel kann das Mikroskopsystem 5000 verwendet werden, um eine intraoperative pathologische Diagnose oder eine telepathologische Diagnose zu stellen. Bei der intraoperativen pathologischen Diagnose kann die Mikroskopvorrichtung 5100 die Daten der dem Subjekt der Operation entnommenen biologischen Probe S erfassen, während die Operation durchgeführt wird, und dann die Daten an die Informationsverarbeitungseinheit 5120 senden. Bei der telepathologische Diagnose kann die Mikroskopvorrichtung 5100 die erfassten Daten der biologischen Probe S an die Informationsverarbeitungsvorrichtung 5120 senden, die sich an einem von der Mikroskopvorrichtung 5100 entfernten Ort (beispielsweise in einem anderen Raum oder Gebäude) befindet. Bei diesen Diagnosen empfängt die Informationsverarbeitungseinheit 5120 dann die Daten und gibt sie aus. Auf der Basis der ausgegebenen Daten kann der Benutzer der Informationsverarbeitungsvorrichtung 5120 eine pathologische Diagnose stellen.
• (Biologische Probe)
• Die biologische Probe S kann eine Probe sein, die eine biologische Komponente enthält. Die biologische Komponente kann ein Gewebe, eine Zelle, eine flüssige Komponente des lebenden Körpers (Blut, Harn oder dergleichen), eine Kultur oder eine lebende Zelle (eine Myokardzelle, eine Nervenzelle, ein befruchtetes Ei oder dergleichen) sein. Die biologische Probe kann ein Feststoff sein oder sie kann ein Spezimen, das mit einem Fixierungsreagenz wie etwa Paraffin fixiert wurde, oder ein durch Einfrieren gebildeter Feststoff sein. Die biologische Probe kann eine Sektion des Feststoffs sein. Ein spezifisches Beispiel für die biologische Probe kann eine Sektion einer Biopsieprobe sein.
• Die biologische Probe kann eine sein, die einer Behandlung wie etwa Färbung oder Markierung unterzogen wurde. Die Behandlung kann Färbung zum Angeben der Morphologie der biologischen Komponente oder zum Angeben der in der biologischen Komponente enthaltenen Substanz (Oberflächenantigen oder dergleichen) sein und es kann sich dabei zum Beispiel um Hämatoxylin-Eosin-Färbung (HE-Färbung) oder immunhistochemische Färbung handeln. Die biologische Probe kann eine sein, die der vorstehenden Behandlung mit einem oder mehreren Reagenzien unterzogen wurde, und bei dem einen oder den mehreren Reagenzien kann es sich um einen fluoreszierenden Farbstoff, ein Färbereagenz, ein fluoreszierendes Protein oder einen fluoreszenzmarkierten Antikörper handeln.
• Das Spezimen kann aus einer Gewebeprobe zur pathologischen Diagnose oder klinischen Untersuchung hergestellt sein. Alternativ ist das Spezimen nicht unbedingt vom menschlichen Körper, sondern kann auch von einem Tier, einer Pflanze oder einem anderen Material stammen. Das Spezimen kann sich je nach der Art des verwendeten Gewebes (beispielsweise Organ oder Zelle) in der Eigenschaft, der Art der untersuchten Krankheit, den Attributen des Subjekts (beispielsweise Alter, Geschlecht, Blutgruppe und Rasse) oder den täglichen Gewohnheiten des Subjekts (beispielweise Essgewohnheiten, Übungsgewohnheiten und Rauchgewohnheiten) unterscheiden. Das Spezimen kann mit Identifikationsinformationen (Strichcode, QR-Code (eingetragene Handelsmarke) oder dergleichen) zum Identifizieren jedes Spezimens versehen sein und gemäß den Identifikationsinformationen verwaltet werden.
• (Lichtbestrahlungseinheit)
• Die Lichtbestrahlungseinheit 5101 ist eine Lichtquelle zum Bestrahlen der biologischen Probe S, und sie ist eine optische Einheit, die das von der Lichtquelle emittierte Licht zu einem Spezimen leitet. Die Lichtquelle kann eine biologische Probe mit sichtbarem Licht, UV-Licht, Infrarotlicht oder einer Kombination davon bestrahlen. Die Lichtquelle kann eine oder der mehrere der folgenden sein: eine Halogenlichtquelle, eine Laserlichtquelle, eine LED-Lichtquelle, eine Quecksilberlichtquelle und eine Xenonlichtquelle. Die Lichtquelle bei Fluoreszenzbeobachtung kann von einer Mehrzahl von Arten und/oder Wellenlängen sein, und die Arten und die Wellenlängen können von einem Fachmann entsprechend ausgewählt werden. Die Lichtbestrahlungseinheit kann eine Konfiguration einer lichtdurchlässigen Art, einer reflektierenden Art oder einer Epi-Beleuchtungsart (einer koaxialen Epi-Beleuchtungsart oder einer Seitenbeleuchtungsart) aufweisen.
• (Optische Einheit)
• Die optische Einheit 5102 ist so ausgelegt, dass sie das Licht von der biologischen Probe S zur Signalerfassungseinheit 5103 leitet. Die optische Einheit kann so ausgelegt sein, dass sie die Mikroskopvorrichtung 5100 zum Beobachten oder Aufnehmen eines Bildes der biologischen Probe S befähigt. Die optische Einheit 5102 kann eine Objektivlinse aufweisen. Die Art der Objektivlinse kann von einem Fachmann gemäß dem Beobachtungsverfahren entsprechend ausgewählt werden. Die optische Einheit kann auch eine Relaislinse zum Weiterleiten eines durch die Objektivlinse vergrößerten Bildes zur Signalerfassungseinheit aufweisen. Die optische Einheit kann ferner andere optische Komponenten als die Objektivlinse und die Relaislinse aufweisen, und die optischen Komponenten können ein Okular, eine Phasenplatte, eine Kondensorlinse und dergleichen sein. Die optische Einheit 5102 kann ferner eine Wellenlängentrennungseinheit aufweisen, die zum Trennen von Licht mit einer vorgegebenen Wellenlänge von dem Licht von der biologischen Probe S ausgelegt ist. Die Wellenlängentrennungseinheit kann so ausgelegt sein, dass sie bewirkt, dass Licht mit einer vorgegebenen Wellenlänge oder einem vorgegebenen Wellenlängenbereich selektiv die Signalerfassungseinheit erreicht. Die Wellenlängentrennungseinheit kann zum Beispiel eines oder mehreres von Folgendem aufweisen: ein Filter, eine Polarisationsplatte, ein Prisma (Wollaston-Prisma) und eine Beugungsgitter, das Licht selektiv durchlässt. Die in der Wellenlängeneinheit enthaltene(n) optische(n) Komponente(n) können zum Beispiel im optischen Pfad von der Objektivlinse zur Signalerfassungseinheit angeordnet sein. Die Wellenlängentrennungseinheit wird in der Mikroskopvorrichtung in einem Fall, in dem Fluoreszenzbeobachtung durchgeführt wird, oder insbesondere, wenn eine Anregungslichtbestrahlungseinheit enthalten ist, bereitgestellt. Die Wellenlängentrennungseinheit kann zum Trennen von Fluoreszenz oder weißem Licht von Fluoreszenz ausgelegt sein.
• (Signalerfassungseinheit)
• Die Signalerfassungseinheit 5103 kann so ausgelegt sein, dass die Licht von der biologischen Probe S empfängt und das Licht in ein elektrisches Signal oder insbesondere in ein digitales elektrisches Signal umwandelt. Die Signalerfassungseinheit kann so ausgelegt sein, dass sie Daten über die biologische Probe S auf der Basis des elektrischen Signals erfassen kann. Die Signalerfassungseinheit kann so ausgelegt sein, dass sie Daten eines Bildes (eines aufgenommen Bildes oder insbesondere eines Standbildes, eines Zeitrafferbildes oder eines Bewegtbildes) der biologischen Probe S erfassen kann, oder sie kann insbesondere zum Erfassen von Daten eines durch die optische Einheit vergrößerten Bildes ausgelegt sein. Die Signalerfassungseinheit weist einen oder mehrere Bildsensoren, CMOS, CCD oder dergleichen auf, die eine Mehrzahl von Pixeln aufweisen, die in einer ein- oder zweidimensionalen Weise angeordnet sind. Die Signalerfassungseinheit kann einen Bildsensor zum Erfassen eines Bildes mit niedriger Auflösung und einen Bildsensor zum Erfassen eines Bildes mit hoher Auflösung aufweisen, oder sie kann einen Bildsensor zum Messen für AF oder dergleichen und einen Bildsensor zum Ausgeben eines Bildes zur Beobachtung oder dergleichen aufweisen. Der Bildsensor kann nicht nur die Mehrzahl von Pixeln, sondern auch eine Signalverarbeitungseinheit (die eines oder mehrere von Folgenden aufweist: eine CPU, einen DSP und einen Speicher), die Signalverarbeitung unter Verwendung von Pixelsignalen von den jeweiligen Pixeln durchführt, und eine Steuereinheit aufweisen, die das Ausgeben von Bilddaten, die aus den Pixelsignalen erzeugt werden, und verarbeiteten Daten steuert, die von der Signalverarbeitungseinheit erzeugt werden. Der Bildsensor, der die Mehrzahl von Pixeln, die Signalverarbeitungseinheit und die Ausgabesteuereinheit aufweist, kann vorzugsweise als eine Ein-Chip-Halbleitervorrichtung ausgelegt sein. Es sei angemerkt, dass das Mikroskopsystem 5000 ferner einen Ereignisdetektionssensor aufweisen kann. Der Ereignisdetektionssensor weist ein Pixel auf, das einfallendes Licht fotoelektrisch umwandelt, und er kann so ausgelegt sein, dass er detektiert, dass eine Änderung der Luminanz des Pixels eine vorgegebene Schwelle überschreitet, und die Änderung als ein Ereignis betrachtet. Der Ereignisdetektionssensor kann von einer asynchronen Art sein.
• (Steuereinheit)
• Die Steuereinheit 5110 steuert die Bildgebung, die von der Mikroskopvorrichtung 5100 durchgeführt wird. Zur Bildgebungssteuerung kann die Steuereinheit Bewegung der optischen Einheit 5102 und/oder der Probenplatzierungseinheit 5104 steuern, um die Lagebeziehung zwischen der optischen Einheit und der Probenplatzierungseinheit anzupassen. Die Steuereinheit 5110 kann die optische Einheit und/oder die Probenplatzierungseinheit in einer Richtung zueinander hin und voneinander weg bewegen (zum Beispiel in Richtung der optischen Achse der Objektivlinse). Die Steuereinheit kann die optische Einheit und/oder die Probenplatzierungseinheit außerdem in einer beliebigen Richtung in einer Ebene senkrecht zur Richtung der optischen Achse bewegen. Zur Bildgebungssteuerung kann die Steuereinheit die Lichtbestrahlungseinheit 5101 und/oder die Signalerfassungseinheit 5103 steuern.
• (Probenplatzierungseinheit)
• Die Probenplatzierungseinheit 5104 kann so ausgelegt sein, dass sie die Position einer biologischen Probe auf der Probenplatzierungseinheit sichern kann, und sie kann ein sogenannter Objekttisch sein. Die Probenplatzierungseinheit 5104 kann so ausgelegt sein, dass sie die Position der biologischen Probe in Richtung der optischen Achse der Objektivlinse und/oder einer Richtung senkrecht zur Richtung der optischen Achse bewegen kann.
• (Informationsverarbeitungseinheit)
• Die Informationsverarbeitungseinheit 5120 kann Daten (Bilddaten oder dergleichen), die von der Mikroskopvorrichtung 5100 erfasst werden, von der Mikroskopvorrichtung 5100 erfassen. Die Informationsverarbeitungseinheit kann Bildverarbeitung an den Bildgebungsdaten durchführen. Die Bildverarbeitung kann einen Entmischungsprozess oder, genauer gesagt, einen spektralen Entmischungsprozess aufweisen. Der Entmischungsprozess kann einen Prozess zur Extraktion von Daten der optischen Komponente einer vorgegebenen Wellenlänge oder in einem vorgegebenen Wellenlängenbereich aus den Bilddaten zum Erzeugen von Bilddaten oder einen Prozess zur Entfernung von Daten der optischen Komponente einer vorgegebenen Wellenlänge oder in einem vorgegebenen Wellenlängenbereich aus den Bildgebungsdaten aufweisen. Die Bildverarbeitung kann außerdem einen Autofluoreszenztrennungsprozess zur Trennung der Autofluoreszenzkomponente und der Farbstoffkomponente einer Gewebesektion und einen Fluoreszenztrennungsprozess zur Trennung von Wellenlängen zwischen Farbstoffen mit unterschiedlichen Fluoreszenzwellenlängen voneinander aufweisen. Der Autofluoreszenztrennungsprozess kann einen Prozess zur Entfernung der Autorfluoreszenzkomponente aus Bildinformationen über ein anderes Spezimen unter Verwendung einer Autofluoreszenzsignals aufweisen, das aus einem Spezimen der Mehrzahl von Spezimina mit den gleichen oder ähnlichen Eigenschaften extrahiert wurde. Die Informationsverarbeitungseinheit 5120 kann Daten zur Bildgebungssteuerung an die Steuereinheit 5110 senden, und die Steuereinheit 5110, die die Daten empfangen hat, kann die Bildgebung, die durch die Mikroskopvorrichtung 5100 erfolgt, gemäß den Daten steuern.
• Die Informationsverarbeitungseinheit 5120 kann als eine Informationsverarbeitungsvorrichtung, beispielsweise ein Universalcomputer, ausgelegt sein und eine CPU, einen RAM und einen ROM aufweisen. Die Informationsverarbeitungseinheit kann im Gehäuse der Mikroskopvorrichtung 5100 enthalten sein, oder sie kann sich außerhalb des Gehäuses befinden. Ferner können die verschiedenen Prozesse oder Funktionen, die von der Informationsverarbeitungsvorrichtung auszuführen sind, von einem Servercomputer oder einer Cloud realisiert werden, die über ein Netzwerk verbunden sind.
• Das von der Mikroskopvorrichtung 5100 zu implementierende Verfahren zur Aufnahme eines Bildes der biologischen Probe S kann von einem Fachmann gemäß der Art der biologischen Probe, dem Zweck der Bildgebung und dergleichen entsprechend ausgewählt werden. Beispiele für das Bildgebungsverfahren sind nachstehend aufgeführt.
• Ein Beispiel des Bildgebungsverfahrens ist wie folgt. Die Mikroskopvorrichtung kann zunächst eine Bildgebungszielregion identifizieren. Die Bildgebungszielregion kann so identifiziert werden, dass sie die gesamte Region abdeckt, in der die biologische Probe vorhanden ist, oder sie kann so identifiziert werden, dass sie den Zielabschnitt (den Abschnitt, in dem die Zielgewebesektion, die Zielzelle oder die Zielläsion vorhanden ist) der biologischen Probe abdeckt. Als Nächstes teilt die Mikroskopvorrichtung die Bildgebungszielregion in eine Mehrzahl von Teilregionen einer vorgegebenen Größe und die Mikroskopvorrichtung nimmt der Reihe nach Bilder der jeweiligen Teilregionen auf. Als Ergebnis wird ein Bild jeder Teilregion erfasst.
• Wie in 23 dargestellt, identifiziert die Mikroskopvorrichtung eine Bildgebungszielregion R, die die gesamte biologische Probe S abdeckt. Die Mikroskopvorrichtung teilt dann die Bildgebungszielregion R in 16 Teilregionen. Die Mikroskopvorrichtung nimmt dann ein Bild einer Teilregion R1 auf und nimmt als Nächstes eine der in der Bildgebungszielregion R enthaltenen Regionen, beispielsweise ein Bild einer Region benachbart zu Teilregion R1, auf. Danach wird Teilregionsbildgebung durchgeführt, bis Bilder aller Teilregionen aufgenommen wurden. Es sei angemerkt, dass auch ein Bild einer anderen Region als der Bildgebungszielregion auf der Basis der erfassten Bildinformationen über die Teilregionen aufgenommen werden kann. Die Lagebeziehung zwischen der Mikroskopvorrichtung und der Probenplatzierungseinheit wird so angepasst, dass nach der Aufnahme einer Teilregion ein Bild der nächsten Teilregion aufgenommen wird. Die Anpassung kann durch Bewegen der Mikroskopvorrichtung, Bewegen der Probenplatzierungseinheit oder Bewegen beider durchgeführt werden. In diesem Beispiel kann die Bildgebungsvorrichtung, die ein Bild jeder Teilregion aufnimmt, ein zweidimensionaler Bildsensor (ein Flächensensor) oder ein eindimensionaler Bildsensor (ein Liniensensor) sein. Die Signalerfassungseinheit kann ein Bild jeder Teilregion über die optische Einheit erfassen. Ferner können Bilder der jeweiligen Teilregionen kontinuierlich aufgenommen werden, während die Mikroskopvorrichtung und/oder die Probenplatzierungseinheit bewegt werden, oder die Bewegung der Mikroskopvorrichtung und/oder der Probenplatzierungseinheit kann jedes Mal gestoppt werden, wenn ein Bild einer Teilregion aufgenommen wird. Die Bildgebungszielregion kann so geteilt werden, dass die jeweiligen Teilregionen einander teilweise überlappen, oder die Bildgebungszielregion kann so geteilt werden, dass die jeweiligen Teilregionen einander nicht überlappen. Eine Mehrzahl von Bildern jeder Teilregion kann aufgenommen werden, während die Bildgebungsbedingungen wie Brennweite und/oder Belichtungszeit geändert werden. Die Informationsverarbeitungsvorrichtung kann durch Zusammenfügen einer Mehrzahl von benachbarten Teilregionen außerdem Bilddaten einer breiteren Region erzeugen. Da der Zusammenfügungsprozess in der gesamten Bildgebungszielregion durchgeführt wird, kann ein Bild einer größeren Region in Bezug auf die Bildgebungszielregion erfasst werden. Außerdem können Bilddaten mit einer niedrigeren Auflösung aus den Bildern der Teilregionen oder den Bildern, die dem Zusammenfügungsprozess unterzogen werden, erzeugt werden.
• Ein anderes Beispiel des Bildgebungsverfahrens ist wie folgt. Die Mikroskopvorrichtung kann zunächst ein Bildgebungszielregion identifizieren. Die Bildgebungszielregion kann so identifiziert werden, dass sie die gesamte Region abdeckt, in der die biologische Probe vorhanden ist, oder sie kann so identifiziert werden, dass sie den Zielabschnitt (den Abschnitt, in dem die Zielgewebesektion, die Zielzelle vorhanden ist) der biologischen Probe abdeckt. Als Nächstes tastet die Mikroskopvorrichtung eine Region (auch als „Abtast-Teilregion“ bezeichnet) der Bildgebungszielregion in einer Richtung (auch als „Abtastrichtung“ bezeichnet) in einer Ebene senkrecht zur optischen Achse ab und nimmt so ein Bild auf. Nach Abschluss der Abtastung der Abtast-Teilregion wird dann die Abtast-Teilregion abgetastet, die der Abtastregion am nächsten liegt. Diese Abtastvorgänge werden wiederholt, bis ein Bild der gesamten Bildgebungszielregion aufgenommen ist. Wie in 24 dargestellt, identifiziert die Mikroskopvorrichtung eine Region (graue Region), in der eine Gewebesektion der biologischen Probe S vorhanden ist, als eine Bildgebungszielregion Sa. Die Mikroskopvorrichtung tastet dann die Abtast-Teilregion Rs der Bildgebungszielregion Sa in der Y-Achsrichtung ab. Nach Abschluss der Abtastung der Abtast-Teilregion Rs tastet die Mikroskopvorrichtung dann die Abtast-Teilregion ab, die die nächste in der X-Achsrichtung ist. Dieser Abtastvorgang wird wiederholt, bis die Abtastung der gesamten Bildgebungszielregion Sa abgeschlossen ist. Für die Abtastung jeder Abtast-Teilregion wird die Lagebeziehung zwischen der Mikroskopvorrichtung und der Probenplatzierungseinheit so angepasst, dass nach der Aufnahme eines Bildes einer Abtast-Teilregion ein Bild der nächsten Abtast-Teilregion aufgenommen wird. Die Anpassung kann durch Bewegen der Mikroskopvorrichtung, Bewegen der Probenplatzierungseinheit oder Bewegen beider durchgeführt werden. In diesem Beispiel kann die Bildgebungsvorrichtung, die ein Bild jeder Abtast-Teilregion aufnimmt, ein eindimensionaler Bildsensor (ein Liniensensor) oder ein zweidimensionaler Bildsensor (ein Flächensensor) sein. Die Signalerfassungseinheit kann ein Bild jeder Teilregion über ein optisches Vergrößerungssystem erfassen. Außerdem können Bilder der jeweiligen Abtast-Teilregionen kontinuierlich aufgenommen werden, während die Mikroskopvorrichtung und/oder die Probenplatzierungsvorrichtung bewegt werden. Die Bildgebungszielregion kann so geteilt werden, dass die jeweiligen Abtast-Teilregionen einander teilweise überlappen, oder die Bildgebungszielregion kann so geteilt werden, dass die jeweiligen Abtast-Teilregionen einander nicht überlappen. Eine Mehrzahl von Bildern jeder Abtast-Teilregion kann aufgenommen werden, während die Bildgebungsbedingungen wie Brennweite und/oder Belichtungszeit geändert werden. Die Informationsverarbeitungsvorrichtung kann durch Zusammenfügen einer Mehrzahl von benachbarten Abtast-Teilregionen außerdem Bilddaten einer breiteren Region erzeugen. Da der Zusammenfügungsprozess in der gesamten Bildgebungszielregion durchgeführt wird, kann ein Bild einer größeren Region in Bezug auf die Bildgebungszielregion erfasst werden. Außerdem können Bilddaten mit einer niedrigeren Auflösung aus den Bildern der Abtast-Teilregionen erzeugt oder den Bilder, die dem Zusammenfügungsprozess unterzogen werden, erzeugt werden.
• <5. Hardwarekonfigurationsbeispiel>
• Unter Bezugnahme auf 25 wird ein Hardwarekonfigurationsbeispiel einer Informationsverarbeitungsvorrichtung 100 gemäß der vorliegenden Ausführungsform (oder jeglicher Modifikation) beschrieben. 25 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration von Hardware der Informationsverarbeitungsvorrichtung 100 darstellt. Verschiedene Prozesse durch die Informationsverarbeitungsvorrichtung 100 werden zum Beispiel durch die Zusammenwirkung von Software und Hardware implementiert, die im Folgenden beschrieben wird.
• Wie in 25 dargestellt, weist die Informationsverarbeitungsvorrichtung 100 eine zentrale Verarbeitungseinheit (CPU) 901, einen Festwertspeicher (ROM) 902, einen Direktzugriffsspeicher (RAM) 903 und einen Host-Bus 904a auf. Außerdem weist die Informationsverarbeitungsvorrichtung 100 eine Brücke 904, einen externen Bus 904b, eine Schnittstelle 905, eine Eingabevorrichtung 906, eine Ausgabevorrichtung 907, eine Speichervorrichtung 908, ein Laufwerk 909, einen Anschlussport 911, eine Kommunikationsvorrichtung 913 und einen Sensor 915 auf. Die Informationsverarbeitungsvorrichtung 100 kann eine Verarbeitungsschaltung wie etwa einen DSP oder eine ASIC anstelle oder zusätzlich zur CPU 901 aufweisen.
• Die CPU 901 fungiert als eine arithmetische Verarbeitungsvorrichtung und eine Steuervorrichtung und steuert den allgemeinen Betrieb in der Informationsverarbeitungsvorrichtung 100 gemäß verschiedenen Programmen. Außerdem kann die CPU 901 ein Mikroprozessor sein. Der ROM 902 speichert Programme, Betriebsparameter und dergleichen, die durch die CPU 901 verwendet werden. Der RAM 903 speichert in erster Linie Programme, die bei der Ausführung der CPU 901 verwendet werden, Parameter, die sich bei der Ausführung entsprechend ändern, und dergleichen. Die CPU 901 kann zum Beispiel zumindest die Verarbeitungseinheit 130 und die Steuereinheit 150 der Informationsverarbeitungsvorrichtung 100 verkörpern.
• Die CPU 901, der ROM 902 und der RAM 903 sind durch den Host-Bus 904a, der einen CPU-Bus und dergleichen aufweist, miteinander verbunden. Der Host-Bus 904a ist über die Brücke 904 mit dem externen Bus 904b, wie etwa einem PCI-(Peripheral Component Interconnect/Interface-)Bus, verbunden. Es sei angemerkt, dass der Host-Bus 904a, die Brücke 904 und der externe Bus 904b nicht unbedingt separat ausgebildet sein müssen, sondern diese Funktionen auch auf einem Bus installiert sein können.
• Die Eingabevorrichtung 906 ist zum Beispiel durch eine Vorrichtung implementiert, in welche von einem Implementierer Informationen eingegeben werden, wie beispielsweise eine Maus, eine Tastatur, ein Berührungsbildschirm, eine Taste, ein Mikrofon, ein Schalter oder ein Hebel. Außerdem kann die Eingabevorrichtung 906 zum Beispiel eine Remote-Steuervorrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder sie kann eine externe Verbindungsvorrichtung sein, wie beispielsweise ein Mobiltelefon oder ein PDA, das/der dem Betrieb der Informationsverarbeitungsvorrichtung entspricht 100. Außerdem kann die Eingabevorrichtung 906 zum Beispiel eine Einagesteuerungsvorrichtung aufweisen, die ein Eingangssignal auf der Basis der Informationseingabe durch den Implementierer unter Verwendung der oben erwähnten Eingabeeinheiten erzeugt und das Eingangssignal an die CPU 901 ausgibt. Durch Bedienen der Eingabevorrichtung 906 kann der Implementierer verschiedene Daten in die Informationsverarbeitungsvorrichtung eingeben und die Informationsverarbeitungsvorrichtung 100 zum Durchführen einer Verarbeitungsoperation anweisen. Die Eingabevorrichtung 906 kann zum Beispiel zumindest die Bedieneinheit 160 der Informationsverarbeitungsvorrichtung 100 verkörpern.
• Die Ausgabevorrichtung 907 wird durch eine Vorrichtung gebildet, die dem Implementierer die erfassten Informationen visuell oder akustisch mitteilen kann. Beispiele für solch eine Vorrichtung weisen eine Anzeigevorrichtung, beispielsweise eine CRT-Anzeigevorrichtung, eine Flüssigkristallanzeigevorrichtung, eine Plasmaanzeigevorrichtung, eine EL-Anzeigevorrichtung und eine Lampe, eine Schallausgabevorrichtung, beispielsweise einen Lautsprecher und einen Kopfhörer, und eine Druckervorrichtung auf. Die Ausgabevorrichtung 907 kann zum Beispiel zumindest die Anzeigeeinheit 140 der Informationsverarbeitungsvorrichtung 100 verkörpern.
• Die Speichervorrichtung 908 ist eine Vorrichtung zum Speichern von Daten. Die Speichervorrichtung 908 wird zum Beispiel durch eine magnetische Speichervorrichtung, beispielsweise ein HDD, eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magnetooptische Speichervorrichtung oder dergleichen realisiert. Die Speichervorrichtung 908 kann ein Speichermedium, eine Aufzeichnungsvorrichtung, die Daten auf dem Speichermedium aufzeichnet, eine Lesevorrichtung, die Daten aus dem Speichermedium ausliest, eine Löschvorrichtung, die im Speichermedium gespeicherte Daten löscht, und dergleichen aufweisen. Die Speichervorrichtung 908 speichert Programme und verschiedene Daten, die von der CPU 901 ausgeführt werden, verschiedene Daten, die von außerhalb erfasst werden, und dergleichen. Die Speichervorrichtung 908 kann zum Beispiel zumindest die Speichereinheit 120 der Informationsverarbeitungsvorrichtung 100 verkörpern.
• Das Laufwerk 909 ist ein Lese-/Schreibgerät für ein Speichermedium und ist in die Informationsverarbeitungsvorrichtung 100 eingebaut oder extern an diese angeschlossen. Das Laufwerk 909 liest Informationen, die in einem Wechselspeichermedium, beispielsweise einer installierten Magnetplatte, optischen Platte, magnetooptischen Platte, oder einem Halbleiterspeicher gespeichert sind, aus und gibt die Informationen an den RAM 903 aus. Außerdem kann das Laufwerk 909 Informationen in ein Wechselspeichermedium schreiben.
• Der Anschlussport 911 ist eine Schnittstelle, die mit einer externen Vorrichtung verbunden ist, und er ist ein Anschlussport zu einer externen Vorrichtung, der Daten zum Beispiel durch einen universellen seriellen Bus (USB) übertragen kann.
• Die Kommunikationsvorrichtung 913 ist zum Beispiel eine Kommunikationsschnittstelle, die durch eine Kommunikationsvorrichtung oder dergleichen zum Herstellen einer Verbindung mit dem Netzwerk 920 gebildet ist. Die Kommunikationsvorrichtung 913 ist zum Beispiel eine Kommunikationskarte für ein drahtgebundenes oder drahtloses lokales Netzwerk (LAN), Long Term Evolution (LTE), Bluetooth (eingetragene Handelsmarke), Drahtlos-USB (WUSB) oder dergleichen. Außerdem kann die Kommunikationsvorrichtung 913 ein Router für optische Kommunikation, ein Router für asymmetrischen digitalen Teilnehmeranschluss (ADSL), ein Modem für verschiedene Arten von Kommunikation oder dergleichen sein. Zum Beispiel kann die Kommunikationsvorrichtung 913 Signale und dergleichen an das Internet und andere Kommunikationsvorrichtungen gemäß einem vorgegebenen Protokoll wie etwa TCP/IP senden und davon empfangen.
• In der vorliegenden Ausführungsform weist der Sensor 915 einen Sensor auf, der zum Erfassen eines Spektrums (zum Beispiel eines Bildgebungselements oder dergleichen) imstande ist, kann aber auch einen anderen Sensor (zum Beispiel einen Beschleunigungssensor, einen Gyrosensor, einen geomagnetischen Sensor, einen druckempfindlichen Sensor, einen Schallsensor, eine Abstandsmesssensor oder dergleichen) aufweisen. Der Sensor 915 kann zum Beispiel zumindest die Bilderfassungseinheit 112 der Informationsverarbeitungsvorrichtung 100 verkörpern.
• Es sei angemerkt, dass das Netzwerk 920 ein drahtgebundener oder drahtloser Übertragungspfad für Informationen ist, die von einer mit dem Netzwerk 920 verbundenen Vorrichtung übertragen werden. Zum Beispiel kann das Netzwerk 920 ein öffentliches Netzwerk, wie beispielsweise das Internet, ein Telefonnetzwerk oder ein Satellitenkommunikationsnetzwerk, verschiedene lokale Netzwerke (LAN), darunter Ethernet (eingetragene Handelsmarke), ein Weitverkehrsnetzwerk (WAN) oder dergleichen aufweisen. Außerdem kann das Netzwerk 920 ein Standleitungsnetzwerk, wie beispielweise ein internetprotokollbasiertes virtuelles privates Netzwerk (IP-VPN), aufweisen.
• Vorstehend wurde das Hardwarekonfigurationsbeispiel beschrieben, das die Funktionen der Informationsverarbeitungsvorrichtung 100 implementieren kann. Jede der vorstehend beschriebenen Komponenten kann unter Verwendung eines Universalelements implementiert sein oder es kann durch Hardware implementiert sein, die auf die Funktion jeder Komponente spezialisiert ist. Daher ist es möglich, die zu verwendende Hardwarekonfiguration gemäß dem technischen Niveau zum Zeitpunkt der Implementierung der vorliegenden Offenbarung entsprechend zu ändern.
• Es sei angemerkt, dass ein Computerprogramm zum Implementieren jeder Funktion der Informationsverarbeitungsvorrichtung 100, wie vorstehend beschrieben, erstellt und auf einem PC oder dergleichen installiert werden kann. Außerdem ist es möglich, ein computerlesbares Aufzeichnungsmedium bereitzustellen, das solch ein Computerprogramm speichert. Das Aufzeichnungsmedium ist zum Beispiel eine magnetische Platte, eine optische Platte, eine magnetooptische Platte, ein Flash-Speicher oder dergleichen. Außerdem kann das vorstehend beschriebene Computerprogramm zum Beispiel über ein Netzwerk verteilt sein, ohne das Aufzeichnungsmedium zu verwenden.
• <6. Anhang>
• Es sei angemerkt, dass die vorliegende Technik auch die folgenden Konfigurationen aufweisen kann.
1. (1) Informationsverarbeitungsvorrichtung, umfassend:
   • eine Einheit zur Erzeugung simulierter Bilder, die ein simuliertes Bild durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente aufweist, und eines Farbstoffkachelbildes erzeugt, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind;
   • eine Fluoreszenztrennungseinheit, die eine Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des simulierten Bildes trennt und ein getrenntes Bild erzeugt; und
   • eine Bewertungseinheit, die einen Trennungsgrad des getrennten Bildes bewertet.
2. (2) Informationsverarbeitungsvorrichtung nach (1), wobei das Farbstoffkachelbild ein Referenzspektrum eines zweiten fluoreszierenden Farbstoffs zusätzlich zum ersten fluoreszierenden Farbstoff aufweist und ein Bild ist, in dem das Referenzspektrum jedes von dem ersten fluoreszierenden Farbstoff und dem zweiten fluoreszierenden Farbstoff und das Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind.
3. (3) Informationsverarbeitungsvorrichtung nach (1) oder (2), wobei das Bildgebungsrauschen ein Rauschen ist, das sich gemäß einer Bildgebungsbedingung des nicht gefärbten Bildes ändert.
4. (4) Informationsverarbeitungsvorrichtung nach (3), wobei die Bildgebungsbedingung des nicht gefärbten Bildes mindestens eine oder alle von Laserleistung, Verstärkung oder Belichtungszeit aufweist.
5. (5) Informationsverarbeitungsvorrichtung nach einem von (1) bis (4), wobei das Farbstoffkachelbild eine Farbstoffkachelgruppe mit einer Mehrzahl von Farbstoffkacheln ist.
6. (6) Informationsverarbeitungsvorrichtung nach (5), wobei eine Größe jeder der Mehrzahl von Farbstoffkacheln gleich wie eine Größe einer Zelle ist.
7. (7) Informationsverarbeitungsvorrichtung nach (5) oder (6), wobei die Mehrzahl von Farbstoffkacheln in einem vorgegebenen Farbanordnungsmuster angeordnet ist.
8. (8) Informationsverarbeitungsvorrichtung nach einem von (5) bis (7), wobei der Grad des Bildgebungsrauschens für jede der Farbstoffkacheln quantifiziert oder visualisiert wird.
9. (9) Informationsverarbeitungsvorrichtung nach einem von (5) bis (8), wobei die Einheit zur Erzeugung simulierter Bilder die Farbstoffkacheln entsprechend einer von einem Benutzer festgelegten Anzahl von Farbstoffen wiederholt anordnet und das Farbstoffkachelbild erzeugt.
10. (10) Informationsverarbeitungsvorrichtung nach einem von (5) bis (9), wobei die Einheit zur Erzeugung simulierter Bilder eine Mehrzahl von Farbstoffen mischt und die Farbstoffkachel erstellt.
11. (11) Informationsverarbeitungsvorrichtung nach einem von (1) bis (10), wobei die Einheit zur Erzeugung simulierter Bilder die spektrale Intensität eines Farbstoffs bestimmt, die der Autofluoreszenzintensität des nicht gefärbten Bildes verliehen werden soll.
12. (12) Informationsverarbeitungsvorrichtung nach einem von (1) bis (11), wobei die Einheit zur Erzeugung simulierter Bilder das Bildgebungsrauschen einem Referenzspektrum des ersten fluoreszierenden Farbstoffs überlagert.
13. (13) Informationsverarbeitungsvorrichtung nach (12), wobei das Bildgebungsrauschen Schrotrauschen ist.
14. (14) Informationsverarbeitungsvorrichtung nach einem von (1) bis (13), wobei die Fluoreszenztrennungseinheit die Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente durch Farbtrennungsberechnung trennt, die mindestens eine von einer Methode der kleinsten Quadrate, einer Methode der gewichteten kleinsten Quadrate oder einer nicht-negativen Matrixfaktorisierung aufweist.
15. (15) Informationsverarbeitungsvorrichtung nach einem von (1) bis (14), wobei die Bewertungseinheit ein Histogramm aus dem getrennten Bild erzeugt, einen Signaltrennungswert zwischen einem Farbstoff und einem anderen Signal als dem Farbstoff aus dem Histogramm berechnet und den Trennungswert auf der Basis des Signaltrennungswerts bewertet.
16. (16) Informationsverarbeitungsvorrichtung nach einem von (1) bis (15), ferner umfassend:
    • eine Empfehlungseinheit, die ein optimales Reagenz empfiehlt, das einem von einem Benutzer auf der Basis des Trennungsgrads festgelegten Farbstoff entspricht.
17. (17) Informationsverarbeitungsvorrichtung nach (16), wobei die Empfehlungseinheit ein Bild erzeugt, das eine Kombination von Farbstoffen oder eine Kombination eines Farbstoffs und des Reagenzes angibt.
18. (18) Informationsverarbeitungsvorrichtung nach (16), wobei die Empfehlungseinheit ein Bild erzeugt, das eine Kombination eines Antikörpers und eines Farbstoffs angibt.
19. (19) System zur Beobachtung einer biologischen Probe, umfassend:
    • eine Bildgebungsvorrichtung, die ein nicht gefärbtes Bild erfasst, das eine Autofluoreszenzkomponente aufweist; und
    • eine Informationsverarbeitungsvorrichtung, die das nicht gefärbte Bild verarbeitet, wobei
    • die Informationsverarbeitungsvorrichtung umfasst:
      • eine Einheit zur Erzeugung simulierter Bilder, die ein simuliertes Bild durch Überlagern des nicht gefärbten Bildes und eines Farbstoffkachelbildes erzeugt, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind;
      • eine Fluoreszenztrennungseinheit, die eine Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des simulierten Bildes trennt und ein getrenntes Bild erzeugt, und
      • eine Bewertungseinheit, die einen Trennungsgrad des getrennten Bildes bewertet.
20. (20) Bilderzeugungsverfahren, umfassend ein Erzeugen eines simulierten Bildes durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente aufweist, und eines Farbstoffkachelbildes, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind.
21. (21) System zur Beobachtung einer biologischen Probe, das die Informationsverarbeitungsvorrichtung nach einem von (1) bis (18) aufweist.
22. (22) Bilderzeugungsverfahren zur Erzeugung eines Bildes durch die Informationsverarbeitungsvorrichtung nach einem von (1) bis (18.)
• Bezugszeichenliste

1

BEOBACHTUNGSEINHEIT

2

PROZESSEINHEIT

3

ANZEIGEEINHEIT

10

ANREGUNGSEINHEIT

10A

FLUORESZIERENDES REAGENZ

11A

REAGENZIDENTIFIKATIONSINFORMATIONEN

20

OBJEKTTISCH

20A

SPEZIMEN

21

SPEICHEREINHEIT

21A

SPEZIMENIDENTIFIKATIONSINFORMATIONEN

22

DATENKALIBRIEREINHEIT

23

BILDBILDUNGSEINHEIT

30

SPEKTRALBILDGEBUNGSEINHEIT

30A

FLUORESZENZGEFÄRBTES SPEZIMEN

40

OPTISCHES BEOBACHTUNGSSYSTEM

50

ABTASTMECHANISMUS

60

FOKUSMECHANISMUS

70

NICHT-FLUORESZENZ-BEOBACHTUNGSEINHEIT

80

STEUEREINHEIT

100

INFORMATIONSVERARBEITUNGSVORRICHTUNG

110

ERFASSUNGSEINHEIT

111

INFORMATIONSERFASSUNGSEINHEIT

112

BILDERFASSUNGSEINHEIT

120

SPEICHEREINHEIT

121

INFORMATIONSSPEICHEREINHEIT

122

BILDINFORMATIONSSPEICHEREINHEIT

123

ANALYSEERGEBNISSPEICHEREINHEIT

130

VERARBEITUNGSEINHEIT

131

ANALYSEEINHEIT

131a

EINHEIT ZUR ERZEUGUNG SIMULIERTER BILDER

131b

FLUORESZENZTRENNUNGSEINHEIT

131c

BEWERTUNGSEINHEIT

131d

EMPFEHLUNGSEINHEIT

132

BILDERZEUGUNGSEINHEIT

140

ANZEIGEEINHEIT

150

STEUEREINHEIT

160

BEDIENEINHEIT

200

DATENBANK

500

FLUORESZENZBEOBACHTUNGSVORRICHTUNG

1311

VERBINDUNGSEINHEIT

1321

FARBTRENNUNGSEINHEIT

1321a

ERSTE FARBTRENNUNGSEINHEIT

1321b

ZWEITE FARBTRENNUNGSEINHEIT

1322

SPEKTRUMEXTRAKTIONSEINHEIT

5000

MIKROSKOPSYSTEM

5100

MIKROSKOPVORRICHTUNG

5101

LICHTBESTRAHLUNGSEINHEIT

5102

OPTISCHE EINHEIT

5103

SIGNALERFASSUNGSEINHEIT

5104

PROBENPLATZIERUNGSEINHEIT

5110

STEUEREINHEIT

5120

INFORMATIONSVERARBEITUNGSEINHEIT

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 2020020791 A [0003]

Claims (20)

1. Informationsverarbeitungsvorrichtung, umfassend: eine Einheit zur Erzeugung simulierter Bilder, die ein simuliertes Bild durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente aufweist, und eines Farbstoffkachelbildes erzeugt, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind; eine Fluoreszenztrennungseinheit, die eine Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des simulierten Bildes trennt und ein getrenntes Bild erzeugt; und eine Bewertungseinheit, die einen Trennungsgrad des getrennten Bildes bewertet.
2. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei das Farbstoffkachelbild ein Referenzspektrum eines zweiten fluoreszierenden Farbstoffs zusätzlich zum ersten fluoreszierenden Farbstoff aufweist und ein Bild ist, in dem das Referenzspektrum jedes von dem ersten fluoreszierenden Farbstoff und dem zweiten fluoreszierenden Farbstoff und das Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind.
3. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei das Bildgebungsrauschen ein Rauschen ist, das sich gemäß einer Bildgebungsbedingung des nicht gefärbten Bildes ändert.
4. Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Bildgebungsbedingung des nicht gefärbten Bildes mindestens eine oder alle von Laserleistung, Verstärkung oder Belichtungszeit aufweist.
5. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei das Farbstoffkachelbild eine Farbstoffkachelgruppe mit einer Mehrzahl von Farbstoffkacheln ist.
6. Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei eine Größe jeder der Mehrzahl von Farbstoffkacheln gleich wie eine Größe einer Zelle ist.
7. Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Mehrzahl von Farbstoffkacheln in einem vorgegebenen Farbanordnungsmuster angeordnet ist.
8. Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei der Grad des Bildgebungsrauschens für jede der Farbstoffkacheln quantifiziert oder visualisiert wird.
9. Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Einheit zur Erzeugung simulierter Bilder die Farbstoffkacheln entsprechend einer von einem Benutzer festgelegten Anzahl von Farbstoffen wiederholt anordnet und das Farbstoffkachelbild erzeugt.
10. Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Einheit zur Erzeugung simulierter Bilder eine Mehrzahl von Farbstoffen mischt und die Farbstoffkachel erstellt.
11. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Einheit zur Erzeugung simulierter Bilder die spektrale Intensität eines Farbstoffs bestimmt, die der Autofluoreszenzintensität des nicht gefärbten Bildes verliehen werden soll.
12. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Einheit zur Erzeugung simulierter Bilder das Bildgebungsrauschen einem Referenzspektrum des ersten fluoreszierenden Farbstoffs überlagert.
13. Informationsverarbeitungsvorrichtung nach Anspruch 12, wobei das Bildgebungsrauschen Schrotrauschen ist.
14. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Fluoreszenztrennungseinheit die Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente durch Farbtrennungsberechnung trennt, die mindestens eine von einer Methode der kleinsten Quadrate, einer Methode der gewichteten kleinsten Quadrate oder einer nicht-negativen Matrixfaktorisierung aufweist.
15. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Bewertungseinheit ein Histogramm aus dem getrennten Bild erzeugt, einen Signaltrennungswert zwischen einem Farbstoff und einem anderen Signal als dem Farbstoff aus dem Histogramm berechnet und den Trennungswert auf der Basis des Signaltrennungswerts bewertet.
16. Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend: eine Empfehlungseinheit, die ein optimales Reagenz empfiehlt, das einem von einem Benutzer auf der Basis des Trennungsgrads festgelegten Farbstoff entspricht.
17. Informationsverarbeitungsvorrichtung nach Anspruch 16, wobei die Empfehlungseinheit ein Bild erzeugt, das eine Kombination von Farbstoffen oder eine Kombination eines Farbstoffs und des Reagenzes angibt.
18. Informationsverarbeitungsvorrichtung nach Anspruch 16, wobei die Empfehlungseinheit ein Bild erzeugt, das eine Kombination eines Antikörpers und eines Farbstoffs angibt.
19. System zur Beobachtung einer biologischen Probe, umfassend: eine Bildgebungsvorrichtung, die ein nicht gefärbtes Bild erfasst, das eine Autofluoreszenzkomponente aufweist; und eine Informationsverarbeitungsvorrichtung, die das nicht gefärbte Bild verarbeitet, wobei die Informationsverarbeitungsvorrichtung aufweist: eine Einheit zur Erzeugung simulierter Bilder, die ein simuliertes Bild durch Überlagern des nicht gefärbten Bildes und eines Farbstoffkachelbildes erzeugt, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind; eine Fluoreszenztrennungseinheit, die eine Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des simulierten Bildes trennt und ein getrenntes Bild erzeugt, und eine Bewertungseinheit, die einen Trennungsgrad des getrennten Bildes bewertet.
20. Bilderzeugungsverfahren, umfassend ein Erzeugen eines simulierten Bildes durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente aufweist, und eines Farbstoffkachelbildes, in dem ein Referenzspektrum eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind.

Images