DE112022003311T5

DE112022003311T5 - Informationsverarbeitungsvorrichtung, system zur beobachtung biologischer proben und bilderzeugungsverfahren

Info

Publication number: DE112022003311T5
Application number: DE112022003311.8T
Authority: DE
Inventors: Noe Kaneko; Noriyuki Kishii; Hirokazu Tatsuta; Kazuhiro Nakagawa
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2021-06-29
Filing date: 2022-02-01
Publication date: 2024-04-18
Also published as: CN117546007A; WO2023276219A1

Abstract

Eine Informationsverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung weist eine Fluoreszenztrennungseinheit (131A), die ein Beispiel einer Trennungseinheit ist, die mindestens eine von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von einer Fluoreszenzkomponente trennt, die aus einem Spezimenbild fluoreszierender Färbung erhalten wird; eine Erzeugungseinheit (131B), die eine Trennungsgenauigkeit für jedes von Pixeln aus einer Differenz zwischen dem Spezimenbild und einem Bild nach der Trennung berechnet, das durch Trennen mindestens einer der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, und ein Trennungsgenauigkeitsbild erzeugt, das die Trennungsgenauigkeit für jedes der Pixel angibt; und eine Bewertungseinheit (131C) auf, die ein Pixel, das einen Ausreißer der Trennungsgenauigkeit aufweist, aus dem Trennungsgenauigkeitsbild identifiziert.

Description

Gebiet
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein System zur Beobachtung biologischer Proben und ein Bilderzeugungsverfahren.
Hintergrund
In der Biofluoreszenzbildgebung ist eine Farbtrennungstechnologie zum Trennen von gefärbter Fluoreszenz und unbeabsichtigter Autofluoreszenz, die von biologischem Gewebe stammt, erforderlich. Zum Beispiel wurde in einer Multiplex-Fluoreszenzbildgebungstechnologie eine Farbtrennungstechnologie unter Verwendung eines Verfahrens wie einer Methode der kleinsten Quadrate oder einer nichtnegativen Matrixfaktorisierung entwickelt, um die Autofluoreszenz spektral zu trennen und die gefärbte Zielfluoreszenz zu extrahieren, wie in Patentliteratur 1.
Literaturverzeichnis
Patentliteratur
Patentliteratur 1: WO 2020/179586
Kurzdarstellung
Technische Aufgabe
In der vorliegenden Farbtrennungstechnologie gibt es jedoch Fälle, in denen eine Autofluoreszenzkomponente mit hoher Fluoreszenzluminanz nicht vollständig entfernt werden kann. Zum Beispiel wurde eine Komponente roter Blutkörperchen mit hoher Fluoreszenzluminanz nicht vollständig entfernt und Verlust in ein getrenntes Bild wurde bestätigt. Solch eine Autofluoreszenzkomponente mit einer großen Fluoreszenzluminanz führt eine Verschlechterung der Genauigkeit des getrennten Bildes und der Trennungsgenauigkeit herbei.
Demgemäß schlägt die vorliegende Offenbarung eine Informationsverarbeitungsvorrichtung, ein System zur Beobachtung biologischer Proben und ein Bilderzeugungsverfahren vor, die zum Verbessern der Genauigkeit getrennter Bilder und der Trennungsgenauigkeit imstande sind.
Lösung des Problems
Eine Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung weist Folgendes auf: eine Trennungseinheit, die mindestens eine von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von einer Fluoreszenzkomponente trennt, die aus einem Spezimenbild fluoreszierender Färbung erhalten wird; eine Erzeugungseinheit, die eine Trennungsgenauigkeit für jedes von Pixeln aus einer Differenz zwischen dem Spezimenbild und einem Bild nach der Trennung berechnet, das durch Trennen mindestens einer von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, und ein Trennungsgenauigkeitsbild erzeugt, das die Trennungsgenauigkeit für jedes der Pixel angibt; und eine Bewertungseinheit, die ein Pixel, das einen Ausreißer der Trennungsgenauigkeit aufweist, aus dem Trennungsgenauigkeitsbild identifiziert.
Ein System zur Beobachtung biologischer Proben gemäß der Ausführungsform der vorliegenden Offenbarung weist Folgendes auf: eine Bildgebungsvorrichtung, die ein Spezimenbild fluoreszierender Färbung erfasst; und eine Informationsverarbeitungsvorrichtung, die das Spezimenbild verarbeitet, wobei die Informationsvorrichtung eine Trennungseinheit, die mindestens eine von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von einer Fluoreszenzkomponente trennt, die aus dem Spezimenbild erhalten wird; eine Erzeugungseinheit, die eine Trennungsgenauigkeit für jedes von Pixeln aus einer Differenz zwischen dem Spezimenbild und einem Bild nach der Trennung berechnet, das durch Trennen mindestens einer von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, und ein Trennungsgenauigkeitsbild erzeugt, das die Trennungsgenauigkeit für jedes der Pixel angibt; und eine Bewertungseinheit aufweist, die ein Pixel, das einen Ausreißer der Trennungsgenauigkeit aufweist, aus dem Trennungsgenauigkeitsbild identifiziert.
Ein Bilderzeugungsverfahren gemäß der Ausführungsform der vorliegenden Offenbarung weist Folgendes auf: Berechnen einer Trennungsgenauigkeit für jedes von Pixeln aus einer Differenz zwischen einem Spezimenbild fluoreszierender Färbung und einem Bild nach der Trennung, das durch Trennen mindestens einer von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, die aus dem Spezimenbild erhalten wird; und Erzeugen eines Trennungsgenauigkeitsbildes, das die Trennungsgenauigkeit für jedes Pixel angibt.
Kurze Beschreibung der Zeichnungen

1 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
2 ist ein Flussdiagramm, das ein Beispiel eines Basisverarbeitungsflusses einer Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
3 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Analyseeinheit gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
4 ist ein Diagramm zum Beschreiben eines Beispiels eines Verfahrens zur Erzeugung eines verbundenen Fluoreszenzspektrums gemäß der Ausführungsform der vorliegenden Offenbarung.
5 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Analyseeinheit hinsichtlich eines Normprozesses gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
6 ist ein Flussdiagramm, das einen Fluss eines Beispiels des Normprozesses gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
7 ist ein Flussdiagramm, das einen Fluss eines ersten Verarbeitungsbeispiels einer Farbtrennungsberechnung und Normbilderzeugung gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
8 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Analyseeinheit unter Verwendung eines verbundenen Fluoreszenzspektrums einer nicht gefärbten Probe in einem zweiten Verarbeitungsbeispiel einer Farbtrennungsberechnung und Normbilderzeugung gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
9 ist ein Flussdiagramm, das einen Fluss eines zweiten Verarbeitungsbeispiels einer Farbtrennungsberechnung und Normbilderzeugung gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
10 ist ein Flussdiagramm, das einen Fluss eines dritten Verarbeitungsbeispiels einer Farbtrennungsberechnung und Normbilderzeugung gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
11 ist ein Diagramm zum Beschreiben einer Verarbeitung von Schritten in 10.
12 ist ein Diagramm zum Beschreiben einer Verarbeitung von Schritten in 10.
13 ist ein Flussdiagramm, das einen Fluss eines vierten Verarbeitungsbeispiels einer Farbtrennungsberechnung und Normbilderzeugung gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
14 ist ein Diagramm zum Beschreiben eines Vergleichsbeispiels eines Normbildes und eines getrennten Bildes gemäß der Ausführungsform der vorliegenden Offenbarung.
15 ist ein Diagramm zum Beschreiben eines Beispiels einer Verarbeitung der Korrektureinheit gemäß der Ausführungsform der vorliegenden Offenbarung.
16 ist ein Diagramm zum Beschreiben eines Beispiels eines Darstellungsbildes gemäß der Ausführungsform der vorliegenden Offenbarung.
17 ist ein Diagramm zum Beschreiben eines Beispiels eines UI-Bildes gemäß der Ausführungsform der vorliegenden Offenbarung.
18 ist ein Diagramm zum Beschreiben eines Beispiels eines UI-Bildes gemäß der Ausführungsform der vorliegenden Offenbarung.
19 ist ein Flussdiagramm, das einen Fluss eines Beispiels eines Darstellungsprozesses gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
20 ist ein Diagramm zum Beschreiben eines Spektrums (Spektrum roter Blutkörperchen) eines Pixels mit einem hohen Normwert, der einen Ausreißer überschreitet, gemäß der Ausführungsform der vorliegenden Offenbarung.
21 ist ein Flussdiagramm, das einen Fluss eines Beispiels eines Farbtrennungsprozesses gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
22 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Fluoreszenzbeobachtungseinrichtung gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
23 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Analyseeinheit gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
24 ist ein Diagramm, das ein Beispiel einer Probe gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
25 ist eine vergrößerte Ansicht, die eine Region darstellt, in der die Probe gemäß der Ausführungsform der vorliegenden Offenbarung mit Linienbeleuchtung bestrahlt wird.
26 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Analyseeinheit gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
27 ist ein Diagramm zum Beschreiben einer Erzeugung eines simulierten Bildes gemäß der Ausführungsform der vorliegenden Offenbarung.
28 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Prozesses zur Erzeugung eines simulierten Bildes gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
29 ist ein Diagramm zum Beschreiben eines Schrotrauschüberlagerungsprozesses gemäß der Ausführungsform der vorliegenden Offenbarung .
30 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines quantitativen Bewertungsprozesses gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
31 ist ein Diagramm, das ein Beispiel eines getrennten Bildes und eines Histogramms gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
32 ist ein Diagramm zum Beschreiben einer Berechnung eines Signaltrennungswerts basierend auf einem Histogramm gemäß der Ausführungsform der vorliegenden Offenbarung.
33 ist ein Diagramm, das ein Beispiel eines getrennten Bildes gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
34 ist ein Diagramm, das ein Beispiel eines getrennten Bildes gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
35 ist ein Diagramm, das ein Beispiel eines getrennten Bildes gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
36 ist ein Säulendiagramm, das einen Signaltrennungswert für jeden Farbstoff gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
37 ist ein Streudiagramm, das einen Signaltrennungswert für jeden Farbstoff gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
38 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Analyseeinheit gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
39 ist ein Diagramm, das die Gesamtkonfiguration eines Mikroskop-Systems schematisch darstellt.
40 ist ein Diagramm, das ein Beispiel eines Bildgebungsverfahrens darstellt.
41 ist ein Diagramm, das ein Beispiel eines Bildgebungsverfahrens darstellt.
42 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration von Hardware einer Informationsverarbeitungsvorrichtung darstellt. Beschreibung der Ausführungsformen

im Folgenden wird hierin eine Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben. Es sei angemerkt, dass die Vorrichtung, das System, das Verfahren und dergleichen gemäß der vorliegenden Offenbarung durch die Ausführungsform nicht eingeschränkt sind. Ferner sind in der vorliegenden Beschreibung und den Zeichnungen Komponenten mit im Wesentlichen der gleichen funktionalen Konfiguration grundsätzlich mit den gleichen Bezugszeichen versehen und eine redundante Beschreibung wird unterlassen.
Eine oder mehrere Ausführungsformen, die im Folgenden beschrieben werden, können jeweils unabhängig implementiert werden. Andererseits können zumindest einige der Mehrzahl von nachstehend beschriebenen Ausführungsformen zumindest mit einigen von anderen Ausführungsformen angemessen kombiniert werden. Die Mehrzahl von Ausführungsformen kann neuartige Merkmale aufweisen, die sich voneinander unterscheiden. Daher kann die Mehrzahl von Ausführungsformen zum Lösen verschiedener Aufgaben oder Probleme beitragen und verschiedene Wirkungen aufweisen.
Die vorliegende Offenbarung wird gemäß der folgenden Punktreihenfolge beschrieben.

1. Ausführungsform
1. 1-1. Konfigurationsbeispiel eines Informationsverarbeitungssystems
2. 1-2. Basisverarbeitungsbeispiel einer Informationsverarbeitungsvorrichtung
3. 1-3. Beispiel einer Verarbeitung von Fluoreszenztrennung
4. 1-4. Konfigurationsbeispiel einer Analyseeinheit hinsichtlich eines Normprozesses
5. 1-5. Beispiel eines Normprozesses
6. 1-6. Beispiel einer Verarbeitung einer Farbtrennungsberechnung und Normbilderzeugung
7. 1-6-1. Erstes Verarbeitungsbeispiel
8. 1-6-2. Zweites Verarbeitungsbeispiel
9. 1-6-3. Drittes Verarbeitungsbeispiel
10. 1-6-4. Viertes Verarbeitungsbeispiel
11. 1-7. Vergleichsbeispiel eines Normbildes und eines getrennten Bildes
12. 1-8. Verarbeitungsbeispiel der Korrektureinheit
13. 1-9. Verarbeitungsbeispiel der Darstellungseinheit
14. 1-10. Beispiel eines Farbtrennungsprozesses
15. 1-11. Anwendungsbeispiel
16. 1-12. Operation und Wirkung
2. Beispiel einer quantitativen Bewertung
1. 2-1. Überblick über eine quantitative Bewertung
2. 2-2. Konfigurationsbeispiel einer Analyseeinheit in Bezug auf quantitative Bewertung
3. 2-3. Beispiel einer Verarbeitung der Erzeugung eines simulierten Bildes
4. 2-4. Beispiel einer Verarbeitung einer quantitativen Bewertung
5. 2-5. Bildbeispiel eines getrennten Bildes
6. 2-6. Bildbeispiel eines Bildes eines Bewertungsergebnisses
7. 2-7. Operation und Wirkung
3. Modifikation der quantitativen Bewertung
1. 3-1. Konfigurationsbeispiel einer Analyseeinheit in Bezug auf quantitative Bewertung
2. 3-2. Operation und Wirkung
4. Andere Ausführungsformen
5. Anwendungsbeispiel
6. Konfigurationsbeispiel von Hardware
7. Anhang

<1. Ausführungsform>
<1-1. Konfigurationsbeispiel eines Informationsverarbeitungssystems>
Unter Bezugnahme auf 1 wird ein Konfigurationsbeispiel eines Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform beschrieben. 1 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration eines Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform darstellt. Das Informationsverarbeitungssystem ist ein Beispiel eines Systems zur Beobachtung biologischer Proben.
Wie in 1 dargestellt, weist das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform eine Informationsverarbeitungsvorrichtung 100 und eine Datenbank 200 auf. Als Eingaben in das Informationsverarbeitungssystem gibt es ein fluoreszierendes Reagenz 10A, ein Spezimen 20A und ein fluoreszenzgefärbtes Spezimen 30A.
(Fluoreszierendes Reagenz 10A)
Das fluoreszierende Reagenz 10A ist eine Chemikalie zum Färben des Spezimens 20A. Das fluoreszierende Reagenz 10A ist zum Beispiel ein fluoreszierender Antikörper, eine fluoreszierende Sonde, ein nukleares Färbungsreagenz oder dergleichen, aber die Art des fluoreszierenden Reagenzes 10A ist nicht speziell darauf beschränkt. Fluoreszierende Antikörper weisen zum Beispiel Primärantikörper, die zur direkten Markierung verwendet werden, oder Sekundärantikörper auf, die zur indirekten Markierung verwendet werden. Ferner wird das fluoreszierende Reagenz 10A mit Identifikationsinformationen verwaltet, die die Produktionscharge des fluoreszierenden Reagenzes 10A und das damit versehene fluoreszierende Reagenz 10A identifizieren können. Im Folgenden werden die Identifikationsinformationen hierin als „Reagenzidentifikationsinformationen 11A“ bezeichnet. Die Reagenzidentifikationsinformationen 11A sind zum Beispiel Strichcodeinformationen wie etwa 1D-Strichcode-Informationen oder 2D-Strichcode-Informationen, ohne darauf beschränkt zu sein. Die Eigenschaften des fluoreszierenden Reagenzes 10A sind in Abhängigkeit vom Produktionsverfahren, dem Zustand der Zellen, aus welchen der Antikörper gewonnen wird, und dergleichen selbst für die gleiche Art von Produkten für jede Produktionscharge verschieden. Zum Beispiel sind im fluoreszierenden Reagenz 10A Spektralinformationen, Quantenausbeute oder Fluoreszenzmarkierungsrate oder dergleichen für jede Produktionscharge verschieden. Die Fluoreszenzmarkierungsrate wird auch als „F/P-Wert: Fluoreszein/Protein“ bezeichnet und bezieht sich auf die Anzahl von fluoreszierenden Molekülen, die einen Antikörper markieren. Daher wird im Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform das fluoreszierende Reagenz 10A für jede Produktionscharge individuell verwaltet, indem es mit den Spezimenidentifikationsinformationen 11A versehen wird. Mit anderen Worten werden Reagenzinformationen jedes fluoreszierenden Reagenzes 10A für jede Produktionscharge verwaltet. Demnach kann die Informationsverarbeitungsvorrichtung 100 ein Fluoreszenzsignal und ein Autofluoreszenzsignal unter Berücksichtigung eines geringfügigen Eigenschaftsunterschieds trennen, der für jede Produktionscharge auftritt. Es ist zu erwähnen, dass die Verwaltung des fluoreszierenden Reagenzes 10A in Einheiten von Produktionschargen lediglich ein Beispiel ist, und das fluoreszierende Reagenz 10A kann in feineren Einheiten als Produktionschargen verwaltet werden.
(Spezimen 20A)
Das Spezimen 20A wird zur pathologischen Diagnose, klinischen Untersuchung oder dergleichen aus einem Spezimen oder einer Gewebeprobe hergestellt, die einem menschlichen Körper entnommen wird. Für das Spezimen 20A sind die Art des verwendeten Gewebes, zum Beispiel Organ oder Zelle, die Art der Krankheit von Interesse, die Attribute des Subjekts, zum Beispiel Alter, Geschlecht, Blutgruppe oder Rasse, oder die täglichen Gewohnheiten des Subjekts, zum Beispiel Essgewohnheiten, Übungsgewohnheiten oder Rauchgewohnheiten, nicht speziell beschränkt. Ferner wird das Spezimen 20A mit Identifikationsinformationen verwaltet, die jedes damit versehene Spezimen 20A identifizieren können. Im Folgenden werden die Identifikationsinformationen hierin als „Spezimenidentifikationsinformationen 21A“ bezeichnet. Wie die Reagenzidentifikationsinformationen 11A sind die Spezimenidentifikationsinformationen 21A zum Beispiel Strichcodeinformationen wie etwa1D-Strichcode-Informationen oder 2D-Strichcode-Informationen, ohne darauf beschränkt zu sein. Die Eigenschaften des Spezimens 20A variieren in Abhängigkeit von der Art des verwendeten Gewebes, der Art der Zielkrankheit, der Attribute des Subjekts, den täglichen Gewohnheiten des Subjekts und dergleichen. Zum Beispiel variieren im Spezimen 20A ein Messkanal, Spektralinformationen und dergleichen in Abhängigkeit von der Art des verwendeten Gewebes und dergleichen. Demgemäß wird im Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform das Spezimen 20A individuell verwaltet, indem es mit Spezimenidentifikationsinformationen 21A versehen wird. Demnach kann die Informationsverarbeitungsvorrichtung 100 ein Fluoreszenzsignal und das Autofluoreszenzsignal unter Berücksichtigung eines geringfügigen Eigenschaftsunterschieds trennen, der für jedes Spezimen 20A auftritt.
(Fluoreszenzgefärbtes Spezimen 30A)
Das fluoreszenzgefärbte Spezimen 30A wird durch Färben des Spezimens 20A mit dem fluoreszierenden Reagenz 10A hergestellt. In der vorliegenden Ausführungsform wird davon ausgegangen, dass im fluoreszenzgefärbten Spezimen 30A das Spezimen 20A mit mindestens einen fluoreszierenden Reagenz 10A gefärbt ist, aber die Anzahl der fluoreszierenden Reagenzien 10A, die zum Färben verwendet wird, ist nicht speziell beschränkt. Ferner wird das Färbungsverfahren durch eine Kombination jedes von dem Spezimen 20A und dem fluoreszierenden Reagenz 10A und dergleichen bestimmt und ist nicht speziell beschränkt. Das fluoreszenzgefärbte Spezimen 30A wird in die Informationsverarbeitungsvorrichtung 100 eingegeben und abgebildet.
(Informationsverarbeitungsvorrichtung 100)
Wie in 1 dargestellt, weist die Informationsverarbeitungsvorrichtung 100 eine Erfassungseinheit 110, eine Speichereinheit 120, eine Verarbeitungseinheit 130, eine Anzeigeeinheit 140, eine Steuereinheit 150 und eine Bedieneinheit 160 auf.
(Erfassungseinheit 110)
Die Erfassungseinheit 110 ist dazu ausgebildet, Informationen zu erfassen, die für verschiedene Prozesse der Informationsverarbeitungsvorrichtung 100 verwendet werden. Wie in 1 dargestellt, weist die Erfassungseinheit 110 eine Informationserfassungseinheit 111 und eine Bilderfassungseinheit 112 auf.
(Informationserfassungseinheit 111)
Die Informationserfassungseinheit 111 ist zum Erfassen der Reagenzinformationen und der Spezimeninformationen ausgebildet. Genauer gesagt erfasst die Informationserfassungseinheit 111 die Reagenzidentifikationsinformationen 11A, mit den das fluoreszierende Reagenz 10A versehen ist, das zum Erzeugen des fluoreszenzgefärbten Spezimens 30A verwendet wird, und die Spezimenidentifikationsinformationen 21A, mit denen das Spezimen 20A versehen ist. Zum Beispiel erfasst die Informationserfassungseinheit 111 die Reagenzidentifikationsinformationen 11A und die Spezimenidentifikationsinformationen 21A unter Verwendung eines Strichcodelesers. Dann erfasst die Informationserfassungseinheit 111 die Reagenzinformationen auf der Basis der Reagenzidentifikationsinformationen 11A und die Spezimeninformationen auf der Basis der Spezimenidentifikationsinformationen 21A aus der Datenbank 200. Die Informationserfassungseinheit 111 speichert die erfassten Informationen in einer Informationsspeichereinheit 121, die später beschrieben wird.
(Bilderfassungseinheit 112)
Die Bilderfassungseinheit 112 ist zum Erfassen von Bildinformationen des fluoreszenzgefärbten Spezimens 30A und des mit mindestens einem fluoreszierenden Reagenz 10A gefärbten Spezimens 20A ausgebildet. Genauer gesagt weist die Bilderfassungseinheit 112 zum Beispiel ein beliebiges Bildgebungselement wie etwa ein CCD oder einen CMOS auf und erfasst die Bildinformationen durch Abbilden des fluoreszenzgefärbten Spezimens 30A unter Verwendung des Bildgebungselements. Es versteht sich jedoch, dass es sich bei den „Bildinformationen“ um ein Konzept handelt, das nicht nur das Bild des fluoreszenzgefärbten Spezimens 30A selbst, sondern auch einen Messwert aufweist, der nicht als Bild visualisiert wird. Zum Beispiel können die Bildinformationen Informationen hinsichtlich eines Wellenlängenspektrums der vom fluoreszenzgefärbten Spezimen 30A emittierten Fluoreszenz aufweisen. Im Folgenden wird das Wellenlängenspektrum der Fluoreszenz hierin als Fluoreszenzspektrum bezeichnet. Die Bilderfassungseinheit 112 speichert die Bildinformationen in einer Bildinformationsspeichereinheit 122, die später beschrieben wird.
(Speichereinheit 120)
Die Speichereinheit 120 ist dazu ausgebildet, Informationen, die für verschiedene Prozesse der Informationsverarbeitungsvorrichtung 100 verwendet werden, oder Informationen zu speichern, die von den verschiedenen Prozessen ausgegeben werden. Wie in 1 dargestellt, weist die Speichereinheit 120 eine Informationsspeichereinheit 121, eine Bildspeichereinheit 122 und eine Analyseergebnisspeichereinheit 123 auf.
(Informationsspeichereinheit 121)
Die Informationsspeichereinheit 121 ist dazu ausgebildet, die Reagenzinformationen und die Spezimeninformationen zu speichern, die von der Informationserfassungseinheit 111 erfasst werden. Es sei angemerkt, dass nach Abschluss eines Analyseprozesses durch eine Analyseeinheit 131 und eines Erzeugungsprozesses der Bildinformationen durch eine Bilderzeugungseinheit 132, die später beschrieben werden, das heißt eines Rekonstruktionsprozess der Bildinformationen, die Informationsspeichereinheit 121 den freien Platz durch Löschen der Reagenzinformationen und der Spezimeninformationen, die für den Prozess verwendet wurden, vergrößern kann.
(Bildinformationsspeichereinheit 122)
Die Bildinformationsspeichereinheit 122 ist dazu ausgebildet, die Bildinformationen des fluoreszenzgefärbten Spezimens 30A zu speichern, die von der Bilderfassungseinheit 112 erfasst werden. Es sei angemerkt, dass nach Abschluss des Analyseprozesses durch die Analyseeinheit 131 und des Erzeugungsprozesses der Bildinformationen durch die Bilderzeugungseinheit 132, das heißt, des Rekonstruktionsprozesses der Bildinformationen, die Bildinformationsspeichereinheit 122 den freien Platz wie die Informationsspeichereinheit 121 durch Löschen der für den Prozess verwendeten Bildinformationen, vergrößern kann.
(Analyseergebnisspeichereinheit 123)
Die Analyseergebnisspeichereinheit 123 ist dazu ausgebildet, ein Ergebnis des Analyseprozesses zu speichern, der von der Analyseeinheit 131 durchgeführt wird, die später beschrieben wird. Zum Beispiel speichert die Analyseergebnisspeichereinheit 123 das Fluoreszenzsignal des fluoreszierenden Reagenz 10A oder das Autofluoreszenzsignal des Spezimens 20A, das von der Analyseeinheit 131 getrennt wird. Außerdem stellt die Analyseergebnisspeichereinheit 123 das Ergebnis des Analyseprozesses für die Datenbank 200 getrennt bereit, um die Analysegenauigkeit durch maschinelles Lernen oder dergleichen zu verbessern. Es ist zu erwähnen, dass nach dem Bereitstellen des Ergebnis des Analyseprozesses für die Datenbank 200 die Analyseergebnisspeichereinheit 123 den freien Platz durch angemessenes Löschen des darin gespeicherten Ergebnisses vergrößern kann.
(Verarbeitungseinheit 130)
Die Verarbeitungseinheit 130 ist eine funktionale Konfiguration, die verschiedene Prozesse unter Verwendung der Bildinformationen, der Reagenzinformationen und der Spezimeninformationen durchführt. Wie in 1 dargestellt, weist die Verarbeitungseinheit 130 die Analyseeinheit 131 und die Bilderzeugungseinheit 132 auf.
(Analyseeinheit 131)
Die Analyseeinheit 131 ist dazu ausgebildet, die verschiedene Analyseprozesse unter Verwendung der Bildinformationen, der Spezimeninformationen und der Reagenzinformationen durchzuführen. Zum Beispiel führt die Analyseeinheit 131 einen Prozess zum Trennen des Autofluoreszenzsignals des Spezimens 20A, zum Beispiel eines Autofluoreszenzspektrums, das zum Beispiel eine Autofluoreszenzkomponente ist, und des Fluoreszenzsignals des fluoreszierenden Reagenzes 10A, zum Beispiel eines gefärbten Fluoreszenzspektrums, das ein Beispiel für eine gefärbte Fluoreszenzkomponente ist, aus den Bildinformationen auf der Basis der Spezimeninformationen und der Reagenzinformationen durch.
Genauer gesagt erkennt die Analyseeinheit 131 ein oder mehrere Elemente, die das Autofluoreszenzsignal darstellen, auf der Basis des in den Spezimeninformationen enthaltenen Messkanals. Zum Beispiel erkennt die Analyseeinheit 131 eine oder mehrere Autofluoreszenzkomponenten, die das Autofluoreszenzsignal darstellen. Dann sagt die Analyseeinheit 131 das in den Bildinformationen enthaltenen Autofluoreszenzsignal unter Verwendung der Spektralinformationen dieser in den Spezimeninformationen enthaltenen Autofluoreszenzkomponenten vorher. Danach trennt die Analyseeinheit 131 das Autofluoreszenzsignal und das Fluoreszenzsignal aus den Bildinformationen auf der Basis der in den Reagenzinformationen enthaltenen Spektralinformationen der Fluoreszenzkomponente des fluoreszierenden Reagenzes 10A und des vorhergesagten Autofluoreszenzsignals.
Wenn das Spezimen 20A mit zwei oder mehr fluoreszierenden Reagenzien 10A gefärbt ist, trennt die Analyseeinheit 131 hierbei das Fluoreszenzsignal jedes dieser zwei oder mehr fluoreszierenden Reagenzien 10A aus den Bildinformationen oder das Fluoreszenzsignal nach der Trennung vom Autofluoreszenzsignal auf der Basis der Spezimeninformationen und der Reagenzinformationen. Zum Beispiel trennt die Analyseeinheit 131 das Fluoreszenzsignal jedes der fluoreszierenden Reagenzien 10A vom gesamten Fluoreszenzsignal nach der Trennung vom Autofluoreszenzsignal durch Verwenden der in den Reagenzinformationen enthaltenen Spektralinformationen der Fluoreszenzkomponente jedes der fluoreszierenden Reagenzien 10A.
Falls außerdem das Autofluoreszenzsignal durch zwei oder mehr Autofluoreszenzkomponenten gebildet wird, trennt die Analyseeinheit 131 das Autofluoreszenzsignal jeder Autofluoreszenzkomponente aus den Bildinformationen oder das Autofluoreszenzsignal nach der Trennung vom Fluoreszenzsignal auf der Basis der Spezimeninformationen und der Reagenzinformationen. Zum Beispiel trennt die Analyseeinheit 131 das Autofluoreszenzsignal jeder Autofluoreszenzkomponente vom gesamten Autofluoreszenzsignal nach der Trennung vom Fluoreszenzsignal durch Verwenden der in den Spezimeninformationen enthaltenen Spektralinformationen jeder Autofluoreszenzkomponente.
Die Analyseeinheit 131, die das Fluoreszenzsignal und das Autofluoreszenzsignal getrennt hat, führt verschiedene Prozesse unter Verwendung dieser Signale durch. Zum Beispiel kann die Analyseeinheit 131 das Fluoreszenzsignal aus den Bildinformationen des anderen Spezimens 20A durch Durchführen eines Subtraktionsprozesses an den Bildinformationen des anderen Spezimens 20A unter Verwendung des Autofluoreszenzsignals nach der Trennung extrahieren. Der Subtraktionsprozess wird auch als „Hintergrundsubtraktionsprozess“ bezeichnet. Falls es eine Mehrzahl von Spezimina 20A gibt, die in Bezug auf das für das Spezimen 20A verwendete Gewebe, die Art der Zielkrankheit, die Attribute des Subjekts, die täglichen Gewohnheiten des Subjekts und dergleichen gleich oder ähnlich sind, besteht eine große Möglichkeit, dass die Autofluoreszenzsignale dieser Spezimina 20A ähnlich sind. Das ähnliche Spezimen 20A weist zum Beispiel eine einem anderen Patienten entnommene Sektion, beispielsweise eine Gewebesektion vor dem Färben einer zu färbenden Gewebesektion, eine Sektion benachbart zu einer gefärbten Sektion, eine von einer gefärbten Sektion im gleichen Block verschiedene Sektion oder eine Sektion in einem anderen Block im gleichen Gewebe auf. Im Folgenden wird die Gewebesektion hierin als Sektion bezeichnet. Der gleiche Block wird von der gleichen Stelle wird die gefärbte Sektion entnommen. Der andere Block wird von er anderen Stelle als die gefärbten Sektion entnommen. Wenn daher das Autofluoreszenzsignal aus einem bestimmten Spezimen 20A extrahiert werden kann, kann die Analyseeinheit 131 das Fluoreszenzsignal aus den Bildinformationen des anderen Spezimens 20A durch Entfernen des Autofluoreszenzsignals aus den Bildinformationen des anderen Spezimens 20A extrahieren. Wenn außerdem der S/N-Wert unter Verwendung der Bildinformationen des anderen Spezimens 20A berechnet wird, kann die Analyseeinheit 131 den S/N-Wert durch Verwenden des Hintergrunds nach dem Entfernen des Autofluoreszenzsignals verbessern.
Zusätzlich zum Hintergrundsubtraktionsprozess kann die Analyseeinheit 131 verschiedene Prozesse unter Verwendung des Fluoreszenzsignals oder des Autofluoreszenzsignals nach der Trennung durchführen. Zum Beispiel kann die Analyseeinheit 131 den Fixierungszustand des Spezimens 20A unter Verwendung dieser Signale analysieren und sie kann Segmentierungs- oder Regionsteilung zum Erkennen der in den Bildinformationen enthaltenen Region des Objekts durchführen. Das Objekt ist zum Beispiel eine Zelle, eine intrazelluläre Struktur, oder ein Gewebe. Die intrazelluläre Struktur ist zum Beispiel ein Zytoplasma, eine Zellmembran, ein Kern oder dergleichen. Das Gewebe ist zum Beispiel eine Tumorstelle, eine Nicht-Tumorstelle, ein Bindegewebe, ein Blutgefäß, eine Blutgefäßwand, ein Lymphgefäß, eine Fibrosestruktur, eine Nekrose und dergleichen. Die Analyse und die Segmentierung des Fixierungszustands des Spezimens 20A werden später ausführlich beschrieben.
Ferner berechnet im Trennungsprozess zum Trennen des gefärbten Fluoreszenzspektrums (gefärbte Fluoreszenzkomponente) und des Autofluoreszenzspektrums (Autofluoreszenzkomponente) aus dem Bild des Spezimens 20A, das heißt, des aus dem fluoreszenzgefärbten Spezimenbild erhaltenen Fluoreszenzspektrums (Fluoreszenzkomponente), die Analyseeinheit 131 die Trennungsgenauigkeit, zum Beispiel einen Normwert, für jedes Bild aus der Differenz zwischen dem Originalbild, das heißt, dem fluoreszenzgefärbten Spezimenbild, und dem Bild nach der Trennung, und sie erzeugt ein Trennungsgenauigkeitsbild, das die Trennungsgenauigkeit für jedes Pixel angibt, zum Beispiel ein Normbild. Das Bild nach der Trennung ist ein Bild nach der Trennung, bei der das gefärbte Fluoreszenzspektrum und das Autofluoreszenzspektrum vom Fluoreszenzspektrum getrennt werden. Dann identifiziert die Analyseeinheit 131 ein Ausreißerpixel, dessen Trennungsgenauigkeit ein Ausreißer im Trennungsgenauigkeitsbild ist. Falls die Trennungsgenauigkeit zum Beispiel außerhalb eines vorgegebenen Bereichs liegt, wird die Trennungsgenauigkeit als Ausreißer betrachtet. Danach führt die Analyseeinheit 131 zum Beispiel einen Prozess zum Ausschließen eines Pixels in der gleichen Position wie das identifizierte Ausreißerpixel aus dem getrennten Bild oder Darstellen einer das Ausreißerpixel aufweisenden Region für den Benutzer durch. Dieser Trennungsgenauigkeitsprozess hinsichtlich der Trennungsgenauigkeit für jedes Pixel, zum Beispiel Normprozess, wird später ausführlich beschrieben.
(Bilderzeugungseinheit 132)
Die Bilderzeugungseinheit 132 ist dazu ausgebildet, die Bildinformationen auf der Basis des Fluoreszenzsignals oder des Autofluoreszenzsignals, die von der Analyseeinheit 131 getrennt wurden, zu erzeugen, das heißt, zu rekonstruieren. Zum Beispiel kann die Bilderzeugungseinheit 132 die Bildinformationen erzeugen, die nur das Fluoreszenzsignal aufweisen, oder die Bildinformationen erzeugen, die nur das Autofluoreszenzsignal aufweisen. Falls zu diesem Zeitpunkt das Fluoreszenzsignal durch eine Mehrzahl von Fluoreszenzkomponenten gebildet ist oder das Autofluoreszenzsignal durch eine Mehrzahl von Autofluoreszenzkomponenten gebildet ist, kann die Bilderzeugungseinheit 132 die Bildinformationen in Einheiten jeweiliger Komponenten erzeugen. Falls außerdem die Analyseeinheit 131 verschiedene Prozesse unter Verwendung des Fluoreszenzsignals oder des Autofluoreszenzsignals nach der Trennung durchführt, kann die Bilderzeugungseinheit 132 die Bildinformationen erzeugen, die ein Ergebnis des Prozesses angeben. Beispiele der verschiedenen Prozesse weisen eine Analyse des Fixierungszustands des Spezimens 20A, Segmentierung, Berechnung des S/N-Wertes oder dergleichen auf. Bei dieser Konfiguration werden Verteilungsinformationen des fluoreszierenden Reagenzes 10A, das mit einem Zielmolekül oder dergleichen markiert ist, das heißt eine zweidimensionale Ausbreitung und Intensität der Fluoreszenz, eine Wellenlänge und eine Lagebeziehung davon visualisiert, und die Sicht eines Arztes oder Forscher, der der Benutzer ist, kann insbesondere in einer Gewebebildanalyseregion, in der Informationen einer Zielsubstanz kompliziert sind, verbessert werden.
Außerdem kann die Bilderzeugungseinheit 132 auf der Basis der Trennung des Fluoreszenzsignals und des Autofluoreszenzsignals durch die Analyseeinheit 131 Steuerung durchführen, um das Fluoreszenzsignal in Bezug auf das Autofluoreszenzsignal zu unterscheiden, und die Bildinformationen erzeugen. Konkret können die Bildinformationen durch Durchführen von Steuerung zum Verbessern der Luminanz des Fluoreszenzspektrums des mit dem Zielmolekül oder dergleichen markierten fluoreszierenden Reagenzes 10A, Extrahieren und Ändern des Farbe nur des Fluoreszenzsektrums des markierten fluoreszierenden Reagenzes 10A, Extrahieren des Fluoreszenzspektrums von zwei oder mehr fluoreszierenden Reagenzien 10A aus dem mit zwei oder mehr fluoreszierenden Reagenzien 10A markierten Spezimens 20A und Umändern der Farbe jedes von ihnen in eine andere Farbe, Extrahieren und Teilen oder Subtrahieren nur des Autofluoreszenzspektrums des Spezimens 20A, Verbessern des Dynamikbereichs und dergleichen erzeugt werden. Demnach kann der Benutzer Farbinformationen, die vom fluoreszierenden Reagenz stammen, das an die Zielsubstanz gebunden ist, klar unterscheiden und die Sicht des Benutzers kann verbessert werden.
(Anzeigeeinheit 140)
Die Anzeigeeinheit 140 ist dazu ausgebildet, die von der Bilderzeugungseinheit 132 erzeugten Bildinformationen durch Anzeigen der Bildinformationen auf der Anzeige für den Benutzer darzustellen. Es sei angemerkt, dass die Art der Anzeige, die als die Anzeigeeinheit 140 verwendet wird, nicht speziell beschränkt ist. Obwohl in der vorliegenden Ausführungsform außerdem nicht im Einzelnen beschrieben, können die von der Bilderzeugungseinheit 132 erzeugten Bildinformationen für den Benutzer dargestellt werden, indem sie durch einen Projektor projiziert oder durch einen Drucker gedruckt werden. Mit anderen Worten ist ein Verfahren zur Ausgabe der Bildinformationen nicht speziell beschränkt.
(Steuereinheit 150)
Die Steuereinheit 150 weist eine funktionale Konfiguration auf, die die von der Informationsverarbeitungsvorrichtung 100 durchgeführte Gesamtverarbeitung steuert. Zum Beispiel steuert die Steuereinheit 150 den Beginn, das Ende und dergleichen verschiedener Prozesse, wie vorstehend beschrieben, auf der Basis einer Bedieneingabe durch den Benutzer, die über die Bedieneinheit 160 erfolgt. Beispiele der verschiedenen Prozesse weisen einen Bildgebungsprozess und einen Analyseprozess des fluoreszenzgefärbten Spezimens 30A, den Prozess zur Erzeugung von Bildinformationen, einen Prozess zur Anzeige von Bildinformationen und dergleichen auf.
Beispiele des Prozesses zur Erzeugung der Bildinformationen weisen den Prozess zur Rekonstruktion der Bildinformationen auf. Es sei angemerkt, dass der Steuerungsinhalt der Steuereinheit 150 nicht speziell beschränkt ist. Zum Beispiel kann die Steuereinheit 150 Verarbeitung steuern, die im Allgemeinen in einem Universalcomputer, einem PC, einem Tablet-PC oder dergleichen, zum Beispiel Verarbeitung in Bezug auf ein Betriebssystem (OS), durchgeführt wird.
(Bedieneinheit 160)
Die Bedieneinheit 160 ist zum Empfangen einer Bedieneingabe von einem Benutzer ausgebildet. Genauer gesagt weist die Bedieneinheit 160 verschiedene Eingabeeinheiten wie etwa eine Tastatur, eine Maus, eine Schaltfläche, ein Touch-Panel oder ein Mikrofon auf, und der Benutzer kann verschiedene Eingaben in die Informationsverarbeitungsvorrichtung 100 durch Bedienen dieser Eingabeeinheiten tätigen. Informationen hinsichtlich der Bedieneingabe, die über die Bedieneinheit 160 durchgeführt wird, werden für die Steuereinheit 150 bereitgestellt.
(Datenbank 200)
Die Datenbank 200 ist eine Vorrichtung, die die Spezimeninformationen, die Reagenzinformationen und die Ergebnisse des Analyseprozesses verwaltet. Genauer gesagt verwaltet die Datenbank 200 die Spezimenidentifikationsinformationen 21A und die Spezimeninformationen sowie die Reagenzidentifikationsinformationen 11A und die Reagenzinformationen in Verbindung miteinander. Demnach kann die Informationserfassungseinheit 111 die Spezimeninformationen auf der Basis der Spezimenidentifikationsinformationen 21A des zu messenden Spezimens 20A und die Reagenzinformationen aus der Datenbank 200 auf der Basis der Reagenzidentifikationsinformationen 11A des fluoreszierenden Reagenz 10A erfassen.
Wie bereits erwähnt, sind die von der Datenbank 200 verwalteten Spezimeninformationen Informationen, die den Messkanal und die Spektralinformationen aufweisen, die für die im Spezimen 20A enthaltenen Autofluoreszenzkomponente eindeutig sind. Zusätzlich dazu können die Spezimeninformationen jedoch Zielinformationen für jedes Spezimen 20A, insbesondere Informationen hinsichtlich der Art des verwendeten Gewebes, beispielsweise Organ, Zelle, Blut, Körperflüssigkeit, Aszites oder Pleuraerguss, der Art der Krankheit, die ein Ziel sein soll, der Attribute des Subjekts, beispielsweise Alter, Geschlecht, Blutgruppe oder Rasse, oder der täglichen Gewohnheiten des Subjekts, beispielsweise Essgewohnheiten, Übungsgewohnheiten oder Rauchgewohnheiten, umfassen und die Informationen, die den Messkanal und die Spektralinformationen aufweisen, die für die in dem Spezimen 20A enthaltenen Autofluoreszenzkomponente eindeutig sind, und die Zielinformationen können mit jedem Spezimen 20A assoziiert werden. Demnach können die Informationen, die den Messkanal und die Spektralinformationen umfassen, die für die in dem Spezimen 20A enthaltenen Autofluoreszenzkomponente eindeutig sind, leicht aus dem Zielinformationen verfolgt werden, und zum Beispiel kann die Analyseeinheit 131 veranlasst werden, einen ähnlichen Trennungsprozess auszuführen, wie er in der Vergangenheit aus der Ähnlichkeit der Zielinformationen in der Mehrzahl von Spezimina 20A durchgeführt wurde, so dass die Messzeit verkürzt werden kann. Es ist zu erwähnen, dass das verwendete Gewebe nicht speziell auf ein von dem Subjekt entnommenes Gewebe beschränkt ist und ein In-vivo-Gewebe oder eine Zelllinie eines Menschen, eines Tieres oder dergleichen und eine Lösung, ein Lösungsmittel, einen gelösten Stoff oder ein Material, das in einem zu messenden Objekt enthalten ist, aufweisen kann.
Ferner sind die von der Datenbank 200 verwalteten Reagenzinformationen Informationen, die die Spektralinformationen des fluoreszierenden Reagenzes 10A aufweisen, wie oben beschrieben, aber zusätzlich dazu können die Reagenzinformationen Informationen in Bezug auf das fluoreszierende Reagenz 10A, beispielsweise eine Produktionscharge, eine Fluoreszenzkomponente, einen Antikörper, einen Klon, eine Fluoreszenzmarkierungsrate, eine Quantenausbeute, einen Fading-Koeffizienten und eine Absorptionsquerschnittsfläche oder einen molaren Absorptionskoeffizienten aufweisen. Beim Fading-Koeffizient handelt es sich um Informationen, die eine Leichtigkeit des Reduzierens der Fluoreszenzintensität des fluoreszierenden Reagenzes 10A angeben. Außerdem können die Spezimeninformationen und der Reagenzinformationen, die von der Datenbank 200 verwaltet werden, in verschiedenen Konfigurationen verwaltet werden, und insbesondere kann es sich bei den Informationen in Bezug auf das Reagenz um eine Reagenzdatenbank handeln, die eine optimale Kombination von Reagenzien für den Benutzer darstellt.
Hierbei wird davon ausgegangen, dass die Spezimeninformationen und die Reagenzinformationen von einem Erzeuger, der ein Hersteller ist, oder dergleichen bereitgestellt oder im Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung unabhängig gemessen werden. Zum Beispiel messen oder liefern die Hersteller des fluoreszierenden Reagenzes 10A häufig nicht für jede Produktionscharge Spektralinformationen, Fluoreszenzmarkierungsraten und dergleichen. Daher kann durch eindeutiges Messen und Verwalten dieser Informationselemente im Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung die Trenngenauigkeit des Fluoreszenzsignals und des Autofluoreszenzsignals verbessert werden. Zusätzlich kann die Datenbank 200 zur Vereinfachung der Verwaltung einen von einem Hersteller oder dergleichen offenbarten Katalogwert, einen in verschiedenen Dokumenten beschriebenen Dokumentwert oder dergleichen als die Spezimeninformationen und die Reagenzinformationen (insbesondere die Reagenzinformationen) verwenden. Da jedoch im Allgemeinen die tatsächlichen Spezimeninformationen und Reagenzinformationen sich häufig vom Katalogwert und dem Dokumentwert unterscheiden, ist es vorzuziehen, dass die Spezimeninformationen und die Reagenzinformationen im Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung, wie oben beschrieben, eindeutig gemessen und verwaltet werden.
Außerdem kann die Genauigkeit des Analyseprozesses, beispielsweise eines Trennungsprozesses des Fluoreszenzsignals und des Autofluoreszenzsignals, zum Beispiel durch Techniken maschinellen Lernens unter Verwendung der Spezimeninformationen, der Reagenzinformationen und der Ergebnisse des Analyseprozesses, die in der Datenbank 200 verwaltet werden, verbessert werden. Das Subjekt, das Lernen unter Verwendung der Technik maschinellen Lernens oder dergleichen durchführt, ist nicht speziell beschränkt, aber in der vorliegenden Ausführungsform wird als ein Beispiel ein Fall beschrieben, bei dem die Analyseeinheit 131 der Informationsverarbeitungsvorrichtung 100 Lernen durchführt. Zum Beispiel erzeugt die Analyseeinheit 131 durch Verwenden eines neuronalen Netzwerks einen mit Lerndaten maschinell erlernten Klassifikator oder Schätzer, wobei das Fluoreszenzsignal und das Autofluoreszenzsignal nach der Trennung mit den zur Trennung verwendeten Bildinformationen, Spezimeninformationen und Reagenzinformationen assoziiert werden. Falls die Bildinformationen, die Spezimeninformationen und die Reagenzinformationen neu erfasst werden, kann dann die Analyseeinheit 131 das Fluoreszenzsignal und das Autofluoreszenzsignal, die in den Bildinformationen enthalten sind, durch Eingeben dieser Informationselemente in den Klassifikator und den Schätzer vorhersagen und ausgeben.
Zusätzlich können ähnliche Trennungsprozesse, die in der Vergangenheit durchgeführt wurden, mit höherer Genauigkeit als das vorhergesagte Fluoreszenzsignal und Autofluoreszenzsignal berechnet werden, die Inhalte der Verarbeitung in den Prozessen können statistisch oder regressiv analysiert werden und ein Verfahren zur Verbesserung des Trennungsprozesses des Fluoreszenzsignals und des Autofluoreszenzsignals auf der Basis des Analyseergebnisses kann ausgegeben werden. Der Trennungsprozess ist zum Beispiel ein Trennungsprozess, der ähnliche Bildinformationen, Spezimeninformationen oder Reagenzinformationen verwendet. Die Inhalte der Verarbeitung weisen zum Beispiel für die Verarbeitung verwendete Informationen, Parameter und dergleichen auf. Es sei angemerkt, dass das Verfahren für maschinelles Lernen nicht auf das Vorhergesagte beschränkt, sondern auch eine bekannte Technik für maschinelles Lernern verwendet werden kann. Zusätzlich kann der Trennungsprozess des Fluoreszenzsignals und des Autofluoreszenzsignals durch künstliche Intelligenz durchgeführt werden. Ferner können nicht nur der Trennungsprozess des Fluoreszenzsignals und des Autofluoreszenzsignals, sondern auch verschiedene Prozesse, die das Fluoreszenzsignal und des Autofluoreszenzsignal nach der Trennung verwenden, zum Beispiel Analyse des Immobilisierungszustands des Spezimens 20A, Segmentierung oder dergleichen, durch die Technik maschinellen Lernens oder dergleichen verbessert werden.
Vorstehend wurde das Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform beschrieben. Es ist zu erwähnen, dass es sich bei der oben beschriebenen Konfiguration, die unter Bezugnahme auf 1 beschrieben wurde, lediglich um ein Beispiel handelt und die Konfiguration der Informationsverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform nicht auf solch ein Beispiel beschränkt ist. Zum Beispiel muss die Informationsverarbeitungsvorrichtung 100 nicht unbedingt alle der funktionalen Konfigurationen aufweisen, die in 1 dargestellt sind. Außerdem kann die Informationsverarbeitungsvorrichtung 100 die Datenbank 200 darin aufweisen. Die funktionale Konfiguration der Informationsverarbeitungsvorrichtung 100 kann gemäß Spezifikationen und Operationen flexibel modifiziert werden.
Außerdem kann die Informationsverarbeitungsvorrichtung 100 andere Verarbeitung als die vorstehend beschriebene Verarbeitung durchführen. Wenn zum Beispiel die Reagenzinformationen Informationen wie etwa die Quantenausbeute, die Fluoreszenzmarkierungsrate und die Absorptionsquerschnittsfläche oder den molaren Absorptionskoeffizienten in Bezug auf das fluoreszierende Reagenz 10A aufweisen, kann die Informationsverarbeitungsvorrichtung 100 die Anzahl von fluoreszierenden Molekülen, die Anzahl von an die fluoreszierenden Moleküle gebundenen Antikörpern oder dergleichen in den Bildinformationen durch Verwenden der Bildinformationen, aus denen das Autofluoreszenzsignal entfernt wurde, und der Reagenzinformationen berechnen.
<1-2. Basisverarbeitungsbeispiel einer Informationsverarbeitungsvorrichtung>
Unter Bezugnahme auf 2 wird ein Basisverarbeitungsbeispiel einer Informationsverarbeitungsvorrichtung 100 gemäß der vorliegenden Ausführungsform beschrieben. 2 ist ein Flussdiagramm, das ein Beispiel eines Basisverarbeitungsflusses der Informationsverarbeitungsvorrichtung 100 gemäß der vorliegenden Ausführungsform darstellt. Hier wird ein Basisverarbeitungsfluss beschrieben, und ein Normprozess hinsichtlich der Trennungsgenauigkeit für jedes Pixel in der Analyseeinheit 131 wird später beschrieben.
Wie in 2 dargestellt, bestimmt der Benutzer in Schritt S1000 ein fluoreszierendes Reagenz 10A und ein Spezimen 20A, die für eine Analyse verwendet werden sollen. In Schritt S1004 färbt der Benutzer das Spezimen 20A unter Verwendung des fluoreszierenden Reagenzes 10A, um ein fluoreszenzgefärbtes Spezimen 30A herzustellen.
In Schritt S1008 bildet die Bilderfassungsvorrichtung 112 der Informationsverarbeitungsvorrichtung 100 das fluoreszenzgefärbte Spezimen 30A ab, um Bildinformationen (zum Beispiel ein fluoreszenzgefärbtes Spezimenbild) zu erfassen. In Schritt S1012 erfasst die Informationserfassungseinheit 111 die Reagenzidentifikationsinformationen und die Spezimeninformationen aus der Datenbank 200 auf der Basis der Reagenzidentifikationsinformationen 11A, mit den das fluoreszierende Reagenz 10A versehen ist, das zum Erzeugen des fluoreszenzgefärbten Spezimens 30A verwendet wird, und der Spezimenidentifikationsinformationen 21A, mit denen das Spezimen 20A versehen ist.
In Schritt S1016 trennt die Analyseeinheit 131 das Autofluoreszenzsignal des Spezimens 20A und das Fluoreszenzsignal des fluoreszierenden Reagenzes 10A aus den Bildinformationen auf der Basis der Spezimeninformationen und der Reagenzinformationen. Wenn hierbei das Fluoreszenzsignal Signale eine Mehrzahl von fluoreszierenden Farbstoffen (Ja in Schritt S1020) aufweist, trennt die Analyseeinheit 131 das Fluoreszenzsignal jedes fluoreszierenden Farbstoffs in Schritt S1024. Es sei angemerkt, dass, wenn die Signale der Mehrzahl von fluoreszierenden Farbstoffen nicht im Fluoreszenzsignal enthalten sind (Nein in Schritt S1020), der Trennungsprozess des Fluoreszenzsignals jedes fluoreszierenden Farbstoffs in Schritt S1024 nicht durchgeführt wird.
In Schritt S1028 erzeugt die Bilderzeugungseinheit 132 Bildinformationen unter Verwendung des von der Analyseeinheit 131 getrennten Fluoreszenzsignals. Zum Beispiel erzeugt die Bilderzeugungseinheit 132 Bildinformationen, in welchen das Autofluoreszenzsignal aus den Bildinformationen entfernt ist, oder sie erzeugt Bildinformationen, in welchen das Fluoreszenzsignal für jeden fluoreszierenden Farbstoff angezeigt wird. In Schritt S1032 zeigt die Anzeigeeinheit 140 die von der Bilderzeugungseinheiten 132 erzeugten Bildinformationen an, womit die Verarbeitungsreihe endet.
Es ist zu erwähnen, dass die Schritte in dem Flussdiagramm von 2 zeitlich nicht unbedingt in der beschriebenen Reihenfolge verarbeitet werden. Das heißt, jeder Schritt in dem Flussdiagramm kann in einer anderen Reihenfolge als der beschriebenen Reihenfolge verarbeitet werden oder er kann parallel verarbeitet werden.
Zum Beispiel kann die Analyseeinheit 131 nach dem Trennen des Autofluoreszenzsignals des Spezimens 20A und des Fluoreszenzsignals des fluoreszierenden Reagenzes 10A aus den Bildinformationen in Schritt S1016 das Fluoreszenzsignal jedes fluoreszierenden Farbstoffs direkt aus den Bildinformationen trennen, statt das Fluoreszenzsignal jedes fluoreszierenden Farbstoffs in Schritt S1024 zu trennen. Außerdem kann die Analyseeinheit 131 nach dem Trennen des Fluoreszenzsignals jedes fluoreszierenden Farbstoffs aus den Bildinformationen das Autofluoreszenzsignal des Spezimens 20A aus den Bildinformationen trennen.
Zusätzlich kann die Informationsverarbeitungsvorrichtung 100 auch Verarbeitung ausführen, die in 2 nicht dargestellt ist. Zum Beispiel kann die Analyseeinheit 131 nicht nur die Signale trennen, sondern auch Segmentierung auf der Basis des getrennten Fluoreszenzsignals oder Autofluoreszenzsignals durchführen oder den Immobilisierungszustand des Spezimens 20A analysieren.
<1-3. Beispiel einer Verarbeitung von Fluoreszenztrennung>
Unter Bezugnahme auf 3 und 4 wird ein Beispiel der Verarbeitung von Fluoreszenztrennung gemäß der vorliegenden Ausführungsform beschrieben. 3 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Analyseeinheit 131 gemäß der vorliegenden Ausführungsform darstellt. 4 ist ein Diagramm zum Beschreiben eines Beispiels eines Verfahrens zur Erzeugung eines verbundenen Fluoreszenzspektrums gemäß der vorliegenden Ausführungsform.
Wie in 3 dargestellt, weist die Analyseeinheit 131 eine Verbindungseinheit 1311, eine Farbtrennungseinheit 1321 und eine Spektrumextraktionseinheit 1322 auf. Die Analyseeinheit 131 ist dazu ausgebildet, verschiedene Prozesse, einschließlich eines Fluoreszenztrennungsprozesses, durchzuführen. Zum Beispiel ist die Analyseeinheit 131 dazu konfiguriert, Fluoreszenzspektren als Vorverarbeitung des Fluoreszenztrennungsprozesses zu verbinden und das verbundene Fluoreszenzspektrum für jedes Molekül zu trennen.
(Verbindungseinheit 1311)
Die Verbindungseinheit 1311 ist dazu ausgebildet, das verbundene Fluoreszenzspektrum durch Verbinden zumindest eines Teils der von der Bilderfassungseinheit 112 erfassten Mehrzahl von Fluoreszenzspektren in der Wellenlängenrichtung zu erzeugen. Zum Beispiel extrahiert die Verbindungseinheit 1311 Daten einer vorbestimmten Breite in jedem Fluoreszenzspektrum, sodass sie den Maximalwert der Fluoreszenzintensität in jedem der vier von der Bilderfassungseinheit 112 erfassten Fluoreszenzspektren (A bis D in 4) umfassen. Die Breite des Wellenlängenbandes, in dem die Verbindungseinheit 1311 Daten extrahiert, kann auf der Basis der Reagenzinformationen, einer Anregungswellenlänge, einer Fluoreszenzwellenlänge oder dergleichen bestimmt werden, und sie kann für jede Fluoreszenzsubstanz verschieden sein. Mit anderen Worten kann die Breite des Wellenlängenbandes, in dem die Verbindungseinheit 1311 Daten extrahiert, für jedes der in A bis D von 4 dargestellten Fluoreszenzspektren verschieden sein. Wie in E von 4 dargestellt, erzeugt die Verbindungseinheit 1311 dann ein verbundenes Fluoreszenzspektrum, indem sie die extrahierten Daten in der Wellenlängenrichtung miteinander verbindet. Es ist zu erwähnen, dass die Wellenlängen an einer Grenze verbundener Datenelemente nicht kontinuierlich sind, da das verbundene Fluoreszenzspektrum Daten aufweist, die aus einer Mehrzahl von Fluoreszenzspektren extrahiert sind.
Zu diesem Zeitpunkt führt die Verbindungseinheit 1311 auf der Basis der Intensität des Anregungslichts die vorstehend beschriebene Verbindung nach dem Ausgleichen der jedem der mehreren Fluoreszenzspektren entsprechenden Intensität des Anregungslichts, mit anderen Worten nach dem Korrigieren der Mehrzahl von Fluoreszenzspektren, durch. Genauer gesagt führt die Verbindungseinheit 1311 die vorstehend beschriebene Verbindung nach dem Ausgleichen der jedem der mehreren Fluoreszenzspektren entsprechenden Intensität des Anregungslichts durch, indem sie jedes Fluoreszenzspektrum durch die Anregungsleistungsdichte, das heißt die Intensität des Anregungslichts, teilt. Demnach wird ein Fluoreszenzspektrum bei Bestrahlung mit dem Anregungslicht mit derselben Intensität erhalten. Falls ferner die Intensität des Anregungslichts zur Bestrahlung unterschiedlich ist, ist die Intensität eines Spektrums, das vom fluoreszenzgefärbten Spezimen 30A absorbiert wird, in Abhängigkeit von der Intensität ebenfalls unterschiedlich. Dieses Spektrum wird hierin im Folgenden als „Absorptionsspektrum“ bezeichnet. Wie bereits erwähnt, wird daher die Intensität des Anregungslichts ausgeglichen, die jedem der Mehrzahl von Fluoreszenzspektren entspricht, wodurch das Absorptionsspektrum in geeigneter Weise bewertet werden kann.
Hierbei sind A bis D von 4 spezifische Beispiele der von der Bilderfassungseinheit 112 erfassten Fluoreszenzspektren. In A bis D von 4 enthält das fluoreszenzgefärbte Spezimen 30A zum Beispiel vier fluoreszierende Substanzen von DAPI, CK/AF488, PgR/AF594 und ER/AF647, und es sind spezifische Beispiele für Fluoreszenzspektren dargestellt, die erfasst werden, wenn die fluoreszierenden Substanzen mit Anregungslicht mit Wellenlängen von 392 [nm] (A von 4), 470 [nm] (B von 4), 549 [nm] (C von 4) und 628 [nm] (D von 4) bestrahlt werden. Es ist zu erwähnen, dass die Fluoreszenzwellenlänge infolge der Emission von Energie für die Fluoreszenzemission zu einer Seite längerer Wellenlänge als die Anregungswellenlänge verschoben wird (Stokes-Verschiebung). Ferner sind die im fluoreszenzgefärbten Spezimen 30A enthaltende fluoreszierende Substanz und die Anregungswellenlänge des Anregungslichts für die Bestrahlung nicht auf das Vorhergesagte beschränkt.
Konkret extrahiert die Verbindungseinheit 1311 ein Fluoreszenzspektrum SP1 im Wellenlängenband der Anregungswellenlänge von 392 nm oder mehr und 591 nm oder weniger aus dem Fluoreszenzspektrum, das in A von 4 dargestellt ist, extrahiert sie ein Fluoreszenzspektrum SP2 im Wellenlängenband der Anregungswellenlänge von 470 nm oder mehr und 669 nm oder weniger aus dem Fluoreszenzspektrum, das in B von 4 dargestellt ist, extrahiert sie ein Fluoreszenzspektrum SP3 im Wellenlängenband der Anregungswellenlänge von 549 nm oder mehr und 748 nm oder weniger aus dem Fluoreszenzspektrum, das in C von 4 dargestellt ist, und extrahiert sie ein Fluoreszenzspektrum SP4 im Wellenlängenband der Anregungswellenlänge von 628 nm oder mehr und 827 nm oder weniger aus dem Fluoreszenzspektrum, das in D von 4 dargestellt ist. Als Nächstes korrigiert die Verbindungseinheit 1311 eine Wellenlängenauflösung des extrahierten Fluoreszenzspektrums SP1 auf 16 nm (ohne Intensitätskorrektur), sie korrigiert die Intensität des Fluoreszenzspektrums SP2 auf das 1,2-fache und sie korrigiert die Wellenlängenauflösung davon auf 8 nm, sie korrigiert die Intensität des Fluoreszenzspektrums SP3 auf das 1,5-fache (ohne Korrektur der Wellenlängenauflösung) und sie korrigiert die Intensität des Fluoreszenzspektrums SP4 auf das 4,0-fache und sie korrigiert die Wellenlängenauflösung davon auf 4 nm. Dann erzeugt die Verbindungseinheit 1311 das verbundene Fluoreszenzspektrum, wie in E von 4 dargestellt, indem sie die korrigierten Fluoreszenzspektren SP1 bis SP4 der Reihe nach verbindet.
Es sei angemerkt, dass die Bandbreiten der durch die Verbindungseinheit 1311 extrahierten Fluoreszenzspektren nicht miteinander übereinstimmen müssen, sondern verschieden voneinander sein können, auch wenn 4 einen Fall darstellt, in dem Fluoreszenzspektren SP1 bis SP4 mit einer vorgegebenen Bandbreite (200 nm Breite in 4) aus der Anregungswellenlänge extrahiert werden, wenn die Verbindungseinheit 1311 jedes Fluoreszenzspektrum erfasst und verbindet. Das heißt, die von der Verbindungseinheit 1311 aus jedem Fluoreszenzspektrum extrahierte Region kann eine Region sein, die die Spitzenwellenlänge jedes Fluoreszenzspektrums aufweist, und das Wellenlängenband und die Bandbreite können entsprechend geändert werden. Zu diesem Zeitpunkt kann die Verschiebung der Spektrumwellenlänge aufgrund der Stokes-Verschiebung berücksichtigt werden. Wie bereits erwähnt, kann die Datenmenge durch Eingrenzen des zu extrahierenden Wellenlängenbandes reduziert werden, sodass der Fluoreszenztrennungsprozess mit einer höheren Geschwindigkeit durchgeführt werden kann.
Außerdem kann es sich bei der Intensität des Anregungslichts in der vorliegenden Beschreibung um Anregungsleistung oder Anregungsleistungsdichte handeln, wie bereits erwähnt. Bei der Anregungsleistung oder der Anregungsleistungsdichte kann es sich um Leistung oder eine Leistungsdichte handeln, die durch tatsächliches Messen des von der Lichtquelle emittierten Anregungslichts erhalten wird, oder um Leistung oder eine Leistungsdichte handeln, die von einer an die Lichtquelle angelegten Ansteuerspannung erhalten wird. Es sei angemerkt, dass die Intensität des Anregungslichts in der vorliegenden Beschreibung ein Wert sein kann, der durch Korrigieren der Leistungsdichte mit einer Absorptionsrate für jedes Anregungslicht des zu beobachteten Abschnitts oder einer Verstärkungsrate eines Detektionssignals in einem Detektionssystem, das die vom Abschnitt emittierte Fluoreszenz detektiert, zum Beispiel der Bilderfassungseinheit 112 oder dergleichen, erhalten wird. Das heißt, bei der Intensität des Anregungslichts in der vorliegenden Beschreibung kann es sich um die Leistungsdichte des Anregungslichts, das tatsächlich zur Anregung der fluoreszierenden Substanz beiträgt, einen Wert, der durch das Korrigieren der Leistungsdichte mit dem Verstärkungsfaktor des Detektionssystems erhalten wird, oder dergleichen handeln. Durch Berücksichtigen der Absorptionsrate, der Verstärkungsrate und dergleichen ist es möglich, die Intensität des Anregungslichts, die sich gemäß der Änderung des Maschinenzustands, der Umgebung und dergleichen ändert, entsprechend zu korrigieren, sodass es möglich ist, das verbundene Fluoreszenzspektrum zu erzeugen, das Farbtrennung mit höherer Genauigkeit ermöglicht.
Es sei angemerkt, dass der Korrekturwert, der auf der Intensität des Anregungslichts für jedes Fluoreszenzspektrum basiert, nicht auf einen Wert zum Ausgleichen der Intensität des Anregungslichts beschränkt ist, die jedem der Mehrzahl von Fluoreszenzspektren entspricht, sondern verschiedentlich modifiziert werden kann. Der Korrekturwert wird auch als Intensitätskorrekturwert bezeichnet. Zum Beispiel neigt eine Signalintensität eines Fluoreszenzspektrums mit einer Intensitätsspitze auf der Seite der langen Wellenlänge dazu, niedriger als eine Signalintensität eines Fluoreszenzspektrums mit einer Intensitätsspitze auf der Seite der kurzen Wellenlänge zu sein. Wenn daher das verbundene Fluoreszenzspektrum sowohl das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der langen Wellenlänge als auch das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der kurzen Wellenlänge aufweist, wird das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der langen Wellenlänge kaum berücksichtigt und es kann nur das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der kurzen Wellenlänge extrahiert werden. In solch einem Fall ist es zum Beispiel durch Einstellen des Intensitätskorrekturwerts für das Fluoreszenzspektrum mit der Intensitätsspitze auf der Seite der langen Wellenlänge auf einen größeren Wert möglich, die Trennungsgenauigkeit des Fluoreszenzspektrums mit der Intensitätsspitze auf der Seite der kurzen Wellenlänge zu verbessern.
(Farbtrennungseinheit 1321)
Die Farbtrennungseinheit 1321 weist zum Beispiel eine erste Farbtrennungseinheit 1321a und eine zweite Farbtrennungseinheit 1321b auf und führt Farbtrennung an dem verbundenen Fluoreszenzspektrum der von der Verbindungseinheit 1311 eingegebenen gefärbten Sektion für jedes Molekül durch. Die gefärbte Sektion wird auch als gefärbte Probe bezeichnet.
Genauer gesagt führt die erste Farbtrennungseinheit 1321a einen Farbtrennungsprozess an dem verbundenen Fluoreszenzspektrum der von der Verbindungseinheit 1311 eingegebenen gefärbten Probe unter Verwendung eines in den Reagenzinformationen enthaltenen verbundenen Referenz-Fluoreszenzspektrums und eines in den Spezimeninformationen enthaltenen verbundenen Referenz-Autofluoreszenzspektrums aus, die von der Informationsspeichereinheit 121 eingegeben werden, um dadurch das verbundene Fluoreszenzspektrum in Spektren für jedes Molekül zu trennen. Es sei angemerkt, dass zum Beispiel eine Methode der kleinsten Quadrate (LSM), eine Methode der gewichteten kleinsten Quadrate (WLSM), eine nicht-negative Matrixfaktorisierung NMF), eine nicht-negative Matrixfaktorisierung unter Verwendung einer Gram-Matrix ^tAA oder dergleichen für den Farbtrennungsprozess verwendet werden können.
Die zweite Farbtrennungseinheit 1321b führt den Farbtrennungsprozess unter Verwendung des verbundenen Referenz-Autofluoreszenzspektrums nach der Anpassung aus, das von der Spektrumextraktionseinheit 1322 an dem verbundenen Fluoreszenzspektrum der von der Verbindungseinheit 1311 eingegebenen gefärbten Probe eingegeben wird, um dadurch das verbundene Fluoreszenzspektrum in Spektren für jedes Molekül zu trennen. Es sei angemerkt, dass, wie bei der ersten Farbtrennungseinheit 1321a, zum Beispiel eine Methode der kleinsten Quadrate (LSM), eine Methode der gewichteten kleinsten Quadrate (WLSM), eine nicht-negative Matrixfaktorisierung (NMF), eine nicht-negative Matrixfaktorisierung unter Verwendung einer Gram-Matrix ^tAA oder dergleichen für den Farbtrennungsprozess verwendet werden können.
Hierbei wird zum Beispiel bei der Methode der kleinsten Quadrate das Farbmischungsverhältnis berechnet, indem das von der Verbindungseinheit 1311 erzeugte verbundene Fluoreszenzspektrum an das Referenzspektrum angepasst wird. Außerdem wird bei der Methode der gewichteten kleinsten Quadrate das Gewichten so durchgeführt, dass ein Fehler eines niedrigen Signalpegels hervorgehoben wird, indem die Tatsache verwendet wird, dass Rauschen des verbundenen Fluoreszenzspektrums (Signal), wobei es sich um einen gemessenen Wert handelt, eine Poisson-Verteilung aufweist. Ein oberer Grenzwert, bei dem keine Gewichtung durch die Methode der gewichteten kleinsten Quadrate durchgeführt wird, wird jedoch als ein Offsetwert eingestellt. Der Offsetwert wird durch Charakteristiken eines für die Messung verwendeten Sensors bestimmt und, falls ein Bildgebungselement als Sensor verwendet wird, muss der Offsetwert separat optimiert werden.
(Spektrumextraktionseinheit 1322)
Die Spektrumextraktionseinheit 1322 ist eine Konfiguration zur Verbesserung des verbundenen Referenz-Autofluoreszenzspektrums, sodass ein genaueres Farbtrennungsergebnis erhalten werden kann, und passt das verbundene Referenz-Autofluoreszenzspektrum, das in den von der Informationsspeichereinheit 121 eingegebenen Spezimeninformationen enthalten ist, auf der Basis des Farbtrennungsergebnisses durch die Farbtrennungseinheit 1321 an eines an, das ein genaueres Farbtrennungsergebnis erhalten kann.
Die Spektrumextraktionseinheit 1322 führt einen Spektrumextraktionsprozess unter Verwendung des von der ersten Farbtrennungseinheit 1321a eingegebenen Farntrennungsergebnisses an dem von der Informationsspeichereinheit 121 eingegeben verbundenen Referenz-Autofluoreszenzspektrum aus und passt das verbundene Referenz-Autofluoreszenzspektrum auf der Basis des Ergebnisses an, um dadurch das verbundene Referenz-Autofluoreszenzspektrum zu einem zu verbessern, das ein genaueres Farbtrennungsergebnis erhalten kann. Es sei angemerkt, dass für den Spektrumextraktionsprozess zum Beispiel eine nicht-negative Matrixfaktorisierung (NMF), eine Singulärwertzerlegung (SVD) oder dergleichen verwendet werden kann.
Es sei angemerkt, dass in 3 der Fall veranschaulicht ist, in dem die Anpassung des verbundenen Referenz-Autofluoreszenzspektrum einmal durchgeführt wird, aber die vorliegende Erfindung ist nicht darauf beschränkt, sondern ein Prozess des Eingebens des Farbtrennungsergebnisses durch die zweite Farbtrennungseinheit 1321b in die Spektrumextraktionseinheit 1322 und des ein- oder mehrmaligen erneuten Ausführens der Anpassung des verbundenen Referenz-Autofluoreszenzspektrums in der Spektrumextraktionseinheit 1322 kann wiederholt werden und das endgültige Farbtrennungsergebnis kann dann erfasst werden.
Wie bereits erwähnt, können die erste Farbtrennungseinheit 1321a und die zweite Farbtrennungseinheit 1321b ein eindeutiges Spektrum als das Trennungsergebnis ausgeben, indem sie den Fluoreszenztrennungsprozess unter Verwendung der in der Wellenlängenrichtung verbundenen Referenzspektren (des verbundenen Referenz-Autofluoreszenzspektrums und des verbundenen Referenz-Fluoreszenzspektrums) durchführen. Das Trennungsergebnis wird nicht für jede Anregungswellenlänge geteilt. Daher kann der Implementierer das korrekte Spektrum leichter erhalten. Da außerdem das Referenzspektrum (das verbundene Referenz-Autofluoreszenzspektrum) in Bezug auf die zur Trennung verwendete Autofluoreszenz automatisch erfasst wird und der Fluoreszenztrennungsprozess durchgeführt wird, ist es nicht notwendig, dass der Implementierer ein Spektrum, das der Autofluoreszenz entspricht, aus einem entsprechenden Raum einer nicht gefärbten Sektion extrahiert.
<1-4. Konfigurationsbeispiel einer Analyseeinheit hinsichtlich eines Normprozesses>
Unter Bezugnahme auf 5 wird ein Konfigurationsbeispiel der Analyseeinheit 131 hinsichtlich des Normprozesses gemäß der vorliegenden Ausführungsform beschrieben. 5 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Analyseeinheit 131 in Bezug auf den Normprozess gemäß der vorliegenden Ausführungsform darstellt.
Wie in 5 dargestellt, weist die Analyseeinheit 131 eine Fluoreszenztrennungseinheit 131A, eine Erzeugungseinheit 131B, eine Bewertungseinheit 131C, eine Korrektureinheit 131D und eine Darstellungseinheit 131E auf. Die Fluoreszenztrennungseinheit 131A entspricht der Farbtrennungseinheit 1321 und die Darstellungseinheit 131E entspricht der Bilderzeugungseinheit 132.
Die Fluoreszenztrennungseinheit 131A führt den Farbtrennungsprozess unter Verwendung des verbundenen Referenz-Fluoreszenzspektrums, das in den Reagenzinformationen enthalten ist, und des verbundenen Referenz-Autofluoreszenzspektrums, das in den Spezimeninformationen enthalten ist, an dem verbundenen Fluoreszenzspektrum der von der Verbindungseinheit 1311 eingegebenen gefärbten Probe durch, wobei zum Beispiel LSM, NMF oder dergleichen verwendet wird, um dadurch das verbundene Fluoreszenzspektrum in Spektren für jedes Molekül zu trennen (siehe 3). Außerdem führt die Farbtrennungseinheit 131A den Farbtrennungsprozess unter Verwendung des verbundenen Referenz-Autofluoreszenzspektrums nach der Anpassung, das von der Spektrumextraktionseinheit 1322 eingegeben wird, an dem verbundenen Fluoreszenzspektrum der von der Verbindungseinheit 1311 eingegebenen gefärbten Probe aus, wobei zum Beispiel LSM, NMF oder dergleichen verwendet wird, um dadurch das verbundene Fluoreszenzspektrum in Spektren für jedes Molekül zu trennen (siehe 3).
Die Erzeugungseinheit 131B berechnet einen Differenzwert zwischen dem Originalbild und dem farbgetrennten Bild nach der Trennung als einen Normwert (Referenzwert) für jedes Pixel auf der Basis eines Berechnungsergebnisses durch einen Trennungsalgorithmus der Fluoreszenztrennungseinheit 131A, zum Beispiel LSM, NMF oder dergleichen, und erzeugt ein Normbild, das den Normwert für jedes Pixel angibt. Wenn der Trennungsalgorithmus, das heißt die Trennungsberechnung, LSM ist, dann wird der Normwert durch |A-SC| angegeben. Hierbei ist A eine Matrix von Pixelwerten des gefärbten Bildes (Originalbild), S ist ein Spektrum nach der LSM und C ist eine Matrix von Pixelwerten des Bildes nach der LSM (Bild nach der Trennung). Es sei angemerkt, dass |A - SC| ein absoluter Wert von (A - SC) ist.
Die Bewertungseinheit 131c identifiziert aus dem Normbild ein Pixel, dessen Normwert gleich wie oder größer als ein vorgegebener Wert ist und ein Ausreißer, das heißt ein Pixel, das den Ausreißer aufweist, ist. Im Folgenden wird hierin ein Pixel, das einen Ausreißer aufweist, als Ausreißerpixel bezeichnet. Das Ausreißerpixel gibt ein Pixel mit niedriger Auflösung und schlechter Reproduzierbarkeit an. Als ein Verfahren zur Identifizierung von Ausreißerpixeln ist es zum Beispiel möglich, ein Verfahren zur Identifizierung eines Pixels, das gleich wie oder größer als eine vorbestimmte Schwelle ist, aus einer Varianz, das heißt einem Index, der den Grad von Dispersion von Daten angibt, oder eines Pixels mit 3σ oder mehr aus dem Mittelwert eines Ausreißerpixels oder ein Verfahren wie etwa einen Quartilsbereich (IQR) oder einen Smirnov-Grubbs-Test zu verwenden.
Die Korrektureinheit 131D führt verschiedene Prozess am Normbild durch. Zum Beispiel erzeugt die Korrektureinheit 131D ein binarisiertes Bild durch Füllen aller Pixel des getrennten Bildes, die sich in der gleichen Position wie die Ausreißerpixel des Normbildes befinden, auf der Basis des Bewertungsergebnisses (Ausreißerpixel des Normbildes) durch die Bewertungseinheit 131C mit Nullen, führt Maskenverarbeitung am getrennten Bild durch das binarisierte Bild durch und erzeugt das getrennte Bild nach der Maskenverarbeitung. Ferner kann die Korrektureinheit 131D auch andere Verarbeitung durchführen. Jede Verarbeitung wird später ausführlich beschrieben.
Die Darstellungseinheit 131E gibt verschiedene Bilder an die Anzeigeeinheit 140 aus. Zum Beispiel gibt die Darstellungseinheit 131E ein Darstellungsbild, beispielsweise ein Normbild, ein gewichtetes Bild und ein Gradationsfilterbild, an die Anzeigeeinheit 140 aus. Ferner kann die Darstellungseinheit 131E auch andere Bilder ausgeben (Einzelheiten werden später beschrieben).
<1-5. Beispiel eines Normprozesses>
Unter Bezugnahme auf 6 wird ein Beispiel des Normprozesses gemäß der vorliegenden Ausführungsform beschrieben. 6 ist ein Flussdiagramm, das einen Fluss eines Beispiels des Normprozesses gemäß der vorliegenden Ausführungsform darstellt.
Wie in 6 dargestellt, führt in Schritt S101 die Fluoreszenztrennungseinheit 131A Farbtrennungsberechnung durch, in Schritt S102 gibt die Erzeugungseinheit 131B ein Normbild (Norm-Bild) aus, in Schritt S103 bestimmt die Bewertungseinheit 131C ein Pixel, dessen Normwert (Norm-Wert) ein Ausreißer ist, und in Schritt S104 führt die Korrektureinheit 131D Maskenverarbeitung durch und/oder führt die Darstellungseinheit 131E ferner Darstellung für den Benutzer aus.
<1-6. Verarbeitungsbeispiel einer Farbtrennungsberechnung und Normbilderzeugung>
<1-6-1. Erstes Verarbeitungsbeispiel>
Unter Bezugnahme auf 7 wird ein erstes Verarbeitungsbeispiel der Farbtrennungsberechnung und der Normbilderzeugung gemäß der vorliegenden Ausführungsform beschrieben. 7 ist ein Flussdiagramm, das einen Fluss des ersten Verarbeitungsbeispiels der Farbtrennungsberechnung und der Normbilderzeugung gemäß der vorliegenden Ausführungsform darstellt. Das erste Verarbeitungsbeispiel ist ein Beispiel einer Verarbeitung zur direkten Durchführung der Farbtrennungsberechnung aus einem gefärbten Bild.
Wie in 7 dargestellt, erfasst in Schritt S111 die Bilderfassungseinheit 112 der Informationsverarbeitungsvorrichtung 100 das Fluoreszenzspektrum. Genauer gesagt wird das fluoreszenzgefärbte Spezimen 30A mit einer Mehrzahl von Anregungslichtstrahlen mit voneinander verschiedenen Anregungswellenlängen bestrahlt, und die Bilderfassungseinheit 112 erfasst eine Mehrzahl von Fluoreszenzspektren, die jedem Anregungslicht entsprechen. Dann speichert die Bilderfassungseinheit 112 das erfasste Fluoreszenzspektrum in der Bildinformationsspeichereinheit 122.
In Schritt S112 erzeugt die Verbindungseinheit 1311 das verbundene Fluoreszenzspektrum durch Verbinden zumindest einiger der in der Bildinformationsspeichereinheit 122 gespeicherten Mehrzahl von Fluoreszenzspektren in der Wellenlängenrichtung. Genauer gesagt extrahiert die Verbindungseinheit 1311 Daten einer vorgegebenen Breite in jedem Fluoreszenzspektrum, sodass sie den Maximalwert der Fluoreszenzintensität in jedem der Mehrzahl von Fluoreszenzspektren umfassen, und verbindet die Daten in der Wellenlängenrichtung, um ein verbundenes Fluoreszenzspektrum zu erzeugen.
In Schritt S113 trennt die Farbtrennungseinheit 1321 das verbundene Fluoreszenzspektrum für jedes Molekül, das heißt sie führt eine erste Farbtrennung (LSM) durch. Genauer gesagt führt die Farbtrennungseinheit 1321 die unter Bezugnahme auf 3 beschriebene Verarbeitung zum Trennen des verbundenen Fluoreszenzspektrums für jedes Molekül aus.
In Schritt S114 berechnet die Erzeugungseinheit 131B einen Normwert für jedes Pixel. Genauer gesagt berechnet die Erzeugungseinheit 131B |A - SC| als den Normwert für jedes Pixel nach der LSM-Berechnung der Fluoreszenztrennungseinheit 131A, zum Beispiel nach der LSM-Berechnung der ersten Farbtrennungseinheit 1321a.
In Schritt S115 erzeugt die Erzeugungseinheit 131B ein Normbild, das den berechneten Normwert für jedes Pixel aufweist, und gibt es aus. Genauer gesagt erzeugt die Erzeugungseinheit 131B ein Normbild, das einen Normwert für jedes Pixel angibt, auf der Basis des berechneten Normwerts für jedes Pixel.
<1-6-2. Zweites Verarbeitungsbeispiel>
Unter Bezugnahme auf 8 und 9 wird ein zweites Verarbeitungsbeispiel der Farbtrennungsberechnung und der Normbilderzeugung gemäß der vorliegenden Ausführungsform beschrieben. 8 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Analyseeinheit unter Verwendung eines verbundenen Fluoreszenzspektrums einer nicht gefärbten Probe in dem zweiten Verarbeitungsbeispiel der Farbtrennungsberechnung und der Normbilderzeugung gemäß der vorliegenden Ausführungsform darstellt. 9 ist ein Flussdiagramm, das einen Fluss des zweiten Verarbeitungsbeispiels der Farbtrennungsberechnung und der Normbilderzeugung gemäß der vorliegenden Ausführungsform darstellt. Das zweite Verarbeitungsbeispiel ist ein Beispiel einer Verarbeitung zur Durchführung der Farbtrennungsberechnung eines gefärbten Bildes unter Verwendung eines aus einem nicht gefärbten Bild extrahierten Autofluoreszenzspektrums.
Im ersten Verarbeitungsbeispiel (siehe 3) führt die Fluoreszenztrennungseinheit 131A den Fluoreszenztrennungsprozess unter Verwendung des verbundenen Referenz-Autofluoreszenzspektrums und des verbundenen Referenz-Fluoreszenzspektrums durch, die im Voraus hergestellt wurden. Im zweiten Verarbeitungsbeispiel (siehe 8) wird der Fluoreszenztrennungsprozess hingegen unter Verwendung des verbundenen Referenz-Autofluoreszenzspektrums, das tatsächlich gemessen wird, das heißt des verbundenen Fluoreszenzspektrum des nicht gefärbten Probe, durchgeführt. Genauer gesagt extrahiert im zweiten Verarbeitungsbeispiel die Fluoreszenztrennungseinheit 131, das heißt die Spektrumextraktionseinheit 1322 (siehe 8) der Analyseeinheit 131, das verbundene Referenz-Autofluoreszenzspektrum für jede autofluoreszierende Substanz aus einem verbunden Spektrum, das durch Verbinden zumindest einiger einer Mehrzahl von Autofluoreszenzspektren in der Wellenlängenrichtung erhalten wird, die durch Bestrahlen eines Spezimens, das gleich oder ähnlich wie das Spezimen 20A ist, mit einer Mehrzahl von Anregungslichtstrahlen mit voneinander verschiedenen Anregungswellenlängen erfasst wird. Dann führt die zweite Farbtrennungseinheit 1321b den Fluoreszenztrennungsprozess unter Verwendung des extrahierten verbundenen Referenz-Autofluoreszenzspektrums und des verbunden Referenz-Fluoreszenzspektrums, das heißt solcher, die jenen im ersten Verarbeitungsbeispiel ähneln, als Referenzspektren durch.
Wie in 8 dargestellt, weist die Analyseeinheit 131 gemäß dem zweiten Verarbeitungsbeispiel im Wesentlichen eine Konfiguration auf, die der der unter Bezugnahme auf 3 beschriebenen Analyseeinheit 131 ähnelt. Bei solch einer Konfiguration wird anstelle des in den Spezimeninformationen enthaltenen verbundenen Referenz-Autofluoreszenzspektrums das verbundene Fluoreszenzspektrum einer von der Verbindungseinheit 1311 eingegebenen nicht gefärbten Sektion in die Fluoreszenztrennungseinheit 131A, das heißt die Spektrumextraktionseinheit 1322 der Analyseeinheit 131, eingegeben. Die nicht gefärbte Sektion wird auch als nicht gefärbte Probe bezeichnet und das verbundene Fluoreszenzspektrum wird auch als verbundenes Autofluoreszenzspektrum bezeichnet.
Die Spektrumextraktionseinheit 1322 führt den Spektrumextraktionsprozess unter Verwendung des von der ersten Farbtrennungseinheit 1321a eingegebenen Farbtrennungsergebnisses an dem von der Verbindungseinheit 1311 eingegeben verbundenen Autofluoreszenzspektrum der nicht gefärbten Probe aus und passt das verbundene Referenz-Autofluoreszenzspektrum auf der Basis des Ergebnisses an, um dadurch das verbundene Referenz-Autofluoreszenzspektrum zu einem zu verbessern, das ein genaueres Farbtrennungsergebnis erhalten kann. Für den Spektrumextraktionsprozess kann zum Beispiel eine nicht-negative Matrixfaktorisierung (NMF), eine Singulärwertzerlegung (SVD) oder dergleichen verwendet werden. Außerdem können andere den zuvor beschriebenen Operationen der Farbtrennungseinheit 1321 ähneln, sodass eine ausführliche Beschreibung davon an dieser Stelle unterlassen wird.
Es sei angemerkt, dass es auch möglich ist, entweder die nicht gefärbte Sektion oder eine gefärbte Sektion als eine Sektion zu verwenden, die gleich oder ähnlich wie das Spezimen 20A ist, das zum Extrahieren des verbundenen Referenz-Autofluoreszenzspektrums verwendet wird. Wenn zum Beispiel die nicht gefärbte Sektion verwendet wird, kann eine Sektion vor dem Färben, die als gefärbte Sektion verwendet werden soll, eine Sektion benachbart zur gefärbten Sektion, eine von der gefärbten Sektion im gleichen Block verschiedene Sektion, eine Sektion ein einem anderen Block im gleichen Gewebe oder dergleichen verwendet werden. Der gleiche Block wird von der gleichen Stelle wie die gefärbte Sektion entnommen. Der andere Block wird von anderen Stellen als die gefärbte Sektion entnommen.
Hierbei kann als ein Verfahren zur Extraktion eines Autofluoreszenzspektrums aus einer nicht gefärbten Sektion im Allgemeinen eine Hauptkomponentenanalyse verwendet werden. Im Folgenden wird die Hauptkomponentenanalyse hierin als „PCA: Principal Component Analysis“ (Hauptkomponentenanalyse) bezeichnet. Die PCA eignet sich jedoch nicht, wenn das in der Wellenlängenrichtung verbundene Autofluoreszenzspektrum zur Verarbeitung verwendet wird, wie in der vorliegenden Ausführungsform. Daher extrahiert die Spektrumextraktionseinheit 1322 gemäß der vorliegenden Ausführungsform das verbundene Referenz-Autofluoreszenzspektrum aus der nicht gefärbten Sektion durch Durchführen der nicht-negativen Matrixfaktorisierung (NMF) anstelle der PCA.
Wie in 9 dargestellt, erfasst die Bilderfassungseinheit 112 in Schritt S121 und S122 wie im Verarbeitungsflussbeispiel im ersten Verarbeitungsbeispiel (Schritt S111 und S112 in 7) eine Mehrzahl von Fluoreszenzspektren, die Anregungslicht mit unterschiedlichen Anregungswellenlängen entsprechen, und die Verbindungseinheit 1311 verbindet zumindest einige der Mehrzahl von Fluoreszenzspektren in der Wellenlängenrichtung, um das verbundene Fluoreszenzspektrum zu erzeugen.
In Schritt S123 führt die Spektrumextraktionseinheit 1322 NMF unter Verwendung zumindest eines Teils einer Mehrzahl von Autofluoreszenzspektren durch, die durch Bestrahlen einer nicht gefärbten Sektion mit einer Mehrzahl von Anregungslichtstrahlen mit voneinander verschiedenen Anregungswellenlängen erfasst wird, wobei die Mehrzahl von Autofluoreszenzspektren in einer Wellenlängenrichtung verbunden ist, um dadurch das verbundene Referenz-Autofluoreszenzspektrum zu extrahieren.
In Schritt S125 und S126 berechnet die Erzeugungseinheit 131B einen Normwert für jedes Pixel wie im Verarbeitungsflussbeispiel im ersten Verarbeitungsbeispiel, das heißt Schritt S114 und S115 in 7, nach der LSM-Berechnung der Fluoreszenztrennungseinheit 131B, zum Beispiel nach der LSM-Berechnung der zweiten Farbtrennungseinheit 1321b, und erzeugt die Erzeugungseinheit 131B ein Normbild, das den berechneten Normwert für jedes Pixel aufweist, und gibt es aus.
<1-6-3. Drittes Verarbeitungsbeispiel>
Unter Bezugnahme auf 10 bis 12 wird ein drittes Verarbeitungsbeispiel der Farbtrennungsberechnung und der Normbilderzeugung gemäß der vorliegenden Ausführungsform beschrieben. 10 ist ein Flussdiagramm, das einen Fluss des dritten Verarbeitungsbeispiels der Farbtrennungsberechnung und der Normbilderzeugung gemäß der vorliegenden Ausführungsform darstellt. 11 und 12 ist ein Diagramm zum Beschreiben einer Verarbeitung von Schritten in 10. Das dritte Verarbeitungsbeispiel ist ein Beispiel einer Verarbeitung zur Durchführung der Farbtrennungsberechnung unter Verwendung einer Gram-Matrix in einem Weitwinkelbild, das heißt einer Verarbeitung zum Erhalten eines Normwert nach der zweiten LSM.
Wie in 10 dargestellt, erzeugt die Verarbeitungseinheit 130 in Schritt S131 Weitwinkelbilddaten der gesamten Bildgebungsregion durch Kacheln von Sichtfeldbilddaten, die durch das Abbilden jedes Sichtfeldes erhalten werden. Als Weitwinkelbilddaten werden zum Beispiel die Weitwinkelbilddaten A in 11 bezeichnet.
Als Nächstes erfasst die Verarbeitungseinheit 130 in Schritt S132 Einheitsbilddaten, die ein Teil der Weitwinkelbilddaten A sind. Die Einheitsbilddaten sind zum Beispiel die Einheitsbilddaten Aq in 11 und q ist ein ganze Zahl gleich oder größer als 1 und gleich oder kleiner als n. Die Einheitsbilddaten Aq können auf verschiedene Weise geändert werden, solange es sich dabei um Bilddaten einer Region handelt, die schmaler ist als die Weitwinkelbilddaten A, wie beispielsweise Bilddaten, die einer Ansicht entsprechen, oder Bilddaten einer voreingestellten Größe. Es sei angemerkt, dass die Bilddaten der voreingestellten Größe Bilddaten einer Größe aufweisen, die aus der Menge von Daten bestimmt wird, die von der Informationsverarbeitungsvorrichtung 100 jeweils verarbeitet werden kann.
Wie in 11 dargestellt, erzeugt die Verarbeitungseinheit 130 als Nächstes in Schritt S133 eine Gram-Matrix ^tA1A1 der Einheitsbilddaten Aq durch Multiplizieren der Datenmatrix A1 der erfassten Einheitsbilddaten Aq mit dieser transponierten Matrix ^tA1. In der folgenden Beschreibung werden die Einheitsbilddaten Aq der Klarheit halber als Einheitsbilddaten A1 bezeichnet.
Als Nächstes bestimmt die Verarbeitungseinheit 130 in Schritt S134, ob die Erzeugung der Gram-Matrizen ^tA1A1 bis ^tAnAn für alle Elemente der Einheitsbilddaten A1 bis An abgeschlossen ist, und führt Schritt S132 bis S134 wiederholt aus, bis die Erzeugung der Gram-Matrizen ^tA1A1 bis ^tAnAn für alle Elemente der Einheitsbilddaten A1 bis An abgeschlossen ist (NEIN in Schritt S134).
Wenn hingegen die Erzeugung der Gram-Matrizen ^tA1A1 bis ^tAnAn für alle Elemente der Einheitsbilddaten A1 bis An in Schritt S134 abgeschlossen ist(JA in Schritt S134), berechnet die Verarbeitungseinheit 130 den Anfangswert eines Koeffizienten C aus den erhaltenen Gram-Matrizen ^tA1A1 bis ^tAnAn zum Beispiel durch Verwenden der Methode der kleinsten Quadrate oder der Methode der gewichteten kleinsten Quadrate in Schritt S135.
Als Nächstes berechnet die Verarbeitungseinheit 130 in Schritt S136 die Gram-Matrix ^tAA für die Weitwinkelbilddaten A durch Addieren der erzeugten Gram-Matrizen ^tA1A1 bis ^tAnAn. Wie vorstehend beschrieben, wird die Gram-Matrix ^tAA insbesondere durch Falten jeder Gram-Matrix ^tAqAq wie in einem Ausdruck (^tAA = ^tA1A1 + ^tA2A2 +...+ ^tAnAn) unter Verwendung einer Teilmenge A(p, w) = A1(p1 - pn1, w) + A2(pn1 + 1 - pm, w) +...+ Ao(pm + 1 - p, w) erhalten. q ist eine ganze zahl gleich oder größer als 1 und gleich oder kleiner als n.
Als Nächstes erhält die Verarbeitungseinheit 130 in Schritt S137 das Spektrum S durch Durchführen einer Zerlegung nicht-negativer Werte (NMF) an der berechneten Gram-Matrix ^tAA in ^tAA = S × D, wie in 12 dargestellt. Die Matrix D entspricht einem getrennten Bild, das durch Fluoreszenztrennung aus den Weitwinkelbilddaten A erhalten wird. Es sei angemerkt, dass in NMF nicht-negative Faktorisierung von Daten mit einem festen spezifischen Spektrum durchgeführt werden kann.
Danach erfasst die Verarbeitungseinheit 130 in Schritt S138 den Koeffizienten C, das heißt das fluoreszenzgetrennte Bild für jedes fluoreszierende Molekül oder das autofluoreszenzgetrennte Bild für jedes Autofluoreszenzmolekül durch Lösen von A = SC durch die Methode der kleinsten Quadrate oder die Methode der gewichteten kleinsten Quadrate unter Verwendung des Spektrums S, das durch NMF in Bezug auf die Gram-Matrix ^tAA erhalten wurde.
Als Nächstes berechnet die Verarbeitungseinheit 130 in Schritt S139 nach der LSM-Berechnung, zum Beispiel nach der zweiten Trennungsberechnung, einen Normwert, das heißt |A - SC|, für jedes Pixel. In Schritt S140 erzeugt die Verarbeitungseinheit 130 ein Normbild, das den berechneten Normwert für jedes Pixel aufweist, und gibt es aus. Danach wird diese Operation beendet.
<1-6-4. Viertes Verarbeitungsbeispiel>
Unter Bezugnahme auf 13 wird ein viertes Verarbeitungsbeispiel der Farbtrennungsberechnung und der Normbilderzeugung gemäß der vorliegenden Ausführungsform beschrieben. 13 ist ein Flussdiagramm, das einen Fluss des vierten Verarbeitungsbeispiels der Farbtrennungsberechnung und der Normbilderzeugung gemäß der vorliegenden Ausführungsform darstellt. Das vierte Verarbeitungsbeispiel ist ein Beispiel einer Verarbeitung zur Durchführung der Farbtrennungsberechnung unter Verwendung einer Gram-Matrix in einem Weitwinkelbild, das heißt einer Verarbeitung zum Erhalten eines Normwert nach der NMF.
Wie in 13 dargestellt, führt die Verarbeitungseinheit 130 in Schritt S124 bis S147 Verarbeitung wie im Verarbeitungsflussbeispiel im dritten Verarbeitungsbeispiel, das heißt, Schritt S131 und S137 in 10, durch.
In Schritt S148 berechnet die Verarbeitungseinheit 130 nach der NMF-Berechnung, zum Beispiel nach der ersten Trennungsberechnung, einen Normwert, das heißt |A - SD^tA^-1|, für jedes Pixel. In Schritt S149 erzeugt die Verarbeitungseinheit 130 ein Normbild, das den berechneten Normwert für jedes Pixel aufweist, und gibt es aus. Es sei angemerkt, dass |A - SD^tA^-1| ein absoluter Wert von (A - S × D × ^tA^-1) ist.
Hierbei ist der Normwert durch |A - SD^tA^-1| angegeben. A ist eine Matrix von Pixelwerten des gefärbten Bildes (Originalbild), S ist ein Spektrum nach der NMF und C ist eine Matrix von Pixelwerten des Bildes nach der NMF (Bild nach der Trennung) und ^tA^-1 ist eine pseudoinverse Matrix einer transponierten Matrix ^tA. Dieser (A - SD^tA^-1) wird von den relationalen Ausdrücken A^tA = SD und A = SC abgeleitet (C und D sind Koeffizienten). In der Annahme, dass diese relationalen Ausdrücke zum gleichen S konvergieren, ist A^tA = SD = SC^t(SC) = SC^tS^tC, D = C^tC^tS = C^t(CS) = C^tA, C = D^tA^-1 und A - SC = A - SD^tA^-1.
In Schritt S150 erfasst die Verarbeitungseinheit 130 den Koeffizienten C, das heißt das fluoreszenzgetrennte Bild für jedes fluoreszierende Molekül oder das autofluoreszenzgetrennte Bild für jedes Autofluoreszenzmolekül, durch Lösen von A = SC durch die Methode der kleinsten Quadrate oder die Methode der gewichteten kleinsten Quadrate unter Verwendung des Spektrums S, das durch NMF in Bezug auf die Gram-Matrix ^tAA erhalten wurde. Danach wird diese Operation beendet.
<1-7. Vergleichsbeispiel eines Normbildes und eines getrennten Bildes>
Unter Bezugnahme auf 14 wird ein Vergleichsbeispiel des Normbildes und des getrennten Bildes gemäß der vorliegenden Ausführungsform beschrieben. 14 ist ein Diagramm zum Beschreiben eines Vergleichsbeispiels des Normbildes und des getrennten Bildes gemäß der vorliegenden Ausführungsform. Es sei angemerkt, dass im Beispiel von 14 das getrennte Bild zum Beispiel ein Bild ist, das keiner Maskenverarbeitung oder dergleichen unterzogen wird und Autofluoreszenzverlustpixel aufweist.
Wenn, wie in 14 dargestellt, das Normbild und das getrennte Bild verglichen werden, stimmen die Ausreißerpixel des Normbildes mit Pixeln mit schlechter Reproduzierbarkeit nach der Farbtrennung im getrennten Bild, das heißt Austorfluoreszenzverlustpixeln, überein. Das Normbild, das heißt der Normwert für jedes Pixel, fungiert als Index der Zerlegungsgenauigkeit. Daher können zum Beispiel Pixel des getrennten Bildes, die sich in der gleichen Position wie die Ausreißerpixel des Normbildes befinden, durch Maskenverarbeitung oder dergleichen ausgeschlossen werden und sich im Farbtrennungsergebnis widerspiegeln.
<1-8. Verarbeitungsbeispiel der Korrektureinheit>
Unter Bezugnahme auf 15 wird ein Verarbeitungsbeispiel der Korrektureinheit 131D gemäß der vorliegenden Ausführungsform beschrieben. 15 ist ein Diagramm zum Beschreiben eines Beispiels der Verarbeitung der Korrektureinheit 131D gemäß der vorliegenden Ausführungsform, das heißt der Verarbeitung zum Vergrößern der Nullfüllregion.
(Fall der Verwendung von Ausreißern)
Auf der Basis eines Ausreißerpixels des Normbildes, wobei es sich um das Bewertungsergebnis durch die Bewertungseinheit 131C handelt, erzeugt die Korrektureinheit 131D ein binarisiertes Bild durch Füllen aller Pixel des getrennten Bildes, die sich an der gleichen Stelle wie das Ausreißerpixel des Normbildes, zum Beispiels des Autofluoreszenzkomponentenbildes, des gefärbten Fluoreszenzkomponentenbildes und dergleichen, befinden, mit Nullen, führt sie Maskenverarbeitung am getrennten Bild unter Verwendung des binarisierten Bildes als Maskenbild durch und erzeugt sie nach der Maskenverarbeitung das getrennte Bild. Zum Beispiel setzt die Korrektureinheit 131D den Wert eines Pixels, das sich in der gleichen Position wie das Ausreißerpixel des Normbildes befindet, auf null und setzt sie die Werte der anderen Pixel auf eins, um das Maskenbild zu erzeugen.
Außerdem kann die Korrektureinheit 131D den Wert des Pixels, das sich in der gleichen Position wie das Ausreißerpixel des Normbildes befindet, bei der nachfolgenden Verarbeitung, beispielsweise im Bild zum Erhalten eines Signaltrennungswerts, der die Signaltrennungsperformance angibt, auf null umändern. Ferner kann die Korrektureinheit 131D alle Pixel, die sich in der gleichen Position wie die Ausreißerpixel des Normbildes befinden, bei der nachfolgenden Verarbeitung, beispielsweise im Bild zum Erhalten eines Signaltrennungswerts, der die Signaltrennungsperformance angibt, ausschließen oder sie kann eine Region, die diese Pixel aufweisen, zum Beispiel alle Zellregionen, ausschließen. Diese Region wird als N/A behandelt. Beispiele für das Bild zum Erhalten des Signaltrennungswerts, der die Signaltrennungsperformance angibt, weisen ein nicht gefärbtes Bild, ein Farbstoffkachelbild und ein schematisches Bild auf.
Es sei angemerkt, dass die Analyseeinheit 131 den Signaltrennungswert durch Verwenden eines Bildes zum Erhalten des Signaltrennungswerts berechnet, der die Signaltrennungsperformance angibt. Mittel zum Erhalten des Signaltrennungswerts und Quantifizieren der Signaltrennungsperformance werden später ausführlich beschrieben. Wenn zum Beispiel der Signaltrennungswert erhalten wird, kann die Signaltrennungsgenauigkeit, das heißt der Signaltrennungswert, durch Durchführen von Verarbeitung ohne Verwenden des dem Ausreißerpixel entsprechenden Pixels erhöht werden.
Falls außerdem ein Ausreißerpixel in einem Zellgewebe vorhanden ist, besteht eine große Möglichkeit, dass um die Region auch eine große Autofluoreszenzregion vorhanden ist, sodass ein vorgegebener Bereich um das Ausreißerpixel, zum Beispiel ein Bereich, der einer vorgegebenen Anzahl von Pixeln entspricht, oder eine Zellregion ausgeschlossen oder maskiert werden kann. Wie alternativ in 15 dargestellt, kann, falls rote Blutkörperchen, die selbst bei Füllen der Ausreißerpixel mit Nullen nicht entfernt werden konnten, in einer Zellmembranform verbleiben, Verarbeitung zum Vergrößern der Nullfüllregion und Verdicken des binarisierten Bildes durchgeführt werden.
(Bei Durchführung von Gewichtung auf der Basis des Normwerts)
Die Korrektureinheit 131D normalisiert den gesamten Normwert des Normbildes auf kontinuierlich null bis eins und führt Gewichtung durch. Die Gewichtung zu diesem Zeitpunkt kann derart festgelegt werden, dass der Maximalwert des Normwerts eins ist und der Minimalwert null ist. Der relationale Ausdruck in diesem Fall ist, wie folgt: Normwert MIN = 0 ≤ Normwert ≤ Normwert MAX = 1. Außerdem kann die Normalisierung durchgeführt werden, nachdem die Normwerte aller Pixel, deren Trennungsgenauigkeit als niedrig bestimmt wurde, d. h. der Ausreißerpixel, auf eins gesetzt wurden. Der relationale Ausdruck in diesem Fall ist, wie folgt: Normwert MIN = 0 ≤ Normwert ≤ Norm-Ausreißer = 1.
Außerdem kann die Korrektureinheit 131D das Normbild vor der Farbtrennung durch das gefärbte Bild teilen. Konkret kann die Korrektureinheit 131D den Normwert für jedes Pixel des Normbildes für jedes Pixel des gefärbten Bildes vor der Farbtrennung durch den Pixelwert teilen. Dadurch kann das Normbild standardisiert werden, sodass Normbilder zwischen verschiedenen Proben verglichen werden können.
<1-9. Verarbeitungsbeispiel der Darstellungseinheit>
Unter Bezugnahme auf 16 bis 19 wird ein Verarbeitungsbeispiel der Darstellungseinheit 131E gemäß der vorliegenden Ausführungsform beschrieben. 16 ist ein Diagramm zum Beschreiben eines Beispiels eines Darstellungsbildes gemäß der vorliegenden Ausführungsform. 17 bis 18 sind Diagramme, die jeweils ein Beispiel eines UI-Bildes gemäß der vorliegenden Ausführungsform beschreiben. 19 ist ein Flussdiagramm, das einen Fluss eines Beispiels des Darstellungsprozesses gemäß der vorliegenden Ausführungsform darstellt.
Wie in 16 dargestellt, kann die Darstellungseinheit 131E ein Normbild, ein gewichtetes Bild und ein Gradationsfilterbild als Darstellungsbilder an die Anzeigeeinheit 140 ausgeben. Außerdem kann die Darstellungseinheit 131E durch die Anzeigeeinheit 140 eine Region anzeigen, die Ausreißerpixel im Normbild, dem getrennten Bild, dem gewichteten Bild oder dergleichen aufweist. Es sei angemerkt, dass die Darstellungseinheit 131E eine Warnung darstellen kann, die das Vorhandensein eines Ausreißerpixels angibt. Falls zum Beispiel die Anzahl von bestehenden Ausreißerpixeln gleich wie oder größer als eine vorgegebene Anzahl ist, kann die Darstellungseinheit 131E ein Bild, beispielsweise eine Nachricht, ausgeben, das diese Tatsache als eine Warnung für die Anzeigeeinheit 140 angibt. Als eine Bedingung für die Ausgabe der Warnung kann die Warnung zum Beispiel für den Benutzer dargestellt werden, falls ein Streudiagramm gezeichnet wird und es eine große Verlustmenge in einen benachbarten Farbstoff gibt oder falls bestimmt wird, dass rote Blutkörperchen im getrennten Bild enthalten sind und die Trennung beeinträchtigt wird.
Zum Beispiel kann die Darstellungseinheit 131E ein gewichtetes Bild, das von der Korrektureinheit 131D gewichtet wurde, beispielsweise ein gewichtetes Normbild, als ein UI-Bild (Benutzeroberflächenbild) an die Anzeigeeinheit 140 ausgeben. Das gewichtete Normbild kann allein oder neben einem anderen Bild angezeigt werden oder es kann ein anderes Bild, beispielsweise ein getrenntes Bild, überlagernd angezeigt werden. Außerdem kann ein Bild von 1-(Gewichtungsfunktion), das heißt ein Gradationsfilterbild, dargestellt werden. Das Bild kann unter Verwendung des Gradationsfilterbildes als Maskenbild zum Zeitpunkt des Ausgebens des getrennten Bildes angezeigt werden oder es kann zum Berechnen eines Signaltrennungswerts verwendet werden, der die Signaltrennungsperformance angibt. Das Gradationsfilterbild kann allein oder neben einem anderen Bild angezeigt werden oder es kann anderes Bild, beispielsweise ein getrenntes Bild, überlagernd angezeigt werden.
Wie in 17 und 18 dargestellt, kann die Darstellungseinheit 131E insbesondere das UI-Bild als das Darstellungsbild an die Anzeigeeinheit 140 ausgeben. Im Beispiel von 17 sind verschiedene getrennte Bilder im UI-Bild nebeneinander dargestellt. Alle Kontrollkästchen sind vom Benutzer aktiviert und verschiedene getrennte Bilder sind ausgewählt. Es sei angemerkt, dass in dem in 17 dargestellten Bild der Gewichtungsverarbeitung das Gradationsfilter zum Zeitpunkt des Ausgebens des getrennten Bildes maskiert ist (Gradationsfilter × getrenntes Bild). Daher ist der Pixelabschnitt, der dem Ausreißer des Normbildes entspricht, maskiert und der Abschnitt, der nicht dem Ausreißer entspricht, wird von der Maskenverarbeitung kaum beeinflusst. Ferner sind im Beispiel von 18 verschiedene getrennte Bilder im UI-Bild einander überlagernd dargestellt. In diesem Fall sind zwei Kontrollkästchen vom Benutzer aktiviert und die beiden Arten getrennter Bilder sind übereinander gelegt. Beispiele für die verschiedenen getrennten Bilder weisen ein getrenntes Rohbild, ein Bild von Nullfüllungsverarbeitung, ein Bild von Gewichtungsverarbeitung, ein Normbild, ein Gradationsfilterbild, ein gewichtetes Bild und ein DAPI-(4',6-Diamidin-2-phenylindol, Dihydrochlorid-)Bild auf.
Wie bereits erwähnt, gibt es hierbei zwei Modi eines Modus, bei dem verschiedene getrennte Bilder nebeneinander angezeigt werden, und einen Modus, bei dem verschiedene getrennte Bilder übereinander gelegt und als UI-Bilder angezeigt sind. In diesem Fall kann der Benutzer einen Modus mit einem Kontrollkästchen auswählen. Diese Anzeigeauswahlverarbeitung wird im Folgenden beschrieben.
Wie in 19 dargestellt, erzeugt die Darstellungseinheit 131E in Schritt S161 das getrennte Bild. In Schritt S162 wartet die Darstellungseinheit 131E auf die Auswahl eines Anzeigeverfahrens. Der Benutzer wählt das Anzeigeverfahren aus. Wenn der Benutzer in Schritt S163 die Nebeneinanderanzeige als das Anzeigeverfahren auswählt, gibt die Darstellungseinheit 131E ein UI-Bild (siehe zum Beispiel 17) zur Nebeneinanderanzeige an die Anzeigeeinheit 140 aus. In Schritt S164 werden gemäß der Auswahl der Arten des getrennten Bildes durch den Benutzer die ausgewählten Bilder, die nebeneinander angezeigt werden sollen, ausgewählt und an die Anzeigeeinheit 140 ausgegeben. Wenn der Benutzer in Schritt S165 hingegen Überlagerung und Anzeige als das Anzeigeverfahren auswählt, gibt die Darstellungseinheit 131E ein UI-Bild (siehe zum Beispiel 18) zur Überlagerung und Anzeige an die Anzeigeeinheit 140 aus. In Schritt S166 werden gemäß der Auswahl der Arten des getrennten Bildes durch den Benutzer die ausgewählten Bilder, die überlagert und angezeigt werden sollen, ausgewählt und an die Anzeigeeinheit 140 ausgegeben.
Auf diese Weise wird das Anzeigeverfahren gemäß der Benutzerauswahl ausgewählt und es werden verschiedene getrennte Bilder angezeigt, die vom Benutzer gewünscht werden. Somit kann der Benutzer ein Anzeigeverfahren und verschiedene getrennte Bilder frei auswählen, sodass der Komfort des Benutzers verbessert werden kann.
<1-10. Beispiel eines Farbtrennungsprozesses>
Unter Bezugnahme auf 20 und 21 wird ein Beispiel des Farbtrennungsprozesses gemäß der vorliegenden Ausführungsform beschrieben. 20 ist ein Diagramm zum Beschreiben eines Spektrums eines Pixels mit einem hohen Normwert, der einen Ausreißer überschreitet, das heißt ein Spektrum roter Blutkörperchen, gemäß der vorliegenden Ausführungsform. 21 ist ein Flussdiagramm, das einen Fluss eines Beispiels des Farbtrennungsprozesses gemäß der vorliegenden Ausführungsform, das heißt einen Wiederholungsprozess der Farbtrennung, darstellt.
Die Korrektureinheit 131D extrahiert das Spektrum des Pixels, dessen Normwert den Ausreißer überschreitet, das heißt das Spektrum roter Blutkörperchen, und die Fluoreszenztrennungseinheit 131A addiert das durch die Korrektureinheit 131D extrahierte Spektrum zum Anfangswert und führt erneut eine Farbtrennung durch. Genauer gesagt setzt die Korrektureinheit 131D eine Schwelle auf den Normwert und extrahiert ein Spektrum eines Pixels, dessen Normwert gleich wie oder höher als eine vorgegebene Schwelle ist, das heißt eines Pixels, dessen Normwert den Ausreißer überschreitet. Wie zum Beispiel in 20 dargestellt, wird das Spektrum des Pixels, in dem der Normwert den Ausreißer überschreitet, das heißt das Spektrum roter Blutkörperchen, extrahiert. Die Fluoreszenztrennungseinheit 131A addiert das Spektrum, das von den roten Blutkörperchen stammt und durch die Korrektureinheit 131D extrahiert wurde, zum Referenzspektrum, wobei es sich um den Anfangswert handelt, und führt erneut eine Farbtrennung durch. Diese repetitive Trennungsverarbeitung wird im Folgenden beschrieben.
Wie in 21 dargestellt, führt die Fluoreszenztrennungseinheit 131A in Schritt S151 die Farbtrennungsberechnung aus. In Schritt S152 erzeugt die Erzeugungseinheit 131B ein Normbild und gibt es aus. In Schritt S153 extrahiert die Bewertungseinheit 131C das Spektrum eines Pixels mit einem hohen Normwert, der den Ausreißer überschreitet, aus dem Normbild und bestimmt, ob Extraktion möglich ist. Wenn das Zielspektrum extrahiert wird (Ja in Schritt S153), addiert die Fluoreszenztrennungseinheit 131A das extrahierte Spektrum zum verbundenen Referenz-Fluoreszenzspektrum und führt die Verarbeitung zu Schritt S151 zurück. Falls hingegen das Zielspektrum nicht extrahiert wird (Nein in Schritt S153), wird die Verarbeitung beendet.
Bei solch einem Trennungswiederholungsprozess handelt es sich um eine Verarbeitung von Inhalt, falls der Farbtrennungsprozess (zum Beispiel LSM) mehrere Male durchgeführt wird. Außerdem kann bei der Verarbeitung zum Addieren des Spektrum roter Blutkörperchen zum Referenzspektrum das Spektrum roter Blutkörperchen entweder zum veränderlichen Spektrum, beispielsweise dem Referenz-Autofluoreszenzspektrum, oder dem festen Spektrum, beispielsweise dem Referenz-Fluoreszenzspektrum, addiert werden, aber Letzteres wird bevorzugt, da die Trennungsgenauigkeit bei der zu Letzterem addierten Verarbeitung verbessert wird.
<1-11. <Anwendungsbeispiel>
Die Technologie gemäß der vorliegenden Offenbarung kann zum Beispiel auf eine Fluoreszenzbeobachtungsvorrichtung 500 oder dergleichen angewendet werden, die ein Beispiel für ein Mikroskopsystem ist. Im Folgenden wird hierin ein Konfigurationsbeispiel einer anwendbaren Fluoreszenzbeobachtungsvorrichtung 500 unter Bezugnahme auf die 22 und 23 beschrieben. 22 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Fluoreszenzbeobachtungsvorrichtung 500 gemäß der vorliegenden Ausführungsform darstellt. 23 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration einer Beobachtungseinheit 1 gemäß der vorliegenden Ausführungsform darstellt.
Wie in 22 dargestellt, weist die Fluoreszenzbeobachtungsvorrichtung 500 die Beobachtungseinheit 1, eine Prozesseinheit 2 und eine Anzeigeeinheit 3 auf.
Die Beobachtungseinheit 1 weist eine Anregungseinheit (Bestrahlungseinheit) 10, einen Objekttisch 20, eine Spektralbildgebungseinheit 30, ein optisches Beobachtungssystem 40, einen Abtastmechanismus 50, einen Fokusmechanismus 60 und eine Nicht-Fluoreszenz-Beobachtungseinheit 70 auf.
Die Anregungseinheit 10 bestrahlt das Beobachtungsziel mit einer Mehrzahl von Strahlen von Bestrahlungslicht mit unterschiedlichen Wellenlängen. Zum Beispiel bestrahlt die Anregungseinheit 10 ein pathologisches Spezimen, das heißt eine pathologische Probe, die das Beobachtungsziel ist, mit einer Mehrzahl von Linienbeleuchtungen mit unterschiedlichen Wellenlängen, die parallel zu unterschiedlichen Achsen angeordnet sind. Der Objekttisch 20 ist ein Tisch, der das pathologische Spezimen trägt, und so ausgebildet, dass er in einer Richtung senkrecht zur Richtung des Linienlichts durch die Linienbeleuchtung durch den Abtastmechanismus 50 bewegt werden kann. Die Spektralbildgebungseinheit 30 weist ein Spektroskop auf und erfasst ein Fluoreszenzspektrum des pathologischen Spezimens, das durch die Linienbeleuchtungen linear angeregt wird, das heißt spektroskopische Daten.
Das heißt, die Beobachtungseinheit 1 fungiert als ein Linienspektroskop, das spektroskopische Daten erfasst, die den Linienbeleuchtungen entsprechen. Ferner fungiert die Beobachtungseinheit 1 auch als eine Bildgebungsvorrichtung, die eine Mehrzahl von Fluoreszenzbildern aufnimmt, die durch ein pathologisches Spezimen, das ein Bildgebungsziel ist, für jede einer Mehrzahl von Fluoreszenzwellenlängen für jede Linie erzeugt werden, und Daten der Mehrzahl von aufgenommenen Fluoreszenzbildern in einer Anordnungsreihenfolge der Linien erfasst.
Hierbei bedeutet parallel zu den unterschiedlichen Achsen, dass die Mehrzahl von Linienbeleuchtungen unterschiedliche Achsen aufweist und parallel ist. Die unterschiedlichen Achsen bedeuten, dass die Achsen nicht koaxial sind, und der Abstand zwischen den Achsen ist nicht speziell beschränkt. Die Parallelität ist nicht auf Parallelität im engeren Sinne beschränkt, sondern umfasst einen im Wesentlichen parallelen Zustand. Zum Beispiel kann eine Verzerrung, die von einem optischen System, beispielsweise einer Linse, herrührt, oder eine Abweichung von einem parallelen Zustand aufgrund einer Herstellertoleranz vorliegen, und dieser Fall wird ebenfalls als parallel angesehen.
Die Anregungseinheit 10 und die Spektralbildgebungseinheit 30 sind über das optische Beobachtungssystem 40 mit dem Objekttisch 20 verbunden. Das optische Beobachtungssystem 40 weist die Funktion auf, durch den Fokusmechanismus 60 einem optimalen Fokus zu folgen. Die Nicht-Fluoreszenz-Beobachtungseinheit 70 zum Durchführen von Dunkelfeldbeobachtung, Hellfeldbeobachtung und dergleichen kann mit dem optischen Beobachtungssystem 40 verbunden sein. Außerdem kann eine Steuereinheit 80, die die Anregungseinheit 10, die Spektralbildgebungseinheit 30, den Abtastmechanismus 50, den Fokusmechanismus 60, die Nicht-Fluoreszenzeinheit 70 und dergleichen steuert, mit der Beobachtungseinheit 1 verbunden sein.
Die Prozesseinheit 2 weist eine Speichereinheit 21, eine Datenkalibriereinheit 22 und eine Bildbildungseinheit 23 auf. Die Prozesseinheit 2 bildet typischerweise ein Bild des pathologischen Spezimens oder gibt eine Verteilung des Fluoreszenzspektrums auf der Basis des Fluoreszenzspektrums des pathologischen Spezimens aus, das durch die Beobachtungseinheit 1 erfasst wird. Im Folgenden wird das pathologische Spezimen hierin auch als Probe S bezeichnet. Hierbei bezieht sich das Bild, auf ein Bestandteilverhältnis der Autofluoreszenz, die von einem Farbstoff oder einer Probe oder dergleichen stammt, die das Spektrum bildet, ein aus Wellenformen in RGB-Farben (Rot, Grün und Blau) umgewandeltes Bild, eine Luminanzverteilung in einem spezifischen Wellenlängenband und dergleichen.
Die Speichereinheit 21 weist ein nichtflüchtiges Speichermedium, beispielsweise ein Festplattenlaufwerk oder einen Flash-Speicher auf, und eine Speichersteuereinheit auf, die das Schreiben und Auslesen von Daten in das und aus dem Speichermedium steuert. Die Speichereinheit 21 speichert spektroskopische Daten, die eine Korrelation zwischen jeder Wellenlänge von Licht, das von jeder der in der Anregungseinheit 10 enthaltenen Mehrzahl von Linienbeleuchtungen emittiert wird, und der Fluoreszenz angibt, die durch die Kamera der Spektralbildgebungseinheit 30 empfangen wird. Ferner speichert die Speichereinheit 21 im Voraus Informationen, die ein Standardspektrum der Autofluoreszenz in Bezug auf eine zu beobachtende Probe (pathologisches Spezimen) angeben, und Informationen, die ein Standardspektrum eines einzelnen Farbstoffs angeben, der die Probe färbt.
Die Datenkalibriereinheit 22 konfiguriert die spektroskopischen Daten, die in der Speichereinheit 21 gespeichert sind, auf der Basis des aufgenommenen Bildes, das von der Kamera der Spektralbildgebungseinheit 30 aufgenommen wird. Die Bildbildungseinheit 23 bildet ein Fluoreszenzbild der Probe auf der Basis der spektroskopischen Daten und einem Intervall Δy der Mehrzahl von Linienbeleuchtungen, die von der Anregungseinheit 10 emittiert wird. Zum Beispiel ist die Prozesseinheit 2, die die Datenkalibriereinheit 22, die Bildbildungseinheit 23 und dergleichen aufweist, durch Hardwareelemente, die in einem Computer verwendet werden, wie etwa eine zentrale Verarbeitungseinheit (CPU), ein Direktzugriffsspeicher (RAM) und ein Festwertspeicher (ROM), und ein erforderliches Programm (Software) implementiert. Anstelle von oder zusätzlich zu der CPU können eine programmierbare Logikvorrichtung (PLD - Programmable Logic Device), wie etwa ein feldprogrammierbares Gate-Array (FPGA - Field Programmable Gate Array), ein Digitalsignalprozessor (DSP), eine anwendungsspezifische integrierte Schaltung (ASIC - Application Specific Integrated Circuit) oder dergleichen verwendet werden.
Die Anzeigeeinheit 3 zeigt zum Beispiel verschiedene Arten von Informationen wie etwa ein Bild an, das auf dem durch die Bildbildungseinheit 23 gebildeten Fluoreszenzbild basiert. Die Anzeigeeinheit 3 kann zum Beispiel einen Monitor aufweisen, der fest in die Prozesseinheit 2 eingebaut ist, oder sie kann eine Anzeigevorrichtung sein, die mit der Prozesseinheit 2 verbunden ist. Die Anzeigeeinheit 3 weist zum Beispiel ein Anzeigeelement wie etwa eine Flüssigkristallvorrichtung oder eine organische EL-Vorrichtung und einen Berührungssensor auf und ist als eine Benutzeroberfläche (UI) ausgebildet, die Eingabeeinstellungen von Bildaufnahmebedingungen, ein aufgenommenes Bild und dergleichen anzeigt.
Als Nächstes werden Einzelheiten der Beobachtungseinheit 1 unter Bezugnahme auf 23 beschrieben. Hierbei erfolgt eine Beschreibung in der Annahme, dass die Anregungseinheit 10 zwei Linienbeleuchtungen Ex1 und Ex2 aufweist, die jeweils Licht von zwei Wellenlängen emittieren. Zum Beispiel emittiert die Linienbeleuchtung Ex1 Licht mit einer Wellenlänge von 405 nm und Licht mit einer Wellenlänge von 561 nm, und die Linienbeleuchtung Ex2 emittiert Licht mit einer Wellenlänge von 488 nm und Licht mit einer Wellenlänge von 645 nm.
Wie in 23 dargestellt, weist die Anregungseinheit 10 eine Mehrzahl von Anregungslichtquellen L1, L2, L3, und L4 auf. Jede der Anregungslichtquellen L1 bis L4 weist eine Laserlichtquelle auf, die Laserlicht mit einer Wellenlänge von 405 nm, 488 nm, 561 nm bzw. 645 nm ausgibt. Zum Beispiel weist jede der Anregungslichtquellen L1 bis L4 eine Leuchtdiode (LED), eine Laserdiode (LD) oder dergleichen auf.
Außerdem weist die Anregungseinheit 10 eine Mehrzahl von Kollimatorlinsen 11, eine Mehrzahl von Laserlinienfiltern 12, eine Mehrzahl von dichroitischen Spiegeln 13a, 13b und 13c, einen Homogenisator 14, einen Kondensorlinse 15 und einen Einfallsschlitz 16 so auf, dass sie jeder der Anregungslichtquellen L1 bis L4 entsprechen.
Das von der Anregungslichtquelle L1 emittierte Laserlicht und das von der Anregungslichtquelle L3 emittierte Laserlicht werden durch die Kollimatorlinse 11 kollimiert, zum Beschneiden eines Randes jeder Wellenlängenbandes durch das Laserlichtfilter 12 durchgelassen und durch den dichroitischen Spiegel 13a koaxial gemacht. Die beiden koaxialen Laserlichter werden ferner durch den Homogenisator 14, beispielsweise eine Fliegenaugenlinse, und die Kondensorlinse 15 strahlgeformt, sodass sie die Linienbeleuchtung Ex1 sind.
Ähnlich werden das von der Anregungslichtquelle L2 emittierte Laserlicht und das von der Anregungslichtquelle L4 emittierte Laserlicht durch die dichroitischen Spiegel 13b und 13c koaxial gemacht, und Linienbeleuchtung wird so durchgeführt, dass die Linienbeleuchtung Ex2 sich in der Achse von der Linienbeleuchtung Ex1 unterscheidet. Die Linienbeleuchtungen Ex1 und Ex2 bilden Linienbeleuchtungen mit unterschiedlichen Achsen, das heißt ein Primärbild, das im Einfallsschlitz 16, der eine Mehrzahl von Schlitzabschnitten aufweist, durch die jede der Linienbeleuchtungen Ex1 und Ex2 durchtreten kann, durch einen Abstand Δy getrennt ist.
Es sei angemerkt, dass in der vorliegenden Ausführungsform ein Beispiel, in dem vier Laser zwei koaxiale Achsen und zwei unterschiedliche Achsen aufweisen, beschrieben wird, aber zusätzlich dazu die zwei Laser zwei unterschiedliche Achsen aufweisen können oder die vier Laser vier unterschiedliche Achsen aufweisen können.
Die Probe S auf dem Objekttisch 20 wird mittels des optischen Beobachtungssystems 40 mit dem Primärbild bestrahlt. Das optische Beobachtungssystem 40 weist eine Kondensorlinse 41, dichroitische Spiegel 42 und 43, eine Objektivlinse 44, ein Bandpassfilter 45 und eine Kondensorlinse 46 auf. Die Kondensorlinse 46 ist ein Beispiel einer Bildgebungslinse. Die Linienbeleuchtungen Ex1 und Ex2 werden durch die Kondensorlinse 41 gepaart mit der Objektivlinse 44 kollimiert, durch die dichroitischen Spiegel 42 und 43 reflektiert, durch die Objektivlinse 44 durchgelassen und bestrahlen die Probe S auf dem Objekttisch 20.
Hierbei ist 24 ein Diagramm, das ein Beispiel der Probe S gemäß der vorliegenden Ausführungsform darstellt. 24 zeigt einen Zustand, in dem die Probe S von den Bestrahlungsrichtungen der Linienbeleuchtungen Ex1 und Ex2 als Anregungslicht betrachtet wird. Die Probe S ist typischerweise durch einen Objektträger ausgebildet, der ein Beobachtungsziel Sa aufweist, beispielsweise eine Gewebesektion, wie in 24 dargestellt, aber natürlich auch etwas anderes sein kann. Das Beobachtungsziel Sa ist zum Beispiel eine biologische Probe wie etwa eine Nukleinsäure, eine Zelle, ein Protein, eine Bakterie oder ein Virus. Die Probe S, das heißt das Beobachtungsziel Sa, wird mit einer Mehrzahl von fluoreszierenden Farbstoffen gefärbt. Die Beobachtungseinheit 1 vergrößert und beobachtet die Probe Sa mit einer gewünschten Vergrößerung.
25 ist ein vergrößertes Diagramm, das eine Region A darstellt, in der die Probe S gemäß der vorliegenden Ausführungsform mit den Linienbeleuchtungen Ex1 und Ex2 bestrahlt wird. Im Beispiel von 25 sind zwei Linienbeleuchtungen Ex1 und Ex2 in der Region A angeordnet und Bildgebungsbereiche R1 und R2 der Spektralbildgebungseinheit 30 sind so angeordnet, dass sie die Linienbeleuchtungen Ex1 und Ex2 überlappen. Die beiden Linienbeleuchtungen Ex1 und Ex2 sind jeweils parallel zu einer Z-Achsrichtung und in einem vorgegebenen Abstand Δy in einer Y-Achsrichtung voneinander angeordnet.
Die Linienbeleuchtungen Ex1 und Ex2 sind auf der Oberfläche der Probe S gebildet, wie in 25 dargestellt. Wie in 23 dargestellt, wird die in der Probe S durch die Linienbeleuchtungen Ex1 und Ex2 angeregte Fluoreszenz durch die Objektivlinse 44 gebündelt, durch den dichroitischen Spiegel 43 reflektiert, durch den dichroitischen Spiegel 42 und das Bandpassfilter 45, das das Anregungslicht abschneidet, durchgelassen, durch die Kondensorlinse 46 erneut gebündelt und fällt auf die Spektralbildgebungsvorrichtung 30 ein.
Wie in 23 dargestellt, weist die Spektralbildgebungseinheit 30 einen Beobachtungsschlitz 31, ein Bildgebungselement 32, ein erstes Prisma 33, einen Spiegel 34, ein Beugungsgitter 35 und ein zweites Prisma 36 auf. Der Beobachtungsschlitz 31 ist eine Öffnung. Das Beugungsgitter 35 ist zum Beispiel ein Wellenlängendispersionselement.
Im Beispiel von 23 weist das Bildgebungselement 32 zwei Bildgebungselemente 32a und 32b auf. Das Bildgebungselement 32 empfängt eine Mehrzahl von durch das Beugungsgitter 35 wellenlängendispergierten Lichtstrahlen, zum Beispiel Fluoreszenz und dergleichen. Als das Bildgebungselement 32 wird zum Beispiel ein zweidimensionales Bildgerät wie etwa ein ladungsgekoppeltes Bauelement (CCD) oder ein komplementärer Metall-Oxid-Halbleiter (CMOS) eingesetzt.
Der Beobachtungsschlitz 31 ist am Bündelungspunkt der Kondensorlinse 46 angeordnet und weist die gleiche Anzahl von Schlitzabschnitten wie die Anzahl von Anregungslinien, das heißt zwei Schlitzabschnitte in diesem Beispiel, auf. Die Fluoreszenzspektren, die von den beiden Anregungslinien stammen, die durch den Beobachtungsschlitz 31 durchtraten, werden durch das erste Prisma 33 getrennt und durch eine Beugungsfläche des Beugungsgitters 35 über den Spiegel 34 reflektiert, sodass die Fluoreszenzspektren ferner in Fluoreszenzspektren jeweiliger Anregungswellenlängen getrennt werden. Die vier getrennten Fluoreszenzspektren fallen über den Spiegel 34 und das zweite Prisma 36 auf die Bildgebungselemente 32a und 32b ein und werden als spektroskopische Daten zu spektroskopischen Daten (x, λ) entwickelt, die durch die Position x in der Linienrichtung und die Wellenlänge A ausgedrückt werden. Bei den spektroskopischen Daten (x, A) handelt es sich um einen Pixelwert eines Pixels in einer Position x in einer Zeilenrichtung und in einer Position einer Wellenlänge λ in einer Spaltenrichtung unter Pixeln, die im Bildgebungselement 32 enthalten sind. Es sei angemerkt, dass die spektroskopische Daten (x, λ) einfach als spektroskopische Daten beschrieben werden können.
Es sei angemerkt, dass die Pixelgröße [nm/Pixel] der Bildgebungselemente 32a und 32b nicht speziell beschränkt ist und beispielsweise auf gleich oder größer als 2 [nm/Pixel] und gleich oder kleiner als 20 [nm/Pixel] eingestellt werden kann. Dieser Dispersionswert kann optisch oder durch einen Abstand des Beugungsgitters 35 erreicht werden, oder er kann durch Verwenden von Hardware-Binning der Bildgebungselemente 32a und 32b erreicht werden. Außerdem sind der dichroitische Spiegel 42 und das Bandpassfilter 45 in der Mitte des optischen Pfades eingefügt, sodass das Anregungslicht, das heißt die Linienbeleuchtungen Ex1 und Ex2 das Bildgebungselement 32, nicht erreicht.
Keine der Linienbeleuchtungen Ex1 and Ex2 ist auf den Fall beschränkt, mit einer einzigen Wellenlänge konfiguriert zu sein, sondern jede kann mit einer Mehrzahl von Wellenlängen konfiguriert sein. Wenn die Linienbeleuchtungen Ex1 und Ex2 jeweils durch eine Mehrzahl von Wellenlängen ausgebildet sind, weist die durch dieselben angeregte Fluoreszenz ebenfalls eine Mehrzahl von Spektren auf. In diesem Fall weist die Spektralbildgebungseinheit 30 ein Wellenlängendispersionselement zum Trennen der Fluoreszenz in ein Spektrum auf, das von der Anregungswellenlänge abgeleitet ist. Das Wellenlängendispersionselement weist ein Beugungsgitter, ein Prisma oder dergleichen auf und ist typischerweise auf einem optischen Pfad zwischen dem Beobachtungschlitz 31 und dem Bildgebungselement 32 angeordnet.
Es sei angemerkt, dass der Objekttisch 20 und der Abtastmechanismus 50 einen X-Y-Objekttisch bilden und die Probe S in der X-Achsrichtung und der Y-Achsrichtung bewegen, um ein Fluoreszenzbild der Probe S zu erfassen. Bei der Whole-Slide-Bildgebung (WSI) wird ein Vorgang des Abtastens der Probe S in der Y-Achsrichtung, anschließenden Bewegens der Probe S in der X-Achsrichtung und Weiterdurchführens des Abastens in der Y-Achsrichtung wiederholt. Durch Verwenden des Abtastmechanismus 50 ist es möglich, kontinuierlich Farbstoffspektren, die bei unterschiedlichen Anregungswellenlängen angeregt werden, das heißt Fluoreszenzspektren, zu erfassen, die durch den Abstand Δy auf der Probe S, das heißt dem Beobachtungsziel Sa, in der Y-Achsrichtung räumlich getrennt sind.
Der Abtastmechanismus 50 wechselt die mit dem Bestrahlungslicht bestrahlte Position in der Probe S mit der Zeit. Zum Beispiel tastet der Abtastmechanismus 50 den Objekttisch 20 in der Y-Achsrichtung ab. Der Abtastmechanismus 50 kann den Objekttisch 20 zum Abtasten der Mehrzahl von Linienbeleuchtungen Ex1 und Ex2 in der Y-Achsrichtung, das heißt in der Anordnungsrichtung der Linienbeleuchtungen Ex1 und Ex2, veranlassen. Dies ist nicht auf dieses Beispiel beschränkt, sondern die Mehrzahl von Linienbeleuchtungen Ex1 und Ex2 kann in der Y-Achsrichtung durch einen Galvanospiegel abgetastet werden, der in der Mitte des optischen Systems angeordnet ist. Da die von jeder der Linienbeleuchtungen Ex1 und Ex2 stammenden Daten, zum Beispiel die zweidimensionalen Daten oder dreidimensionalen Daten, Daten sind, deren Koordinaten in Bezug auf die Y-Achse um den Abstand Δy verschoben sind, werden die Daten auf der Basis des vorab gespeicherten Abstands Δy oder des Wertes des aus der Ausgabe des Bildgebungselements 32 berechneten Abstands Δy korrigiert und ausgegeben.
Wie in 23 dargestellt, weist die Nicht-Fluoreszenz-Beobachtungseinheit 70 eine Lichtquelle 71, den dichroitischen Spiegel 43, die Objektivlinse 44, eine Kondensorlinse 72, ein Bildgebungselement 73 und dergleichen auf. Bei der Nicht-Fluoreszenz-Beobachtungseinheit 70 ist ein Beobachtungssystem durch Dunkelfeldbeleuchtung im Beispiel von 23 dargestellt.
Die Lichtquelle 71 ist auf der Seite angeordnet, die der Objektivlinse 44 in Bezug auf den Objekttisch 20 zugewandt ist, und bestrahlt die Probe S auf dem Objekttisch 20 mit Beleuchtungslicht von der Seite, die den Linienbeleuchtungen Ex1 und Ex2 gegenüberliegt. Im Falle der Dunkelfeldbeleuchtung beleuchtet die Lichtquelle 71 von außerhalb der (numerische Apertur) der Objektivlinse 44, und durch die Probe S gebeugtes Licht (Dunkelfeldbild) wird durch das Bildgebungselement 73 über die Objektivlinse 44, den dichroitischen Spiegel 43 und die Kondensorlinse 72 abgebildet. Durch Verwenden der Dunkelfeldbeleuchtung kann sogar eine scheinbar transparente Probe, wie beispielsweise ein fluoreszenzgefärbte Probe, mit Kontrast beobachtet werden.
Es sei angemerkt, dass dieses Dunkelfeldbild gleichzeitig mit Fluoreszenz beobachtet und für Echtzeitfokussierung verwendet werden kann. In diesem Fall kann als die Beleuchtungswellenlänge eine Wellenlänge ausgewählt werden, die die Fluoreszenzbeobachtung nicht beeinflusst. Die Nicht-Fluoreszenz-Beobachtungseinheit 70 ist nicht auf das Beobachtungsystem beschränkt, das ein Dunkelfeldbild erfasst, sondern kann auch durch ein Beobachtungssystem ausgebildet sein, das ein Nicht-Fluoreszenz-Bild wie etwa ein Hellfeldbild, ein Phasendifferenzbild, ein Phasenbild und ein Inline-Hologrammbild erfassen kann. Zum Beispiel können als Verfahren zur Erfassung eines Nicht-Fluoreszenz-Bildes verschiedene Beobachtungsverfahren wie etwa ein Schlieren-Verfahren, ein Phasendifferenzkontrastverfahren, ein Polarisationsbeobachtungsverfahren und ein Epi-Beleuchtungsverfahren eingesetzt werden. Die Position der Beleuchtungslichtquelle ist nicht auf unter dem Objekttisch 20 beschränkt, sondern kann auch über dem Objekttisch 20 oder um die Objektivlinse 44 sein. Außerdem kann nicht nur ein Verfahren zum Durchführen von Fokussteuerung in Echtzeit, sondern auch ein anderes Verfahren, wie beispielsweise ein Prefocus-Map-Verfahren zum Vorab-Aufzeichnen von Fokuskoordinaten (Z-Koordinaten), eingesetzt werden.
Es sei angemerkt, dass in der vorstehenden Beschreibung die Linienbeleuchtung als das Anregungslicht zwei Linienbeleuchtungen Ex1 und Ex2 aufweist, aber nicht darauf beschränkt ist, sondern drei, vier oder fünf oder mehr aufweisen kann. Außerdem kann jede Linienbeleuchtung eine Mehrzahl von Anregungswellenlängen aufweisen, die so ausgewählt werden, dass die Farbtrennungsperformance möglichst nicht verschlechtert wird. Selbst wenn es nur eine Linienbeleuchtung gibt, wenn es sich dabei um eine Anregungslichtquelle handelt, die eine Mehrzahl von Anregungswellenlängen aufweist und jede Wellenlänge in Verbindung mit den vom Bildgebungselement 32 erfassten Daten aufgezeichnet wird, ist es ferner möglich, ein polychromatisches Spektrum zu erhalten, obwohl es nicht möglich ist, Trennbarkeit parallel zu verschiedenen Achsen zu erreichen.
Es wurde das Anwendungsbeispiel beschrieben, in dem die Technologie gemäß der vorliegenden Offenbarung auf die Fluoreszenzbeobachtungsvorrichtung 500 angewendet wird. Es sei angemerkt, dass es sich bei der vorstehend beschriebenen Konfiguration, die unter Bezugnahme auf 22 und 23 beschrieben wurde, lediglich um ein Beispiel handelt und die Konfiguration der Fluoreszenzbeobachtungsvorrichtung 500 gemäß der vorliegenden Ausführungsform nicht auf solch ein Beispiel beschränkt ist. Zum Beispiel muss die Fluoreszenzbeobachtungsvorrichtung 500 nicht unbedingt alle der in 22 und 23 dargestellten Konfigurationen aufweisen, sondern kann auch Konfigurationen aufweisen, die in 22 und 23 nicht dargestellt sind.
<1-12. Funktionsweise und Wirkung>
Wie bereits erwähnt, werden gemäß der vorliegenden Ausführungsform die Trennungseinheit (zum Beispiel die Fluoreszenztrennungseinheit 131A), die mindestens eine von der gefärbten Fluoreszenzkomponente und der Autofluoreszenzkomponente (zum Beispiel dem gefärbten Fluoreszenzspektrum und dem Autofluoreszenzspektrum) von einer aus dem fluoreszenzgefärbten Spezimenbild erhaltenen Fluoreszenzkomponente (zum Beispiel einem Fluoreszenzspektrum) trennt, die Erzeugungseinheit 131B, die eine Trennungsgenauigkeit (zum Beispiel den Normwert) für jedes Pixel aus der Differenz zwischen dem Spezimenbild und einem Bild nach der Trennung berechnet, das durch Trennen mindestens einer von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, und ein Trennungsgenauigkeitsbild (zum Beispiel das Normbild) erzeugt, das die Trennungsgenauigkeit für jedes Pixel angibt, und die Bewertungseinheit 131C bereitgestellt, die ein Pixel (zum Beispiel ein Ausreißerpixel), das einen Ausreißer der Trennungsgenauigkeit aufweist, aus dem Trennungsgenauigkeitsbild identifiziert. Demnach wird das Trennungsgenauigkeitsbild erzeugt und Ausreißerpixel werden auf der Basis des Trennungsgenauigkeitsbildes identifiziert. Daher kann Nachverarbeitung unter Verwendung von Pixeln durchgeführt werden, die Ausreißer aufweisen. Zum Beispiel kann ein Pixel, das einen Ausreißer aufweist, vom getrennten Bild ausgeschlossen werden, ein Pixel, das einen Ausreißer aufweist, kann von der Verwendung in der Nachverarbeitung ausgeschlossen werden oder eine Region, die ein Pixel mit einem Ausreißer aufweist, kann an den Benutzer gemeldet werden. Auf diese Weise können die Genauigkeit des getrennten Bildes und die Trennungsgenauigkeit durch Erhalten des den Ausreißer aufweisenden Pixels verbessert werden.
Außerdem kann die Korrektureinheit 131D bereitgestellt werden, die Verarbeitung auf der Basis des den Ausreißer aufweisenden Pixels durchführt. Dies ermöglicht die Ausführung von Bildverarbeitung basierend auf Pixeln, die Ausreißer aufweisen. Zum Beispiel können Pixel, die Ausreißer aufweisen, vom getrennten Bild ausgeschlossen werden.
Außerdem kann die Korrektureinheit 131D die Maskenverarbeitung des getrennten Bildes, das die gefärbte Fluoreszenzkomponente oder die Autofluoreszenzkomponente aufweist, auf der Basis des Pixels durchführen, das den Ausreißer aufweist. Demnach kann das maskenverarbeitete getrennte Bild erhalten werden.
Außerdem kann die Korrektureinheit 131D das Maskenbild erzeugen, indem sie den Wert eines Pixels, das sich in der gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, auf null setzt und die Werte der anderen Pixel auf eins setzt. Auf diese Weise ist es leicht möglich, das getrennte Bild zu erhalten, in dem das Pixel maskiert ist, das sich in der gleichen Position wie das den Ausreißer aufweisende Pixel befindet.
Außerdem kann die Korrektureinheit 131D das Maskenbild erzeugen, indem sie den Wert eines Pixels in einer vorgegebenen Region, die das Pixel aufweist, das sich in der gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, auf null setzt und die Werte der anderen Pixel auf eins setzt. Auf diese Weise ist es leicht möglich, das getrennte Bild zu erhalten, in dem die vorgegebene Region maskiert ist, die das Pixel aufweist, das sich in der gleichen Position wie das den Ausreißer aufweisende Pixel befindet.
Ferner kann die Korrektureinheit 131D das Pixel, das sich in der gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, in der nachfolgenden Verarbeitung ausschließen. Zum Beispiel kann die Korrektureinheit 131D das Pixel, das sich in der gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, im Bild zum Erhalten eines Signaltrennungswerts ausschließen, der die Signaltrennungsperformance angibt. Wenn der Signaltrennungswert erhalten wird, ist es auf diese Weise möglich, Verarbeitung ohne Verwenden des Pixels durchzuführen, das dem Pixel entspricht, das den Ausreißer aufweist, sodass es möglich ist, die Signaltrennungsgenauigkeit des Signaltrennungswerts oder dergleichen zu erhöhen. Es sei angemerkt, dass es als die nachfolgende Verarbeitung zum Beispiel eine Verarbeitung zum Bestimmen einer positiven Schwelle und dergleichen zusätzlich zur Verarbeitung zur Erfassung des Signaltrennungswerts gibt.
Ferner kann die Korrektureinheit 131D den Wert des Pixels, das sich in der gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, im Bild zum Erhalten des Signaltrennungswerts, der die Signaltrennungsperformance angibt, auf null umändern. Wenn der Signaltrennungswert erhalten wird, ist es auf diese Weise möglich, Verarbeitung ohne Verwenden des Pixels durchzuführen, das dem Pixel entspricht, das den Ausreißer aufweist, sodass es möglich ist, die Signaltrennungsgenauigkeit des Signaltrennungswerts oder dergleichen zu erhöhen.
Außerdem kann die Korrektureinheit 131D eine Zellregion, die das Pixel aufweist, das sich in der gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, im Bild zum Erhalten des Signaltrennungswerts ausschließen, der die Signaltrennungsperformance angibt. Wenn der Signaltrennungswert erhalten wird, ist es auf diese Weise möglich, Verarbeitung ohne Verwenden der Zellregion durchzuführen, die das Pixel aufweist, das dem Pixel entspricht, das den Ausreißer aufweist, sodass es möglich ist, die Signaltrennungsgenauigkeit des Signaltrennungswerts oder dergleichen zu erhöhen.
Außerdem kann die Korrektureinheit 131D ferner die Darstellungseinheit 131E aufweisen, die ein Identifizierungsergebnis durch die Bewertungseinheit 131C für den Benutzer darstellt. Dadurch es ist möglich, das Identifizierungsergebnis für den Benutzer darzustellen, sodass der Benutzer das Identifizierungsergebnis erfassen kann.
Außerdem kann die Darstellungseinheit 131E das Trennungsgenauigkeitsbild darstellen, das das Pixel aufweist, das den Ausreißer aufweist. Auf diese Weise kann der Benutzer das Trennungsgenauigkeitsbild erfassen, das das Pixel aufweist, das den Ausreißer aufweist.
Außerdem kann die Darstellungseinheit 131E eine Region darstellen, die ein Pixel aufweist, das einen Ausreißer aufweist. Auf diese Weise kann der Benutzer die Region erfassen, die das Pixel aufweist, das den Ausreißer aufweist.
Außerdem kann die Erzeugungseinheit 131B einen Differenzwert zwischen dem Spezimenbild und dem Bild nach der Trennung als die Trennungsgenauigkeit für jedes Pixel berechnen. Auf diese Weise kann die Trennungsgenauigkeit für jedes Pixel leicht erhalten werden.
Außerdem kann der Differenzwert |A - SC| sein, falls die Matrix von Pixelwerten des Spezimenbildes A ist, die Fluoreszenzkomponente (zum Beispiel das Fluoreszenzspektrum) nach der Trennung S ist und die Matrix von Pixelwerten des Bildes nach der Trennung C ist. Demnach kann die Trennungsgenauigkeit für jedes Pixel genau erhalten werden.
Außerdem kann der Differenzwert |A - SD^tA^-1| sein, falls die Matrix von Pixelwerten des Spezimenbildes A ist, die Fluoreszenzkomponente (zum Beispiel das Fluoreszenzspektrum) nach der Trennung S ist, die Matrix von Pixelwerten des Bildes nach der Trennung D ist und die pseudoinverse Matrix der transponierten Matrix ^tA ^tA^-1 ist. Demnach kann die Trennungsgenauigkeit für jedes Pixel genau erhalten werden.
Außerdem kann die Erzeugungseinheit 131B die Trennungsgenauigkeit für jedes Pixel des Trennungsgenauigkeitsbildes normalisieren. Da das Trennungsgenauigkeitsbild standardisiert werden kann, können daher die Trennungsgenauigkeitsbilder zwischen verschiedenen Proben verglichen werden.
Außerdem kann die Erzeugungseinheit 131B die Trennungsgenauigkeit für jedes Pixel des Trennungsgenauigkeitsbildes durch den Pixelwert für jedes Pixel des Spezimenbildes vor der Trennung teilen. Auf diese Weise kann die Trennungsgenauigkeit für jedes Pixel leicht standardisiert werden.
Außerdem kann die Fluoreszenztrennungseinheit 131A, die ein Beispiel für eine Trennungseinheit ist, mindestens eine von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente durch die Farbtrennungsberechnung, die mindestens eine von der Methode der kleinsten Quadrate, der Methode der gewichteten kleinsten Quadrate oder der nicht-negative Matrixfaktorisierung aufweist, von der Fluoreszenzkomponente trennen. Auf diese Weise kann die Trennungsgenauigkeit verbessert werden.
Außerdem kann die Fluoreszenztrennungseinheit 131A mindestens eine von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente unter Verwendung des Spektrums des Pixels, dessen Trennungsgenauigkeit den Ausreißer überschreitet, erneut von der Fluoreszenzkomponente trennen. Auf diese Weise kann die Trennungsgenauigkeit weiter verbessert werden.
<2. Beispiel einer quantitativen Bewertung>
<2-1. Überblick über eine quantitative Bewertung>
Es wird nun kurz ein Überblick über eine quantitative Bewertung, das heißt eine Berechnung des Signaltrennungswerts gemäß der vorliegenden Ausführungsform beschrieben.
Herkömmlicherweise gab es kein Verfahren zur Durchführung einer quantitativen Bewertung an einem tatsächlich gefärbten Bild, um einen Farbtrennungsalgorithmus wie oben beschrieben, zum Beispiel die Farbtrennungsgenauigkeit oder dergleichen, quantitativ zu bewerten. Die Gründe dafür umfassen: „1. in einem Bild, das durch tatsächliches Färben und Aufnehmen eines Bildes einer biologischen Probe erhalten wird, ist es nicht möglich, zu bestimmen, wo der Farbstoff gefärbt wurde, und es nicht möglich, zu bestimmen, ob der Farbstoff und die Autofluoreszenz erfolgreich getrennt wurden (die korrekte Antwort ist unbekannt)“, „2. ein System, das in der FCM (Durchflusszytometrie) verwendet wird und unter Verwendung des Spektrums eines Farbstoffs und von Wellenlängenauflösungscharakteristiken eines Detektionssystems ein Panel mit guter Farbstofftrennbarkeit erzeugt, kann nicht verwendet werden in einem Fall, in dem sich die Farbstoffe überlappen oder ein Einfluss der Autofluoreszenz groß ist“, „3. in dem System, in dem ein Panel aus einer Antigenexpressionsrate, einer Antikörper-Farbstoffmarkierungsrate, einer Farbstoffluminanz und einer Anregungseffizienz bestimmt wird, variieren die Autofluoreszenzcharakteristiken in Abhängigkeit von der Gewebestelle und können demnach nicht für eine räumliche komplexe Bewertung verwendet werden“, und „4. in den beiden vorstehenden Systemen sind die spektrale Form der Messautofluoreszenz, ein zu verleihender Pegel und ein Rauschpegel des Messsystems unbekannt und können zum Zeitpunkt des Paneldesigns nicht berücksichtigt werden“.
Daher ist es effektiv, ein simuliertes Bild zu verwenden, um eine quantitative Bewertung, wie beispielsweise einen Farbtrennungsalgorithmus, durchzuführen. Zum Beispiel wird in der vorliegenden Ausführungsform ein Farbstoffkachelbild (Fluoreszenzbild) erzeugt, indem ein Farbstoffspektrum, dem eine Rauschcharakteristik verliehen wird, die einem Bildgebungsparameter entspricht, in Kachelform auf ein durch Bildaufnahme erfasstes nicht gefärbtes Bild gelegt wird, und das Farbstoffkachelbild und das nicht gefärbte Bild werden kombiniert, um ein Bild (simuliertes Bild) zu erzeugen, das eine tatsächliche Messung simuliert. Demnach können auch Färbungsbedingungen oder dergleichen, bei welchen der Farbstoffluminanzpegel in Bezug auf die Autofluoreszenz nicht hoch ist, reproduziert werden und ein Farbstoff und ein Pixel mit Autofluoreszenz können unterschieden werden. Folglich kann die Genauigkeit der Farbtrennung quantitativ als ein Signaltrennungswert aus dem Durchschnitt und der Varianz von Pixeln erhalten werden. Diese quantitative Bewertung wird im Folgenden ausführlich beschrieben. Es sei angemerkt, dass bei der Verarbeitung zum Erhalten des Signaltrennungswerts auf der Basis des Trennungenauigkeitsbildes, beispielsweise des Normbildes, das heißt von Ausreißerpixeln, ein Pixel in der gleichen Position wie ein Ausreißerpixel von einem Bild, beispielsweise einem nicht gefärbten Bild oder einem Farbstoffkachelbild, ausgeschlossen wird und der Signaltrennungswert erhalten wird.
<2-2. Konfigurationsbeispiel einer Analyseeinheit in Bezug auf quantitative Bewertung>
Unter Bezugnahme auf 26 und 27 wird ein Konfigurationsbeispiel einer Analyseeinheit 133 gemäß der quantitativen Bewertung gemäß der vorliegenden Ausführungsform beschrieben. 26 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Analyseeinheit 133 gemäß der vorliegenden Ausführungsform darstellt. 27 ist ein Diagramm zum Beschreiben eines Beispiels eines simulierten Bildes gemäß der vorliegenden Ausführungsform.
Wie in 26 dargestellt, weist die Analyseeinheit 133 eine Einheit zur Erzeugung simulierter Bilder 131a, eine Fluoreszenztrennungseinheit 131b und eine Bewertungseinheit 131c auf. Die Fluoreszenztrennungseinheit 131b entspricht der Farbtrennungseinheit 1321.
Wie in 27 dargestellt, erzeugt die Einheit zur Erzeugung simulierter Bilder 131a ein simuliertes Bild, indem sie ein nicht gefärbtes Bild (Hintergrundbild), das eine Autofluoreszenzkomponente enthält, und ein Farbstoffkachelbild (Fluoreszenzbild) überlagert. Das Farbstoffkachelbild ist eine Farbstoffkachelgruppe mit einer Mehrzahl von Farbstoffkacheln. Dieses Farbstoffkachelbild ist zum Beispiel ein Bild, in dem ein Standardspektrum (Referenzspektrum) eines fluoreszierenden Farbstoffs (erster fluoreszierender Farbstoff) und Bildgebungsrauschen für jedes Pixel eines nicht gefärbten Bildes miteinander assoziiert sind.
Zum Beispiel wird die Intensität des Farbstoffs, die der Autofluoreszenzintensität des nicht gefärbten Bildes verliehen werden soll, aus einer Antigenexpressionsrate, einer Antikörpermarkierungsrate, einer Farbstoffanregungseffizienz, einer Farbstoffleuchteffizienz und dergleichen bestimmt. Die Autofluoreszenzkomponente ist endogenes Rauschen, das in der Gewebeprobe entsteht. Beispiele für das endogene Rauschen weisen zusätzlich zu der Autofluoreszenzkomponente des nicht gefärbten Bildes ein Standardspektrum eines anderen fluoreszierenden Farbstoffs (zweiter fluoreszierender Farbstoff) des nicht gefärbten Bildes auf. Ferner ist das Bildgebungsrauschen zum Beispiel ein Rauschen, das sich gemäß den Bildgebungsbedingungen des nicht gefärbten Bildes ändert, und dergleichen. Der Grad des Bildgebungsrauschens wird für jedes Pixels quantifiziert oder visualisiert. Die Bildgebungsbedingungen des nicht gefärbten Bildes weisen zum Beispiel Laserleistung, Verstärkung, Belichtungszeit und dergleichen auf.
Beispiele für das Bildgebungsrauschen (Messsystemrauschen) umfassen: „1. unnötiges Signalrauschen aufgrund von Autofluoreszenz“, „2. Zufallsrauschen (zum Beispiel Ausleserauschen, Dunkelstromrauschen und dergleichen), das durch Sensorschaltungen wie etwa CMOS verursacht wird“, und „3. Schrotrauschen (zufällig), das gemäß der Quadratwurzel der Menge detektierter Ladungsmenge zunimmt“. Zum Simulieren des Bildgebungsrauschens ist das Rauschen, das damit assoziiert ist, das heißt dem Farbstoffkachelbild als Standardspektrum verliehen wird, in erster Linie das Schrotrauschen des vorstehenden Beispiels 3. Der Grund dafür ist, dass die vorstehenden Beispiele 1 und 2 im nicht gefärbten Bild (Autofluoreszenzbild) des Hintergrunds enthalten sind. Durch Überlagern der Kachel und des Hintergrunds ist es möglich, alle vorstehenden Beispiele 1 bis 3 von Bildgebungsrauschen, das simuliert werden soll, auszudrücken. Die im vorstehenden Beispiel 3 zu verleihende Schrotrauschmenge kann aus der Anzahl von Photonen oder der Ladungsmenge eines der Kachel zu verleihenden Farbstoffsignals bestimmt werden. Zum Beispiel wird in der vorliegenden Ausführungsform die Ladungsmenge des nicht gefärbten Bildes des Hintergrunds berechnet, die Ladungsmenge des Farbstoffs wird aus dem Wert bestimmt und ferner wird die Schrotrauschmenge bestimmt. Es sei angemerkt, dass das Schrotrauschen auch Photonenrauschen genannt wird und durch physikalische Fluktuation der Menge von Photonen verursacht wird, die den Sensor erreichen, ohne einen konstanten Wert anzunehmen. Dieses Schrotrauschen wird nicht beseitigt, egal wie sehr die Schaltung des Messsystems verbessert wird.
Hier weist die Farbstoffkachel im Beispiel von 27 10 × 10 Pixel auf, wobei es sich um Pixel für die Anzeige handelt (etwa 0,3 µm/Pixel). Dies ist ein Fall, in dem das nicht gefärbte Bild mit einer 20-fachen Bildaufnahmevergrößerung aufgenommen wird und, wenn die Vergrößerung geändert wird, muss die Größe der Farbstoffkachel gemäß der Zellgröße geändert werden. Die Größe einer Farbstoffkachel entspricht der Größe der Zelle und die Anzahl von Pixeln des Farbstoffkachelbildes entspricht der Anzahl von Pixeln der Zellgröße. Die kleinste Pixeleinheit ist gleich der Zellgröße. Das Farbstoffkachelbild weist ein Standardspektrum für jede einer Mehrzahl von Arten von Farbstoffkacheln mit unterschiedlichen Farbstoffen, das heißt einer Mehrzahl von fluoreszierenden Farbstoffen, auf. Es sei angemerkt, dass es auch möglich ist, die Farbtrennungsperformance unter einer Doppelfärbungsbedingung oder einer Dreifachfärbungsbedingung zu bewerten, indem eine Mehrzahl von Farbstoffen in einer Farbstoffkachel anstelle eines Farbstoffs in einer Farbstoffkachel gemischten wird.
Im Beispiel von 27 werden 9 Farben von Farbstoffen, das heißt Farbstoffkacheln, verwendet. Das Farbanordnungsmuster der Farbstoffkacheln aus neun Farben ist ein Muster, bei dem die Farbstoffkacheln derselben Farbe in einer schrägen Streifenform angeordnet sind, ohne darauf beschränkt zu sein. Zum Beispiel kann das Farbanordnungsmuster jeder Farbkachel ein Muster sein, bei dem die Farbstoffkacheln derselben Farbe in einer vertikalen Streifenform, einer horizontalen Streifenform, einem schachbrettartigen Muster oder dergleichen angeordnet sind, und es kann ein vorgegebenes Farbanordnungsmuster sein, das definiert, welche Farbstoffkachel sich in welcher Position befindet.
Konkret erfasst die Einheit zur Erzeugung simulierter Bilder 131a ein nicht gefärbtes Bild, beispielsweise ein nicht gefärbtes Gewebebild, und einen Bildgebungsparameter als Eingabeparameter. Der Bildgebungsparameter ist ein Beispiel für Bildgebungsbedingungen und weist zum Beispiel Laserleistung, Verstärkung, Belichtungszeit und dergleichen auf. Die Einheit zur Erzeugung simulierter Bilder 131a erzeugt eine Farbstoffkachel durch Hinzufügen einer dem Bildgebungsparameter entsprechenden Rauschcharakteristik zum Farbstoffspektrum, ordnet die Farbstoffkacheln entsprechend der Anzahl der vom Benutzer für die Färbung gewünschten Farbstoffe wiederholt an und erzeugt einen Datensatz des Farbstoffkachelbildes.
Die Fluoreszenztrennungseinheit 131b trennt eine Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des von der Einheit zur Erzeugung simulierter Bilder 131b erzeugten simulierten Bildes und erzeugt ein getrenntes Bild. Die Fluoreszenztrennungseinheit 131b führt die Farbtrennungsberechnung an einem Datensatz des simulierten Bildes durch, um ein getrenntes Bild zu erzeugen. Es sei angemerkt, dass die Fluoreszenztrennungseinheit 131b die Farbtrennungseinheit 1321 ist und dieselbe Verarbeitung wie die Farbtrennungseinheit 1321 durchführt. Das Farbtrennungsverfahren weist zum Beispiel LSM, NMF und dergleichen auf.
Die Bewertungseinheit 131c bewertet den Grad der Trennung des gentrennten Bildes, das von der Fluoreszenztrennungseinheit 131b erzeugt wurde. Die Bewertungseinheit 131c bestimmt den Grad der Trennung des getrennten Bildes (Qualität des Panels) aus dem Durchschnitt und der Varianz der Ergebnisse der Farbtrennungsberechnung. Zum Beispiel erzeugt die Bewertungseinheit 131c ein Histogramm aus dem getrennten Bild, berechnet einen Signaltrennungswert zwischen einem Farbstoff und einem anderen Signal als dem des Farbstoffs aus dem Histogramm und bewertet den Trennungsgrad auf der Basis des Signaltrennungswerts. Als ein Beispiel stellt die Bewertungseinheit 131c positive und negative Pixel getrennt in Farbe durch ein Histogramm dar und erzeugt einen Graphen, der einen Signaltrennungswert angibt, der ein numerischer Wert eines Berechnungsergebnisses der Farbtrennungsgenauigkeit ist.
Die Anzeigeeinheit 140 zeigt ein Bewertungsergebnis der Bewertungseinheit 131c, zum Beispiel Informationen oder ein Bild, das einen Signaltrennungswert für jeden Farbstoff angibt, an. Zum Beispiel zeigt die Anzeigeeinheit 140 einen Graphen, ein Diagramm oder dergleichen an, um den Signaltrennungswert für jeden Farbstoff anzugeben, der von der Bewertungseinheit 131c erzeugt wird. Demnach kann der Benutzer das Bewertungsergebnis der Bewertungseinheit 131c erfassen.
<2-3. Beispiel einer Verarbeitung zur Erzeugung eines simulierten Bildes>
Unter Bezugnahme auf 28 und 29 wird ein Beispiel der Verarbeitung zur Erzeugung eines simulierten Bildes gemäß der vorliegenden Ausführungsform beschrieben. 28 ist ein Flussdiagramm, das ein Beispiel eines Flusses des Prozesses zur Erzeugung eines simulierten Bildes gemäß der vorliegenden Ausführungsform darstellt. 29 ist ein Diagramm zum Beschreiben des Schrotrauschüberlagerungsprozesses gemäß der vorliegenden Ausführungsform.
Wie in 28 dargestellt, wählt der Benutzer in Schritt S11 eine Kombination eines zu färbenden Antikörpers und eines Farbstoffs aus. In Schritt S12 bestimmt die Einheit zur Erzeugung simulierter Bilder 131a die zu verleihende spektrale Intensität eines Farbstoffs aus der Autofluoreszenzintensität des zu überlagernden nicht gefärbten Bildes. In Schritt S13 erzeugt die Einheit zur Erzeugung simulierter Bilder 131a ein Fluoreszenzbild, das heißt ein Farbstoffkachelbild, indem sie Farbstoffkacheln wiederholt anordnet und dabei Rauschen unter Berücksichtigung eines Rauschpegels zum Zeitpunkt der Bildaufnahme und der Messung, das heißt Bildgebungsrauschen, für jedes Pixel vermittelt. Die Einheit zur Erzeugung simulierter Bilder 131a überlagert das nicht gefärbte Bild mit dem erzeugten Fluoreszenzbild. Somit ist das simulierte Bild fertiggestellt.
Konkret wird im vorstehenden Schritt S12 die der Autofluoreszenzintensität des nicht gefärbten Bildes zu verleihende spektrale Intensität des Farbstoffs als das Hintergrundbild bestimmt. Zum Beispiel wird die der Autofluoreszenzintensität des nicht gefärbten Bildes zu verleihende Luminanz des Farbstoffspektrums durch die folgenden Flüsse (a) bis (c) bestimmt.
(a) Berechnung der Spitzenpositionsintensität des Farbstoffs
Die Einheit zur Erzeugung simulierter Bilder 131a erfasst die Intensität, die einer Spitzenposition von 16 nm jedes Farbstoffspektrums entspricht, und integriert die Werte. Ein Abschnitt, der 16 nm entspricht, entspricht zwei Kanälen vom Maximalwert.
(b) Spitzenpositionsintensität der Autofluoreszenz
Die Einheit zur Erzeugung simulierter Bilder 131a erfasst die Autofluoreszenzintensität des Hintergrundbildes. Zum Beispiel integriert die Einheit zur Erzeugung simulierter Bilder 131a die spektrale Intensität des Hintergrundbildes, die zwei Kanälen einer Spitzenposition jedes Farbstoffs entspricht. Zu diesem Zeitpunkt ist die spektrale Intensität des Wellenlängenkanals des Hintergrundbildes ein Mittelwert aller Pixel.
(c) Bestimmung der Farbstoffintensität, die der Autofluoreszenzintensität verliehen werden soll
Die Einheit zur Erzeugung simulierter Bilder 131a bestimmt die Farbstoffintensität, die der Autofluoreszenzintensität des Hintergrundbildes verliehen werden soll, aus einer Antigenexpressionsrate, einer Antikörpermarkierungsrate, einer Farbstoffanregungseffizienz, einer Farbstoffleuchteffizienz und dergleichen. Die Einheit zur Erzeugung simulierter Bilder 131a erhält die Vergrößerung des Farbstoffspektrums aus der in den vorstehenden Flüssen (a) und (b) erhaltenen spektralen Intensität und passt sie an, um die eingestellte Farbstoffintensität zu erhalten. Es sei angemerkt, dass die Vergrößerung aus dem folgenden Ausdruck (1) erhalten wird. Ausdruck (1) ist ein Ausdruck, der mit einem Verfahren zum Erhalten von Farbstoffintensität in Bezug auf Autofluoreszenz in Beziehung steht.
$\begin{array}{l} \frac{Peak position spectral intensity of dye \times magnification}{\begin{array}{l} Autofluorescence spectral intensity of \\ background image of corresponding position \end{array}} \\ = set dye intensity \end{array}$
Ferner wird im vorstehenden Schritt S13 Rauschüberlagerung entsprechend dem Bildgebungsparameter durchgeführt. Zum Beispiel weisen Rauschcharakteristiken eines CMOS als Aufzeichnungsvorrichtung Dunkelstrom- und Ausleserauschen, die im Verhältnis zur Belichtungszeit zunehmen, und Schrotrauschen auf, das proportional zur Quadratwurzel der Signalintensität ist. Da in diesem Bewertungssystem die Dunkelstromrausch- und die Ausleserauschkomponente bereits im tatsächlich gemessenen nicht gefärbten Bild enthalten sind, kann dem Farbstoffspektrum nur die Schrotrauschkomponente zur Überlagerung verliehen werden. Die Schrotrauschüberlagerung wird in den folgenden Flüssen (a) bis (d) durchgeführt.

(a) Die Einheit zur Erzeugung simulierter Bilder 131a teilt das Farbstoffspektrum durch die Wellenlängenkalibrierungsdaten und gibt es auf den AD-Wert zurück. Bei den Wellenlängenkalibrierungsdaten handelt es sich zum Beispiel um einen Umwandlungskoeffizienten vom Kameraausgabewert in die spektrale Strahldichte.
(b) Die Einheit zur Erzeugung simulierter Bilder 131a wandelt den AD-Wert in eine Ladungsmenge e- aus der Verstärkung und der Pixelsättigungsladungsmenge zum Zeitpunkt der Aufnahme des Hintergrundbildes um.

\begin{array}{l} Gain Gain - 10 (dB value / 20) \\ Conversion coefficinet H \\ - saturation charge amount \times \frac{\frac{Binning}{Gain}}{\begin{matrix} AD conversion pixel \\ maximum value \end{matrix}} \\ Charge E (λ) = \frac{F (λ)}{Cor (λ)} \times H \end{array}

Ausdruck (2) ist eine Ladungsmengenumwandlungsgleichung. E(λ): Standardspektrum des Farbstoffs, Cor (λ): Wellenlängenkalibrierungsdaten, H: Umwandlungskoeffizient, und E (λ): Ladungsmenge.
(c) Die Einheit zur Erzeugung simulierter Bilder 131a überlagert Zufallsrauschen von σ = S^1/2 (S: Ladungsmenge e^- pro Pixel) als Schrotrauschen.
$\begin{matrix} newE (λ) = E (λ) + \sqrt{E (λ)} \times Nrand \\ = E (λ) + \sqrt{S} \end{matrix}$
Ausdruck (3) ist eine Schrotrauschüberlagerungsgleichung. newE(λ): Standardspektrum des Farbstoffs, dem Schrotrauschen überlagert wird, Nrand: normale Zufallszahl mit σ = 1, und S: Ladungsmenge pro Pixel e-.
(d) Nach der Überlagerung des Schrotrauschens im vorstehenden Fluss (c) führt die Einheit zur Erzeugung simulierter Bilder 131a das Farbstoffspektrum im umgekehrten Fluss von (a) bis (b) zur spektralen Strahldichte zurück.
29 stellt die vorstehenden beschriebenen Flüsse (a) bis (d) dar. Da das durch die vorstehenden Flüsse (a) bis (d) erzeugte Farbstoffspektrum einem Pixel des Bildes entspricht, werden die Farbstoffspektren wiederholt als Farbstoffkacheln von 10 × 10 Pixel angeordnet und ein Fluoreszenzbild, das heißt ein Farbstoffkachelbild, wird erzeugt.
<2-4. Beispiel einer Verarbeitung zur quantitativen Bewertung>
Unter Bezugnahme auf 30 bis 32 wird ein Beispiel der Verarbeitung zur quantitativen Bewertung gemäß der vorliegenden Ausführungsform beschrieben. 30 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines quantitativen Bewertungsprozesses gemäß der vorliegenden Ausführungsform darstellt. 31 ist ein Diagramm, das ein Beispiel eines getrennten Bildes und eines Histogramms gemäß der vorliegenden Ausführungsform darstellt. 32 ist ein Diagramm zum Beschreiben einer Berechnung eines Signaltrennungswerts basierend auf dem Histogramm gemäß der vorliegenden Ausführungsform.
Wie in 30 dargestellt, empfängt die Fluoreszenztrennungseinheit 131b in Schritt S21 das simulierte Bild. In Schritt S22 führt die Fluoreszenztrennungseinheit 131b die Farbtrennungsberechnung am simulierten Bild durch. In Schritt S23 erzeugt die Bewertungseinheit 131c ein Histogramm aus dem getrennten Bild. In Schritt S24 berechnet die Bewertungseinheit 131c einen Signaltrennungswert.
Konkret führt die Fluoreszenztrennungseinheit 131b im vorstehenden Schritt S22 Farbtrennung unter Verwendung eines zu bewertenden Farbtrennungsalgorithmus, beispielsweise LSM, NMF oder dergleichen, mit dem Satz von verwendeten Farbstoffspektren und dem Satz von Autofluoreszenzspektren als Eingabewerten durch.
Im vorstehenden Schritt S23 erzeugt die Bewertungseinheit 131c nach der Farbtrennungsberechnung ein Histogramm aus dem getrennten Bild für jeden Farbstoff, wie in 31 dargestellt.
Außerdem berücksichtigt die Bewertungseinheit 131c im vorstehenden Schritt S24 10 × 10 Pixel, die einer Zelle entsprechen, und die Mittelwertluminanz einer Kachel als ein Signal und berechnet den Signaltrennungswert aus dem Mittelwert µ und der Standardabweichung σ der Luminanz aller Kacheln, wie in 32 dargestellt. Wenn zum Beispiel der Signaltrennungswert den Detektionsgrenzwert von 3,29 σ = 1,645 überschreitet, ist die Farbtrennungsperformance, zum Beispiel die Farbtrennungsgenauigkeit, ausreichend.
$Signal separation value = \frac{μ_{1} - μ_{0}}{σ_{1} + σ_{2}}$
Ausdruck (4) ist ein Ausdruck zur Berechnung des Signaltrennungswerts. µ_0: Mittelwert von Kacheln eines anderen als dem zu bewertenden Farbstoff, µ_1: Mittelwert von Kacheln des zu bewertenden Farbstoffs, σ_1: Standardabweichung von Kacheln des zu bewertenden Farbstoffs und o_2: Standardabweichung von Kacheln eines anderen als dem zu bewertenden Farbstoff (siehe 32).
<2-5. Bildbeispiel eines getrennten Bildes>
Unter Bezugnahme auf 33 bis 35 wird ein Bildbeispiel des getrennten Bildes gemäß der vorliegenden Ausführungsform beschrieben. 33 bis 35 sind Diagramme, die ein Beispiel eines getrennten Bildes gemäß der vorliegenden Ausführungsform darstellen.
33 ist ein gutes Beispiel des getrennten Bildes, 34 ist ein schlechtes Beispiel 1 des getrennten Bildes und 35 ist ein schlechtes Beispiel 2 des getrennten Bildes. Sowohl im schlechten Beispiel 1 als auch im schlechten Beispiel 2 tritt Autofluoreszenzverlust auf. Diese Bilder werden durch die Anzeigeeinheit 140 nach Bedarf angezeigt. Das Vorhandensein oder Nichtvorhandensein der Anzeige kann durch einen Eingabevorgang des Benutzers auf der Bedieneinheit 160 auswählbar sein.
Wie in 33 dargestellt, liegt im getrennten Bild kein Autofluoreszenzverlust vor. In dem Beispiel von 33 ist eine teilweise vergrößerte Ansicht dargestellt, aber selbst in dieser teilweise vergrößerten Ansicht liegt kein Autofluoreszenzverlust vor. Wie andererseits in 34 dargestellt, liegt im getrennten Bild Autofluoreszenzverlust vor. In dem Beispiel von 34 ist eine teilweise vergrößerte Ansicht eines Abschnitts mit Autofluoreszenzverlust dargestellt, es liegt jedoch ein starker Autofluoreszenzverlust vor. Wie in 35 dargestellt, tritt ähnlich 34 Autofluoreszenzverlust im getrennten Bild auf. In dem Beispiel von 35 ist ähnlich 34 eine teilweise vergrößerte Ansicht eines Abschnitts dargestellt, in dem Autofluoreszenzverlust auftritt, es liegt jedoch ein starker Autofluoreszenzverlust vor.
<2-6. Bildbeispiel eines Bildes eines Bewertungsergebnisses>
Unter Bezugnahme auf 36 und 37 wird ein Bildbeispiel eines Bildes eines Bewertungsergebnisses gemäß der vorliegenden Ausführungsform beschrieben. 36 ist ein Säulendiagramm, das einen Signaltrennungswert für jeden Farbstoff gemäß der vorliegenden Ausführungsform darstellt. 37 ist ein Streudiagramm, das einen Signaltrennungswerts für jeden Farbstoff gemäß der vorliegenden Ausführungsform darstellt.
Wie in 36 dargestellt, wird ein Säulendiagramm, das den Signaltrennungswert für jeden Farbstoff angibt, auf der Anzeigeeinheit 140 angezeigt. Wie in 37 dargestellt, wird außerdem ein Streudiagramm, das den Signaltrennungswert für jeden Farbstoff angibt, auf der Anzeigeeinheit 140 angezeigt. Dieses Streudiagramm ist ein Streudiagramm, das einen Verlust zwischen Farbstoffen bei enger Anregung darstellt. Diese Säulenmarkierungen und Dispersionsdiagramme werden von der Bewertungseinheit 131c erzeugt und an die Anzeigeeinheit 140 ausgegeben. Das Säulendiagramm und das Dispersionsdiagramm sind Bilder, die die Bewertungsergebnisse der Bewertungseinheit 131c angeben und dienen lediglich als Beispiele. Das Vorhandensein oder Nichtvorhandensein der Anzeige und des Anzeigemodus, zum Beispiel eines Anzeigemodus wie ein Säulendiagramm oder ein verteiltes Diagramm, kann durch einen Eingabevorgang eines Benutzers auf der Bedieneinheit 160 auswählbar sein.
Wie bereits erwähnt, werden mit dem Informationsverarbeitungssystem gemäß der vorliegenden Erfindung während des Konzipierens einer Überlagerung des Farbstoffspektrums für jedes Pixel mit Rauschcharakteristiken, die Bildgebungsparametern wie etwa Verstärkung und Belichtungszeit entsprechen, Farbstoffkacheln mit der Anzahl von Pixeln entsprechend der Größe der Zelle für die Anzahl von zu färbenden Farbstoffen wiederholt angeordnet und dem nicht gefärbten Bild überlagert, um dadurch ein gefärbtes Bild, das die tatsächliche Messung simuliert, das heißt ein simuliertes Bild, zu erzeugen. Dies ermöglicht es, die Spektralform der gemessenen Autofluoreszenz und die Charakteristiken des Rauschpegels so widerzuspiegeln, dass ein simuliertes Bild unter beliebigen Bildaufnahmebedingungen erzeugt werden kann.
Ferner kann durch das Erzeugen eines simulierten Bildes, in dem Farbstoffkacheln wiederholt angeordnet sind, ein Pixel, dem ein Farbstoff überlagert ist, und andere Pixel, die Autofluoreszenz aufweisen, unterschieden werden, sodass die Genauigkeit einer Farbtrennung als Signaltrennungswert aus dem Durchschnitt und der Standardabweichung jedes Pixels quantitativ berechnet werden kann. Da außerdem die dem Autofluoreszenzspektrum des nicht gefärbten Bildes zu verleihende Farbstoffintensität aus der Antigenexpressionsrate, der Antikörpermarkierungsrate, der Farbstoffanregungseffizienz, der Farbstoffleuchteffizienz und dergleichen festgelegt werden kann, kann die Farbtrennungsgenauigkeit selbst unter beliebigen Färbungsbedingungen bewertet werden.
Das heißt, die Einheit zur Erzeugung simulierter Bilder 131a erzeugt ein Farbstoffkachelbild, indem einem durch Bildaufnahme erfassten nicht gefärbten Bild ein Farbstoffspektrum, dem eine Rauschcharakteristik verliehen wird, die dem Bildgebungsparameter entspricht, in Kachelform überlagert wird, und kombiniert das Farbstoffkachelbild und das nicht gefärbte Bild und erzeugt ein Bild, das eine tatsächliche Messung simuliert, das heißt ein simuliertes Bild. Demnach können auch Färbungsbedingungen oder dergleichen, bei welchen der Farbstoffluminanzpegel in Bezug auf die Autofluoreszenz nicht hoch ist, reproduziert werden und ein Farbstoff und ein Pixel mit Autofluoreszenz können unterschieden werden. Folglich kann die Genauigkeit der Farbtrennung quantitativ als ein Signaltrennungswert aus dem Durchschnitt und der Varianz von Pixeln erhalten werden.
Zum Beispiel kann die Genauigkeit des Farbtrennungsalgorithmus als numerischer Wert, der als Signaltrennungswert bezeichnet und aus der Varianz und dem Durchschnitt erhalten wird, quantitativ erhalten werden. Ferner kann auch die Bewertung einer Kombination von Farbstoffen oder eine Kombination eines Farbstoffs und eines Reagenzes quantitativ als ein numerischer Wert erhalten werden. Außerdem kann die quantitative Bewertung selbst an Gewebestellen mit unterschiedlichen Autofluoreszenzspektren, das heißt unterschiedlichen Geweben, durchgeführt werden und es kann auch eine zusammengesetzte Bewertung durchgeführt werden.
Üblicherweise ist die Genauigkeit des Farbtrennungsalgorithmus eine qualitative Bewertung durch visuelle Beobachtung, aber gemäß der vorliegenden Ausführungsform kann eine quantitative Bewertung durchgeführt werden, um einen optimalen Farbtrennungsalgorithmus auszuwählen. Obwohl außerdem ein Problem in den vorstehenden Ausdrücken 1 bis 4 beschrieben wird, kann die Genauigkeit der Farbtrennung selbst unter beliebigen Färbungsbedingungen quantitativ bewertet werden. Da ferner eine zusammengesetzte Bewertung möglich ist, kann ein optimaleres Paneldesign erstellt werden. Außerdem kann die Bewertung selbst in einem Fall durchgeführt werden, in dem Überlappung von Farbstoffen oder ein Einfluss von Autofluoreszenz groß ist. Obwohl außerdem Charakteristiken von Autofluoreszenz in Abhängigkeit von der Gewebestelle variieren, kann auch eine räumliche zusammengesetzte Bewertung durchgeführt werde. Das Paneldesign kann unter Berücksichtigung des Rauschpegels des Messsystems simuliert werden.
Wenn zum Beispiel das zu überlagernde nicht gefärbte Bild nur DAPI-(4',6-Diamidino-2-phenylindol, Dihydrochlorid-)Färbung ist, wird Simulation mit dem vom Benutzer ausgewählten Farbstoff + DAPI möglich. Ferner kann Bewertung des Farbtrennungsalgorithmus und des Paneldesigns unter Berücksichtigung eines Verlusts von DAPI und dergleichen durchgeführt werden.
<2-7. Funktionsweise und Wirkung>
Wie bereits erwähnt, werden gemäß einem Beispiel der quantitativen Bewertung der ersten Ausführungsform die Einheit zur Erzeugung simulierter Bilder 131a, die ein simuliertes Bild durch Überlagern eines nicht gefärbten Bildes, das eine Autofluoreszenzkomponente enthält, und eines Farbstoffkachelbildes erzeugt, in dem ein Standardspektrum (Referenzspektrum) eines ersten fluoreszierenden Farbstoffs und Bildgebungsrauschen für jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind, die Fluoreszenztrennungseinheit 131b, die die Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente auf der Basis des simulierten Bildes trennt und ein getrenntes Bild erzeugt, und die Bewertungseinheit 131c bereitgestellt, die einen Trennungsgrad des getrennten Bildes bewertet. Demnach wird ein simuliertes Bild erzeugt, der Farbtrennungsprozess an dem simulierten Bild durchgeführt, um ein getrenntes Bild zu erzeugen, und der Trennungsgrad des getrennten Bildes bewertet. Durch Verwenden des simulierten Bildes auf diese Weise kann die Farbtrennungsgenauigkeit quantitativ bewertet werden, sodass der Fluoreszenztrennungsrad entsprechend bewertet werden kann.
Ferner kann das Farbstoffkachelbild das Standardspektrum des zweiten fluoreszierenden Farbstoffs zusätzlich zum ersten fluoreszierenden Farbstoff aufweisen und ein Bild sein, in dem das Standardspektrum jedes von dem ersten fluoreszierenden Farbstoff und dem zweiten fluoreszierenden Farbstoff und das Bildgebungsrauschen jedes Pixels des nicht gefärbten Bildes miteinander assoziiert sind. Demnach können simulierte Bilder erzeugt werden, die einer Mehrzahl von fluoreszierenden Farbstoffen entsprechen.
Außerdem kann das Bildgebungsrauschen Rauschen sein, das sich gemäß den Bildgebungsbedingungen des nicht gefärbten Bildes ändert. Demnach ist es möglich, das simulierte Bild zu erzeugen, das den Bildgebungsbedingungen des nicht gefärbten Bildes entspricht.
Außerdem können die Bildgebungsbedingungen des nicht gefärbten Bildes mindestens eine oder alle von Laserleistung, Verstärkung oder Belichtungszeit umfassen. Demnach ist es möglich, ein simuliertes Bild zu erzeugen, das diesen Informationselementen entspricht.
Außerdem kann das Farbstoffkachelbild eine Farbstoffkachelgruppe mit einer Mehrzahl von Farbstoffkacheln sein. Demnach ist es möglich, ein simuliertes Bild zu erzeugen, das jeder Farbstoffkachel entspricht.
Außerdem können die individuellen Größen der Mehrzahl von Farbstoffkacheln auch gleich wie die Zellgröße sein. Demnach ist es möglich, ein simuliertes Bild zu erzeugen, das jeder Farbstoffkachel mit der gleichen Größe wie die Zellgröße entspricht.
Außerdem kann die Mehrzahl von Farbstoffkacheln in einem vorgegebenen Farbanordnungsmuster angeordnet sein. Demnach ist es möglich, den Farbtrennungsprozess am simulierten Bild entsprechend jeder Farbstoffkachel auf der Basis des vorgegeben Farbanordnungsmusters durchzuführen, sodass der Farbtrennungsprozess effizient ausgeführt werden kann.
Außerdem kann der Grad des Bildgebungsrauschens für jede Farbstoffkachel quantifiziert oder visualisiert werden. Wenn daher der Grad des Bildgebungsrauschens quantifiziert wird, kann ein simuliertes Bild erzeugt werden, dass dem quantifizierten Grad des Bildgebungsrauschens entspricht. Wenn ferner der Grad des Bildgebungsrauschens visualisiert wird, kann der Benutzer den Grad des Bildgebungsrauschens erfassen.
Außerdem kann die Einheit zur Erzeugung simulierter Bilder 131a die Farbstoffkacheln entsprechend der vom Benutzer festgelegten Anzahl der Farbstoffe zum Erzeugen des Farbstoffkachelbildes wiederholt anordnen. Demnach ist es möglich, das simulierte Bild zu erzeugen, das der Fachstoffkachel entspricht, die der vom Benutzer festgelegten Anzahl von Farbstoffen entspricht.
Außerdem kann die Einheit zur Erzeugung simulierter Bilder 131a eine Farbstoffkachel durch Mischen der Mehrzahl von Farbstoffen erzeugen. Demnach kann die Farbtrennungsperformance (zum Beispiel die Farbtrennungsgenauigkeit) unter Doppelfärbungsbedingungen, Dreifachfärbungsbedingungen oder dergleichen bewertet werden.
Außerdem kann die Einheit zur Erzeugung simulierter Bilder 131a die spektrale Intensität des Farbstoffs bestimmen, die der Autofluoreszenzintensität des nicht gefärbten Bildes verliehen werden soll. Demnach kann die Färbungsbedingung, unter der der Farbstoffluminanzpegel in Bezug auf die Autofluoreszenzintensität nicht groß ist, reproduziert werden und der Farbstoff und das Pixel mit Autofluoreszenz können voneinander unterschieden werden.
Außerdem kann die Einheit zur Erzeugung simulierter Bilder 131a Bildgebungsrauschen dem Standardspektrum des ersten fluoreszierenden Farbstoffs überlagern. Demnach kann das Farbstoffkachelbild durch Assoziieren des Standardspektrums und des Bildgebungsrauschens erzeugt werden.
Außerdem kann das zu überlagernde Bildgebungsrauschen Schrotrauschen sein. Demnach kann ein Farbstoffkachelbild erzeugt werden, das Schrotrauschen entspricht.
Außerdem kann die Fluoreszenztrennungseinheit 131b die Komponente des ersten fluoreszierenden Farbstoffs und die Autofluoreszenzkomponente durch die Farbtrennungsberechnung trennen, die mindestens eine von der Methode der kleinsten Quadrate, der Methode der gewichteten kleinsten Quadrate oder der nicht-negative Matrixfaktorisierung aufweist. Demnach kann der Farbtrennungsprozess mit hoher Genauigkeit durchgeführt werden.
Außerdem kann die Bewertungseinheit 131c ein Histogramm aus dem getrennten Bild erzeugen, einen Signaltrennungswert zwischen einem Farbstoff und einem anderen Signal als dem des Farbstoffs aus dem Histogramm berechnen und den Trennungsgrad auf der Basis des Signaltrennungswerts bewerten. Demnach kann der Trennungsgrad genau bewertet werden. Zum Beispiel kann in einem Fall, in dem der Signaltrennungswert einen vorgegebenen Wert (zum Beispiel 1,645) überschreitet, eine Bewertung erfolgen, dass der Trennungsgrad gut ist.
<3. Modifikation der quantitativen Bewertung>
<3-1. Konfigurationsbeispiel einer Analyseeinheit in Bezug auf quantitative Bewertung>
Unter Bezugnahme auf 38 wird ein Konfigurationsbeispiel der Analyseeinheit 133 in Bezug auf die quantitative Bewertung gemäß der vorliegenden Ausführungsform beschrieben. 38 ist ein Diagramm, das ein Beispiel einer schematischen Konfiguration der Analyseeinheit 133 gemäß der vorliegenden Ausführungsform darstellt.
Wie in 38 dargestellt, weist die Analyseeinheit 133 eine Empfehlungseinheit 131d zusätzlich zu der Einheit zur Erzeugung simulierter Bilder 131a, der Fluoreszenztrennungseinheit 131b und der Bewertungseinheit 131c auf, die oben beschrieben wurden.
Die Empfehlungseinheit 131d empfiehlt ein optimales Reagenz (fluoreszierendes Reagenz 10A) aus den Farbstoffen, die vom Benutzer aus dem von der Bewertungseinheit 131c bewerteten Trennungsgrad festgelegt werden. Zum Beispiel erzeugt die Empfehlungseinheit 131d ein Bild (zum Beispiel einen Tisch, ein Diagramm oder dergleichen), um dem Benutzer eine räumliche Informationsbewertung durch Gewebe mit unterschiedlichen Autofluoreszenzspektren oder eine optimale Farbstoffkombination für die Gewebe zu präsentieren, und die Anzeigeeinheit 140 zeigt das von der Empfehlungseinheit 131d erzeugte Bild an. Demnach kann der Benutzer das Anzeigebild visuell erkennen und die optimale Farbstoffkombination erfassen.
Zum Beispiel berechnet die Bewertungseinheit 131c einen Signaltrennungswert für eine Kombination von zum Färben verwendeten Farbstoffen oder eine Kombination eines Farbstoffs und eines Reagenzes. Die Empfehlungseinheit 131d erzeugt ein Bild, um dem Benutzer auf der Basis des Berechnungsergebnisses (zum Beispiel des Signaltrennungswerts für jede Kombination) zu zeigen, welche Kombination optimal ist. Zum Beispiel schließt die Empfehlungseinheit 131d einen Farbstoff aus, dessen Signaltrennungswert 1,645 nicht überschreitet, und erzeugt ein Bild, das eine optimale Kombination angibt. Es sei angemerkt, dass zusätzlich zum Erzeugen einer optimalen Kombination zum Beispiel ein Bild (zum Beispiel ein Tisch, ein Diagramm oder dergleichen), das eine Mehrzahl von empfohlenen Kombinationen zusammen mit Farbtrennungsperformance (zum Beispiel den Farbtrennungswert) angibt, erzeugt werden kann. Ferner kann ein Bild (zum Beispiel ein Tisch oder dergleichen), das Matrixinformationen darstellt, die eine Kombination eines Antikörpers und eines Farbstoffs angeben, als Referenz angezeigt werden.
<3-2. Funktionsweise und Wirkung>
Wie bereits erwähnt, ist es gemäß der Modifikation der quantitativen Bewertung möglich, ähnliche Wirkungen zu erzielen wie jene des vorstehend beschriebenen Beispiels der quantitativen Bewertung. Außerdem wird die Empfehlungseinheit 131d bereitgestellt, die ein optimales Reagenz (fluoreszierendes Reagenz 10A) empfiehlt, das dem vom Benutzer auf der Basis des Trennungsgrads festgelegten Farbstoff entspricht. Da der Benutzer somit das optimale Reagenz erfassen kann, kann der Komfort des Benutzer verbessert werden.
Außerdem kann die Empfehlungseinheit 131d ein Bild (zum Beispiel einen Tisch, ein Diagramm oder dergleichen) erzeugen, das eine Kombination von Farbstoffen oder eine Kombination eines Farbstoffs und eines Reagenzes angibt. Somit kann der Benutzer die Kombination von Farbstoffen oder die Kombination des Farbstoffs und des Reagenzes erfassen, sodass der Komfort des Benutzers verbessert werden kann.
Außerdem kann die Empfehlungseinheit 131d ein Bild (zum Beispiel Zeichnungen und dergleichen) erzeugen, das eine Kombination eines Antikörpers und eines Farbstoffs angibt. Somit kann der Benutzer die Kombination des Antikörpers und des Farbstoffs erfassen, sodass der Komfort des Benutzers verbessert werden kann.
<4. Andere Ausführungsformen>
Die Verarbeitung gemäß der vorstehend beschriebenen Ausführungsformen oder Modifikationen kann in mehreren verschiedenen Modi oder Modifikationen durchgeführt werden, die sich von der vorstehend beschriebenen Ausführungsform unterscheiden. Zum Beispiel können unter den Prozessen, die in den vorstehenden Ausführungsformen beschrieben sind, alle oder ein Teil der Prozesse, die als automatisch durchgeführt beschrieben sind, auch manuell durchgeführt werden oder alle oder ein Teil der Prozesse, die als manuell durchgeführt beschrieben sind, können durch ein allgemein bekanntes Verfahren automatisch durchgeführt werden. Ferner können die Verarbeitungsprozedur, der spezifische Name und Informationen, die verschiedene Daten und Parameter umfassen, die im Dokument und den Zeichnungen dargestellt sind, willkürlich geändert werden, sofern nicht anders festgelegt. Zum Beispiel sind die verschiedenen Arten von Informationen, die in jeder Figur dargestellt sind, nicht auf die dargestellten Informationen beschränkt.
Ferner ist jede Komponente jeder in den Zeichnungen dargestellten Vorrichtung funktional konzeptionell und physisch nicht unbedingt so ausgebildet, wie in den Zeichnungen dargestellt. Das heißt, eine spezifische Form der Verteilung und Integration jeder Vorrichtung ist nicht auf die dargestellte Form beschränkt, sondern die Gesamtheit oder ein Teil davon kann funktional oder physisch in jeder Einheit gemäß unterschiedlicher Lasten, Nutzungsbedingungen und dergleichen verteilt und darin integriert sein.
Außerdem können die vorstehend beschriebenen Ausführungsformen oder Modifikationen innerhalb eines Bereichs, der den Verarbeitungsinhalten nicht widerspricht, entsprechend kombiniert werden. Ferner sind die in der vorliegenden Beschreibung beschriebenen Wirkungen lediglich Beispiele und nicht beschränkt, sodass auch andere Wirkungen bereitgestellt werden können.
<5. Anwendungsbeispiel>
Die Technologie gemäß der vorliegenden Offenbarung kann zum Beispiel auf ein Mikroskopsystem und dergleichen angewendet werden. Unter Bezugnahme auf 39 und 41 wird hierin im Folgenden ein Konfigurationsbeispiel eines Mikroskopsystems 5000 beschrieben. Eine Mikroskopvorrichtung 5100, die ein Teil des Mikroskopsystems 5000 ist, fungiert als eine Bildgebungsvorrichtung.
39 zeigt eine beispielhafte Konfiguration eines Mikroskopsystems der vorliegenden Offenbarung. Ein Mikroskopsystem 5000, das in 39 dargestellt ist, weist eine Mikroskopvorrichtung 5100, eine Steuereinheit 5110 und eine Informationsverarbeitungseinheit 5120 auf. Die Mikroskopvorrichtung 5100 weist eine Lichtbestrahlungseinheit 5101, eine optische Einheit 5102 und eine Signalerfassungseinheit 5103 auf. Die Mikroskopvorrichtung 5100 weist ferner eine Probenplatzierungseinheit 5104 auf, auf der eine biologische Probe S platziert wird. Es sei angemerkt, dass die Konfiguration der Mikroskopvorrichtung nicht auf die beschränkt ist, die in 39 dargestellt ist. Zum Beispiel kann die Lichtbestrahlungseinheit 5101 außerhalb der Mikroskopvorrichtung 5100 vorhanden sein und eine Lichtquelle, die nicht in der Mikroskopvorrichtung 5100 enthalten ist, kann als die Lichtbestrahlungseinheit 5101 verwendet werden. Alternativ kann die Lichtbestrahlungseinheit 5101 so angeordnet sein, dass die Probenplatzierungseinheit 5104 sandwichartig zwischen der Lichtbestrahlungseinheit 5101 und der optischen Einheit 5102 eingefügt ist, und sie kann zum Beispiel auf der Seite angeordnet sein, auf der die optische Einheit 5102 vorhanden ist. Die Mikroskopvorrichtung 5100 kann so ausgelegt sein, dass sie in der Lage ist, eines oder mehreres von Folgendem durchzuführen: Hellfeldbeobachtung, Phasenkontrastbeobachtung, Differenzialinterferenzkontrastbeobachtung, Polarisationsbeobachtung, Fluoreszenzbeobachtung und Dunkelfeldbeobachtung.
Das Mikroskopsystem 5000 kann als ein sogenanntes Whole-Slide-Imaging-System (WSI-System) oder ein Bildgebungssystem für digitale Pathologie ausgelegt sein und zur pathologischen Diagnose verwendet werden. Alternativ kann das Mikroskopsystem 5000 als ein Fluoreszenzbildgebungssystem oder insbesondere als ein Multifluoreszenzbildgebungssystem ausgelegt sein.
Zum Beispiel kann das Mikroskopsystem 5000 verwendet werden, um eine intraoperative pathologische Diagnose oder eine telepathologische Diagnose zu stellen. Bei der intraoperativen pathologischen Diagnose kann die Mikroskopvorrichtung 5100 die Daten der dem Subjekt der Operation entnommenen biologischen Probe S erfassen, während die Operation durchgeführt wird, und dann die Daten an die Informationsverarbeitungseinheit 5120 senden. Bei der telepathologische Diagnose kann die Mikroskopvorrichtung 5100 die erfassten Daten der biologischen Probe S an die Informationsverarbeitungsvorrichtung 5120 senden, die sich an einem von der Mikroskopvorrichtung 5100 entfernten Ort (beispielsweise in einem anderen Raum oder Gebäude) befindet. Bei diesen Diagnosen empfängt die Informationsverarbeitungseinheit 5120 dann die Daten und gibt sie aus. Auf der Basis der ausgegebenen Daten kann der Benutzer der Informationsverarbeitungsvorrichtung 5120 eine pathologische Diagnose stellen.
(Biologische Probe)
Die biologische Probe S kann eine Probe sein, die eine biologische Komponente enthält. Die biologische Komponente kann ein Gewebe, eine Zelle, eine flüssige Komponente des lebenden Körpers (Blut, Harn oder dergleichen), eine Kultur oder eine lebende Zelle (eine Myokardzelle, eine Nervenzelle, ein befruchtetes Ei oder dergleichen) sein. Die biologische Probe kann ein Feststoff sein oder sie kann ein Spezimen, das mit einem Fixierungsreagenz wie etwa Paraffin fixiert wurde, oder ein durch Einfrieren gebildeter Feststoff sein. Die biologische Probe kann eine Sektion des Feststoffs sein. Ein spezifisches Beispiel für die biologische Probe kann eine Sektion einer Biopsieprobe sein.
Die biologische Probe kann eine sein, die einer Behandlung wie etwa Färbung oder Markierung unterzogen wurde. Die Behandlung kann Färbung zum Angeben der Morphologie der biologischen Komponente oder zum Angeben der in der biologischen Komponente enthaltenen Substanz (Oberflächenantigen oder dergleichen) sein und es kann sich dabei zum Beispiel um Hämatoxylin-Eosin-Färbung (HE-Färbung) oder immunhistochemische Färbung handeln. Die biologische Probe kann eine sein, die der vorstehenden Behandlung mit einem oder mehreren Reagenzien unterzogen wurde, und bei dem einen oder den mehreren Reagenzien kann es sich um einen fluoreszierenden Farbstoff, ein Färbereagenz, ein fluoreszierendes Protein oder einen fluoreszenzmarkierten Antikörper handeln.
Das Spezimen kann aus einer Gewebeprobe zur pathologischen Diagnose oder klinischen Untersuchung hergestellt sein. Alternativ ist das Spezimen nicht unbedingt vom menschlichen Körper, sondern kann auch von einem Tier, einer Pflanze oder einem anderen Material stammen. Das Spezimen kann sich je nach der Art des verwendeten Gewebes (beispielsweise Organ oder Zelle) in der Eigenschaft, der Art der untersuchten Krankheit, den Attributen des Subjekts (beispielsweise Alter, Geschlecht, Blutgruppe und Rasse) oder den täglichen Gewohnheiten des Subjekts (beispielweise Essgewohnheiten, Übungsgewohnheiten und Rauchgewohnheiten) unterscheiden. Das Spezimen kann mit Identifikationsinformationen (Strichcode, QR-Code (eingetragene Handelsmarke) oder dergleichen) zum Identifizieren jedes Spezimens versehen sein und gemäß den Identifikationsinformationen verwaltet werden.
(Lichtbestrahlungseinheit)
Die Lichtbestrahlungseinheit 5101 ist eine Lichtquelle zum Bestrahlen der biologischen Probe S, und sie ist eine optische Einheit, die das von der Lichtquelle emittierte Licht zu einem Spezimen leitet. Die Lichtquelle kann eine biologische Probe mit sichtbarem Licht, UV-Licht, Infrarotlicht oder einer Kombination davon bestrahlen. Die Lichtquelle kann eine oder der mehrere der folgenden sein: eine Halogenlichtquelle, eine Laserlichtquelle, eine LED-Lichtquelle, eine Quecksilberlichtquelle und eine Xenonlichtquelle. Die Lichtquelle bei Fluoreszenzbeobachtung kann von einer Mehrzahl von Arten und/oder Wellenlängen sein, und die Arten und die Wellenlängen können von einem Fachmann entsprechend ausgewählt werden. Die Lichtbestrahlungseinheit kann eine Konfiguration einer lichtdurchlässigen Art, einer reflektierenden Art oder einer Epi-Beleuchtungsart (einer koaxialen Epi-Beleuchtungsart oder einer Seitenbeleuchtungsart) aufweisen.
(Optische Einheit)
Die optische Einheit 5102 ist so ausgelegt, dass sie das Licht von der biologischen Probe S zur Signalerfassungseinheit 5103 leitet. Die optische Einheit kann so ausgelegt sein, dass sie die Mikroskopvorrichtung 5100 zum Beobachten oder Aufnehmen eines Bildes der biologischen Probe S befähigt. Die optische Einheit 5102 kann eine Objektivlinse aufweisen. Die Art der Objektivlinse kann von einem Fachmann gemäß dem Beobachtungsverfahren entsprechend ausgewählt werden. Die optische Einheit kann auch eine Relaislinse zum Weiterleiten eines durch die Objektivlinse vergrößerten Bildes zur Signalerfassungseinheit aufweisen. Die optische Einheit kann ferner andere optische Komponenten als die Objektivlinse und die Relaislinse aufweisen, und die optischen Komponenten können ein Okular, eine Phasenplatte, eine Kondensorlinse und dergleichen sein. Die optische Einheit 5102 kann ferner eine Wellenlängentrennungseinheit aufweisen, die zum Trennen von Licht mit einer vorgegebenen Wellenlänge von dem Licht von der biologischen Probe S ausgelegt ist. Die Wellenlängentrennungseinheit kann so ausgelegt sein, dass sie bewirkt, dass Licht mit einer vorgegebenen Wellenlänge oder einem vorgegebenen Wellenlängenbereich selektiv die Signalerfassungseinheit erreicht. Die Wellenlängentrennungseinheit kann zum Beispiel eines oder mehreres von Folgendem aufweisen: ein Filter, eine Polarisationsplatte, ein Prisma (Wollaston-Prisma) und eine Beugungsgitter, das Licht selektiv durchlässt. Die in der Wellenlängeneinheit enthaltene(n) optische(n) Komponente(n) können zum Beispiel im optischen Pfad von der Objektivlinse zur Signalerfassungseinheit angeordnet sein. Die Wellenlängentrennungseinheit wird in der Mikroskopvorrichtung in einem Fall, in dem Fluoreszenzbeobachtung durchgeführt wird, oder insbesondere, wenn eine Anregungslichtbestrahlungseinheit enthalten ist, bereitgestellt. Die Wellenlängentrennungseinheit kann zum Trennen von Fluoreszenz oder weißem Licht von Fluoreszenz ausgelegt sein.
(Signalerfassungseinheit)
Die Signalerfassungseinheit 5103 kann so ausgelegt sein, dass die Licht von der biologischen Probe S empfängt und das Licht in ein elektrisches Signal oder insbesondere in ein digitales elektrisches Signal umwandelt. Die Signalerfassungseinheit kann so ausgelegt sein, dass sie Daten über die biologische Probe S auf der Basis des elektrischen Signals erfassen kann. Die Signalerfassungseinheit kann so ausgelegt sein, dass sie Daten eines Bildes (eines aufgenommen Bildes oder insbesondere eines Standbildes, eines Zeitrafferbildes oder eines Bewegtbildes) der biologischen Probe S erfassen kann, oder sie kann insbesondere zum Erfassen von Daten eines durch die optische Einheit vergrößerten Bildes ausgelegt sein. Die Signalerfassungseinheit weist einen oder mehrere Bildsensoren, CMOS, CCD oder dergleichen auf, die eine Mehrzahl von Pixeln aufweisen, die in einer ein- oder zweidimensionalen Weise angeordnet sind. Die Signalerfassungseinheit kann einen Bildsensor zum Erfassen eines Bildes mit niedriger Auflösung und einen Bildsensor zum Erfassen eines Bildes mit hoher Auflösung aufweisen, oder sie kann einen Bildsensor zum Messen für AF oder dergleichen und einen Bildsensor zum Ausgeben eines Bildes zur Beobachtung oder dergleichen aufweisen. Der Bildsensor kann nicht nur die Mehrzahl von Pixeln, sondern auch eine Signalverarbeitungseinheit (die eines oder mehrere von Folgenden aufweist: eine CPU, einen DSP und einen Speicher), die Signalverarbeitung unter Verwendung von Pixelsignalen von den jeweiligen Pixeln durchführt, und eine Steuereinheit aufweisen, die das Ausgeben von Bilddaten, die aus den Pixelsignalen erzeugt werden, und verarbeiteten Daten steuert, die von der Signalverarbeitungseinheit erzeugt werden. Der Bildsensor, der die Mehrzahl von Pixeln, die Signalverarbeitungseinheit und die Ausgabesteuereinheit aufweist, kann vorzugsweise als eine Ein-Chip-Halbleitervorrichtung ausgelegt sein. Es sei angemerkt, dass das Mikroskopsystem 5000 ferner einen Ereignisdetektionssensor aufweisen kann. Der Ereignisdetektionssensor weist ein Pixel auf, das einfallendes Licht fotoelektrisch umwandelt, und er kann so ausgelegt sein, dass er detektiert, dass eine Änderung der Luminanz des Pixels eine vorgegebene Schwelle überschreitet, und die Änderung als ein Ereignis betrachtet. Der Ereignisdetektionssensor kann von einer asynchronen Art sein.
(Steuereinheit)
Die Steuereinheit 5110 steuert die Bildgebung, die von der Mikroskopvorrichtung 5100 durchgeführt wird. Zur Bildgebungssteuerung kann die Steuereinheit Bewegung der optischen Einheit 5102 und/oder der Probenplatzierungseinheit 5104 steuern, um die Lagebeziehung zwischen der optischen Einheit und der Probenplatzierungseinheit anzupassen. Die Steuereinheit 5110 kann die optische Einheit und/oder die Probenplatzierungseinheit in einer Richtung zueinander hin und voneinander weg bewegen (zum Beispiel in Richtung der optischen Achse der Objektivlinse). Die Steuereinheit kann die optische Einheit und/oder die Probenplatzierungseinheit außerdem in einer beliebigen Richtung in einer Ebene senkrecht zur Richtung der optischen Achse bewegen. Zur Bildgebungssteuerung kann die Steuereinheit die Lichtbestrahlungseinheit 5101 und/oder die Signalerfassungseinheit 5103 steuern.
(Probenplatzierungseinheit)
Die Probenplatzierungseinheit 5104 kann so ausgelegt sein, dass sie die Position einer biologischen Probe auf der Probenplatzierungseinheit sichern kann, und sie kann ein sogenannter Objekttisch sein. Die Probenplatzierungseinheit 5104 kann so ausgelegt sein, dass sie die Position der biologischen Probe in Richtung der optischen Achse der Objektivlinse und/oder einer Richtung senkrecht zur Richtung der optischen Achse bewegen kann.
(Informationsverarbeitungseinheit)
Die Informationsverarbeitungseinheit 5120 kann Daten (Bilddaten oder dergleichen), die von der Mikroskopvorrichtung 5100 erfasst werden, von der Mikroskopvorrichtung 5100 erfassen. Die Informationsverarbeitungseinheit kann Bildverarbeitung an den Bildgebungsdaten durchführen. Die Bildverarbeitung kann einen Entmischungsprozess oder, genauer gesagt, einen spektralen Entmischungsprozess aufweisen. Der Entmischungsprozess kann einen Prozess zur Extraktion von Daten der optischen Komponente einer vorgegebenen Wellenlänge oder in einem vorgegebenen Wellenlängenbereich aus den Bilddaten zum Erzeugen von Bilddaten oder einen Prozess zur Entfernung von Daten der optischen Komponente einer vorgegebenen Wellenlänge oder in einem vorgegebenen Wellenlängenbereich aus den Bildgebungsdaten aufweisen. Die Bildverarbeitung kann außerdem einen Autofluoreszenztrennungsprozess zur Trennung der Autofluoreszenzkomponente und der Farbstoffkomponente einer Gewebesektion und einen Fluoreszenztrennungsprozess zur Trennung von Wellenlängen zwischen Farbstoffen mit unterschiedlichen Fluoreszenzwellenlängen voneinander aufweisen. Der Autofluoreszenztrennungsprozess kann einen Prozess zur Entfernung der Autofluoreszenzkomponente aus Bildinformationen über ein anderes Spezimen unter Verwendung einer Autofluoreszenzsignals aufweisen, das aus einem Spezimen der Mehrzahl von Spezimina mit den gleichen oder ähnlichen Eigenschaften extrahiert wurde. Die Informationsverarbeitungseinheit 5120 kann Daten zur Bildgebungssteuerung an die Steuereinheit 5110 senden, und die Steuereinheit 5110, die die Daten empfangen hat, kann die Bildgebung, die durch die Mikroskopvorrichtung 5100 erfolgt, gemäß den Daten steuern.
Die Informationsverarbeitungseinheit 5120 kann als eine Informationsverarbeitungsvorrichtung, beispielsweise ein Universalcomputer, ausgelegt sein und eine CPU, einen RAM und einen ROM aufweisen. Die Informationsverarbeitungseinheit kann im Gehäuse der Mikroskopvorrichtung 5100 enthalten sein, oder sie kann sich außerhalb des Gehäuses befinden. Ferner können die verschiedenen Prozesse oder Funktionen, die von der Informationsverarbeitungsvorrichtung auszuführen sind, von einem Servercomputer oder einer Cloud realisiert werden, die über ein Netzwerk verbunden sind.
Das von der Mikroskopvorrichtung 5100 zu implementierende Verfahren zur Aufnahme eines Bildes der biologischen Probe S kann von einem Fachmann gemäß der Art der biologischen Probe, dem Zweck der Bildgebung und dergleichen entsprechend ausgewählt werden. Beispiele für das Bildgebungsverfahren sind nachstehend aufgeführt.
Ein Beispiel des Bildgebungsverfahrens ist wie folgt. Die Mikroskopvorrichtung kann zunächst eine Bildgebungszielregion identifizieren. Die Bildgebungszielregion kann so identifiziert werden, dass sie die gesamte Region abdeckt, in der die biologische Probe vorhanden ist, oder sie kann so identifiziert werden, dass sie den Zielabschnitt (den Abschnitt, in dem die Zielgewebesektion, die Zielzelle oder die Zielläsion vorhanden ist) der biologischen Probe abdeckt. Als Nächstes teilt die Mikroskopvorrichtung die Bildgebungszielregion in eine Mehrzahl von Teilregionen einer vorgegebenen Größe und die Mikroskopvorrichtung nimmt der Reihe nach Bilder der jeweiligen Teilregionen auf. Als Ergebnis wird ein Bild jeder Teilregion erfasst.
Wie in 40 dargestellt, identifiziert die Mikroskopvorrichtung eine Bildgebungszielregion R, die die gesamte biologische Probe S abdeckt. Die Mikroskopvorrichtung teilt dann die Bildgebungszielregion R in 16 Teilregionen. Die Mikroskopvorrichtung nimmt dann ein Bild einer Teilregion R1 auf und nimmt als Nächstes eine der in der Bildgebungszielregion R enthaltenen Regionen, beispielsweise ein Bild einer Region benachbart zu Teilregion R1, auf. Danach wird Teilregionsbildgebung durchgeführt, bis Bilder aller Teilregionen aufgenommen wurden. Es sei angemerkt, dass auch ein Bild einer anderen Region als der Bildgebungszielregion auf der Basis der erfassten Bildinformationen über die Teilregionen aufgenommen werden kann. Die Lagebeziehung zwischen der Mikroskopvorrichtung und der Probenplatzierungseinheit wird so angepasst, dass nach der Aufnahme einer Teilregion ein Bild der nächsten Teilregion aufgenommen wird. Die Anpassung kann durch Bewegen der Mikroskopvorrichtung, Bewegen der Probenplatzierungseinheit oder Bewegen beider durchgeführt werden. In diesem Beispiel kann die Bildgebungsvorrichtung, die ein Bild jeder Teilregion aufnimmt, ein zweidimensionaler Bildsensor (ein Flächensensor) oder ein eindimensionaler Bildsensor (ein Liniensensor) sein. Die Signalerfassungseinheit kann ein Bild jeder Teilregion über die optische Einheit erfassen. Ferner können Bilder der jeweiligen Teilregionen kontinuierlich aufgenommen werden, während die Mikroskopvorrichtung und/oder die Probenplatzierungseinheit bewegt werden, oder die Bewegung der Mikroskopvorrichtung und/oder der Probenplatzierungseinheit kann jedes Mal gestoppt werden, wenn ein Bild einer Teilregion aufgenommen wird. Die Bildgebungszielregion kann so geteilt werden, dass die jeweiligen Teilregionen einander teilweise überlappen, oder die Bildgebungszielregion kann so geteilt werden, dass die jeweiligen Teilregionen einander nicht überlappen. Eine Mehrzahl von Bildern jeder Teilregion kann aufgenommen werden, während die Bildgebungsbedingungen wie Brennweite und/oder Belichtungszeit geändert werden. Die Informationsverarbeitungsvorrichtung kann durch Zusammenfügen einer Mehrzahl von benachbarten Teilregionen außerdem Bilddaten einer breiteren Region erzeugen. Da der Zusammenfügungsprozess in der gesamten Bildgebungszielregion durchgeführt wird, kann ein Bild einer größeren Region in Bezug auf die Bildgebungszielregion erfasst werden. Außerdem können Bilddaten mit einer niedrigeren Auflösung aus den Bildern der Teilregionen oder den Bildern, die dem Zusammenfügungsprozess unterzogen werden, erzeugt werden.
Ein anderes Beispiel des Bildgebungsverfahrens ist wie folgt. Die Mikroskopvorrichtung kann zunächst eine Bildgebungszielregion identifizieren. Die Bildgebungszielregion kann so identifiziert werden, dass sie die gesamte Region abdeckt, in der die biologische Probe vorhanden ist, oder sie kann so identifiziert werden, dass sie den Zielabschnitt (den Abschnitt, in dem die Zielgewebesektion, die Zielzelle vorhanden ist) der biologischen Probe abdeckt. Als Nächstes tastet die Mikroskopvorrichtung eine Region (auch als „Abtast-Teilregion“ bezeichnet) der Bildgebungszielregion in einer Richtung (auch als „Abtastrichtung“ bezeichnet) in einer Ebene senkrecht zur optischen Achse ab und nimmt so ein Bild auf. Nach Abschluss der Abtastung der Abtast-Teilregion wird dann die Abtast-Teilregion abgetastet, die der Abtastregion am nächsten liegt. Diese Abtastvorgänge werden wiederholt, bis ein Bild der gesamten Bildgebungszielregion aufgenommen ist. Wie in 41 dargestellt, identifiziert die Mikroskopvorrichtung eine Region (graue Region), in der eine Gewebesektion der biologischen Probe S vorhanden ist, als eine Bildgebungszielregion Sa. Die Mikroskopvorrichtung tastet dann die Abtast-Teilregion Rs der Bildgebungszielregion Sa in der Y-Achsrichtung ab. Nach Abschluss der Abtastung der Abtast-Teilregion Rs tastet die Mikroskopvorrichtung dann die Abtast-Teilregion ab, die die nächste in der X-Achsrichtung ist. Dieser Abtastvorgang wird wiederholt, bis die Abtastung der gesamten Bildgebungszielregion Sa abgeschlossen ist. Für die Abtastung jeder Abtast-Teilregion wird die Lagebeziehung zwischen der Mikroskopvorrichtung und der Probenplatzierungseinheit so angepasst, dass nach der Aufnahme eines Bildes einer Abtast-Teilregion ein Bild der nächsten Abtast-Teilregion aufgenommen wird. Die Anpassung kann durch Bewegen der Mikroskopvorrichtung, Bewegen der Probenplatzierungseinheit oder Bewegen beider durchgeführt werden. In diesem Beispiel kann die Bildgebungsvorrichtung, die ein Bild jeder Abtast-Teilregion aufnimmt, ein eindimensionaler Bildsensor (ein Liniensensor) oder ein zweidimensionaler Bildsensor (ein Flächensensor) sein. Die Signalerfassungseinheit kann ein Bild jeder Teilregion über ein optisches Vergrößerungssystem erfassen. Außerdem können Bilder der jeweiligen Abtast-Teilregionen kontinuierlich aufgenommen werden, während die Mikroskopvorrichtung und/oder die Probenplatzierungsvorrichtung bewegt werden. Die Bildgebungszielregion kann so geteilt werden, dass die jeweiligen Abtast-Teilregionen einander teilweise überlappen, oder die Bildgebungszielregion kann so geteilt werden, dass die jeweiligen Abtast-Teilregionen einander nicht überlappen. Eine Mehrzahl von Bildern jeder Abtast-Teilregion kann aufgenommen werden, während die Bildgebungsbedingungen wie Brennweite und/oder Belichtungszeit geändert werden. Die Informationsverarbeitungsvorrichtung kann durch Zusammenfügen einer Mehrzahl von benachbarten Abtast-Teilregionen außerdem Bilddaten einer breiteren Region erzeugen. Da der Zusammenfügungsprozess in der gesamten Bildgebungszielregion durchgeführt wird, kann ein Bild einer größeren Region in Bezug auf die Bildgebungszielregion erfasst werden. Außerdem können Bilddaten mit einer niedrigeren Auflösung aus den Bildern der Abtast-Teilregionen erzeugt oder den Bilder, die dem Zusammenfügungsprozess unterzogen werden, erzeugt werden.
<6. Hardwarekonfigurationsbeispiel>
Unter Bezugnahme auf 42 wird ein Hardwarekonfigurationsbeispiel einer Informationsverarbeitungsvorrichtung 100 gemäß der vorliegenden Ausführungsform (oder jeglicher Modifikation) beschrieben. 42 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration von Hardware der Informationsverarbeitungsvorrichtung 100 darstellt. Verschiedene Prozesse durch die Informationsverarbeitungsvorrichtung 100 werden zum Beispiel durch die Zusammenwirkung von Software und Hardware implementiert, die im Folgenden beschrieben wird.
Wie in 42 dargestellt, weist die Informationsverarbeitungsvorrichtung 100 eine zentrale Verarbeitungseinheit (CPU) 901, einen Festwertspeicher (ROM) 902, einen Direktzugriffsspeicher (RAM) 903 und einen Host-Bus 904a auf. Außerdem weist die Informationsverarbeitungsvorrichtung 100 eine Brücke 904, einen externen Bus 904b, eine Schnittstelle 905, eine Eingabevorrichtung 906, eine Ausgabevorrichtung 907, eine Speichervorrichtung 908, ein Laufwerk 909, einen Anschlussport 911, eine Kommunikationsvorrichtung 913 und einen Sensor 915 auf. Die Informationsverarbeitungsvorrichtung 100 kann eine Verarbeitungsschaltung wie etwa einen DSP oder eine ASIC anstelle oder zusätzlich zur CPU 901 aufweisen.
Die CPU 901 fungiert als eine arithmetische Verarbeitungsvorrichtung und eine Steuervorrichtung und steuert den allgemeinen Betrieb in der Informationsverarbeitungsvorrichtung 100 gemäß verschiedenen Programmen. Außerdem kann die CPU 901 ein Mikroprozessor sein. Der ROM 902 speichert Programme, Betriebsparameter und dergleichen, die durch die CPU 901 verwendet werden. Der RAM 903 speichert in erster Linie Programme, die bei der Ausführung der CPU 901 verwendet werden, Parameter, die sich bei der Ausführung entsprechend ändern, und dergleichen. Die CPU 901 kann zum Beispiel zumindest die Verarbeitungseinheit 130 und die Steuereinheit 150 der Informationsverarbeitungsvorrichtung 100 verkörpern.
Die CPU 901, der ROM 902 und der RAM 903 sind durch den Host-Bus 904a, der einen CPU-Bus und dergleichen aufweist, miteinander verbunden. Der Host-Bus 904a ist über die Brücke 904 mit dem externen Bus 904b, wie etwa einem PCI(Peripheral Component Interconnect/Interface)-Bus, verbunden. Es sei angemerkt, dass der Host-Bus 904a, die Brücke 904 und der externe Bus 904b nicht unbedingt separat ausgebildet sein müssen, sondern diese Funktionen auch auf einem Bus installiert sein können.
Die Eingabevorrichtung 906 ist zum Beispiel durch eine Vorrichtung implementiert, in welche von einem Implementierer Informationen eingegeben werden, wie beispielsweise eine Maus, eine Tastatur, ein Berührungsbildschirm, eine Taste, ein Mikrofon, ein Schalter oder ein Hebel. Außerdem kann die Eingabevorrichtung 906 zum Beispiel eine Remote-Steuervorrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder sie kann eine externe Verbindungsvorrichtung sein, wie beispielsweise ein Mobiltelefon oder ein PDA, das/der dem Betrieb der Informationsverarbeitungsvorrichtung entspricht 100. Außerdem kann die Eingabevorrichtung 906 zum Beispiel eine Einagesteuerungsvorrichtung aufweisen, die ein Eingangssignal auf der Basis der Informationseingabe durch den Implementierer unter Verwendung der oben erwähnten Eingabeeinheiten erzeugt und das Eingangssignal an die CPU 901 ausgibt. Durch Bedienen der Eingabevorrichtung 906 kann der Implementierer verschiedene Daten in die Informationsverarbeitungsvorrichtung eingeben und die Informationsverarbeitungsvorrichtung 100 zum Durchführen einer Verarbeitungsoperation anweisen. Die Eingabevorrichtung 906 kann zum Beispiel zumindest die Bedieneinheit 160 der Informationsverarbeitungsvorrichtung 100 verkörpern.
Die Ausgabevorrichtung 907 wird durch eine Vorrichtung gebildet, die dem Implementierer die erfassten Informationen visuell oder akustisch mitteilen kann. Beispiele für solch eine Vorrichtung weisen eine Anzeigevorrichtung, beispielsweise eine CRT-Anzeigevorrichtung, eine Flüssigkristallanzeigevorrichtung, eine Plasmaanzeigevorrichtung, eine EL-Anzeigevorrichtung und eine Lampe, eine Schallausgabevorrichtung, beispielsweise einen Lautsprecher und einen Kopfhörer, und eine Druckervorrichtung auf. Die Ausgabevorrichtung 907 kann zum Beispiel zumindest die Anzeigeeinheit 140 der Informationsverarbeitungsvorrichtung 100 verkörpern.
Die Speichervorrichtung 908 ist eine Vorrichtung zum Speichern von Daten. Die Speichervorrichtung 908 wird zum Beispiel durch eine magnetische Speichervorrichtung, beispielsweise ein HDD, eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magnetooptische Speichervorrichtung oder dergleichen realisiert. Die Speicherungsvorrichtung 908 kann ein Speicherungsmedium, eine Aufzeichnungsvorrichtung, die Daten auf dem Speicherungsmedium aufzeichnet, eine Lesevorrichtung, die Daten aus dem Speicherungsmedium liest, eine Löschvorrichtung, die im Speicherungsmedium gespeicherte Daten löscht, und dergleichen beinhalten. Die Speichervorrichtung 908 speichert Programme und verschiedene Daten, die von der CPU 901 ausgeführt werden, verschiedene Daten, die von außerhalb erfasst werden, und dergleichen. Die Speichervorrichtung 908 kann zum Beispiel zumindest die Speichereinheit 120 der Informationsverarbeitungsvorrichtung 100 verkörpern.
Das Laufwerk 909 ist ein Lese-/Schreibgerät für ein Speichermedium und ist in der Informationsverarbeitungsvorrichtung 100 eingebaut oder extern an diese angeschlossen. Das Laufwerk 909 liest Informationen, die in einem Wechselspeichermedium, beispielsweise einer installierten Magnetplatte, optischen Platte, magnetooptischen Platte, oder einem Halbleiterspeicher gespeichert sind, aus und gibt die Informationen an den RAM 903 aus. Außerdem kann das Laufwerk 909 Informationen in ein Wechselspeichermedium schreiben.
Der Anschlussport 911 ist eine Schnittstelle, die mit einer externen Vorrichtung verbunden ist, und er ist ein Anschlussport zu einer externen Vorrichtung, der Daten zum Beispiel durch einen universellen seriellen Bus (USB) übertragen kann.
Die Kommunikationsvorrichtung 913 ist zum Beispiel eine Kommunikationsschnittstelle, die durch eine Kommunikationsvorrichtung oder dergleichen zum Herstellen einer Verbindung mit dem Netzwerk 920 gebildet ist. Die Kommunikationsvorrichtung 913 ist zum Beispiel eine Kommunikationskarte für ein drahtgebundenes oder drahtloses lokales Netzwerk (LAN), Long Term Evolution (LTE), Bluetooth (eingetragene Handelsmarke), Drahtlos-USB (WUSB) oder dergleichen. Außerdem kann die Kommunikationsvorrichtung 913 ein Router für optische Kommunikation, ein Router für asymmetrischen digitalen Teilnehmeranschluss (ADSL), ein Modem für verschiedene Arten von Kommunikation oder dergleichen sein. Zum Beispiel kann die Kommunikationsvorrichtung 913 Signale und dergleichen an das Internet und andere Kommunikationsvorrichtungen gemäß einem vorgegebenen Protokoll wie etwa TCP/IP senden und davon empfangen.
In der vorliegenden Ausführungsform weist der Sensor 915 einen Sensor auf, der zum Erfassen eines Spektrums (zum Beispiel eines Bildgebungselements oder dergleichen) imstande ist, kann aber auch einen anderen Sensor (zum Beispiel einen Beschleunigungssensor, einen Gyrosensor, einen geomagnetischen Sensor, einen druckempfindlichen Sensor, einen Schallsensor, eine Abstandsmesssensor oder dergleichen) aufweisen. Der Sensor 915 kann zum Beispiel zumindest die Bilderfassungseinheit 112 der Informationsverarbeitungsvorrichtung 100 verkörpern.
Es sei angemerkt, dass das Netzwerk 920 ein drahtgebundener oder drahtloser Übertragungspfad für Informationen ist, die von einer mit dem Netzwerk 920 verbundenen Vorrichtung übertragen werden. Zum Beispiel kann das Netzwerk 920 ein öffentliches Netzwerk, wie beispielsweise das Internet, ein Telefonnetzwerk oder ein Satellitenkommunikationsnetzwerk, verschiedene lokale Netzwerke (LAN), darunter Ethernet (eingetragene Handelsmarke), ein Weitverkehrsnetzwerk (WAN) oder dergleichen aufweisen. Außerdem kann das Netzwerk 920 ein Standleitungsnetzwerk, wie beispielweise ein internetprotokollbasiertes virtuelles privates Netzwerk (IP-VPN), aufweisen.
Vorstehend wurde das Hardwarekonfigurationsbeispiel beschrieben, das die Funktionen der Informationsverarbeitungsvorrichtung 100 implementieren kann. Jede der vorstehend beschriebenen Komponenten kann unter Verwendung eines Universalelements implementiert sein oder es kann durch Hardware implementiert sein, die auf die Funktion jeder Komponente spezialisiert ist. Daher ist es möglich, die zu verwendende Hardwarekonfiguration gemäß dem technischen Niveau zum Zeitpunkt der Implementierung der vorliegenden Offenbarung entsprechend zu ändern.
Es sei angemerkt, dass ein Computerprogramm zum Implementieren jeder Funktion der Informationsverarbeitungsvorrichtung 100, wie vorstehend beschrieben, erstellt und auf einem PC oder dergleichen installiert werden kann. Außerdem ist es möglich, ein computerlesbares Aufzeichnungsmedium bereitzustellen, das solch ein Computerprogramm speichert. Das Aufzeichnungsmedium ist zum Beispiel eine magnetische Platte, eine optische Platte, eine magnetooptische Platte, ein Flash-Speicher oder dergleichen. Außerdem kann das vorstehend beschriebene Computerprogramm zum Beispiel über ein Netzwerk verteilt sein, ohne das Aufzeichnungsmedium zu verwenden.
<7. Anhang>
Es sei angemerkt, dass die vorliegende Technik auch die folgenden Konfigurationen aufweisen kann.

(1) Informationsverarbeitungsvorrichtung, umfassend:
- eine Trennungseinheit, die mindestens eine von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von einer Fluoreszenzkomponente trennt, die aus einem Spezimenbild fluoreszierender Färbung erhalten wird;
- eine Erzeugungseinheit, die eine Trennungsgenauigkeit für jedes von Pixeln aus einer Differenz zwischen dem Spezimenbild und einem Bild nach der Trennung berechnet, das durch Trennen mindestens einer von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, und ein Trennungsgenauigkeitsbild erzeugt, das die Trennungsgenauigkeit für jedes Pixel angibt; und
- eine Bewertungseinheit, die ein Pixel, das einen Ausreißer der Trennungsgenauigkeit aufweist, aus dem Trennungsgenauigkeitsbild identifiziert.
(2) Informationsverarbeitungsvorrichtung nach (1), ferner umfassend:
- eine Korrektureinheit, die Verarbeitung auf der Basis des Pixels durchführt, das den Ausreißer aufweist.
(3) Informationsverarbeitungsvorrichtung nach (2), wobei die Korrektureinheit Maskenverarbeitung an einem getrennten Bild, das die gefärbte Fluoreszenzkomponente oder die Autofluoreszenzkomponente aufweist, auf der Basis des Pixels durchführt, das den Ausreißer aufweist.
(4) Informationsverarbeitungsvorrichtung nach (3), wobei die Korrektureinheit ein Maskenbild erzeugt, indem sie einen Wert eines Pixels, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, auf null setzt und Werte anderer Pixel auf eins setzt.
(5) Informationsverarbeitungsvorrichtung nach (3), wobei die Korrektureinheit ein Maskenbild erzeugt, indem sie einen Wert eines Pixels in einer vorgegebenen Region, die das Pixel aufweist, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, auf null setzt und Werte anderer Pixel auf eins setzt.
(6) Informationsverarbeitungsvorrichtung nach (2), wobei die Korrektureinheit ein Pixel, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, in einem nachfolgenden Prozess ausschließt.
(7) Informationsverarbeitungsvorrichtung nach (2), wobei die Korrektureinheit einen Wert eines Pixels, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, in einem Bild zum Erhalten des Signaltrennungswerts, der die Signaltrennungsperformance angibt, auf null umändert.
(8) Informationsverarbeitungsvorrichtung nach (2), wobei die Korrektureinheit eine Zellregion, die ein Pixel aufweist, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, in einem Bild zum Erhalten des Signaltrennungswerts ausschließt, der die Signaltrennungsperformance angibt.
(9) Informationsverarbeitungsvorrichtung nach einem von (1) bis (8), ferner umfassend:
- eine Darstellungseinheit, die ein Identifizierungsergebnis durch die Bewertungseinheit für einen Benutzer darstellt.
(10) Informationsverarbeitungsvorrichtung nach (9), wobei die Darstellungseinheit das Trennungsgenauigkeitsbild darstellt, das das Pixel aufweist, das den Ausreißer aufweist.
(11) Informationsverarbeitungsvorrichtung nach (9) oder (10), wobei die Darstellungseinheit eine Region darstellt, die das Pixel aufweist, das den Ausreißer aufweist.
(12) Informationsverarbeitungsvorrichtung nach einem von (1) bis (11), wobei die Erzeugungseinheit einen Differenzwert zwischen dem Spezimenbild und dem Bild nach der Trennung als die Trennungsgenauigkeit für jedes Pixel berechnet.
(13) Informationsverarbeitungsvorrichtung nach (12), wobei, wenn eine Matrix von Pixelwerten des Spezimenbildes A ist, die Fluoreszenzkomponente nach der Trennung S ist und eine Matrix von Pixelwerten des Bildes nach der Trennung C ist, der Differenzwert JA - SC| ist.
(14) Informationsverarbeitungsvorrichtung nach (12), wobei, wenn eine Matrix von Pixelwerten des Spezimenbildes A ist, die Fluoreszenzkomponente nach der Trennung S ist, eine Matrix von Pixelwerten des Bildes nach der Trennung D ist und eine pseudoinverse Matrix einer transponierten Matrix ^tA ^tA^-1 ist, der Differenzwert |A - SD^tA^-1| ist.
(15) Informationsverarbeitungsvorrichtung nach einem von (1) bis (14), wobei die Erzeugungseinheit die Trennungsgenauigkeit für jedes der Pixel des Trennungsgenauigkeitsbildes normalisiert.
(16) Informationsverarbeitungsvorrichtung nach (15), wobei die Erzeugungseinheit die Trennungsgenauigkeit jedes der Pixel des Trennungsgenauigkeitsbildes durch einen Pixelwert jedes der Pixel des Spezimenbildes vor der Trennung teilt.
(17) Informationsverarbeitungsvorrichtung nach einem von (1) bis (16), wobei die Trennungseinheit mindestens eine von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente durch Farbtrennungsberechnung, die mindestens eine von einer Methode der kleinsten Quadrate, einer Methode der gewichteten kleinsten Quadrate oder einer nicht-negativen Matrixfaktorisierung aufweist, von der Fluoreszenzkomponente trennt.
(18) Informationsverarbeitungsvorrichtung nach einem von (1) bis (17), wobei die Trennungseinheit mindestens eine von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente unter Verwendung eines Spektrums eines Pixels, dessen Trennungsgenauigkeit den Ausreißer überschreitet, erneut von der Fluoreszenzkomponente trennt.
(19) System zur Beobachtung einer biologischen Probe, umfassend:
- eine Bildgebungsvorrichtung, die ein Spezimenbild fluoreszierender Färbung erfasst; und
- eine Informationsverarbeitungsvorrichtung, die das Spezimenbild verarbeitet, wobei
- die Informationsverarbeitungsvorrichtung umfasst:
  - eine Trennungseinheit, die mindestens eine von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von einer Fluoreszenzkomponente trennt, die aus dem Spezimenbild erhalten wird;
  - eine Erzeugungseinheit, die eine Trennungsgenauigkeit für jedes von Pixeln aus einer Differenz zwischen dem Spezimenbild und einem Bild nach der Trennung berechnet, das durch Trennen mindestens einer von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, und ein Trennungsgenauigkeitsbild erzeugt, das die Trennungsgenauigkeit für jedes Pixel angibt; und
  - eine Bewertungseinheit, die ein Pixel, das einen Ausreißer der Trennungsgenauigkeit aufweist, aus dem Trennungsgenauigkeitsbild identifiziert.
(20) Bilderzeugungsverfahren, umfassend: Berechnen einer Trennungsgenauigkeit für jedes von Pixeln aus einer Differenz zwischen einem Spezimenbild fluoreszierender Färbung und einem Bild nach der Trennung, das durch Trennen mindestens einer von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, die aus dem Spezimenbild erhalten wird; und Erzeugen eines Trennungsgenauigkeitsbildes, das die Trennungsgenauigkeit für jedes Pixel angibt.
(21) System zur Beobachtung einer biologischen Probe, das die Informationsverarbeitungsvorrichtung nach einem von (1) bis (18) aufweist.
(22) Bilderzeugungsverfahren zur Erzeugung eines Bildes durch die Informationsverarbeitungsvorrichtung nach einem von (1) bis (18.)

Bezugszeichenliste

1: BEOBACHTUNGSEINHEIT
2: PROZESSEINHEIT
3: ANZEIGEEINHEIT
10: ANREGUNGSEINHEIT
10A: FLUORESZIERENDES REAGENZ
11A: REAGENZIDENTIFIKATIONSINFORMATIONEN
20: OBJEKTTISCH
20A: SPEZIMEN
21: SPEICHEREINHEIT
21A: SPEZIMENIDENTIFIKATIONSINFORMATIONEN
22: DATENKALIBRIEREINHEIT
23: BILDBILDUNGSEINHEIT
30: SPEKTRALBILDGEBUNGSEINHEIT
30A: FLUORESZENZGEFÄRBTES SPEZIMEN
40: OPTISCHES BEOBACHTUNGSSYSTEM
50: ABTASTMECHANISMUS
60: FOKUSMECHANISMUS
70: NICHT-FLUORESZENZ-BEOBACHTUNGSEINHEIT
80: STEUEREINHEIT
100: INFORMATIONSVERARBEITUNGSVORRICHTUNG
110: ERFASSUNGSEINHEIT
111: INFORMATIONSERFASSUNGSEINHEIT
112: BILDERFASSUNGSEINHEIT
120: SPEICHEREINHEIT
121: INFORMATIONSSPEICHEREINHEIT
122: BILDINFORMATIONSSPEICHEREINHEIT
123: ANALYSEERGEBNISSPEICHEREINHEIT
130: VERARBEITUNGSEINHEIT
131: ANALYSEEINHEIT
131A: FLUORESZENZTRENNUNGSEINHEIT
131B: ERZEUGUNGSEINHEIT
131C: BEWERTUNGSEINHEIT
131D: KORREKTUREINHEIT
131E: DARSTELLUNGSEINHEIT
132: BILDERZEUGUNGSEINHEIT
140: ANZEIGEEINHEIT
150: STEUEREINHEIT
160: BEDIENEINHEIT
200: DATENBANK
500: FLUORESZENZBEOBACHTUNGSVORRICHTUNG
1311: VERBINDUNGSEINHEIT
1321: FARBTRENNUNGSEINHEIT
1321a: ERSTE FARBTRENNUNGSEINHEIT
1321b: ZWEITE FARBTRENNUNGSEINHEIT
1322: SPEKTRUMEXTRAKTIONSEINHEIT
5000: MIKROSKOPSYSTEM
5100: MIKROSKOPVORRICHTUNG
5101: LICHTBESTRAHLUNGSEINHEIT
5102: OPTISCHE EINHEIT
5103: SIGNALERFASSUNGSEINHEIT
5104: PROBENPLATZIERUNGSEINHEIT
5110: STEUEREINHEIT
5120: INFORMATIONSVERARBEITUNGSEINHEIT

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2020179586 [0003]

Claims

Informationsverarbeitungsvorrichtung, umfassend: eine Trennungseinheit, die mindestens eine von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von einer Fluoreszenzkomponente trennt, die aus einem Spezimenbild fluoreszierender Färbung erhalten wird; eine Erzeugungseinheit, die eine Trennungsgenauigkeit für jedes von Pixeln aus einer Differenz zwischen dem Spezimenbild und einem Bild nach der Trennung berechnet, das durch Trennen mindestens einer von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, und ein Trennungsgenauigkeitsbild erzeugt, das die Trennungsgenauigkeit für jedes Pixel angibt; und eine Bewertungseinheit, die ein Pixel, das einen Ausreißer der Trennungsgenauigkeit aufweist, aus dem Trennungsgenauigkeitsbild identifiziert.
Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend: eine Korrektureinheit, die Verarbeitung auf der Basis des Pixels durchführt, das den Ausreißer aufweist.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Korrektureinheit Maskenverarbeitung an einem getrennten Bild, das die gefärbte Fluoreszenzkomponente oder die Autofluoreszenzkomponente aufweist, auf der Basis des Pixels durchführt, das den Ausreißer aufweist.
Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Korrektureinheit ein Maskenbild erzeugt, indem sie einen Wert eines Pixels, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, auf null setzt und Werte anderer Pixel auf eins setzt.
Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Korrektureinheit ein Maskenbild erzeugt, indem sie einen Wert eines Pixels in einer vorgegebenen Region, die das Pixel aufweist, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, auf null setzt und Werte anderer Pixel auf eins setzt.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Korrektureinheit ein Pixel, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, in einem nachfolgenden Prozess ausschließt.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Korrektureinheit einen Wert eines Pixels, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, in einem Bild zum Erhalten des Signaltrennungswerts, der die Signaltrennungsperformance angibt, auf null umändert.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Korrektureinheit eine Zellregion, die ein Pixel aufweist, das sich in einer gleichen Position wie das den Ausreißer aufweisende Pixel des Trennungsgenauigkeitsbildes befindet, in einem Bild zum Erhalten des Signaltrennungswerts ausschließt, der die Signaltrennungsperformance angibt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend: eine Darstellungseinheit, die ein Identifizierungsergebnis durch die Bewertungseinheit für einen Benutzer darstellt.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Darstellungseinheit das Trennungsgenauigkeitsbild darstellt, das das Pixel aufweist, das den Ausreißer aufweist.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Darstellungseinheit eine Region darstellt, die das Pixel aufweist, das den Ausreißer aufweist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit einen Differenzwert zwischen dem Spezimenbild und dem Bild nach der Trennung als die Trennungsgenauigkeit für jedes Pixel berechnet.
Informationsverarbeitungsvorrichtung nach Anspruch 12, wobei wenn eine Matrix von Pixelwerten des Spezimenbildes A ist, die Fluoreszenzkomponente nach der Trennung S ist und eine Matrix von Pixelwerten des Bildes nach der Trennung C ist, der Differenzwert |A - SC| ist.
Informationsverarbeitungsvorrichtung nach Anspruch 12, wobei wenn eine Matrix von Pixelwerten des Spezimenbildes A ist, die Fluoreszenzkomponente nach der Trennung S ist, eine Matrix von Pixelwerten des Bildes nach der Trennung D ist und eine pseudoinverse Matrix einer transponierten Matrix ^tA ^tA^-1 ist, der Differenzwert |A - SD^tA^-1| ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit die Trennungsgenauigkeit für jedes der Pixel des Trennungsgenauigkeitsbildes normalisiert.
Informationsverarbeitungsvorrichtung nach Anspruch 15, wobei die Erzeugungseinheit die Trennungsgenauigkeit jedes der Pixel des Trennungsgenauigkeitsbildes durch einen Pixelwert jedes der Pixel des Spezimenbildes vor der Trennung teilt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Trennungseinheit mindestens eine von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente durch Farbtrennungsberechnung, die mindestens eine von einer Methode der kleinsten Quadrate, einer Methode der gewichteten kleinsten Quadrate oder einer nicht-negativen Matrixfaktorisierung aufweist, von der Fluoreszenzkomponente trennt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Trennungseinheit mindestens eine von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente unter Verwendung eines Spektrums eines Pixels, dessen Trennungsgenauigkeit den Ausreißer überschreitet, erneut von der Fluoreszenzkomponente trennt.
System zur Beobachtung einer biologischen Probe, umfassend: eine Bildgebungsvorrichtung, die ein Spezimenbild fluoreszierender Färbung erfasst; und eine Informationsverarbeitungsvorrichtung, die das Spezimenbild verarbeitet, wobei die Informationsverarbeitungsvorrichtung umfasst: eine Trennungseinheit, die mindestens eine von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von einer Fluoreszenzkomponente trennt, die aus dem Spezimenbild erhalten wird; eine Erzeugungseinheit, die eine Trennungsgenauigkeit für jedes von Pixeln aus einer Differenz zwischen dem Spezimenbild und einem Bild nach der Trennung berechnet, das durch Trennen mindestens einer von der gefärbten Fluoreszenzkomponente oder der Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, und ein Trennungsgenauigkeitsbild erzeugt, das die Trennungsgenauigkeit für jedes Pixel angibt; und eine Bewertungseinheit, die ein Pixel, das einen Ausreißer der Trennungsgenauigkeit aufweist, aus dem Trennungsgenauigkeitsbild identifiziert.
Bilderzeugungsverfahren, umfassend: Berechnen einer Trennungsgenauigkeit für jedes von Pixeln aus einem Unterschied zwischen einem Spezimenbild fluoreszierender Färbung und einem Bild nach der Trennung, das durch Trennen mindestens einer von einer gefärbten Fluoreszenzkomponente oder einer Autofluoreszenzkomponente von der Fluoreszenzkomponente erhalten wird, die aus dem Spezimenbild erhalten wird; und Erzeugen eines Trennungsgenauigkeitsbildes, das die Trennungsgenauigkeit für jedes Pixel angibt.