DE112017001734T5

DE112017001734T5 - Bilderfassungsvorrichtung und Bilderfassungsverfahren

Info

Publication number: DE112017001734T5
Application number: DE112017001734.3T
Authority: DE
Inventors: Naoya Matsumoto; Shigetoshi Okazaki
Original assignee: Hamamatsu University School of Medicine NUC; Hamamatsu Photonics KK
Current assignee: Hamamatsu University School of Medicine NUC; Hamamatsu Photonics KK
Priority date: 2016-04-01
Filing date: 2017-03-08
Publication date: 2018-12-20
Also published as: CN109073873B; CN109073873A; US20200300762A1; JP2017187532A; WO2017169597A1; US10890530B2; JP6722883B2

Abstract

Eine Bilderfassungseinrichtung 1 umfasst einen räumlichen Lichtmodulator 11, einen optischen Abtaster 14, eine Detektionseinheit 32, eine Kontrolleinheit 70, und dergleichen. Der räumliche Lichtmodulator 11 führt fokussierte Bestrahlung auf einer Vielzahl von Bestrahlungsbereichen auf einer Oberfläche oder innerhalb eines Beobachtungsgegenstandes S mit moduliertem Anregungslicht durch. Die Detektionseinheit 32 weist eine Vielzahl von Abbildungsbereichen auf, die durch das optische Abbildungssystem mit der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand auf einer Lichtempfangsoberfläche in einer Abbildungsrelation sind, jeder der Vielzahl von Abbildungsbereichen entspricht einem oder zwei oder mehr Pixeln, und angrenzend an jeden Abbildungsbereich existiert ein Pixel, das keinem der Vielzahl von Abbildungsbereichen entspricht. Die Kontrolleinheit 70 korrigiert ein Detektionssignal eines Pixels, das jedem Abbildungsbereich entspricht, basierend auf einem Detektionssignal eines Pixels, das angrenzend an den Abbildungsbereich vorhanden ist und keinem der Vielzahl von Abbildungsbereichen entspricht, und generiert ein Bild des Beobachtungsgegenstandes basierend auf dem korrigieren Detektionssignal. Somit werden eine Bilderfassungseinrichtung und ein Bilderfassungsverfahren realisiert, die in der Lage sind auf einfache Weise ein S/N-Verhältnis eines mittels Mehrpunktabtastung generierten Bildes eines Beobachtungsgegenstandes zu verbessern.

Description

Technisches Gebiet
Ein Aspekt der vorliegenden Erfindung bezieht sich auf eine Einrichtung und ein Verfahren zum Durchführen fokussierter Bestrahlung auf einer Vielzahl von Bestrahlungsbereichen auf einer Oberfläche oder innerhalb eines Beobachtungsgegenstandes mit Licht, Abtasten der Vielzahl von Bestrahlungsbereichen, Detektieren von in jedem der Vielzahl von Bestrahlungsbereichen generiertem Licht, und Generieren eines Bildes des Beobachtungsgegenstandes.
Stand der Technik
Eine Bilderfassungseinrichtung in jedem der Nicht-Patentdokumente 1 und 2 kann fokussierte Bestrahlung auf einer Vielzahl von Bestrahlungsbereichen auf einer Oberfläche oder innerhalb eines Beobachtungsgegenstandes mit Licht durchführen, die Vielzahl von Bestrahlungsbereichen abtasten, in jedem der Vielzahl von Bestrahlungsbereichen generiertes Licht (zum Beispiel Fluoreszenz, harmonisches Licht, reflektiertes Streulicht, oder dergleichen) abtasten, und ein Bild des Beobachtungsgegenstandes generieren. Verglichen mit dem Fall des Abtastens eines einzelnen Bestrahlungsbereiches mit einem einzelnen Bestrahlungslichtstrahl (hiernach als „Einzelpunktabtastung“ bezeichnet), kann im Fall des simultanen Abtastens von N Bestrahlungsbereichen mit N Bestrahlungslichtstrahlen (Hiernach als „Mehrpunktabtastung“ oder „N-Punktabtastung“ bezeichnet), eine Messzeit, die notwendig ist, um Daten zum Generieren des Bildes des Beobachtungsgegenstandes zu sammeln, auf 1/N reduziert werden, weil eine Größe des Abtastbereiches jedes Bestrahlungsbereiches auf 1/N reduziert wird. Hier ist N eine ganze Zahl größer gleich 2.
Es wird ein orthogonales XYZ-Koordinatensystem angenommen, in welchem eine Richtung der Lichtbestrahlung auf dem Beobachtungsgegenstand auf eine Z-Richtung eingestellt ist. Im Falle des Erfassens eines Bildes einer XY-Ebene an einem bestimmten Punkt in der Z-Richtung, kann beispielsweise eine Zeit, die notwendig für eine Vier-Punkt-Abtastung ist 0,06 Sekunden betragen, wenn die für die Einzelpunktabtastung benötigte Zeit 0,24 Sekunden beträgt. Darüber hinaus beträgt im Falle des Erfassens eines Bildes der XY-Ebene an jedem von 1000 Punkten in der Z-Richtung (d.h. im Fall der Aufnahme eines dreidimensionalen Bildes), die für die Einzelpunktabtastung notwendige Zeit 240 Sekunden, und die Zeit, die notwendig für eine Vier-Punkt-Abtastung ist, 60 Sekunden. Daher ist es, verglichen mit der Einzelpunktabtastung, bei der Mehrpunktabtastung möglich, Daten in einer kurzen Zeit zu sammeln und ein Bild des Beobachtungsgegenstandes zu generieren.
Ferner kann, wenn die für die Einzelpunktabtastung benötigte Zeit in der N-Punktabtastung verwendet werden kann, eine Zeit (Belichtungszeit) zum Empfangen von in jedem Bestrahlungsbereich generiertem Licht um das N-Fache vergrößert, und ein Betrag einer Lichtbestrahlung auf dem Beobachtungsgegenstand reduziert werden. Das führt zu einer Verringerung von Schäden am Beobachtungsgegenstand oder an fluoreszierenden Molekülen, und ist ferner effektiv zum Durchführen wiederholter Messungen, wie Zeitraffer.
Im Falle der Mehrpunktabtastung ist es notwendig, eine Detektionseinheit zu verwenden, um in jedem der Vielzahl von Bestrahlungsbereichen generiertes Licht individuell zu detektieren. D.h., dass das in jedem Bestrahlungsbereich des Beobachtungsgegenstandes generierte Licht auf einem entsprechenden Abbildungsbereich auf einer Lichtempfangsoberfläche der Detektionseinheit abgebildet wird, und ein Detektionssignal individuell von jedem Abbildungsbereich gewonnen wird. Eine Vielzahl von Abbildungsbereichen auf der Lichtempfangsoberfläche der Detektionseinheit sind voneinander getrennt, wie die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand, die voneinander getrennt sind.
Licht, welches in einem bestimmten Bestrahlungsbereich im Beobachtungsgegenstand generiert wurde, sollte durch den Abbildungsbereich empfangen werden, der dem Strahlungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit entspricht, dennoch kann ein Teil des Lichts aufgrund des Einflusses von Streuung und Abbildungsfehlern innerhalb des Beobachtungsgegenstandes als Störlicht von anderen Abbildungsbereichen empfangen werden. Das Störlicht wird zum Hintergrundrauschen im zu erzeugenden Bild des Beobachtungsgegenstandes, oder erzeugt ein Geisterbild an einer Position im Bild, die sich von einer Position des Originalbildes unterscheidet, wodurch ein Signal-Rausch-Verhältnis (S/N-Verhältnis) verringert wird. Mit steigender Tiefe von der Oberfläche des Bestrahlungsbereichs im Beobachtungsgegenstand wird ein solches Phänomen beachtlich.
Nicht-Patentdokumente 1 und 2 beschreiben Methoden zum verbessern des S/N-Verhältnisses des Bildes des Beobachtungsgegenstandes. Die in Nicht-Patentdokument 1 beschriebene Methode zum Verbessern des S/N-Verhältnisses ist vorgesehen, um die Einzelpunktabtastung auf einem Beobachtungsgegenstand durchzuführen, der einen einzelnen Fluoreszenz-erzeugenden Bereich aufweist, um die Lichtverteilung auf der Lichtempfangsoberfläche der Detektionseinheit zu erhalten, und die Entfaltung eines Bildes des Beobachtungsgegenstandes, welches durch die Mehrpunktabtastung durch die Lichtverteilung erhalten wurde, zu errechnen, wodurch das S/N-Verhältnis des Bildes des Beobachtungsgegenstandes verbessert wird. Die in Nicht-Patentdokument 2 beschriebene Methode zum Verbessern des S/N-Verhältnisses ist vorgesehen, um eine Schätzung durch ein Verfahren der Maximum-Likelihood-Schätzung auf Basis des durch die Mehrpunktabtastung erhaltenen Bildes des Beobachtungsgegenstandes durchzuführen, und das Bild des Beobachtungsgegenstandes mit dem verbesserten S/N-Verhältnis zu erhalten.
Zitatliste
Nicht-Patent Literatur

Nicht-Patentdokument 1: K. H. Kim et al., "Multifocal multiphoton microscopy based on multianode photomultiplier-tubes, (Multifokale Mehrphotonenmikroskopie basierend auf Mehrfach-Anoden Photomultiplier-Röhren), Optics Express, Vol.15, No.18, pp.11658-11678 (2007)
Nicht-Patentdokument 2: J. W. Cha et al., „Reassignment of Scattered Emission Photons in Multifocal Multiphoton Microscopy", (Neuzuordnung von gestreuten Emissionsphotonen in multifokaler Mehrphotonenmikroskopie), Scientific Reports 4:5153 pp.1-13 (2014)

Zusammenfassung der Erfindung
Technische Aufgabe
In der in Nicht-Patentdokument 1 beschriebenen Methode zum Verbessern des S/N-Verhältnisses ist es notwendig, die Einzelpunktabtastung durchzuführen, um die Lichtverteilung auf der Lichtempfangsoberfläche der Detektionseinheit zu erhalten. Weil das Ausmaß der Lichtverteilung mit der Tiefe (Position in Z-Richtung) des Bestrahlungsbereichs im Beobachtungsgegenstand variiert, ist es notwendig, den Bestrahlungsbereich auf jede Position in Z-Richtung einzustellen und die Verteilung zu erhalten. Obwohl die Mehrpunktabtastung auf eine Verkürzung der Messzeit abzielt, ist es notwendig, zusätzlich zur Mehrpunktabtastung die Einzelpunktabtastung durchzuführen, sodass entgegen der Zielsetzung die Messzeit verlängert wird. Eigentlich ist es nicht notwendig, die Mehrpunktabtastung durchzuführen, wenn die Einzelpunktabtastung durchgeführt wird. In der in Nicht-Patentdokument 2 beschriebenen Methode zum Verbessern des S/N-Verhältnisses ist es notwendig, die Berechnung zu wiederholen, wenn die Schätzung durch das Verfahren der Maximum-Likelihood-Schätzung durchgeführt wird, und eine lange Zeit wird benötigt, um die Berechnung zu wiederholen.
Ein Aspekt der vorliegenden Erfindung wurde gemacht, um die obige Aufgabe zu lösen, und ein Ziel davon ist es, eine Bilderfassungseinrichtung und ein Bilderfassungsverfahren bereitzustellen, die in der Lage sind, auf einfache Weise ein S/N-Verhältnis eines durch Mehrpunktabtastung generierten Bildes eines Beobachtungsgegenstandes zu verbessern.
Lösung des Problems
Eine Bilderfassungseinrichtung gemäß eines Aspekts der vorliegenden Erfindung umfasst (1) eine Lichtquelle zum Ausgeben von Licht; (2) ein optisches Bestrahlungssystem zum Durchführen fokussierter Bestrahlung auf einer Vielzahl von Bestrahlungsbereichen auf einer Oberfläche oder innerhalb eines Beobachtungsgegenstandes mit dem von der Lichtquelle ausgegebenem Licht; (3) eine Abtasteinheit zum Abtasten der Vielzahl von Bestrahlungsbereichen in einer Richtung, welche eine optische Achse einer Richtung von Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem schneidet; (4) ein optisches Abbildungssystem zum Leiten und Abbilden von Licht, welches in jedem der Vielzahl von Bestrahlungsbereichen durch Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem generiert wurde; (5) eine Detektionseinheit mit einer Lichtempfangsoberfläche, auf welcher die Vielzahl von Bestrahlungsbereichen durch das optische Abbildungssystem abgebildet werden, eine Vielzahl von Pixeln sind eindimensional oder zweidimensional auf der Lichtempfangsoberfläche angeordnet, und zum Ausgeben eines Detektionssignals, welches einen Wert aufweist, der einer Lichtempfangsmenge in jedem der Vielzahl von Pixel entspricht; und (6) eine Bilderzeugungseinheit zum Generieren eines Bildes des Beobachtungsgegenstandes basierend auf dem von der Detektionseinheit ausgegebenen Detektionssignal.
Ferner weist in der Bilderfassungseinrichtung in der obigen Konfiguration (a) die Detektionseinheit eine Vielzahl von Abbildungsbereichen, die durch das optische Abbildungssystem mit der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand in einer Abbildungsrelation sind, auf der Lichtempfangsoberfläche auf, jeder der Vielzahl von Abbildungsbereichen entspricht einem oder zwei oder mehr Pixeln, und angrenzend an jeden Abbildungsbereich existiert ein Pixel, das keinem der Vielzahl von Abbildungsbereichen entspricht, und (b) korrigiert die Bilderzeugungseinheit ein Detektionssignal eines Pixels, das jedem der Vielzahl von Abbildungsbereichen entspricht, basierend auf Detektionssignalen eines, zweier oder mehr Pixel, die angrenzend an jeden Abbildungsbereich existieren und keinem der Vielzahl von Abbildungsbereichen entsprechen, und generiert ein Bild des Beobachtungsgegenstandes basierend auf dem korrigierten Detektionssignal.
Ein Bilderfassungsverfahren gemäß einem Aspekt der vorliegenden Erfindung ist ein Bilderfassungsverfahren, welches die Lichtquelle, das optisches Bestrahlungssystem, die Abtasteinheit, das optische Abbildungssystem, und die Detektionseinheit, welche oben beschrieben sind, nutzt, und zum Generieren eines Bildes des Beobachtungsgegenstandes basierend auf dem von der Detektionseinheit ausgegebenen Detektionssignal, und im Verfahren ist (a) eine Vielzahl von Abbildungsbereichen, die durch das optische Abbildungssystem mit der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand in einer Abbildungsrelation sind, auf der Lichtempfangsoberfläche der Detektionseinheit bereitgestellt, jeder der Vielzahl von Abbildungsbereichen entspricht einem oder zwei oder mehr Pixeln, und angrenzend an jeden Abbildungsbereich existiert ein Pixel, das keinem der Vielzahl von Abbildungsbereichen entspricht, und
(b) wird ein Detektionssignal eines Pixels, das jedem der Vielzahl von Abbildungsbereichen entspricht, basierend auf Detektionssignalen eines, zweier oder mehr Pixel, die angrenzend an jeden Abbildungsbereich existieren und keinem der Vielzahl von Abbildungsbereichen entsprechen, korrigiert, und ein Bild des Beobachtungsgegenstandes wird basierend auf dem korrigierten Detektionssignal generiert.
Vorteilhafte Effekte der Erfindung
Gemäß einem Aspekt der vorliegenden Erfindung, kann ein S/N-Verhältnis eines durch Mehrpunktabtastung generierten Bildes eines Beobachtungsgegenstandes auf einfache Weise verbessert werden.
Figurenliste

1 ist ein Schaubild, welches die Konfiguration einer Bilderfassungseinrichtung 1 zeigt.
2 ist ein Schaubild, welches die Konfiguration einer Bilderfassungseinrichtung 2 zeigt.
3 umfasst Schaubilder zum Erklären von (a) Einzelpunktabtastung und (b) Mehrpunktabtastung.
4 umfasst Schaubilder zum Erklären von (a) Bestrahlungsbereichen A₁ bis A₄ in einem Beobachtungsgegenstand S und von (b) Abbildungsbereichen B₁ bis B₄ auf einer Lichtempfangsoberfläche einer Detektionseinheit 32.
5 ist ein Schaubild, welches die Bestrahlungsbereiche A₁ bis A₄ und eine Verteilung von fluoreszierenden Kügelchen in einem Beobachtungsgegenstand S zeigt.
6 umfasst (a) - (c) Schaubilder zum Erklären der Verteilung eines Licht empfangenden Bereiches auf einer Lichtempfangsoberfläche einer Detektionseinheit 32.
7 ist eine graphische Darstellung, die, im Fall von Einzelpunktabtastung, die Intensität der Fluoreszenz in jedem Pixel einer Detektionseinheit 32 zeigt.
8 ist eine graphische Darstellung, die, im Fall der Zwei-Punktabtastung, die Intensität der Fluoreszenz in jedem Pixel einer Detektionseinheit 32 zeigt.
9 umfasst Schaubilder, die Fluoreszenzbilder eines Beobachtungsgegenstandes im Fall von (a) Einzelpunktabtastung und (b) Vier-Punktabtastung zeigen.
10 umfasst (a) - (d) Schaubilder zum Erklären eines Zusammenhangs zwischen Pixelstrukturen und Abbildungsbereichen auf einer Lichtempfangsoberfläche einer Detektionseinheit 32.
11 umfasst (a), (b) Schaubilder zum Beschreiben eines Zusammenhangs zwischen einem, von einer Detektionseinheit 32 ausgegebenen Detektionssignal und einem Bild eines Beobachtungsgegenstandes S.
12 umfasst (a), (b) graphische Darstellungen, die ein Ergebnis einer Simulation zeigen, um den Effekt der Korrektur eines Detektionssignals zu bestätigen.
13 umfasst (a), (b) graphische Darstellungen, die ein Ergebnis einer Simulation zeigen, um den Effekt der Korrektur eines Detektionssignals zu bestätigen.
14 umfasst (a), (b) Fluoreszenzbilder eines Beobachtungsgegenstandes, die einen Effekt der Verbesserung des S/N-Verhältnisses gemäß einem ersten Beispiel zeigen.
15 umfasst (a), (b) Fluoreszenzbilder eines Beobachtungsgegenstandes, die einen Effekt der Verbesserung des S/N-Verhältnisses gemäß einem zweiten Beispiel zeigen.
16 umfasst (a), (b) Fluoreszenzbilder eines Beobachtungsgegenstandes, die einen Effekt der Verbesserung des S/N-Verhältnisses gemäß dem zweiten Beispiel zeigen.
17 umfasst (a), (b) Fluoreszenzbilder eines Beobachtungsgegenstandes, die einen Effekt der Verbesserung des S/N-Verhältnisses gemäß dem zweiten Beispiel zeigen.
18 ist ein Fluoreszenzbild eines Beobachtungsgegenstandes, das einen Effekt der Verbesserung des S/N-Verhältnisses gemäß einem dritten Beispiel zeigt.
19 ist ein Fluoreszenzbild eines Beobachtungsgegenstandes gemäß einem Vergleichsbeispiel verglichen mit dem dritten Beispiel.
20 ist ein Schaubild zum Erklären eines Zusammenhangs zwischen Pixelstrukturen und Abbildungsbereichen für den Fall, dass eine Detektionseinheit verwendet wird, in welcher eine Vielzahl von Pixeln zweidimensional auf einer Lichtempfangsoberfläche angeordnet sind.
21 ist ein Schaubild zum Erklären eines Zusammenhangs zwischen Pixelstrukturen und Abbildungsbereichen für den Fall, dass eine Detektionseinheit verwendet wird, in welcher eine Vielzahl von Pixeln zweidimensional auf einer Lichtempfangsoberfläche angeordnet sind.
22 ist ein Schaubild zum Erklären eines Zusammenhangs zwischen Pixelstrukturen und Abbildungsbereichen für den Fall, dass eine Detektionseinheit verwendet wird, in welcher eine Vielzahl von Pixeln zweidimensional auf einer Lichtempfangsoberfläche angeordnet sind.
23 umfasst (a), (b) Schaubilder zum Erklären eines Zusammenhangs zwischen Pixelstrukturen und Abbildungsbereichen auf einer Lichtempfangsoberfläche einer Detektionseinheit.
24 ist ein Schaubild, welches eine Beispielkonfiguration einer variablen Fokuslinse zeigt.
25 umfasst (a), (b) Schaubilder zum Beschreiben eines anderen Beispiels der Mehrpunktabtastung.

Beschreibung der Ausgestaltungen
Hiernach werden Ausgestaltungen zum Ausführen der vorliegenden Erfindung detailliert mit Bezug auf die beigefügten Zeichnungen beschrieben. In der Figurenbeschreibung werden gleiche Elemente mit gleichen Bezugszeichen versehen, ohne redundante Beschreibung. Ferner ist die vorliegende Erfindung nicht auf diese Beispiele beschränkt.
Eine Bilderfassungseinrichtung und ein Bilderfassungsverfahren gemäß der vorliegenden Ausgestaltung können ein Bild von, auf einer Oberfläche oder innerhalb eines Beobachtungsgegenstandes generierter/generiertem Fluoreszenz, harmonischem Licht, reflektiertem Streulicht oder dergleichen aufnehmen, dennoch ist untenstehend hauptsächlich eine Ausgestaltung beschrieben, in welcher ein Fluoreszenzbild des Beobachtungsgegenstandes aufgenommen wird. Ferner ist in den entsprechenden Zeichnungen der Einfachheit halber ein orthogonales XYZ Koordinatensystem gezeigt, um einen Zusammenhang zwischen dem Beobachtungsgegenstand, einer Richtung der Lichtbestrahlung, und dergleichen zu erklären.
1 ist ein Schaubild, welches die Konfiguration einer Bilderfassungseinrichtung 1 zeigt. Die Bilderfassungseinrichtung 1 umfasst eine Lichtquelle 10, einen räumlichen Lichtmodulator 11, einen dichroitischen Spiegel 13, einen optischen Abtaster 14, eine Objektivlinse 21, einen Verschiebetisch 23, eine Abbildungslinse 31, eine Detektionseinheit 32, eine Kontrolleinheit 70, und dergleichen.
Die Lichtquelle 10 gibt Anregungslicht einer Wellenlänge aus, die in der Lage ist, einen in einem Beobachtungsgegenstand S enthaltenen Fluoreszenzmarker anzuregen, und ist bevorzugt eine Laserlichtquelle. Um Fluoreszenz durch Mehrphotonenabsorption im Beobachtungsgegenstand S zu generieren ist die Lichtquelle 10 bevorzugt eine Laserlichtquelle, die Kurzpuls-Laserlicht, wie Femtosekunden, Pikosekunden, und Nanosekunden als Anregungslicht ausgibt.
Linsen 41 und 42, welche das von der Lichtquelle 10 ausgegebene Anregungslicht eingeben, stellen einen Strahlaufweiter dar, der einen Strahldurchmesser einstellt und das Anregungslicht ausgibt. Der Strahlaufweiter ist im Allgemeinen so konfiguriert, dass er eine Vielzahl von Linsen umfasst. Der Strahldurchmesser des vom Strahlaufweiter ausgegebenen Anregungslichts ist ungefähr gemäß einem Pupillendurchmesser der Objektivlinse 21 eingestellt.
Der räumliche Lichtmodulator 11 gibt das von der Lichtquelle 10 ausgegebene und durch einen Spiegel 51 reflektierte Anregungslicht über den Strahlaufweiter (Linsen 41 und 42) ein, moduliert das eingegebene Anregungslicht räumlich, und gibt das Licht aus. Der räumliche Lichtmodulator 11 kann auf Phasenmodulation oder Amplitudenmodulation basieren. Obwohl der räumliche Lichtmodulator 11 in 1 in reflektiver Bauart gezeigt ist, kann er transmittiver Bauart sein. Der räumliche Lichtmodulator 11 kann gemäß einem dargestellten Modulationsmuster die Phase oder die Amplitude in einem Strahlquerschnitt des ausgegebenen Lichts räumlich modulieren.
Der räumliche Lichtmodulator 11 stellt ein vorgegebenes Modulationsmuster dar, und kann mit dem modulierten Anregungslicht fokussierte Bestrahlung auf einer Vielzahl von Bestrahlungsbereichen auf einer Oberfläche oder innerhalb des Beobachtungsgegenstandes S durchführen. In diesem Fall wird der räumliche Lichtmodulator 11 als ein Mehrpunkt-Erzeugungselement verwendet, dass eine Vielzahl von Lichtstrahlen aus einem einzelnen, von der Lichtquelle 10 ausgegebenen Lichtstrahl erzeugt.
Der als Mehrpunkt-Erzeugungselement verwendete räumliche Lichtmodulator 11 kann entsprechend dem durch ein elektrisches Kontrollsignal dargestellten Modulationsmuster, welches von der Kontrolleinheit 70 bereitgestellt ist, die Anzahl an Lichtstrahlen, ein Intervall der Lichtstrahlen, eine Tiefe (Position der Z- Richtung) einer Fokusposition von jedem Lichtstrahl, und dergleichen uneingeschränkt einstellen. Diese werden entsprechend der Anzahl an Teilbereichen oder einer Größe von jedem Teilbereich eingestellt, wenn ein zu untersuchender Bereich im Beobachtungsgegenstand S in eine Vielzahl von Teilbereichen aufgeteilt wird. Zusätzlich zum räumlichen Lichtmodulator kann ein diffraktives optisches Element, ein Mikrolinsenarray, ein Strahlteiler, oder dergleichen als Mehrpunkt-Erzeugungselement verwendet werden.
Ferner kann der räumliche Lichtmodulator 11 auch als eine Abtasteinheit verwendet werden, die eine Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S durch das Verändern des dargestellten Modulationsmusters abtastet. Zusätzlich wird das vorbestimmte Modulationsmuster dargestellt, sodass der räumliche Lichtmodulator 11 Abbildungsfehler eines optischen Pfades, der die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S erreicht, korrigieren, jeden Bestrahlungsbereich einschränken, und die Auflösung eines aufzunehmenden Bildes steigern kann.
Der dichroitische Spiegel 13 transmittiert das Anregungslicht selektiv in das Anregungslicht und die Fluoreszenz und reflektiert die Fluoreszenz selektiv. D.h., dass der dichroitische Spiegel 13 das vom räumlichen Lichtmodulator 11 ankommende Anregungslicht eingibt, und Anregungslicht zu einer Linse 43 transmittiert. Ferner gibt der dichroitische Spiegel 13 die von der Linse 43 ankommende Fluoreszenz ein und reflektiert die Fluoreszenz zu einem Zoomobjektiv 47.
Linsen 43 und 44, die das vom dichroitischen Spiegel 13 ausgegebene Anregungslicht eingeben, stellen ein telezentrisches Relay-Linsensystem dar.
Der optische Abtaster 14 wird als eine Abtasteinheit verwendet, die das vom dichroitischen Spiegel 13 ausgegebene und durch das telezentrische Relais-Linsensystem (Linsen 43 und 44) hindurchtretende Anregungslicht eingibt und einen Bestrahlungsbereich in einer Richtung abtastet, die sich mit einer Richtung (Z-Richtung) der Lichtbestrahlung der Anregung auf dem Beobachtungsgegenstand S schneidet. Ferner gibt der optische Abtaster 14 die im Bestrahlungsbereich des Beobachtungsgegenstandes S erzeugte Fluoreszenz ein und führt Entscannen (descanning) durch, wodurch Hauptstrahlen des Anregungslichts und der Fluoreszenz zwischen dem dichroitischen Spiegel 13 und den optischen Abtaster 14 aufeinander abgestimmt werden. Der optische Abtaster 14 umfasst beispielsweise einen galvanischen Spiegel, einen Polygonspiegel, einen MEMS-Spiegel (micro electro mechanical systems), und einen Spiegel mit kardanischer Aufhängung/Gimbal-Spiegel.
Linsen 45 und 46, die das vom optischen Abtaster 14 ausgegebene und durch einen Spiegel 52 reflektierte Anregungslicht eingeben, stellen ein telezentrisches Relais-Linsensystem dar. Das telezentrische Relais-Linsensystem (Linsen 43 und 44) und das telezentrische Relais-Linsensystem (Linsen 45 und 46) übertragen eine vom räumlichen Lichtmodulator 11 modulierte und generierte Wellenfront des Anregungslichts zu einer rückwärtigen Fokusebene der Objektivlinse 21.
Wird hierbei das Mikrolinsen-Array als Mehrpunkt-Erzeugungselement verwendet, so überträgt das telezentrische Relais-Linsensystem Fokuspunkte in der Nähe des Mikrolinsen-Arrays zur rückwärtigen Fokusebene der Objektivlinse 21. Wenn das Mehrpunkt-Erzeugungselement und die Objektivlinse 21 sehr nah beieinander sind, können telezentrische Relais-Linsensysteme nicht zur Verfügung gestellt werden.
Die Objektivlinse 21 ist derart angeordnet, dass sie dem Beobachtungsgegenstand S auf dem Verschiebetisch 23 gegenübersteht. Die Objektivlinse 21 gibt das vom telezentrischen Relais-Linsensystem (Linsen 45 und 46) ausgegebene und durch einen Spiegel 53 reflektierte Anregungslicht ein und führt fokussierte Bestrahlung auf der Vielzahl von Bestrahlungsbereichen auf der Oberfläche oder innerhalb des Beobachtungsgegenstandes S auf dem Verschiebetisch 23 mit dem Anregungslicht durch. Ferner gibt die Objektivlinse 21 Fluoreszenz ein, wenn die Fluoreszenz in irgendeinem Bestrahlungsbereich des Beobachtungsgegenstandes S erzeugt wurde und gibt die Fluoreszenz an den Spiegel 53 aus.
Die Objektivlinse 21 kann sich durch den Einsatz eines Bewegungsmechanismus' 22 der Objektivlinse in Richtung einer optischen Achse, d.h. einer Tiefenrichtung (Z-Richtung) des Beobachtungsgegenstandes S bewegen. Der Verschiebetisch 23 kann sich durch den Einsatz eines Tischantriebsmechanismus' 24 in einer Richtung bewegen, die sich mit der Richtung der optischen Achse der Objektivlinse 21 (bevorzugt in einer Richtung parallel zu einer XY Ebene) schneidet, und kann sich ferner in die Richtung der optischen Achse, d.h. einer Tiefenrichtung (Z-Richtung) des Beobachtungsgegenstandes S bewegen. Der Bewegungsmechanismus 22 der Objektivlinse und der Tischantriebsmechanismus 24 werden auch als eine Abtasteinheit verwendet, welche die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S abtastet. Jeder, der Bewegungsmechanismus der Objektivlinse 22 und der Tischantriebsmechanismus 24 umfasst beispielsweise einen Schrittmotor, einen Piezo-Aktuator, oder dergleichen.
Obwohl die einzelne Objektivlinse 21 in der in 1 gezeigten Konfiguration für beides, die Bestrahlung mit Anregungslicht und Fluoreszenzbeobachtung verwendet wird, können eine Objektivlinse zur Bestrahlung mit Anregungslicht und eine Objektivlinse zur Fluoreszenzbeobachtung separat bereitgestellt werden. Durch Verwendung einer Linse hoher NA als Objektivlinse für die Bestrahlung mit Anregungslicht kann ein Einfluss von Abbildungsfehlern reduziert und lokale Fokussierung durchgeführt werden. Durch Verwendung einer Linse mit einem großen Pupillendurchmesser als Objektivlinse zur Fluoreszenzbeobachtung kann mehr Fluoreszenz eingegeben werden.
Obwohl das, die Objektivlinse 21 umfassende Mikroskop in 1 eine invertierte Konfiguration aufweist, kann eine Konfiguration eines aufrechten Mikroskops verwendet werden.
Die im Bestrahlungsbereich des Beobachtungsgegenstandes S generierte und in die Objektivlinse 21 eingegebene Fluoreszenz erreicht den dichroitischen Spiegel 13, indem es dem gleichen Pfad folgt wie ein Pfad des Anregungslichts in einer entgegengesetzten Richtung und wird durch den dichroitischen Spiegel 13 reflektiert. Das Zoomobjektiv 47 und die Abbildungslinse 31, welche die vom dichroitischen Spiegel 13 reflektierte Fluoreszenz eingeben, leiten die im Bestrahlungsbereich des Beobachtungsgegenstandes S generierte Fluoreszenz zu einer Lichtempfangsoberfläche der Detektionseinheit 32 und bilden ein Fluoreszenzbild auf der Lichtempfangsoberfläche aus. Ein Filter 54 ist auf einem optischen Pfad zwischen dem dichroitischen Spiegel 13 und der Detektionseinheit 32 bereitgestellt und transmittiert das Anregungslicht selektiv in das Anregungslicht und die Fluoreszenz und blockiert selektiv das Anregungslicht. Das Filter 54 kann unterdrücken, dass die Detektionseinheit 32 partiell durch den dichroitischen Spiegel 13 reflektiertes Anregungslicht, durch den Beobachtungsgegenstand S gestreutes oder reflektiertes Anregungslicht, oder dergleichen empfängt
Hier ist eine Elementgruppe auf einem optischen Pfad des Anregungslichts von der Lichtquelle 10 zum Beobachtungsgegenstand S durch ein optisches Bestrahlungssystem zum Durchführen fokussierter Bestrahlung auf der Vielzahl von Bestrahlungsbereichen auf der Oberfläche oder innerhalb des Beobachtungsgegenstandes S mit dem von der Lichtquelle 10 ausgegebenen Anregungslicht gebildet. Eine Elementgruppe auf einem optischen Pfad der Fluoreszenz vom Beobachtungsgegenstand S zur Detektionseinheit 32 ist durch ein optisches Abbildungssystem zum Leiten und Abbilden von Licht gebildet, welches in jedem der Vielzahl von Bestrahlungsbereichen als Antwort auf Bestrahlung mit Anregungslicht auf dem Beobachtungsgegenstand S durch das optische Bestrahlungssystem generiert wurde.
Die Detektionseinheit 32 hat eine Lichtempfangsoberfläche auf welcher die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S durch das optische Abbildungssystem abgebildet werden, eine Vielzahl von Pixeln sind eindimensional oder zweidimensional auf der Lichtempfangsoberfläche angeordnet, und die Detektionseinheit gibt ein Detektionssignal aus, welches einen Wert gemäß einer Lichtempfangsmenge in jedem der Vielzahl von Pixel aufweist. Die Detektionseinheit 32 umfasst einen Photodetektor wie zum Beispiel eine Mehrfach-Anoden Photomultiplier-Röhre, einen MPPC (eingetragenes Markenzeichen), ein Photodiodenarray, ein Avalanche-Photodiodenarray, einen CCD Bildsensor, und einen CMOS Bildsensor.
Die Mehrfach-Anoden Photomultiplier-Röhre (hiernach mit „mPMT“ bezeichnet) hat eine Vielzahl von Anoden als eine Vielzahl von Pixeln und kann ein Detektionssignal gemäß einer Lichtempfangsmenge jeder Anode ausgeben. Der MPPC (Mehrfach- Pixel Photonenzähler) wird durch zweidimensionales Anordnen einer Vielzahl von Pixeln erhalten, wovon jeder einen Quenching-Widerstand aufweist, der mit einer im Geigermodus arbeitenden Avalanche Photodiode verbunden ist. Diese können Lichtdetektion mit hoher Geschwindigkeit und hoher Sensitivität durchführen.
Ein Pinhole-Array kann vor der Lichtempfangsoberfläche der Detektionseinheit 32 und einem optischen System zwischen dem Bestrahlungsbereich des Beobachtungsgegenstandes S angeordnet sein und ein Pinhole kann als konfokales optisches System verwendet werden. Das Pinhole-Array kann unmittelbar vor der Lichtempfangsoberfläche der Detektionseinheit 32 angeordnet sein oder kann mit dem Relais-Linsensystem zwischen der Lichtempfangsoberfläche der Detektionseinheit 32 und dem Pinhole-Array angeordnet sein. Dies ist wirkungsvoll zum Detektieren der Fluoreszenz durch Einzelphotonenanregung oder zum Detektieren von reflektiertem Streulicht.
Die Kontrolleinheit 70 steuert den gesamten Betrieb der Bilderfassungseinrichtung 1. Im Besonderen steuert die Kontrolleinheit 70 den Vorgang des Ausgebens von Licht durch die Lichtquelle 10, generiert ein Modulationsmuster, welches dem räumlichen Lichtmodulator 11 bereitzustellen ist, und stellt das Modulationsmuster dem räumlichen Lichtmodulator 11 bereit. Die Kontrolleinheit 70 treibt den optischen Abtaster 14 an und treibt den Bewegungsmechanismus der Objektivlinse 22 an, um die Objektivlinse 21 zu bewegen, sodass die Kontrolleinheit den Bestrahlungsbereich im Beobachtungsgegenstand S abtastet. Die Kontrolleinheit 70 kann den Tischantriebsmechanismus 24 antreiben, um den Verschiebetisch 23 zu bewegen, so dass die Kontrolleinheit den Bestrahlungsbereich im Beobachtungsgegenstand S abtasten kann.
Zusätzlich steuert die Kontrolleinheit 70 den Vorgang der Lichtdetektion durch die Detektionseinheit 32. Die Kontrolleinheit 70 wird auch als eine Bilderzeugungseinheit verwendet, die ein von der Detektionseinheit 32 ausgegebenes Detektionssignal empfängt und generiert ein Bild des Beobachtungsgegenstandes S basierend auf dem Detektionssignal. Dies wird später beschrieben.
Die Kontrolleinheit 70 ist zum Beispiel ein Computer und hat zumindest einen Schaltkreis zur Bildverarbeitung. Die Kontrolleinheit 70 wird zusammen mit einer Eingabeeinheit 71 und einer Anzeigeeinheit 72 verwendet. Die Eingabeeinheit 71 ist zum Beispiel eine Tastatur oder eine Maus und gibt eine Startanweisung der Messung, eine Anweisung der Meßbedingung oder dergleichen ein. Die Anzeigeeinheit 72 ist zum Beispiel ein Bildschirm und zeigt Messbedingungen oder zeigt ein Bild des Beobachtungsgegenstandes S.
Ein schematischer Betrieb der Bilderfassungseinrichtung 1 ist wie folgt. Das optische Bestrahlungssystem führt fokussierte Bestrahlung auf der Vielzahl von Bestrahlungsbereichen auf der Oberfläche oder innerhalb des Beobachtungsgegenstandes S mit von der Lichtquelle 10 ausgegebenem Anregungslicht durch. Das heißt der Strahldurchmesser des von der Lichtquelle 10 ausgegebenen Anregungslichts wird durch den Strahlaufweiter (Linsen 41 und 42) eingestellt und das Anregungslicht wird vom Spiegel 51 reflektiert und in den räumlichen Lichtmodulator 11 eingegeben. Die Phase oder die Amplitude wird durch den räumlichen Lichtmodulator 11, in welchem das Modulationsmuster durch die Kontrolleinheit 70 zur Verfügung gestellt wird, in einem Strahlquerschnitt des Anregungslichts räumlich moduliert und das modulierte Anregungslicht wird vom räumlichen Lichtmodulator 11 ausgegeben.
Das vom räumlichen Lichtmodulator 11 ausgegebene Anregungslicht tritt durch den dichroitischen Spiegel 13 und wird über das telezentrische Relais-Linsensystem (Linsen 43 und 44) in den optischen Abtaster 14 eingegeben. Der optische Abtaster 14 verändert eine Ausgaberichtung des Anregungslichts vom optischen Abtaster 14. Das vom optischen Abtaster 14 ausgegebene Anregungslicht wird durch den Spiegel 52 reflektiert, durchläuft das telezentrische Relais-Linsensystem (Linsen 45 und 46), wird vom Spiegel 53 reflektiert, und wird in die Objektivlinse 21 eingegeben.
Das in die Objektivlinse 21 eingegebene Anregungslicht wird fokussiert und fällt auf die Oberfläche oder innerhalb des Beobachtungsgegenstandes S auf dem Verschiebetisch 23 ein. Zu diesem Zeitpunkt ist die Anzahl der Bestrahlungsbereiche, deren Abstand, und dergleichen im Beobachtungsgegenstand S gemäß des im räumlichen Lichtmodulator 11 durch die Kontrolleinheit 70 dargestellten Modulationsmusters eingestellt. Eine Position in der XY-Ebene des Bestrahlungsbereichs im Beobachtungsgegenstand S wird durch den optischen Abtaster 14, der durch die Kontrolleinheit 70 angetrieben ist, abgetastet. Eine Position der Z- Richtung des Bestrahlungsbereichs im Beobachtungsgegenstand S wird durch das Bewegen der Objektivlinse 21 in Z-Richtung durch den Bewegungsmechanismus 22 der Objektivlinse, der durch die Kontrolleinheit 70 angetrieben ist, abgetastet oder wird durch Bewegen des Verschiebetischs 23 in Z-Richtung durch den Tischantriebsmechanismus 24, der von der Kontrolleinheit 70 angetrieben ist, abgetastet.
Die im Bestrahlungsbereich des Beobachtungsgegenstandes S generierte und in die Objektivlinse 21 eingegebene Fluoreszenz wird auf der Lichtempfangsoberfläche der Detektionseinheit 32 durch das optische Abbildungssystem abgebildet. Das heißt die Fluoreszenz wird durch den dichroitischen Spiegel 13 über die Objektivlinse 21, den Spiegel 53, das telezentrische Relais-Linsensystem (Linsen 46 und 45), den Spiegel 52, den optischen Abtaster 14, und das telezentrische Relais-Linsensystem (Linsen 44 und 43) reflektiert. Durch den Vorgang des Entscannens (descanning) des optischen Abtasters 14 der Fluoreszenz werden die Hauptstrahlen des Anregungslichts und der Fluoreszenz zwischen dem dichroitische Spiegel 13 und dem optischen Abtaster 14 aneinander angeglichen. Die vom dichroitischen Spiegel 13 reflektierte Fluoreszenz trifft über das Zoomobjektiv 47, das Filter 54, und die Abbildungslinse 31 an der Lichtempfangsoberfläche der Detektionseinheit 32 ein. Der Bestrahlungsbereich im Beobachtungsgegenstand S wird auf der Lichtempfangsoberfläche der Detektionseinheit 32 abgebildet.
Ferner wird ein Detektionssignal mit einem, einer Lichtempfangsmenge in jedem der Vielzahl von Pixeln, die auf der Lichtempfangsoberfläche der Detektionseinheit 32 angeordnet sind, entsprechenden Wert von der Detektionseinheit 32 ausgegeben. Das von der Detektionseinheit 32 ausgegebenen Detektionssignal wird in die Kontrolleinheit 70 eingegeben. Ein Bild des Beobachtungsgegenstandes S wird durch die Kontrolleinheit 70 generiert, die als, auf dem von der Detektionseinheit 32 ausgegebenen Detektionssignal basierende Bilderzeugungseinheit fungiert. Das Bild wird durch die Anzeigeeinheit 72 angezeigt.
Obwohl die in 1 gezeigte Bilderfassungseinrichtung den reflektiven räumlichen Lichtmodulator umfasst, kann, wie in 2 gezeigt, eine Konfiguration einer Bilderfassungseinrichtung 2 mit einem transmittiven räumlichen Lichtmodulator verwendet werden. 2 ist ein Schaubild, welches die Konfiguration der Bilderfassungseinrichtung 2 zeigt. Diese Zeichnung zeigt ein optisches Bestrahlungssystem des Anregungslichts von einem transmittiven räumlichen Lichtmodulator 12 zum Beobachtungsgegenstand S und ein optisches Abbildungssystem der Fluoreszenz vom Beobachtungsgegenstand S zur Detektionseinheit 32.
Ein dichroitischer Spiegel 13, eine Objektivlinse 21, ein Verschiebetisch 23, eine Abbildungslinse 31, und eine Detektionseinheit 32, die in der in 2 gezeigten Bilderfassungseinrichtung 2 inbegriffen sind, sind die gleichen wie jene, die in der in 1 gezeigten Bilderfassungseinrichtung 1 inbegriffen sind. Wie bei der Konfiguration der Bilderfassungseinrichtung 1 umfasst die Bilderfassungseinrichtung 2 eine Lichtquelle, einen Strahlaufweiter, einen Bewegungsmechanismus der Objektivlinse, einen Tischantriebsmechanismus, eine Kontrolleinheit, und dergleichen, die in 2 nicht gezeigt sind.
Der räumliche Lichtmodulator 12 kann zum Zeitpunkt des Hindurchtretens des Anregungslichts die Phase oder die Amplitude im Strahlquerschnitt des Anregungslichts räumlich modulieren. Wie der reflektive räumliche Lichtmodulator 11 kann der transmissive räumliche Lichtmodulator 12 mit dem modulierten Anregungslicht auf der Oberfläche oder innerhalb des Beobachtungsgegenstandes S fokussierte Bestrahlung auf der Vielzahl von Bestrahlungsbereichen durchführen, kann ebenso als eine, die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S abtastende Abtasteinheit verwendet werden, und kann Abbildungsfehler eines, die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S erreichenden optischen Pfades korrigieren.
Optische Abtaster 14a und 14b sind als eine Abtasteinheit bereitgestellt, die den Bestrahlungsbereich in einer Richtung abtastet, welche sich mit einer Richtung der Lichtbestrahlung der Anregung auf dem Beobachtungsgegenstand S schneidet. Ein optischer Abtaster 14a gibt das vom räumlichen Lichtmodulator 12 über den dichroitischen Spiegel 13 und ein telezentrisches Relais-Linsensystem (Linsen 61 und 62) eintreffende Anregungslicht ein und tastet den Bestrahlungsbereich in einer ersten Richtung ab, die sich mit der Richtung der Lichtbestrahlung der Anregung auf dem Beobachtungsgegenstand S schneidet. Der andere optische Abtaster 14b gibt das vom optischen Abtaster 14a über ein telezentrisches Relais-Linsensystem (Linsen 63 und 64) eintreffende Anregungslicht ein und tastet den Bestrahlungsbereich in einer zweiten Richtung ab, die sich mit der Richtung der Lichtbestrahlung der Anregung auf dem Beobachtungsgegenstand S schneidet. Beispielsweise ist eine der ersten oder der zweiten Richtung eine X-Richtung und die andere ist eine Y-Richtung.
Ein schematischer Betrieb der Bilderfassungseinrichtung 2 ist wie folgt. Das optische Bestrahlungssystem führt auf der Oberfläche oder innerhalb des Beobachtungsgegenstandes S mit dem von der Lichtquelle ausgegebenem Anregungslicht fokussierte Bestrahlung auf der Vielzahl von Bestrahlungsbereichen durch. Das heißt der Strahldurchmesser des von der Lichtquelle ausgegebenen Anregungslichts wird durch den Strahlaufweiter eingestellt und das Anregungslicht wird in den räumlichen Lichtmodulator 12 eingegeben. Die Phase oder die Amplitude wird durch den räumlichen Lichtmodulator 12, in welchem das vorbestimmte Modulationsmuster dargestellt wird, in einem Strahlquerschnitt des Anregungslichts räumlich moduliert und das modulierte Anregungslicht wird vom räumlichen Lichtmodulator 12 ausgegeben.
Das vom räumlichen Lichtmodulator 12 ausgegebene Anregungslicht tritt durch den dichroitischen Spiegel 13 und wird über das telezentrische Relais-Linsensystem (Linsen 61 und 62) in den optischen Abtaster 14a eingegeben. Der optische Abtaster 14a verändert eine Ausgaberichtung des Anregungslichts vom optischen Abtaster 14a. Das vom optischen Abtaster 14a ausgegebene Anregungslicht wird über das telezentrische Relais-Linsensystem (Linsen 63 und 64) in den optischen Abtaster 14b eingegeben. Der optische Abtaster 14b ändert eine Ausgaberichtung des Anregungslichts vom optischen Abtaster 14b. Das vom optischen Abtaster 14b ausgegebene Anregungslicht wird über das telezentrische Relais-Linsensystem (Linsen 65 und 66) in die Objektivlinse 21 eingegeben.
Das in die Objektivlinse 21 eingegebene Anregungslicht wird fokussiert und fällt auf der Oberfläche oder innerhalb des Beobachtungsgegenstandes S auf dem Verschiebetisch 23 ein. Zu diesem Zeitpunkt ist die Anzahl der Bestrahlungsbereiche, deren Abstand, und dergleichen im Beobachtungsgegenstand S gemäß des im räumlichen Lichtmodulator 12 dargestellten Modulationsmusters eingestellt. Die Position in der XY-Ebene des Bestrahlungsbereichs im Beobachtungsgegenstand S wird durch die optischen Abtaster 14a und 14b abgetastet. Eine Position der Z-Richtung des Bestrahlungsbereichs im Beobachtungsgegenstand S wird durch das Bewegen der Objektivlinse 21 in Z-Richtung durch den Bewegungsmechanismus der Objektivlinse abgetastet oder wird durch Bewegen des Verschiebetischs 23 in Z-Richtung durch den Tischantriebsmechanismus 24 abgetastet.
Die im Bestrahlungsbereich des Beobachtungsgegenstandes S generierte und in die Objektivlinse 21 eingegebene Fluoreszenz wird durch das optische Abbildungssystem auf der Lichtempfangsoberfläche der Detektionseinheit 32 abgebildet. Das heißt die Fluoreszenz wird durch den dichroitischen Spiegel 13 über die Objektivlinse 21, das telezentrische Relais-Linsensystem (Linsen 66 und 65), den optischen Abtaster 14b, das telezentrische Relais-Linsensystem (Linsen 64 und 63), den optischen Abtaster 14a, und das telezentrische Relais-Linsensystem (Linsen 62 und 61) reflektiert. Durch den Vorgang des Entscannens (descanning) der optischen Abtaster 14a und 14b der Fluoreszenz werden die Hauptstrahlen des Anregungslichts und der Fluoreszenz zwischen dem dichroitische Spiegel 13 und dem optischen Abtaster 14b aneinander angeglichen. Die vom dichroitischen Spiegel 13 reflektierte Fluoreszenz trifft über die Abbildungslinse 31 an der Lichtempfangsoberfläche der Detektionseinheit 32 ein. Der Bestrahlungsbereich im Beobachtungsgegenstand S wird auf der Lichtempfangsoberfläche der Detektionseinheit 32 abgebildet.
Ferner wird ein Detektionssignal mit einem, einer Lichtempfangsmenge in jedem der Vielzahl von Pixeln, die auf der Lichtempfangsoberfläche der Detektionseinheit 32 angeordnet sind, entsprechenden Wert von der Detektionseinheit 32 ausgegeben. Ein Bild des Beobachtungsgegenstandes S wird durch die Kontrolleinheit, die als Bilderzeugungseinheit fungiert, basierend auf dem von der Detektionseinheit 32 ausgegebenen Detektionssignal generiert. Das Bild wird durch die Anzeigeeinheit angezeigt.
Die vorliegende Erfindung kann auf jede der zwei in 1 und 2 gezeigten Konfigurationen angewendet werden. Die Bilderfassungseinrichtung und das Bilderfassungsverfahren gemäß der vorliegenden Ausgestaltung beziehen sich hauptsächlich auf die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S und einen Zusammenhang zwischen Pixelstrukturen und Abbildungsbereichen auf der Lichtempfangsoberfläche der Detektionseinheit 32 und verbessern ein S/N-Verhältnis des Bildes des Beobachtungsgegenstandes S basierend auf dem Zusammenhang.
Jede der Bilderfassungseinrichtungen 1 und 2 ist in geeigneter Weise in der Laser-Scanning Fluoreszenzmikroskopie (hiernach als „LSFM“ bezeichnet) verwendet, die Mehrpunktabtastung durchführt. Ferner werden unter den LSFM, die Mehrpunktabtastung durchführen, jene, die den Beobachtungsgegenstand S mit Kurzpuls-Laserlicht als Anregungslicht bestrahlen und Multiphotonen-angeregte Fluoreszenz detektieren, multifokale Multiphotonenmikroskopie genannt (im Folgenden als „MMM“ bezeichnet). Jede der Bilderfassungseinrichtungen 1 und 2 kann auch in geeigneter Weise in der MMM verwendet werden.
Im Fall der Multiphotonenanregung ist die Wellenlänge des Anregungslichts lang und die Fluoreszenz wird nur in einem begrenzten Bereich generiert, in welchem eine Photonendichte des Anregungslichtes, im Vergleich zum Fall der Einzelphotonenanregung, im Beobachtungsgegenstand hoch ist. Deshalb ist im Fall der Multiphotonenanregung ein Einfluss von Streuung oder Absorption des Anregungslichts gering und die Multiphotonenanregung ist dazu geeignet ein Fluoreszenzbild insbesondere eines tiefen Bereiches des Beobachtungsgegenstandes zu erfassen. Ferner ist es durch Steuerung der Wellenfront des Anregungslichts durch den räumlichen Lichtmodulator möglich, die Abbildungsfehler aufgrund eines Brechzahlunterschieds zwischen dem Beobachtungsgegenstand und dem umgebenden Medium (zum Beispiel Wasser, Luft, Öl, oder dergleichen) zu korrigieren und fokussierte Bestrahlung mit dem Anregungslicht auf einem lokalen Bestrahlungsbereich innerhalb des Beobachtungsgegenstands durchzuführen. Deshalb ist es im Fall von Multiphotonenanregung möglich, ein Bild zu erhalten, welches sowohl eine hohe Fluoreszenzintensität und Auflösung aufweist, selbst an einem tiefen Bereich des Beobachtungsgegenstandes und es ist möglich, ein Fluoreszenzbild des tiefen Bereichs des Beobachtungsgegenstandes bei hoher Geschwindigkeit zu erhalten, indem die Mehrpunktabtastung und die Korrektur der Abbildungsfehler kombiniert werden.
Wenn die Intensität des von der Lichtquelle 10 ausgegebenen Anregungslichts einen ausreichenden Abstand zur Intensität des Anregungslichts hat, die notwendig ist um im Beobachtungsgegenstand S enthaltene fluoreszierende Moleküle anzuregen, um Fluoreszenz zu generieren und Schaden am Beobachtungsgegenstand S auch dann klein ist, wenn die Mehrpunktabtastung durchgeführt wird, so ist LSFM oder MMM, welche die Mehrpunktabtastung durchführen, extrem wirkungsvoll für die hohe Geschwindigkeit.
Beispielsweise wird in Zweiphotonenanregungs-Fluoreszenzmikroskopie eine Laserlichtquelle verwendet, die gepulstes Laserlicht mit einer Pulsdauer von Femtosekunden oder Pikosekunden ausgibt, allerdings ist eine Laserlichtleistung extrem groß, wie zum Beispiel ungefähr 3 W, um eine stabile Leistung der Laserlichtquelle zu erhalten. Im Gegensatz dazu kann die Lichtmenge der Lichtbestrahlung der Anregung in einer flachen Position nahe der Oberfläche des Beobachtungsgegenstandes ungefähr 10 mW betragen, um Fluoreszenz im Beobachtungsgegenstand zu generieren. Als solche hat die Laserlichtleistung eine Differenz von dem Dreihundertfachen bezogen auf die Intensität des Anregungslichts, die notwendig ist, um die Fluoreszenz zu generieren. Ferner ist die Wärmestauung klein, solange die zwei benachbarten Bestrahlungspositionen nicht extrem nah beieinander sind.
3 umfasst Schaubilder zum Erklären der Einzelpunktabtastung und der Mehrpunktabtastung. Diese Zeichnung zeigt einen Zustand des Abtastens des Bestrahlungsbereichs im Beobachtungsgegenstand S parallel zur Z-Richtung gesehen. In der in (a) in 3 gezeigten Einzelpunktabtastung wird ein Bestrahlungsbereich A über den gesamten zu untersuchenden Bereich im Beobachtungsgegenstand S abgerastert. In der in (b) in 3 gezeigten Vier-Punkt-Abtastung ist der zu untersuchende Bereich im Beobachtungsgegenstand S gleichmäßig in vier Teilbereiche S₁ bis S₄ aufgeteilt und ein Bestrahlungsbereich An wird in jedem Teilbereich S_n abgerastert. In der Vier-Punkt-Abtastung werden vier Bestrahlungsbereiche A₁ bis A₄ simultan abgetastet. Deshalb kann eine Messzeit im Vergleich zur Einzelpunktabtastung in der Vier-Punkt-Abtastung auf 1/4 verkürzt werden.
25 umfasst Schaubilder zum Erklären eines anderen Beispiels von Mehrpunktabtastung. Diese Zeichnung zeigt auch einen Zustand des Abtastens der Bestrahlungsbereiche A₁ bis A₄ im Beobachtungsgegenstand S parallel zur Z-Richtung gesehen. In diesem Beispiel, wie in (a) in 25 gezeigt, sind die Bestrahlungsbereiche A₁ bis A₄ zum Zeitpunkt der Rasterabtastung auf einer geraden Linie parallel zu einer schnellen Achse angeordnet. Obwohl die Messzeit in dieser Mehrpunktabtastung nicht verkürzt werden kann, durchlaufen die Bestrahlungsbereiche A₁ bis A₄ sequenziell in einem kurzen Zeitabstand entsprechende Positionen in einem, in (b) in 25 gezeigten Schraffurbereich (Bereich, wo Abtastbereiche der Bestrahlungsbereiche A₁ bis A₄ überlappen). Deshalb ist es leicht möglich die Bewegung, beispielsweise eines fluoreszierenden Proteins oder dergleichen zu bestätigen. In dieser Mehrpunktabtastung wird eine Vielzahl von Bildern von verschiedenen Zeitpunkten an einem bestimmten Beobachtungspunkt im Beobachtungsgegenstand S ausgegeben. Selbst in diesem Fall werden letztendlich zahlreiche Punkte simultan gemessen, sodass Streuung von Fluoreszenz, die von einem anderen Anregungslicht angeregt wurde, auch in anderen Bildern inbegriffen ist.
4 umfasst Schaubilder zum Erklären der Bestrahlungsbereiche A₁ bis A₄ im Beobachtungsgegenstand S im Fall von Vier-Punkt-Abtastung und Abbildungsbereiche B₁ bis B₄ auf der Lichtempfangsoberfläche der Detektionseinheit 32. (a) in 4 zeigt die Objektivlinse 21 und dem Beobachtungsgegenstand S und zeigt schematisch die vier Bestrahlungsbereiche A₁ bis A₄ im Beobachtungsgegenstand S. (b) in 4 zeigt die Abbildungslinse 31 und die Detektionseinheit 32 und zeigt schematisch vier Pixel P₁ bis P₄ und vier Abbildungsbereiche B₁ bis B₄ auf der Lichtempfangsoberfläche der Detektionseinheit 32.
Jeder Abbildungsbereich B_n auf der Lichtempfangsoberfläche der Detektionseinheit 32 ist durch das optische Abbildungssystem in einer Abbildungsrelation mit dem Bestrahlungsbereich An im Beobachtungsgegenstand S. Im Beobachtungsgegenstand S sind die vier Bestrahlungsbereiche A₁ bis A₄ voneinander getrennt, und auf der Lichtempfangsoberfläche der Detektionseinheit 32 sind die vier Abbildungsbereiche B₁ bis B₄ auch voneinander getrennt. Jeder Pixel P_n entspricht dem Abbildungsbereich B_n und gibt ein Detektionssignal aus, welches einen Wert aufweist, der einer Lichtempfangsmenge im Abbildungsbereich B_n entspricht.
5 ist ein Schaubild, welches die Bestrahlungsbereiche A₁ bis A₄ und eine Verteilung von fluoreszierenden Kügelchen im Beobachtungsgegenstand S im Fall der Vier-Punkt-Abtastung zeigt. In dieser Zeichnung wird eine Resultierende, die erhalten wird, wenn eine Vielzahl von, durch Kreise mit durchgezogenen Linien gezeigte fluoreszierende Kügelchen in einem Epoxidharz verteilt werden, als Beobachtungsgegenstand S angenommen. Ferner wird in dieser Zeichnung angenommen, dass die fluoreszierenden Kügelchen in den Bestrahlungsbereichen A₂ und A₄ vorhanden sind und die fluoreszierenden Kügelchen in den Bestrahlungsbereichen A₁ und A₃ , durch Kreise mit Strichlinie gezeigt, nicht vorhanden sind. Im Fall des in dieser Zeichnung gezeigten Beispiel kommt die Fluoreszenz an jedem der Abbildungsbereiche B₂ und B₄ der vier Abbildungsbereiche B₁ bis B₄ auf der Lichtempfangsoberfläche der Detektionseinheit 32 an und die Fluoreszenz und die Fluoreszenz kommt nicht an den Abbildungsbereichen B₁ und B₃ an.
Dennoch existieren die fluoreszierenden Kügelchen, die als Faktoren von Streuung, Beugung und Abbildungsfehlern gelten in optischen Pfaden des Anregungslichts und der Fluoreszenz zwischen der Objektivlinse 21 und jedem Bestrahlungsbereich im Beobachtungsgegenstand S. Aus diesem Grund verteilt sich der Lichtempfangsbereich, auf welchem die Fluoreszenz letztlich auf der Lichtempfangsoberfläche der Detektionseinheit 32 ankommt, stärker als ein Abbildungsbereich basierend auf der Abbildungsrelation mit dem Bestrahlungsbereich im Beobachtungsgegenstand S durch das optische Abbildungssystem. Das Ausmaß der Verteilung hängt von der Größenordnung der Streuung oder Abbildungsfehlern im Beobachtungsgegenstand S ab. Im Allgemeinen ist das Ausmaß der Verteilung des Lichtempfangsbereichs am geringsten, wenn sich der Bestrahlungsbereich in der Nähe der Oberfläche des Beobachtungsgegenstandes befindet. Das Ausmaß der Verteilung des Lichtempfangsbereichs erhöht sich, wenn der Bestrahlungsbereich im Beobachtungsgegenstand tiefer wird. Dies wird auch an einem lebenden Körper oder dergleichen angewandt, welcher der tatsächliche Beobachtungsgegenstand sein soll.
6 umfasst Schaubilder zum Erklären der Verteilung des Lichtempfangsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit 32 im Fall der Vier-Punkt-Abtastung. In dieser Zeichnung ist die Größe des Lichtempfangsbereichs, auf welchem das Fluoreszenzlicht tatsächlich ankommt, durch eine Größe eines Kreises gezeigt. (a) in 6 zeigt den Fall, wo der Bestrahlungsbereich in der Nähe der Oberfläche des Beobachtungsgegenstandes angeordnet ist. (b) in 6 zeigt den Fall, wo der Bestrahlungsbereich an einer flachen Position im Beobachtungsgegenstand angeordnet ist. Ferner zeigt (c) in 6 den Fall, wo der Bestrahlungsbereich an einer tiefen Position im Beobachtungsgegenstand angeordnet ist.
Wie in (a) in 6 gezeigt ist, weist der Lichtempfangsbereich C_n fast die gleiche Verteilung wie der Abbildungsbereich B_n auf und ist nur im entsprechenden Pixel P_n enthalten. Allerdings wird das Ausmaß der Verteilung des Lichtempfangsbereichs C_n größer als jene des Abbildungsbereichs B_n , wenn der Bestrahlungsbereich tiefer im Beobachtungsgegenstand ist. Wie in (c) in 6 gezeigt, erstreckt sich der Lichtempfangsbereich C_n nicht nur auf das entsprechende Pixel P_n , sondern auch auf angrenzende Pixel P_n-1 und P_n+1 . Das heißt, dass ein Teil eines, ursprünglich vom Pixel P_n auszugebenden Detektionssignals zu den, von den angrenzenden Pixeln P_n-1 und P_n+1 ausgegebenen Detektionssignalen hinzugefügt werden kann. Als ein Ergebnis verschlechtert sich ein S/N-Verhältnis des Fluoreszenzbildes des Beobachtungsgegenstandes S, welches basierend auf dem Detektionssignal generiert wurde.
7 ist eine graphische Darstellung, welche die Intensität der Fluoreszenz in jedem Pixel der Detektionseinheit 32 im Fall der Einzelpunktabtastung zeigt. Hier wird eine Resultierende verwendet, die erhalten wird, wenn die fluoreszierenden Kügelchen in einem Epoxidharz verteilt werden, und mPMT als Detektionseinheit 32 verwendet wird. Ein vorbestimmtes Modulationsmuster ist im räumlichen Lichtmodulator derart dargestellt, dass ein einzelner Bestrahlungsbereich auf der Oberfläche oder innerhalb des Beobachtungsgegenstandes S abgetastet werden kann. Diese Zeichnung zeigt die Verteilung des Lichtempfangsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit 32 wenn der jeweilige Bestrahlungsbereich auf die Oberfläche (Tiefe 0 µm), eine Tiefe von 250 µm, eine Tiefe von 500 µm, und eine Tiefe von 1250 µm im Beobachtungsgegenstand S eingestellt ist. Eine horizontale Achse repräsentiert eine Anodenzahl (Pixelposition) einer als Detektionseinheit 32 fungierenden mPMT.
Wenn der einzelne Bestrahlungsbereich auf die Oberfläche (Tiefe 0 µm) des Beobachtungsgegenstandes S eingestellt ist, kommt die Fluoreszenz nur an einer einzelnen Anode 6 der neun Anoden 1 bis 9 der mPMT an. Dies zeigt, dass sich nur die Anode 6 im Abbildungsbereich auf der Lichtempfangsoberfläche in der Abbildungsrelation mit dem Bestrahlungsbereich im Beobachtungsgegenstand S befindet. Da kein Einfluss von Streuung auf der Oberfläche (Tiefe 0 µm) des Beobachtungsgegenstandes S existiert, kommt die Fluoreszenz nur an der Anode 6 an
Da die Position des einzelnen Bestrahlungsbereichs im Beobachtungsgegenstand S tiefer wird, erhöht sich der Betrag der Fluoreszenz, der an den Anoden 5 und 7 und denjenigen, die an die Anode 6 angrenzen, ankommt und der Lichtempfangsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32 breitet sich aus. Die Anoden 5 und 7 und dergleichen befinden sich im Abbildungsbereich nicht in einer Abbildungsrelation mit dem Bestrahlungsbereich im Beobachtungsgegenstand S. Die Verteilung des Lichtempfangsbereichs auf der Lichtempfangsoberfläche wird durch einen Einfluss von Streuung und Abbildungsfehlern im Beobachtungsgegenstand S hervorgerufen.
Im Fall der Einzelpunktabtastung kann eine Gesamtmenge der Fluoreszenz, die an der gesamten Lichtempfangsoberfläche der Detektionseinheit 32 ankommt durch eine Gesamtsumme an, von allen Anoden 1 bis 9 ausgegebenen Detektionssignalen erhalten werden. Alternativ kann im Fall der Einzelpunktabtastung die Gesamtmenge der Fluoreszenz durch Verwendung einer Detektionseinheit mit einem einzelnen Kanal (einzelner Pixel), anstelle der Detektionseinheit 32, in welcher die Vielzahl von Pixeln auf der Lichtempfangsoberfläche angeordnet ist, erhalten werden. Insbesondere im Fall der Multiphotonenanregung steigt die Anregungswahrscheinlichkeit nur in der Nähe eines Fokuspunktes, wo eine Photonendichte hoch ist und die Fluoreszenz generiert wird, und daher wird die Fluoreszenz, wenn es keinen Einfluss der Abbildungsfehler und Streuung auf das Anregungslicht gibt, nur von einer zu untersuchenden Position generiert (das heißt eine Position in der Nähe einer Position, wo das Anregungslicht fokussiert ist). Hieraus kann die Gesamtmenge der Fluoreszenz detektiert werden, selbst wenn die von einem bestimmten lokalen Bestrahlungsbereich generierte Fluoreszenz sich auf der Lichtempfangsoberfläche der Detektionseinheit verteilt. Vom zu dieser Zeit von der Detektionseinheit ausgegebenen Detektionssignal kann man sagen, dass es die gesamte, vom lokalen Bestrahlungsbereich generierte Fluoreszenz aufsammelt, sofern ein Einfluss von Absorption nicht beachtet wird
Im Gegensatz dazu sind, im Falle der Mehrpunktabtastung, eine Vielzahl von Abbildungsbereichen auf der Lichtempfangsoberfläche der Detektionseinheit 32 durch die Abbildungsrelation des optischen Abbildungssystems voneinander getrennt, mit der Vielzahl von Bestrahlungsbereichen, die im Beobachtungsgegenstand S voneinander getrennt sind. Wenn die Fluoreszenz in irgendeinem der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S generiert wird, kommt die Fluoreszenz auf der Lichtempfangsoberfläche der Detektionseinheit 32 an dem Abbildungsbereich an, der in der Abbildungsrelation mit dem Strahlungsbereich ist, wo die Fluoreszenz generiert wird, und ferner verteilt sich der aktuelle Lichtempfangsbereich mehr als der Abbildungsbereich, wenn ein Einfluss von Streuung und Abbildungsfehlern besteht.
8 ist eine graphische Darstellung, welche die Intensität der Fluoreszenz in jedem Pixel der Detektionseinheit 32 im Fall der Zweipunktabtastung zeigt. Diese Zeichnung zeigt ein Simulationsergebnis im Fall der Zweipunktabtastung, durchgeführt unter Nutzung des in 7 gezeigten aktuellen Meßergebnisses. Diese Zeichnung zeigt die Verteilung des Lichtempfangsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit 32, wenn zwei Bestrahlungsbereiche im Beobachtungsgegenstand S jeweils auf die Oberfläche (Tiefe 0 µm), eine Tiefe 250 µm, eine Tiefe 500 µm, und eine Tiefe 1250 µm eingestellt sind.
Wenn die zwei Bestrahlungsbereiche auf die Oberfläche (Tiefe 0 µm) des Beobachtungsgegenstandes S eingestellt sind, kommt die Fluoreszenz nur an zwei Anoden 5 und 7 der neun Anoden 1 bis 9 der mPMT an. Dies zeigt, dass sich die Anode 5 im Abbildungsbereich auf der Lichtempfangsoberfläche in der Abbildungsrelation mit einem Bestrahlungsbereich im Beobachtungsgegenstand S befindet, und das sich die Anode 7 im Abbildungsbereich auf der Lichtempfangsoberfläche in der Abbildungsrelation mit dem anderen Bestrahlungsbereich im Beobachtungsgegenstand S befindet.
Wenn die Positionen der zwei Bestrahlungsbereiche im Beobachtungsgegenstand S tiefer werden, steigt die Menge an Fluoreszenz, die an den Anoden 4, 6 und 8 und dergleichen, sich von den Anoden 5 und 7 unterscheidenden Anoden, ankommt. Die Anoden 4, 6 und 8 und dergleichen existieren nicht in den zwei Abbildungsbereichen in der Abbildungsrelation mit den zwei Bestrahlungsbereichen im Beobachtungsgegenstand S. Die von den Anoden 4, 6 und 8 und dergleichen detektierte Fluoreszenz sollte ursprünglich nicht durch diese Anoden detektiert werden. Die von den Anoden 4, 6 und 8 und dergleichen, sich von den Anoden 5 und 7 unterscheidenden Anoden ausgegebenen Detektionssignale werden zum Zeitpunkt des Erzeugens des Fluoreszenzbildes des Beobachtungsgegenstandes S zu Rauschen.
Aufgrund eines Einflusses des Rauschens wird im zu erzeugenden Fluoreszenzbild des Beobachtungsgegenstandes S ein Geisterbild erzeugt oder das Hintergrundrauschen verstärkt. Das Geisterbild und das Hintergrundrauschen werden durch Detektionssignale (Rauschen) hervorgerufen, die von Pixeln ausgegeben wurden, die Fluoreszenz detektiert haben, die ursprünglich nicht detektiert werden sollte. Allerdings tritt in einigen Fällen der Einfluss des Rauschens als Geisterbild im Fluoreszenzbild des Beobachtungsgegenstandes S auf und in einigen anderen Fällen tritt der Einfluss des Rauschens als Hintergrundrauschen auf.
Das Geisterbild wird generiert, wenn Bereiche der Fluoreszenzerzeugung relativ spärlich in einem weiten Bereich des Beobachtungsgegenstandes S sind oder wenn ein S/N-Verhältnis eines Fluoreszenzsignals hoch ist. Es wird beispielsweise angenommen, dass die Mehrpunktabtastung durchgeführt wird, die eine Resultierende nutzt, die erhalten wird, wenn als Beobachtungsgegenstand S die fluoreszierenden Kügelchen in einem Epoxidharz verteilt werden. Wenn die Verteilungsdichte der fluoreszierenden Kügelchen relativ klein ist, ist ein Bereich, wo die Fluoreszenz erzeugt werden kann klein und im Falle der Mehrpunktabtastung kann die Fluoreszenz nur in einem bestimmten Bestrahlungsbereich der Vielzahl von Bestrahlungsbereichen generiert werden. Da ferner die Fluoreszenzintensität stark ist, ist das S/N-Verhältnis relativ hoch. Zu dieser Zeit verteilt sich der aktuelle Lichtempfangsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32 wie oben beschrieben, so das er als Rauschen in anderen Pixeln beobachtet wird. Das Rauschen aufgrund der Verteilung des aktuellen Lichtempfangsbereichs ist, verglichen mit Rauschen wie einem Dunkelstrom- und Ausleserauschen, die ursprünglich im Pixel erzeugt wurden, relativ stark, und wenn keine andere Fluoreszenz am Pixel ankommt, wird durch das Pixel ein Kügelchen, welches nicht existieren sollte, d.h. das Geisterbild, beobachtet.
9 umfasst Schaubilder, die Fluoreszenzbilder des Beobachtungsgegenstandes im Fall von jedem, der Einzelpunktabtastung und der Vierpunktabtastung zeigen. Hier wird eine Resultierende als Beobachtungsgegenstand S verwendet, die erhalten wird, wenn die fluoreszierenden Kügelchen in einem Epoxidharz verteilt werden. (a) in 9 zeigt das Fluoreszenzbild des Beobachtungsgegenstandes S im Fall der Einzelpunktabtastung. (b) in 9 zeigt das Fluoreszenzbild des Beobachtungsgegenstandes im Fall der Vierpunktabtastung. Ferner zeigt (b) in 9 eine Anfangsposition des Abtasten (Rasterabtastung) in jedem Teilbereich mit einem Pfeil, wenn ein im Beobachtungsgegenstand S zu untersuchender Bereich gleichmäßig in vier Teilbereiche S₁ bis S₄ aufgeteilt ist. Im Teilbereich S₃ des Fluoreszenzbildes ((b) in 9) wird im Fall der Vierpunktabtastung das fluoreszierende Kügelchen an der gleichen Position erkannt wie jene des fluoreszierenden Kügelchens im Fluoreszenzbild ((a) in 9) im Fall der Einzelpunktabtastung. Zusätzlich werden in den Teilbereichen S₂ und S₄ des Fluoreszenzbildes ((b) in 9) im Fall der Vierpunktabtastung die fluoreszierenden Kügelchen aufgrund des Auftretens des Geistes in einem Bereich beobachtet, der von Kreisen mit gestrichelten Linien umgeben ist.
Indessen wird im Fall, wo die Bereiche der Fluoreszenzerzeugung nicht relativ spärlich im gesamten Beobachtungsbereich des Beobachtungsgegenstandes S sind, wenn das S/N-Verhältnis des Fluoreszenzsignals gering ist, aufgrund von Streuung auftretende Fluoreszenz als das Hintergrundrauschen beobachtet. Beispielsweise können zwei oder mehr Fluoreszenzsignale in jedem Pixel der Detektionseinheit 32 vermischt sein oder die beobachtete Fluoreszenz kann sich in einem weiten Bereich im Bild befinden.
In jedem Fall wird, wenn das Geisterbild auftritt, ein Bild, das nicht beobachtet werden sollte, beobachtet, und wenn das Hintergrundrauschen auftritt verringert sich das S/N-Verhältnis. Als ein Ergebnis kann eine Beobachtungstiefe im Beobachtungsgegenstand S begrenzt sein. Die vorliegende Ausgestaltung soll einen Einfluss des Rauschens reduzieren und das S/N-Verhältnis des durch Mehrpunktabtastung generierten Bildes des Beobachtungsgegenstandes verbessern.
10 umfasst Schaubilder zum Erklären einer Beziehung zwischen den Pixelstrukturen und den Abbildungsbereichen auf der Lichtempfangsoberfläche der Detektionseinheit 32. In dieser Zeichnung sind zehn Pixel P₁ bis P₁₀ gezeigt, die eindimensional auf der Lichtempfangsoberfläche der Detektionseinheit 32 angeordnet sind.
In einem Beispiel von (a) in 10, entspricht das Pixel P₄ dem Abbildungsbereich B₁ , das Pixel P₅ entspricht dem Abbildungsbereich B₂ , das Pixel P₆ entspricht dem Abbildungsbereich B₃ , und das Pixel P₇ entspricht dem Abbildungsbereich B₄ . Die Pixel P₁ bis P₃ und P₈ bis P₁₀ entsprechen keinem Abbildungsbereich.
In einem Beispiel von (b) in 10, entspricht das Pixel P₂ dem Abbildungsbereich B₁ , das Pixel P₄ entspricht dem Abbildungsbereich B₂ , das Pixel P₆ entspricht dem Abbildungsbereich B₃ , und das Pixel P₈ entspricht dem Abbildungsbereich B₄ . Die Pixel P₁ , P₃ , P₅ , P₇ , P₉ , und P₁₀ entsprechen keinem Abbildungsbereich.
In einem Beispiel von(c) in 10, entspricht das Pixel P₂ dem Abbildungsbereich B₁ , das Pixel P₅ entspricht dem Abbildungsbereich B₂ , und das Pixel P₈ entspricht dem Abbildungsbereich B₃ . Die Pixel P₁ , P₃ , P₄ , P₆ , P₇ , P₉ , und P₁₀ entsprechen keinem Abbildungsbereich.
In einem Beispiel von (d) in 10, entsprechen die Pixel P₄ und P₅ dem Abbildungsbereich B₁ und die Pixel P₈ und P₉ entsprechen dem Abbildungsbereich B₂ . Die Pixel P₁ bis P₃ , P₆ , P₇ , und P₁₀ entsprechen keinem Abbildungsbereich.
Dass das Pixel und der Abbildungsbereich einander entsprechen bedeutet hier, dass ein Bereich photoelektrischer Umwandlung des Pixels und der Abbildungsbereich einander zumindest partiell überlappen.
In den Beispielen von (b) bis (d) in 10 existieren Pixel, die keinem Abbildungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32 entsprechen, angrenzend an beiden Seiten eines jeden Abbildungsbereichs. Im Beispiel von (b) in 10 existiert ein Pixel, das keinem Abbildungsbereich entspricht, zwischen zwei angrenzenden Abbildungsbereichen. In den Beispielen von (c) und (d) in 10 existieren zwei Pixel, die keinem Abbildungsbereich entsprechen, zwischen zwei angrenzenden Abbildungsbereichen. Da im Beispiel von (d) in 10 zwei Pixel jedem Abbildungsbereich entsprechen, kann eine Summe der Werte des Detektionssignals der Pixel P₄ und P₅ auf die Intensität des am Abbildungsbereich B₁ ankommenden Lichts eingestellt sein und eine Summe der Werte des Detektionssignals der Pixel P₈ und P₉ kann auf die Intensität des am Abbildungsbereich B₂ ankommenden Lichts eingestellt sein.
In der vorliegenden Ausgestaltung hat die Detektionseinheit 32 auf der Lichtempfangsoberfläche die Vielzahl der Abbildungsbereiche, die sich durch das optische Abbildungssystem mit der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S in der Abbildungsrelation befinden. Jeder der Vielzahl der Abbildungsbereiche entspricht einem oder mehr Pixeln, und ein Pixel, das keinem der Vielzahl der Abbildungsbereiche entspricht, existiert angrenzend an zumindest eine Seite eines jeden Abbildungsbereichs. In der vorliegenden Ausgestaltung ist der Abstand zwischen der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand S oder die bildgebende Vergrößerung des optischen Abbildungssystems derart eingestellt, dass der obige Zusammenhang erfüllt ist.
11 umfasst Schaubilder zum Erklären eines Zusammenhangs zwischen dem von der Detektionseinheit 32 ausgegebenen Detektionssignal und dem Bild des Beobachtungsgegenstandes S. Im in (b) in 10 gezeigten Beispiel, wenn sich der Lichtempfangsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32 nicht weiter als der Abbildungsbereich verteilt, erreicht, wie in (a) in 11 gezeigt, für jeden der Pixel P₂ , P₄ , P₃ , und P₈ , die einem Abbildungsbereich entsprechen, das von der Detektionseinheit 32 ausgegebene Detektionssignal einen Wert gemäß einer Lichtempfangsmenge eines jeden Pixels und erreicht einen Rauschpegel des Dunkelstroms für jeden der anderen Pixel P₁ , P₃ , P₅ , P₇ , P₉ , und P₁₀ .
Im Allgemeinen wird, da das von der Detektionseinheit ausgegebene Detektionssignal ein Stromsignal ist, das Stromsignal durch einen Strom-Spannungswandlerschaltkreis in ein Spannungssignal konvertiert. Danach wird, wie in (b) in 11 gezeigt, ein Spannungssignalwert durch die als Bilderzeugungseinheit fungierende Kontrolleinheit 70 an einer Position auf dem Bild gespeichert, die der Position eines jeden Bestrahlungsbereichs im Beobachtungsgegenstand S entspricht. Ferner werden zu dieser Zeit, sofern notwendig, eine Offsetkorrektur und dergleichen am Spannungssignal durchgeführt.
Im Fall, wo sich ein Bestrahlungsbereich in der Nähe der Oberfläche des Beobachtungsgegenstandes befindet und sich der Lichtempfangsbereich nicht mehr als der Abbildungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32 verteilt, kann es wie oben beschrieben sein. Dagegen korrigiert, um das S/N-Verhältnis des zu generierenden Bildes des Beobachtungsgegenstandes S zu verbessern, im Fall, wo sich ein Bestrahlungsbereich in einer tiefen Position im Beobachtungsgegenstand S befindet und sich der Lichtempfangsbereich über mehr als den Abbildungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32 verbreitet, die als Bilderzeugungseinheit fungierende Kontrolleinheit 70 das Detektionssignal der Pixel, die jedem Abbildungsbereich entsprechen basierend auf Detektionssignalen von einem oder zwei oder mehr, an den Abbildungsbereich angrenzenden, und keinem Abbildungsbereich entsprechenden Pixeln und generiert das Bild des Beobachtungsgegenstandes S basierend auf dem korrigierten Detektionssignal. Im Einzelnen ist es wie folgt.
Ein Wert des Detektionssignals des Pixels P_n , das dem Abbildungsbereich entspricht, wird auf V_{signal_n} festgelegt, und Werte der Detektionssignale der an beiden Seiten des Abbildungsbereichs angrenzenden Pixel P_n-1 und P_n+1 werden auf V_{sample_n-1} und V_{sample_n+1} festgelegt. Die Kontrolleinheit 70 bezieht einen Wert des Detektionssignals V_{output_n} des Pixels P_n , der dem Abbildungsbereich nach der Korrektur entspricht, durch die folgende Formel (1). Hier ist α ein Koeffizient, der normalerweise um 1 beträgt.
[Formel 1] $V_{o u t p u t_n} = V_{s i g n a l_n} - \frac{α}{2} (V_{s a m p l e_n - 1} + V_{s a m p l e_n + 1})$
12 umfasst graphische Darstellungen, die ein Ergebnis einer Simulation zeigen, die einen Effekt der Korrektur des Detektionssignals bestätigen. Diese Zeichnung zeigt den Fall, wo die Fluoreszenz in einem Strahlungsbereich der vier Bestrahlungsbereiche im Beobachtungsgegenstand generiert wird, wenn Vierpunktabtastung durchgeführt wird, und der Abbildungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32, der mit dem Bestrahlungsbereich übereinstimmt, in welchem die Fluoreszenz generiert wurde, dem Pixel P₆ (Anode Nummer 6) entspricht. (a) in 12 zeigt Simulationsbedingungen und zeigt die Verteilung des Lichtempfangsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit 32, wenn ein einzelner Bestrahlungsbereich auf eine Tiefe von 500 µm des in 7 gezeigten Beobachtungsgegenstandes S festgesetzt wird. (b) in 12 zeigt ein Detektionssignal von jedem der Pixel P₂ , P₄ , P₃ , und P₈ , die jedem der Abbildungsbereiche entsprechen, für jeweils ein Beispiel (der Fall, wo die Korrektur gemäß Formel (1) durchgeführt wird) und ein Vergleichsbeispiel (der Fall, wo die Korrektur nicht durchgeführt wird).
In (a) in 12 und dem Vergleichsbeispiel von (b) in 12 breitet sich der Lichtempfangsbereich weiter als der Abbildungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32 aus, sodass das Detektionssignal vom Pixel P₆ ausgegeben wird, der dem Abbildungsbereich entspricht und zusätzlich wird das Rauschen von den Pixeln P₄ und P₈ und dergleichen ausgegeben, die anderen Abbildungsbereichen entsprechen. Durch Reduzieren von Rauschen der Pixel P₄ und P₈ und dergleichen kann das S/N-Verhältnis des Bildes des Beobachtungsgegenstandes S verbessert werden. Achtet man auf die entsprechenden Werte der Detektionssignale der Pixel P₃ bis P₉ mit dem Pixel P₈ als Zentrum, so ist erkennbar, dass der Wert des Detektionssignals des Pixels P₈ am größten ist und sich ein Ausgabewert des Pixels mit steigender Entfernung vom Pixel P₆ verringert. Ferner entspricht der Ausgabewert des Pixels P₄ im Wesentlichen einem Durchschnittswert der entsprechenden Ausgabewerte der an beiden Seiten angrenzenden Pixel P₃ und P₅ . Deshalb kann in Formel (1) n=4 festgelegt werden und es kann ein Wert des Detektionssignals V_{output_4} des Pixels P₄ nach der Korrektur erhalten werden. Dasselbe wird auf die Pixel P₂ , P₆ , und P₈ angewandt. Ein Ergebnis der Korrektur ist durch die graphische Darstellung des Beispiels von (b) in 12 gezeigt. Verglichen mit dem Vergleichsbeispiel ist der Rauschpegel jedes der Pixel P₄ und P₈ durch die Korrektur im Beispiel auf 1/2 oder weniger reduziert.
13 umfasst ebenso graphische Darstellungen, die ein Ergebnis einer Simulation zeigen, die einen Effekt der Korrektur des Detektionssignals bestätigen. Diese Zeichnung zeigt den Fall, wo die Fluoreszenz in zwei Strahlungsbereichen der vier Bestrahlungsbereiche im Beobachtungsgegenstand generiert wird, wenn die Vierpunktabtastung durchgeführt wird, ein Abbildungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32, der mit dem Bestrahlungsbereich übereinstimmt, in welchem die Fluoreszenz generiert wurde, entspricht dem Pixel P₂ (Anode Nummer 2), und der andere Abbildungsbereich entspricht dem Pixel P₆ (Anode Nummer 6). (a) in 12 zeigt Simulationsbedingungen und zeigt die Verteilung des Lichtempfangsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit 32, wenn zwei Bestrahlungsbereiche auf die Oberfläche (Tiefe 0 µm) und eine Tiefe von 500 µm des in 7 gezeigten Beobachtungsgegenstandes S festgesetzt werden. (b) in 12 zeigt ein Detektionssignal von jedem der Pixel P₂ , P₄ , P₆ , und P₈ , die jedem der Abbildungsbereiche entsprechen, für jeweils ein Beispiel (der Fall, wo die Korrektur gemäß Formel (1) durchgeführt wird) und ein Vergleichsbeispiel (der Fall, wo die Korrektur nicht durchgeführt wird).
In (a) in 13 und dem Vergleichsbeispiel von (b) in 13 weist, wenn zwei Bestrahlungsbereiche auf die Oberfläche (Tiefe 0 µm) des Beobachtungsgegenstandes S festgesetzt sind, der Lichtempfangsbereich fast die gleiche Ausbreitung auf wie die Ausbreitung des Abbildungsbereiches auf der Lichtempfangsoberfläche der Detektionseinheit 32, die Detektionssignale werden von den Pixeln P₂ und P₆ ausgegeben, und das Rauschen wird kaum von anderen Pixeln P₄ und P₈ ausgegeben. Dagegen breitet sich, wenn zwei Bestrahlungsbereiche auf die Tiefe von 500 µm des Beobachtungsgegenstandes S festgesetzt sind, der Lichtempfangsbereich weiter als der Abbildungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32 aus, so dass die Detektionssignale von den Pixeln P₂ und P₆ ausgegeben werden und das Rauschen von anderen Pixeln P₄ und P₈ ausgegeben wird. Auf gleiche Art und Weise wie bei Obigem kann durch Reduzieren des Rauschens der Pixel P₄ und P₈ und dergleichen das S/N-Verhältnis des Bildes des Beobachtungsgegenstandes S verbessert werden. Dasselbe wird an den Pixeln P₂ und P₆ angewendet. Ein Korrekturergebnis ist durch die graphische Darstellung des Beispiels von (b) in 13 gezeigt. Selbst in diesem Fall ist, verglichen mit dem Vergleichsbeispiel, der Rauschpegel jedes der Pixel P₄ und P₈ durch die Korrektur im Beispiel auf 1/2 oder weniger reduziert.
Die Korrektur wird nicht nur auf die Ausgabewerte der Pixel P₄ und P₈ , sondern auch auf die Ausgabewerte der Pixel P₂ und P₆ angewandt. Die Ausgabewerte der Pixel P₁ und P₃ sind durch den Ausgabewert des Pixels P₂ beeinflusst, und deshalb wird, wenn die obige Korrektur auf den Ausgabewert des Pixels P₂ angewandt wird, der Ausgabewert des Pixels P₂ übermäßig reduziert. In ähnlicher Weise sind die Ausgabewerte der Pixel P₅ und P₇ durch den Ausgabewert des Pixels P₆ beeinflusst, und deshalb wird, wenn die obige Korrektur auf dem Ausgabewert des Pixels P₆ angewandt wird, der Ausgabewert des Pixels P₆ übermäßig reduziert. Allerdings sind, während die Ausgabewerte der Pixel P₂ und P₆ ursprünglich groß sind, die Beträge der Verringerung durch die Korrektur klein. Deshalb bestehen wenig Probleme, selbst wenn die Verbesserung des S/N-Verhältnisses des Bildes des Beobachtungsgegenstandes S geringfügig auf Kosten der Ausgabewerte der Pixel P₂ und P₆ geschieht.
Als nächstes wird ein Effekt der vorliegenden Ausgestaltung vergleichend mit den konventionellen, in Nicht-Patentdokumenten 1 und 2 beschriebenen Methoden zum Verbessern des S/N-Verhältnisses beschrieben. In den konventionellen Methoden zum Verbessern des S/N-Verhältnisses werden Pixel, die keinem Abbildungsbereich entsprechen nicht zwischen der Vielzahl der Abbildungsbereiche auf der Lichtempfangsoberfläche der Detektionseinheit zur Verfügung gestellt.
In der in Nicht-Patentdokument 1 beschriebenen Methode zum Verbessern des S/N-Verhältnisses wird eine Verteilung der Lichtempfangsmenge (diese entspricht (a) in 12), welche sich auf der Lichtempfangsoberfläche der Detektionseinheit verteilt, erhalten, indem Einzelpunktabtastung auf dem Beobachtungsgegenstand, der eine einzelne Region mit Fluoreszenzerzeugung aufweist, durchgeführt wird, und Entfaltung des Bildes des Beobachtungsgegenstandes, welches durch Mehrpunktabtastung erhalten wurde, und die Verteilung der Lichtempfangsmenge wird berechnet. In dieser Methode zum Verbessern des S/N-Verhältnisses ist es notwendig, die Verteilung der sich auf der Lichtempfangsoberfläche der Detektionseinheit verteilenden Lichtempfangsmenge durch Ausführen der Einzelpunktabtastung, gesondert von der Mehrpunktabtastung, zu erhalten. Ferner ist es notwendig, den Bestrahlungsbereich auf jede Position in der Z-Richtung einzustellen und die Verteilung zu erhalten, da sich die Verteilung der Lichtempfangsmenge mit der Tiefe (Position in der Z-Richtung) des Bereiches der Fluoreszenzerzeugung im Beobachtungsgegenstand unterscheidet, und es wird eine lange Zeit benötigt, um Daten zu erfassen.
In der in Nicht-Patentdokument 2 beschriebenen Methode zum Verbessern des S/N-Verhältnisses wird eine Schätzung durch ein Verfahren der Maximum-Likelihood-Schätzung basierend auf dem, durch Mehrpunktabtastung erfasstem Bild des Beobachtungsgegenstandes durchgeführt, weshalb es notwendig ist, die Berechnung zu wiederholen, wenn die Schätzung durch das Verfahren der Maximum-Likelihood-Schätzung durchgeführt wird, und eine lange Zeit wird benötigt, um die Berechnung zu wiederholen.
Diese konventionellen Methoden zum Verbessern des S/N-Verhältnissess benötigen eine lange Zeit um Daten zu erfassen oder Daten zu berechnen und Echtzeitverarbeitung ist schwierig. Obwohl Mehrpunktabtastung darauf abzielt, die Messzeit zu verkürzen, benötigen diese konventionellen Methoden zum Verbessern des S/N-Verhältnissess eine lange Zeit, die Daten zu erfassen oder zu berechnen, weswegen eine längere Zeit als jene in der Einzelpunktabtastung notwendig sein kann.
Im Gegensatz dazu kann in der vorliegenden Ausgestaltung ein für die Korrektur notwendiges Signal durch die Mehrpunktabtastung erfasst werden und die Korrektur kann durch einfache Bearbeitung der Berechnung durchgeführt werden, sodass eine benötigte Zeit nahezu gleich derjenigen des Falles ist, in welchem keine Korrektur durchgeführt wird. Wie oben beschrieben kann in der vorliegenden Ausgestaltung das S/N-Verhältnis des durch die Mehrpunktabtastung generierten Bildes des Beobachtungsgegenstandes einfach verbessert werden.
Als nächstes werden Beispiele beschrieben, wo die Methode zum Verbessern des S/N-Verhältnisses gemäß der vorliegenden Ausgestaltung angewandt wird.
14 enthält Fluoreszenzbilder eines Beobachtungsgegenstandes, die einen Effekt der Verbesserung des S/N-Verhältnisses gemäß einem ersten Beispiel zeigen. Im ersten Beispiel wird die Vier-Punkt-Abtastung unter Verwendung einer Resultierenden verwendet, die erhalten wird, wenn als Beobachtungsgegenstand fluoreszierende Kügelchen in einem Epoxidharz verteilt werden. Diese Zeichnung zeigt eine Anfangsposition des Abtastens (Rasterverfahren) durch einen Pfeil in jedem Teilbereich, wenn ein im Beobachtungsgegenstand zu beobachtender Bereich gleichmäßig in vier Teilbereiche aufgeteilt ist. (a) in 14 ist gleich (b) in 9 und ist ein Fluoreszenzbild vor der Korrektur. Im Fluoreszenzbild vor der Korrektur werden die fluoreszierenden Kügelchen aufgrund des Auftretens des Geistes in Bereichen beobachtet, die von gestrichelten Kreisen umgeben sind. (b) in 14 ist ein Fluoreszenzbild nach der Korrektur gemäß Formel (1). Im Fluoreszenzbild nach der Korrektur ist kein Geisterbild erkennbar. Verglichen mit dem Fluoreszenzbild vor der Korrektur ((a) in 14) ist erkennbar, dass das S/N-Verhältnis im Fluoreszenzbild nach der Korrektur ((b) in 14) verbessert ist. Die auf der einfachen Bearbeitung der Berechnung gemäß Formel (1) basierende Korrektur wird nur am Fluoreszenzbild vor der Korrektur ((a) in 14) durchgeführt, sodass das Fluoreszenzbild ((b) in 14), in welchem das S/N-Verhältnis verbessert wurde, auf einfache Weise in einer kurzen Zeit erhalten werden kann.
15 bis 17 enthalten Fluoreszenzbilder eines Beobachtungsgegenstandes, die einen Effekt der Verbesserung des S/N-Verhältnisses gemäß einem zweiten Beispiel zeigen. Der im zweiten Beispiel verwendete Beobachtungsgegenstand hat eine höhere Verteilungsdichte der fluoreszierenden Kügelchen im Epoxidharz als die im ersten Beispiel verwendete. Durch Einstellen der Oberfläche des Beobachtungsgegenstand S auf z=0 und Bewegen der Objektivlinse mit einem Abstand von 0,6 µm in einem Bereich von z=1000 µm bis 1030 µm wird ein dreidimensionales Bild erfasst. Ein tatsächlicher Betrag der Bewegung in Tiefenrichtung des Beobachtungsgegenstandes wird erhalten, indem der Betrag der Bewegung der Objektivlinse mit der Brechzahl des Beobachtungsgegenstandes multipliziert wird. Ferner wird Korrektur der Abbildungsfehler zum Zeitpunkt der Lichtbestrahlung auf dem Beobachtungsgegenstand durchgeführt.
(a) in 15 ist ein Bild der yz-Maximalwerteprojektion für den Fall, dass die Einzelpunktabtastung durchgeführt wird und (b) in 15 ist ein Bild der xy-Ebene bei einer Tiefe, die durch eine gestrichelte Linie in (a) in 15 gezeigt ist. (a) in 16 ist ein Bild der yz-Maximalwerteprojektion für den Fall, dass die Vier-Punkt-Abtastung durchgeführt und die Korrektur gemäß Formel (1) durchgeführt wird und (b) in 16 ist ein Bild der xy-Ebene bei einer Tiefe, die durch eine gestrichelte Linie in (a) in 16 gezeigt ist. (a) in 17 ist ein Bild der yz- Maximalwertprojektion für den Fall, dass die Vier-Punkt-Abtastung durchgeführt und die Korrektur gemäß Formel (1) nicht durchgeführt wird und (b) in 17 ist ein Bild der xy-Ebene bei einer Tiefe, die durch eine gestrichelte Linie in (a) in 17 gezeigt ist. 16 und 17 zeigen eine Anfangsposition des Abtastens (Rasterverfahren) durch einen Pfeil in jedem Teilbereich, wenn ein im Beobachtungsgegenstand zu beobachtender Bereich gleichmäßig in vier Teilbereiche aufgeteilt ist.
Die Pfeile in 15 deuten auf nennenswerte Punkte. Wenn 15 bis 17 verglichen werden, so ist ersichtlich, dass das S/N-Verhältnis in dem Beispiel (16), wo die Vier-Punkt-Abtastung ausgeführt und die Korrektur gemäß Formel (1) durchgeführt wird, verglichen mit dem Vergleichsbeispiel (17), wo die Vier-Punkt-Abtastung ausgeführt und die Korrektur gemäß Formel (1) nicht durchgeführt wird, verbessert ist und fast gleich dem S/N-Verhältnis für den Fall (15) ist, wo die Einzelpunktabtastung ausgeführt wird.
18 ist ein Fluoreszenzbild eines Beobachtungsgegenstandes, das einen Effekt der Verbesserung des S/N-Verhältnisses gemäß einem dritten Beispiel zeigt. Im dritten Beispiel wird als Beobachtungsgegenstand ein Gehirn einer Ratte mit in einem Blutgefäß durch Perfusion fixiertem Fluoreszein-Isothiocyanate-Dextran verwendet, ein Bestrahlungsbereich wird auf eine Tiefe von circa 100 µm eingestellt und the Vier-Punkt-Abtastung wird durchgeführt. 18 ist das Fluoreszenzbild für den Fall (Beispiel), wo die Korrektur gemäß Formel (1) durchgeführt wird. 19 ist ein Fluoreszenzbild für den Fall (Vergleichsbeispiel), wo die Korrektur gemäß Formel (1) nicht durchgeführt wird. Im Fluoreszenzbild (Beispiel) der 18 wird ein Bild eines Blutgefäßes, welches sich parallel zu einer optischen Achse von der uns zugewandten Seite in einer Tiefenrichtung erstreckt, in einem Teilbereich S₃ der Teilbereiche S₁ bis S₄ des Beobachtungsgegenstandes S erkannt. Im Gegensatz dazu werden im Fluoreszenzbild (Vergleichsbeispiel) der 19 Geisterbilder des Bildes des Blutgefäßes in den Teilbereichen S₂ und S₄ erkannt. Im Fluoreszenzbild (Beispiel) der 18 ist das Geisterbild bis hinab zum Rauschpegel unterdrückt.
Als nächstes werden Modifikationen beschrieben. Beispielsweise können Konfigurationen verschiedenster Modifikationen durchgeführt werden.
Die Korrekturformel ist nicht auf Formel (1) beschränkt. Beispielsweise kann die Kontrolleinheit 70 einen Wert des Detektionssignals V_{output_n} nach Korrektur im Pixel P_n , der dem Abbildungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit 32 entspricht, durch die folgende Formel (2) erhalten werden. Wenn der Wert des Detektionssignals V_{output_n} nach der Korrektur aus dem Wert des Detektionssignals V_{Signal_n} des Pixels P_n , der dem Abbildungsbereich entspricht, erhalten wird, so führt Formel (2) eine Wichtung nicht nur unter Berücksichtigung der Werte der Detektionssignale V_{sample_n-1} und V_{Sample_n+1} der Pixel P_n-1 und P_n+1 , die an beiden Seiten des Abbildungsbereichs angrenzen, sondern auch der Werte der Detektionssignale V_{signal_n-2} und V_{signal_n+2} weiterer angrenzender Pixel P_n-2 und P_n+2 durch. Obwohl es verschiedene andere Korrekturformeln geben kann, kann das Detektionssignal des Pixels, das dem Abbildungsbereich entspricht, im Wesentlichen unter Verwendung des Detektionssignals des Pixels, das keinem Abbildungsbereich entspricht, korrigiert werden
[Formel 2] $V_{o u t p u t_n} = V_{s i g n a l_n} - \frac{α}{2} (\frac{V_{s i g n a l_n - 2}}{V_{s i g n a l_n} + V_{s i g n a l_n - 2}} V_{s a m p l e_n - 1} + \frac{V_{s i g n a l_n + 2}}{V_{s i g n a l_n} + V_{s i g n a l_n + 2}} V_{s a m p l e_n + 1})$
In der obigen Ausgestaltung kann, obwohl der Fall beschrieben ist, wo die Detektionseinheit verwendet wird, in welcher die Vielzahl von Pixeln eindimensional auf der Lichtempfangsoberfläche angeordnet sind, eine Detektionseinheit verwendet werden, in welcher die Vielzahl von Pixeln zweidimensional auf der Lichtempfangsoberfläche angeordnet sind. 20 bis 22 sind Schaubilder zum Erklären eines Zusammenhangs zwischen Pixelstrukturen und Abbildungsbereichen im Fall der Verwendung der Detektionseinheit, in welcher die Vielzahl von Pixeln zweidimensional auf der Lichtempfangsoberfläche angeordnet sind. In diesen Zeichnungen repräsentieren rechteckige Rahmen Pixel und kreisförmige Bereiche repräsentieren Abbildungsbereiche.
Im Beispiel von 20 gibt es angrenzend an vier Seiten eines jeden Abbildungsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit vier Pixel, die keinem Abbildungsbereich entsprechen. In diesem Fall kann ein Wert des Detektionssignals V_{output_m,n} nach der Korrektur aus einem Wert des Detektionssignals V_{signal_m,n} eines Pixels P_m,n , das dem Abbildungsbereich entspricht, beispielsweise durch die folgende Formel (3) erhalten werden. V_{sample_m-1,n} , V_{sample_m+1,n} , V_{sample_m,n-1} , und V_{sample_m,n+1} sind Werte der Detektionssignale der jeweils an die vier Seiten des Abbildungsbereichs angrenzenden Pixel P_m-1,n , P_m+1,n , P_m,n-1 , und P_m,n+1 .
[Formel 3] $V_{o u t p u t_m, n} = V_{s i g n a l_m, n} - \frac{α}{4} (V_{s a m p l e_m - 1, n} + V_{s a m p l e_m + 1, n} + V_{s a m p l e_m, n - 1} + V_{s a m p l e_m, n + 1})$
Im Beispiel der 21 gibt es angrenzend an beide Seiten eines jeden Abbildungsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit zwei Pixel, die keinem Abbildungsbereich entsprechen. In diesem Fall kann der Wert des Detektionssignals V_{output_m,n} nach der Korrektur aus dem Wert des Detektionssignals V_{signal_m,n} des Pixels P_m,n , das dem Abbildungsbereich entspricht, beispielsweise durch die folgende Formel (4) erhalten werden. V_{sig-nal_m-1,n} , V_{signale_m+1,n} , V_{sample_m,n-1} , und V_{sample_m,n+1} sind die Werte der Detektionssignale der jeweils an die vier Seiten des Abbildungsbereichs angrenzenden Pixel P_m-1,n , P_m+1,n , P_m,n-1, und P_m,n+1.
[Formel 4] $V_{o u t p u t_m, n} = V_{s i g n a l_m, n} - \frac{α}{4} (V_{s i g n a l_m - 1, n} + V_{s i g n a l_m + 1, n} + V_{s a m p l e_m, n - 1} + V_{s a m p l e_m, n + 1})$
Im Beispiel der 22 gibt es angrenzend an eine Seite eines jeden Abbildungsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit ein Pixel, das keinem Abbildungsbereich entspricht. In diesem Fall kann der Wert des Detektionssignals V_{output_m,n} nach der Korrektur aus dem Wert des Detektionssignals V_{signal_m,n} des Pixels P_m,n , der dem Abbildungsbereich entspricht, beispielsweise durch die folgende Formel (5) erhalten werden. V_sig- _{nal_m-1,n} , V_{signale_m+1,n} , V_{sample_m,n-1} , und V_{Signal_m,n}+1 sind die Werte der Detektionssignale der jeweiligen, an die vier Seiten des Abbildungsbereichs angrenzenden Pixel P_m-1,n , P_m+1,n , P_m,n-1, und P_m,n+1+-.
[Formel 5] $V_{o u t p u t_m, n} = V_{s i g n a l_m, n} - \frac{α}{4} (V_{s i g n a l_m - 1, n} + V_{s i g n a l_m + 1, n} + V_{s a m p l e_m, n - 1} + V_{s i g n a l_m, n + 1})$
Hier in den Beispielen der 21 und 22 ist das Ausmaß der Verbesserung des S/N-Verhältnisses durch die Korrektur gering, allerdings wird der Effekt der Verbesserung des S/N-Verhältnisses durch die Korrektur ausreichend erkannt, wenn das S/N-Verhältnis des Bildes vor der Korrektur sehr gering ist.
Ein Koeffizient α in jeder der Formeln (1) bis (5) kann im Normalfall ungefähr 1 sein, allerdings, kann der Koeffizient basierend auf dem Wert des Detektionssignals eines jeden Pixels der Detektionseinheit eingestellt werden. Beispielsweise kann ein Wert des Koeffizienten α derart eingestellt werden, dass ein Ergebnis der Korrektur des Wertes des Detektionssignals des Pixels 0 wird, weil der Wert des Detektionssignals eines Pixels, welches keinem Abbildungsbereich auf der Lichtempfangsoberfläche der Detektionseinheit entspricht eigentlich 0 sein sollte.
In der obigen Ausgestaltung wird hauptsächlich der Fall beschrieben, wo das Fluoreszenzbild des Beobachtungsgegenstandes erzeugt wird, allerdings ist die Ausgestaltung auch anwendbar auf den Fall, wo ein Bild von harmonischem Licht oder reflektiertem Streulicht des Beobachtungsgegenstandes erzeugt wird. Wenn das Fluoreszenzbild erzeugt wird, kann die Einzelphotonenanregung oder die Multiphotonenanregung durchgeführt werden. Ferner kann ein Bild der Autofluoreszenz erzeugt werden.
In der obigen Ausgestaltung ist hauptsächlich der Fall beschrieben, wo Lichtbestrahlung auf der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand unter Nutzung des räumlichen Lichtmodulators durchgeführt wird, allerdings kann Lichtbestrahlung auf der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand unter Verwendung eines segmentierten deformierbaren Spiegesl, eines refraktiven optischen Elements, eines Mikrolinsenarrays, eines Strahlteilers, oder dergleichen durchgeführt werden. Ferner kann die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand unterschiedliche Tiefen aufweisen.
In der obigen Ausgestaltung ist hauptsächlich der Fall beschrieben, wo eine mPMT als Detektionseinheit verwendet wurde, allerdings können MPPC (eingetragenes Warenzeichen), ein Photodiodenarray, ein Avalanche-Photodiodenarray, ein CCD Bildsensor, ein CMOS Bildsensor, oder dergleichen als Detektionseinheit verwendet werden.
Die bildgebende Vergrößerung des optischen Abbildungssystems zum Leiten des im Bestrahlungsbereich des Beobachtungsgegenstandes erzeugten Lichts und zum Herausbilden eines Bildes des Abbildungsbereiches auf der Lichtempfangsoberfläche der Detektionseinheit ist bevorzugt veränderbar. Beispielsweise sind die Abbildungslinse 31 oder das Zoomobjektiv 41, welches in der in 1 gezeigten Konfiguration der Bilderfassungseinrichtung 1 am vorderen Verschiebetisch der Detektionseinheit 32 bereitgestellt ist, und die Abbildungslinse 31, welche in der in 2 gezeigten Konfiguration der Bilderfassungseinrichtung 2 am vorderen Verschiebetisch der Direktionseinheit 32 bereitgestellt ist, bevorzugt veränderbar fokussierende Linsen. Die Zoom-Vergrößerung wird bevorzugt durch ein von der Kontrolleinheit zur Verfügung gestelltes elektrisches Signal gesteuert. Die veränderliche fokussierende Linse kann ein einzelnes Element sein, welches durch ein elektrisches Signal gesteuert wird, oder kann einen Aufbau aufweisen, in welchem eine oder mehr Linsen einer festen Brennweite aus einem Glasmaterial, wie BK7, kombiniert sind.
In den Bilderfassungseinrichtungen 1 und 2, werden der Bereich des Blickfeldes und die Auflösung im Wesentlichen in Übereinstimmung mit dem Abtastbereich der Abtasteinheit (optische Abtaster 14, 14a, und 14b), dem Abstand und der Anzahl an Abbildungsbereichen auf der Lichtempfangsoberfläche der Detektionseinheit 32, und der Größe des Bestrahlungsbereichs im Beobachtungsgegenstand festgelegt. Beispielsweise wird, wenn es wünschenswert ist, einen schmalen Bereich des Blickfeldes zu beobachten, der Abtastbereich ausgedehnt eingestellt und das Abtasten durchgeführt. Umgekehrt wird, wenn es wünschenswert ist, einen schmalen Bereich des Blickfeldes zu beobachten, der Abtastbereich schmal eingestellt und das Abtasten durchgeführt.
Im Fall, wenn die Mehrpunktabtastung durchgeführt wird, kann der Abstand zwischen der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand durch das im räumlichen Lichtmodulator dargestellte Modulationsmuster geändert werden, und der Bereich des Blickfeldes kann verändert werden. Indes ist der Abstand zwischen der Vielzahl von Pixeln, die auf der Lichtempfangsoberfläche der Detektionseinheit angeordnet sind, fest. Deshalb kann sich die Korrespondenzrelation zwischen dem Abbildungsbereich und dem Pixel auf der Lichtempfangsoberfläche der Detektionseinheit unterscheiden, wenn der Abstand zwischen der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand verändert wird.
Wenn beispielsweise die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand mit einem konstanten Abstand angeordnet sind, wie in (a) in 23 gezeigt, existiert ein Pixel, welches keinem Abbildungsbereich entspricht, zwischen den zwei angrenzenden Abbildungsbereichen. Allerdings kann, wenn die Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand mit unterschiedlichen Abständen angeordnet sind, wie in (b) in 23 gezeigt, eine Situation auftreten, wo ein Pixel, welches keinem Abbildungsbereich entspricht, nicht zwischen den zwei angrenzenden Abbildungsbereichen existiert. Um das Auftreten der obigen Situation selbst dann zu vermeiden, wenn der Abstand zwischen der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand geändert wird, ist es möglich eine bevorzugte Beziehung zwischen der Pixelstruktur und den in (a) in 23 gezeigten Abbildungsbereichen zu erfüllen, indem die variable fokussierende Linse, die am vorderen Verschiebetisch der Detektionseinheit 32 angeordnet ist, eingestellt wird
Wenn das Licht unter Nutzung des räumlichen Lichtmodulators gebeugt wird und die Vielzahl von Bestrahlungsbereichen ausgebildet werden, wird ein Beugungsgitter oder ein Modulationsmuster (Hologramm-Muster) zum Erzeugen einer Vielzahl von Bestrahlungsbereichen im räumlichen Lichtmodulator angezeigt. Ein maximaler Beugungswinkel θmax des Hologramm-Musters wird aus einem Gitterabstand a eines Beugungsgitter-Musters (binär mit einer Periode von zwei Pixeln), welches die höchste Raumfrequenz aufweist, die möglich ist durch den räumlichen Lichtmodulator wiedergegeben zu werden und eine Wellenlänge λ des zu modulierenden Lichts durch die folgende Formel erhalten.
[Formel 6] $θ_{max} \approx λ / a$
Ferner wird ein Abstand L zwischen in die +1te Ordnung gebeugtem Licht und in die 0te Ordnung gebeugtem Licht (Fokusposition, wenn das Beugungsgitter nicht angezeigt wird) im Beobachtungsgegenstand unter Verwendung einer Brennweite f_obj und von θmax der Objektivlinse durch die folgende Formel erhalten. Deshalb kann der räumliche Lichtmodulator den Bestrahlungsbereich in einem Bereich ausbilden, der durch 2L × 2L um eine optische Achse im Beobachtungsgegenstand separiert ist.
[Formel 7] $L = f_{o b j} tan θ_{max}$
Hier wird, wenn eine Wellenlänge des Lichts auf 800 nm eingestellt wird, ein Gitterabstand a auf 40 µm eingestellt wird, und eine Brennweite f_obj der Objektivlinse auf 4,5 mm eingestellt wird, L = 90 µm erhalten.
Um eine Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand auszubilden wird ein Hologramm-Muster für diesen Zweck im räumlichen Lichtmodulator dargestellt. Hier wird angenommen, dass vier, mit konstantem Abstand angeordnete Bestrahlungsbereiche im Beobachtungsgegenstand ausgebildet sind und abgetastet werden, und der Abstand wird für drei unten beschriebene Fälle eingestellt.
(a) 5 µm, (b) 10 µm, (c) 15 µm
Wenn die Bestrahlungsbereiche im Beobachtungsgegenstand abgetastet werden, beträgt ein abtastbarer Bereich beispielsweise wie folgt.
(a) 20 × 20 µm, (b) 40 × 40 µm, (c) 60 × 60 µm
Zu diesem Zeitpunkt ist ein Beugungswinkel θ, der durch zwei angrenzende Bestrahlungsbereiche gebildet wird wie folgt.
(a) 0,0011 [rad], (b) 0,0022[rad], (c) 0,0033[rad]
Eine Brennweite f₁ der variablen fokussierenden Linse, die am vorderen Verschiebetisch der Detektionseinheit bereitgestellt ist, wird auf 200 mm eingestellt. Ein Abstand L1 zwischen zwei benachbarten Abbildungsbereichen auf der Lichtempfangsoberfläche der Detektionseinheit wird wie folgt durch die folgende Formel (8) durch den Beugungswinkel θ und die Brennweite f1 dargestellt.
(a) 222 µm, (b) 444 µm, (c) 666 µm
[Formel 8] $L 1 = f_{1} tan θ$
Der Abstand zwischen der Vielzahl von auf der Lichtempfangsoberfläche der Detektionseinheit angeordneten Pixeln wird auf 400 µm eingestellt. Zu dieser Zeit besteht bei der Bedingung von (a) eine Möglichkeit, dass eine Vielzahl von Abbildungsbereichen einem Pixel entsprechen kann, und bei der Bedingung von (c) werden Pixel generiert, wo keine Fluoreszenz Eintritt.
Um ein solches Problem zu lösen wird die veränderbare fokussierenden Linse angewendet. Ferner wird ein elektrisch gesteuertes Zoomobjektiv verwendet, um einen Abstand zwischen den zwei benachbarten Abbildungsbereichen auf der Lichtempfangsoberfläche der Detektionseinheit wie folgt zu erhöhen oder zu verringern,
(a) 3,6-fach, (b) 1,8-fach, (c) 1,2-fach
Auf diese Weise kann der Abstand zwischen den zwei benachbarten Abbildungsbereichen auf 800 µm eingestellt werden und ein Pixel, das keinem Abbildungsbereich entspricht existiert zwischen den zwei benachbarten Abbildungsbereichen.
Wie oben beschrieben kann, wenn der Abstand p zwischen der Vielzahl von Pixeln der Detektionseinheit, der durch die zwei benachbarten Bestrahlungsbereiche der Vielzahl von Bestrahlungsbereichen, die durch den räumlichen Lichtmodulator ausgebildet werden, ausgebildete Beugungswinkel θ, und die Brennweite f1 der direkt vor der Detektionseinheit angeordneten Linse bekannt sind, die Vergrößerung M, wo die veränderbare fokussierenden Linse vergrößert oder verringert werden muss durch die folgende Formel ermittelt werden, und eine automatische Anpassung wird auf dieser Basis durchgeführt
[Formel 9] $M = p / (f_{1} tan θ)$
M kann sich in tatsächlichen Experimenten von einem theoretischen Wert unterscheiden. Zuerst wird Kalibration durchgeführt, um einen Wert der Abweichung zwischen dem theoretischen Wert und dem tatsächlich gemessenen Wert und der tatsächlich gemessene Wert wird auch gespeichert. Wenn sich der Abstand der ausgebildeten Bestrahlungsbereiche danach ändert, wird die Vergrößerung automatisch unter Berücksichtigung der Abweichung zwischen dem theoretischen Wert des Zoomobjektivs und dem aktuell gemessenen Wert geändert. Wenn sich beispielsweise der Abstand der Bestrahlungsbereiche im theoretischen Wert auf 1/2 ändert, kann die Vergrößerung geändert werden, um 1/2 des tatsächlich gemessenen Wertes zu erreichen
Wenn die veränderbare fokussierende Linse durch Kombinieren einer Vielzahl von Linsen aufgebaut ist, kann die veränderbare fokussierenden Linse, wie in 24 gezeigt, aus einer Linse mit Festbrennweite 101 und einer verstellbaren Linse 102 gestaltet sein. In diesem Fall wird eine zusammengesetzte Brennweite f1 der veränderbaren fokussierenden Linse mittels der folgenden Formel durch eine Brennweite f_sta der Linse mit Festbrennweite 101, eine Brennweite f_ele der verstellbaren Linse 102, und einen Abstand d zwischen beiden Linsen dargestellt. Nachdem die notwendige zusammengesetzte Brennweite f1 durch das obige Verfahren erhalten wurde, kann die Brennweite f_ele der verstellbaren Linse 102 durch die folgende Formel erhalten werden
[Formel 10] $\frac{1}{f_{1}} = \frac{1}{f_{s t a}} + \frac{1}{f_{e l e}} - \frac{d}{f_{s t a} \cdot f_{e l e}}$
In jedem Fall ist es möglich, die Brennweite der veränderbaren fokussierenden Linse gemäß dem Abstand der, durch den räumlichen Lichtmodulator erzeugten Vielzahl von Bestrahlungsbereichen automatisch zu bestimmen.
Hierbei, wenn sich die bildgebenden Vergrößerungen der telezentrischen Relais-Linsensysteme des Anregungslichts und der Fluoreszenz unterscheiden, ist es auch notwendig, deren bildgebende Vergrößerungen zu bedenken. Beispielsweise ist es notwendig, diese insbesondere zu bedenken, wenn das optische System des Anregungslichts so konfiguriert ist, dass es drei Relais-Linsensysteme umfasst, wohingegen das optische System der Fluoreszenz so konfiguriert ist, dass es zwei Relais-Linsensysteme umfasst. Tritt ferner chromatische Aberration (ein Phänomen, in welchem sich die Brennweite der Linse in Abhängigkeit von der Wellenlänge ändert) in der Linse auf, ist die Korrektur derselben notwendig, sodass es wünschenswert ist, dass eine Rückkopplung und dergleichen zur Justage beinhaltet ist.
Ferner ist es wünschenswert, eine Konfiguration anzunehmen, wo sich die Fokusposition nicht verändert, selbst wenn sich die Vergrößerung der verstellbaren Linse ändert. Es ist bevorzugt, eine Konfiguration anzunehmen, wo der Detektor bewegt wird, wenn sich die Fokusposition verändert
Die Bilderfassungseinrichtung und das Bilderfassungsverfahren gemäß der vorliegenden Erfindung sind nicht auf die oben beschriebenen Ausgestaltungen und die Beispiele von Konfigurationen eingeschränkt und verschiedenste Modifikationen können angewandt werden.
Die Bilderfassungseinrichtung gemäß der obigen Ausgestaltung ist ausgestaltet (1) eine Lichtquelle zum Ausgeben von Licht (2) ein optisches Bestrahlungssystem zum Durchführen fokussierter Bestrahlung auf einer Vielzahl von Bestrahlungsbereichen auf einer Oberfläche oder innerhalb eines Beobachtungsgegenstandes mit dem von der Lichtquelle ausgegebenem Licht (3) eine Abtasteinheit zum Abtasten der Vielzahl von Bestrahlungsbereichen in einer Richtung, welche eine optische Achse einer Richtung von Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem schneidet (4) ein optisches Abbildungssystem zum Leiten und Abbilden von Licht, welches in jedem der Vielzahl von Bestrahlungsbereichen hervorgerufen durch Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem generiert wurde (5) eine Detektionseinheit mit einer Lichtempfangsoberfläche, auf welcher die Vielzahl von Bestrahlungsbereichen durch das optische Abbildungssystem abgebildet werden, einer Vielzahl von eindimensional oder zweidimensional auf der Lichtempfangsoberfläche angeordneter Pixel, und zum Ausgeben eines Detektionssignals, welches einen Wert aufweist, der einer Lichtempfangsmenge in jedem der Vielzahl von Pixel entspricht; und (6) eine Bilderzeugungseinheit zum Generieren eines Bildes des Beobachtungsgegenstandes basierend auf dem von der Detektionseinheit ausgegebenen Detektionssignal, zu umfassen.
Ferner, in der Bilderfassungseinrichtung der obigen Konfiguration, (a) hat die Detektionseinheit eine Vielzahl von Abbildungsbereichen, die durch das optische Abbildungssystem mit der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand in einer Abbildungsrelation sind, auf der Lichtempfangsoberfläche, jeder der Vielzahl von Abbildungsbereichen entspricht einem oder zwei oder mehr Pixeln, und angrenzend an jeden Abbildungsbereich existiert ein Pixel, das keinem der Vielzahl von Abbildungsbereichen entspricht, und (b) die Bilderzeugungseinheit korrigiert ein Detektionssignal eines Pixels, das jedem der Vielzahl von Abbildungsbereichen entspricht, basierend auf Detektionssignalen eines, zweier oder mehr Pixel, die angrenzend an jeden Abbildungsbereich existieren und keinem der Vielzahl von Abbildungsbereichen entsprechen, und generiert ein Bild des Beobachtungsgegenstandes basierend auf dem korrigierten Detektionssignal.
In der obigen Bilderfassungseinrichtung kann es angrenzend an beiden Seiten eines jeden Abbildungsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit Pixel geben, die keinem der Vielzahl von Abbildungsbereichen entsprechen, und die Bilderzeugungseinheit kann ein Detektionssignal eines Pixels, das jedem der Vielzahl der Abbildungsbereiche entspricht, basierend auf Detektionssignalen von zwei Pixeln, die angrenzend an beiden Seiten eines jeden Abbildungsbereichs vorhanden sind und keinem der Vielzahl von Abbildungsbereichen entsprechen, korrigieren, und kann ein Bild des Beobachtungsgegenstandes basierend auf dem korrigieren Detektionssignal generieren.
In der obigen Bilderfassungseinrichtung kann die Vielzahl der Abbildungsbereiche zweidimensional angeordnet sein und vier Pixel, die keinem der Vielzahl von Abbildungsbereichen entsprechen, können angrenzend an vier Seiten eines jeden Abbildungsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit vorhanden sein, und die Bilderzeugungseinheit kann ein Detektionssignal eines Pixels, das jedem der Vielzahl der Abbildungsbereiche entspricht, basierend auf Detektionssignalen der vier Pixel, die angrenzend an die vier Seiten eines jeden Abbildungsbereichs vorhanden sind und keinem der Vielzahl der Abbildungsbereiche entsprechen, korrigieren, und kann ein Bild des Beobachtungsgegenstandes basierend auf dem korrigierten Detektionssignal generieren.
In der obigen Bilderfassungseinrichtung können zwei oder mehr Pixel, die keinem der Vielzahl der Abbildungsbereiche entsprechen, zwischen zwei benachbarten Abbildungsbereichen unter der Vielzahl der Abbildungsbereiche auf der Lichtempfangsoberfläche der Detektionseinheit vorhanden sein.
In der obigen Bilderfassungseinrichtung kann das optische Bestrahlungssystem einen räumlichen Lichtmodulator zur räumlichen Modulation des von der Lichtquelle ausgegebenen Lichtes umfassen und kann fokussierte Bestrahlung der Vielzahl von Bestrahlungsbereiche mit dem modulierten Licht durch das Darstellen eines Modulationsmusters im räumlichen Lichtmodulator durchführen. Ferner kann in der obigen Bilderfassungseinrichtung das optische Bestrahlungssystem ein diffraktives optisches Element zum Beugen des von der Lichtquelle ausgegebenen Lichtes umfassen, und kann fokussierte Bestrahlung der Vielzahl von Bestrahlungsbereichen mit dem durch das diffraktive optische Element gebeugtem Licht durchführen.
In der obigen Bilderfassungseinrichtung kann die Abtasteinheit einen optischen Abtaster umfassen, der auf einem optischen Pfad des optischen Bestrahlungssystems bereitgestellt ist, und kann den optischen Abtaster steuern, um die Vielzahl von Bestrahlungsbereichen abzutasten. Ferner kann die Abtasteinheit in der obigen Bilderfassungseinrichtung die Vielzahl von Bestrahlungsbereichen auch in einer Richtung der Bestrahlung mit Licht durch das optische Bestrahlungssystem auf dem Beobachtungsgegenstand abtasten.
In der obigen Bilderfassungseinrichtung kann eine bildgebende Vergrößerung des optischen Abbildungssystems veränderbar sein.
In der obigen Bilderfassungseinrichtung kann die Detektionseinheit eine Mehrfach-Anoden Photomultiplier-Röhre mit einer Vielzahl von Anoden als die Vielzahl von Pixeln umfassen. Ferner kann die Detektionseinheit in der obigen Bilderfassungseinrichtung ein Array einer Vielzahl von Avalanche Photodioden als die Vielzahl von Pixeln umfassen.
Das Bilderfassungsverfahren gemäß der obigen Ausgestaltung
ist ein Bilderfassungsverfahren, welches die Lichtquelle, das optische Bestrahlungssystem, die Abtasteinheit, dass optische Abbildungssystem, und the Detektionseinheit benutzt, und zum Generieren eines Bildes des Beobachtungsgegenstandes basierend auf dem von der Direktionseinheit ausgegebenen Detektionssignal, und im Verfahren (a) werden eine Vielzahl von Abbildungsbereichen, die durch das optische Abbildungssystem mit der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand in einer Abbildungsrelation sind, auf der Lichtempfangsoberfläche der Detektionseinheit bereitgestellt, und (b) wird ein Detektionssignal eines Pixels, das jeweils einem der Vielzahl der Abbildungsbereiche entspricht, basierend auf Detektionssignalen eines oder zwei oder mehrerer Pixel, die angrenzend an jeden Abbildungsbereich vorhanden sind und keinem der Vielzahl der Abbildungsbereiche entsprechen, korrigiert, und ein Bild des Beobachtungsgegenstandes wird basierend auf dem korrigierten Detektionssignal erzeugt.
Ferner kann das Bilderfassungsverfahren die gleiche Konfiguration aufweisen wie jede oben beschriebene Konfiguration der Bilderfassungseinrichtung.
Industrielle Anwendbarkeit
Die vorliegende Erfindung kann als eine Bilderfassungseinrichtung und ein Bilderfassungsverfahren verwendet werden, die in der Lage sind, auf einfache Weise ein S/N-Verhältnis eines durch Mehrpunktabtastung generierten Bildes eines Beobachtungsgegenstandes zu verbessern.
Bezugszeichenliste
1, 2 - Bilderfassungseinrichtung, 10 - Lichtquelle, 11, 12 - räumlicher Lichtmodulator, 13 - dichroitischer Spiegel, 14, 14a, 14b - optischer Abtaster, 21 - Objektivlinse, 22 - Bewegungsmechanismus der Objektivlinse, 23 - Verschiebetisch, 24 - Tischantriebsmechanismus, 31 - Abbildungslinse, 32 - Detektionseinheit, 41 - 46 - Linse, 47 - Zoomobjektiv, 51 - 53 - Spiegel, 54 - Filter, 61 - 66 - Linse, 70 - Kontrolleinheit, 71 - Eingabeeinheit, 72 - Anzeigeeinheit, S - Beobachtungsgegenstand.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

K. H. Kim et al., "Multifocal multiphoton microscopy based on multianode photomultiplier-tubes, (Multifokale Mehrphotonenmikroskopie basierend auf Mehrfach-Anoden Photomultiplier-Röhren), Optics Express, Vol.15, No.18, pp.11658-11678 (2007) [0007]
J. W. Cha et al., „Reassignment of Scattered Emission Photons in Multifocal Multiphoton Microscopy“, (Neuzuordnung von gestreuten Emissionsphotonen in multifokaler Mehrphotonenmikroskopie), Scientific Reports 4:5153 pp.1-13 (2014) [0007]

Claims

Eine Bilderfassungseinrichtung, umfassend: eine Lichtquelle zum Ausgeben von Licht; ein optisches Bestrahlungssystem zum Durchführen fokussierter Bestrahlung auf einer Vielzahl von Bestrahlungsbereichen auf einer Oberfläche oder innerhalb eines Beobachtungsgegenstandes mit dem von der Lichtquelle ausgegebenem Licht; eine Abtasteinheit zum Abtasten der Vielzahl von Bestrahlungsbereichen in einer Richtung, welche eine optische Achse einer Richtung von Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem schneidet; ein optisches Abbildungssystem zum Leiten und Abbilden von Licht, welches in jedem der Vielzahl von Bestrahlungsbereichen durch Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem generiert wurde; eine Detektionseinheit mit einer Lichtempfangsoberfläche, auf welcher die Vielzahl von Bestrahlungsbereichen durch das optische Abbildungssystem abgebildet werden, einer Vielzahl von eindimensional oder zweidimensional auf der Lichtempfangsoberfläche angeordneter Pixel, und zum Ausgeben eines Detektionssignals, welches einen Wert aufweist, der einer Lichtempfangsmenge in jedem der Vielzahl von Pixel entspricht; und eine Bilderzeugungseinheit zum Generieren eines Bildes des Beobachtungsgegenstandes basierend auf dem von der Detektionseinheit ausgegebenen Detektionssignal, wobei die Detektionseinheit eine Vielzahl von Abbildungsbereichen, die durch das optische Abbildungssystem mit der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand in einer Abbildungsrelation sind, auf der Lichtempfangsoberfläche aufweist, jeder der Vielzahl von Abbildungsbereichen entspricht einem oder zwei oder mehr Pixeln, angrenzend an jeden Abbildungsbereich existiert ein Pixel, das keinem der Vielzahl von Abbildungsbereichen entspricht, die Bilderzeugungseinheit korrigiert ein Detektionssignal eines Pixels, das jedem der Vielzahl von Abbildungsbereichen entspricht, basierend auf Detektionssignalen eines, zweier oder mehr Pixel, die angrenzend an jeden Abbildungsbereich existieren und keinem der Vielzahl von Abbildungsbereichen entsprechen, und generiert ein Bild des Beobachtungsgegenstandes basierend auf dem korrigierten Detektionssignal.
Die Bilderfassungseinrichtung nach Anspruch 1, wobei Pixel, die keinem der Vielzahl von Abbildungsbereichen entsprechen, angrenzend an beiden Seiten eines jeden Abbildungsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit vorhanden sind, und die Bilderzeugungseinheit ein Detektionssignal eines Pixels, das jedem der Vielzahl der Abbildungsbereiche entspricht, basierend auf Detektionssignalen von zwei Pixeln, die angrenzend an beiden Seiten eines jeden Abbildungsbereichs vorhanden sind und keinem der Vielzahl von Abbildungsbereichen entsprechen, korrigiert, und ein Bild des Beobachtungsgegenstandes basierend auf dem korrigieren Detektionssignal generiert.
Die Bilderfassungseinrichtung nach Anspruch 1 oder 2, wobei die Vielzahl der Abbildungsbereiche zweidimensional angeordnet sind und vier Pixel, die keinem der Vielzahl von Abbildungsbereichen entsprechen, angrenzend an vier Seiten eines jeden Abbildungsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit vorhanden sind, und die Bilderzeugungseinheit ein Detektionssignal eines Pixels, das jedem der Vielzahl der Abbildungsbereiche entspricht, basierend auf Detektionssignalen der vier Pixel, die angrenzend an die vier Seiten eines jeden Abbildungsbereichs vorhanden sind und keinem der Vielzahl der Abbildungsbereiche entsprechen, korrigiert, und ein Bild des Beobachtungsgegenstandes basierend auf dem korrigierten Detektionssignal generiert.
Die Bilderfassungseinrichtung gemäß einem der Ansprüche 1 bis 3, wobei zwei oder mehr Pixel, die keinem der Vielzahl der Abbildungsbereiche entsprechen, zwischen zwei benachbarten Abbildungsbereichen unter der Vielzahl der Abbildungsbereiche auf der Lichtempfangsoberfläche der Detektionseinheit vorhanden sind.
Die Bilderfassungseinrichtung gemäß einem der Ansprüche 1 bis 4, wobei das optische Bestrahlungssystem einen räumlichen Lichtmodulator zur räumlichen Modulation des von der Lichtquelle ausgegebenen Lichtes umfasst und fokussierte Bestrahlung der Vielzahl von Bestrahlungsbereichen mit dem modulierten Licht durch das Darstellen eines Modulationsmusters im räumlichen Lichtmodulator durchführt.
Die Bilderfassungseinrichtung gemäß einem der Ansprüche 1 bis 4, wobei das optische Bestrahlungssystem ein diffraktives optisches Element zum Beugen des von der Lichtquelle ausgegebenen Lichtes umfasst und fokussierte Bestrahlung der Vielzahl von Bestrahlungsbereichen mit dem durch das diffraktive optische Element gebeugtem Licht durchführt.
Die Bilderfassungseinrichtung gemäß einem der Ansprüche 1 bis 6, wobei die Abtasteinheit einen optischen Abtaster umfasst, der auf einem optischen Pfad des optischen Bestrahlungssystems bereitgestellt ist und den optischen Abtaster steuert die Vielzahl von Bestrahlungsbereichen abzutasten.
Die Bilderfassungseinrichtung gemäß einem der Ansprüche 1 bis 7, wobei die Abtasteinheit die Vielzahl von Bestrahlungsbereichen auch in einer Richtung der Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem abtastet.
Die Bilderfassungseinrichtung gemäß einem der Ansprüche 1 bis 8, wobei eine bildgebende Vergrößerung des optischen Abbildungssystems veränderlich ist.
Die Bilderfassungseinrichtung gemäß einem der Ansprüche 1 bis 9, wobei die Detektionseinheit eine Mehrfach-Anoden Photomultiplier-Röhre mit einer Vielzahl von Anoden als die Vielzahl von Pixeln umfasst.
Die Bilderfassungseinrichtung gemäß einem der Ansprüche 1 bis 9, wobei die Detektionseinheit ein Array einer Vielzahl von Avalanche Photodioden als die Vielzahl von Pixeln aufweist.
Ein Bilderfassungsverfahren, welches: eine Lichtquelle zum Ausgeben von Licht; ein optisches Bestrahlungssystem zum Durchführen fokussierter Bestrahlung auf einer Vielzahl von Bestrahlungsbereichen auf einer Oberfläche oder innerhalb eines Beobachtungsgegenstandes mit dem von der Lichtquelle ausgegebenem Licht; eine Abtasteinheit zum Abtasten der Vielzahl von Bestrahlungsbereichen in einer Richtung, welche eine optische Achse einer Richtung von Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem schneidet; ein optisches Abbildungssystem zum Leiten und Abbilden von Licht, welches in jedem der Vielzahl von Bestrahlungsbereichen durch Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem generiert wurde; und eine Detektionseinheit mit einer Lichtempfangsoberfläche, auf welcher die Vielzahl von Bestrahlungsbereichen durch das optische Abbildungssystem abgebildet werden, eine Vielzahl von Pixeln sind eindimensional oder zweidimensional auf der Lichtempfangsoberfläche angeordnet, und zum Ausgeben eines Detektionssignals, welches einen Wert aufweist, der einer Lichtempfangsmenge in jedem der Vielzahl von Pixel entspricht, verwendet, das Verfahren zum Generieren eines Bildes des Beobachtungsgegenstandes basierend auf dem von der Detektionseinheit ausgegebenen Detektionssignals, wobei eine Vielzahl von Abbildungsbereichen, die durch das optische Abbildungssystem mit der Vielzahl von Bestrahlungsbereichen im Beobachtungsgegenstand in einer Abbildungsrelation sind, auf der Lichtempfangsoberfläche der Detektionseinheit bereitgestellt sind, jeder der Vielzahl von Abbildungsbereichen entspricht einem oder zwei oder mehr Pixeln, angrenzend an jeden Abbildungsbereich existiert ein Pixel, das keinem der Vielzahl von Abbildungsbereichen entspricht, und ein Detektionssignal eines Pixels, das jedem der Vielzahl von Abbildungsbereichen entspricht, wird basierend auf Detektionssignalen eines, zweier oder mehr Pixel, die angrenzend an jeden Abbildungsbereich existieren und keinem der Vielzahl von Abbildungsbereichen entsprechen, korrigiert, und ein Bild des Beobachtungsgegenstandes wird basierend auf dem korrigierten Detektionssignal generiert.
Das Bilderfassungsverfahren nach Anspruch 12, wobei Pixel, die keinem der Vielzahl von Abbildungsbereichen entsprechen, angrenzend an beiden Seiten eines jeden Abbildungsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit vorhanden sind, und ein Detektionssignal eines Pixels, das jedem der Vielzahl der Abbildungsbereiche entspricht, wird basierend auf Detektionssignalen von zwei Pixeln, die angrenzend an beiden Seiten eines jeden Abbildungsbereichs vorhanden sind und keinem der Vielzahl von Abbildungsbereichen entsprechen, korrigiert, und ein Bild des Beobachtungsgegenstandes wird basierend auf dem korrigieren Detektionssignal generiert.
Das Bilderfassungsverfahren nach Anspruch 12 oder 13, wobei die Vielzahl der Abbildungsbereiche zweidimensional angeordnet und vier Pixel, die keinem der Vielzahl von Abbildungsbereichen entsprechen angrenzend an vier Seiten eines jeden Abbildungsbereichs auf der Lichtempfangsoberfläche der Detektionseinheit vorhanden sind, und ein Detektionssignal eines Pixels, das jedem der Vielzahl der Abbildungsbereiche entspricht, wird basierend auf Detektionssignalen der vier Pixel, die angrenzend an die vier Seiten eines jeden Abbildungsbereichs vorhanden sind und keinem der Vielzahl der Abbildungsbereiche entsprechen, korrigiert, und ein Bild des Beobachtungsgegenstandes wird basierend auf dem korrigierten Detektionssignal generiert.
Das Bilderfassungsverfahren gemäß einem der Ansprüche 12 bis 14, wobei zwei oder mehr Pixel, die keinem der Vielzahl der Abbildungsbereiche entsprechen, zwischen zwei benachbarten Abbildungsbereichen unter der Vielzahl der Abbildungsbereiche auf der Lichtempfangsoberfläche der Detektionseinheit vorhanden sind.
Das Bilderfassungsverfahren gemäß einem der Ansprüche 12 bis 15, wobei das optische Bestrahlungssystem einen räumlichen Lichtmodulator zur räumlichen Modulation des von der Lichtquelle ausgegebenen Lichtes umfasst und fokussierte Bestrahlung der Vielzahl von Bestrahlungsbereiche mit dem modulierten Licht durch das Darstellen eines Modulationsmusters im räumlichen Lichtmodulator durchführt.
Das Bilderfassungsverfahren gemäß einem der Ansprüche 12 bis 15, wobei das optische Bestrahlungssystem ein diffraktives optisches Element zum Beugen des von der Lichtquelle ausgegebenen Lichtes umfasst und fokussierte Bestrahlung der Vielzahl von Bestrahlungsbereichen mit dem durch das diffraktive optische Element gebeugtem Licht durchführt.
Das Bilderfassungsverfahren gemäß einem der Ansprüche 12 bis 17, wobei die Abtasteinheit einen optischen Abtaster umfasst, der auf einem optischen Pfad des optischen Bestrahlungssystems bereitgestellt ist und den optischen Abtaster steuert die Vielzahl von Bestrahlungsbereichen abzutasten.
Das Bilderfassungsverfahren gemäß einem der Ansprüche 12 bis 18, wobei die Vielzahl von Bestrahlungsbereichen auch in einer Richtung der Lichtbestrahlung auf dem Beobachtungsgegenstand durch das optische Bestrahlungssystem von der Abtasteinheit abgetastet wird.
Das Bilderfassungsverfahren gemäß einem der Ansprüche 12 bis 19, wobei eine bildgebende Vergrößerung des optischen Abbildungssystems veränderlich ist.
Das Bilderfassungsverfahren gemäß einem der Ansprüche 12 bis 20, wobei die Detektionseinheit eine Mehrfach-Anoden Photomultiplier-Röhre mit einer Vielzahl von Anoden als die Vielzahl von Pixeln umfasst.
Das Bilderfassungsverfahren gemäß einem der Ansprüche 12 bis 20, wobei die Detektionseinheit ein Array einer Vielzahl von Avalanche Photodioden als die Vielzahl von Pixeln aufweist.