CN109073873A - 图像取得装置以及图像取得方法 - Google Patents

图像取得装置以及图像取得方法 Download PDF

Info

Publication number
CN109073873A
CN109073873A CN201780020100.2A CN201780020100A CN109073873A CN 109073873 A CN109073873 A CN 109073873A CN 201780020100 A CN201780020100 A CN 201780020100A CN 109073873 A CN109073873 A CN 109073873A
Authority
CN
China
Prior art keywords
light
imaging region
pixel
image
observation object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780020100.2A
Other languages
English (en)
Other versions
CN109073873B (zh
Inventor
松本直也
冈崎茂俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu University School of Medicine NUC
Hamamatsu Photonics KK
Original Assignee
Hamamatsu University School of Medicine NUC
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu University School of Medicine NUC, Hamamatsu Photonics KK filed Critical Hamamatsu University School of Medicine NUC
Publication of CN109073873A publication Critical patent/CN109073873A/zh
Application granted granted Critical
Publication of CN109073873B publication Critical patent/CN109073873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/025—Objectives with variable magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/067—Electro-optic, magneto-optic, acousto-optic elements
    • G01N2201/0675—SLM
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/121—Correction signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

图像取得装置(1)具备空间光调制器(11)、光扫描仪(14)、检测部(32)以及控制部(70)等。空间光调制器(11)将调制后的激发光聚光照射于观察对象物(S)的表面或者内部的多个照射区域。检测部(32)在受光面上具有相对于观察对象物上的多个照射区域处于利用成像光学系统的成像关系的多个成像区域，多个成像区域分别对应于1个或者2个以上像素，与多个成像区域的任一个均不对应的像素存在于各个成像区域的旁边。控制部(70)根据处于该成像区域的旁边并且与多个成像区域的任一个均不对应的像素的检测信号修正对应于各个成像区域的像素的检测信号，根据该修正后的检测信号制作观察对象物的图像。由此，实现了能够容易地改善由多点扫描生成的观察对象物的图像的SN比的图像取得装置以及图像取得方法。

Description

图像取得装置以及图像取得方法
技术领域
本发明的一个方面涉及将光聚光照射于观察对象物的表面或者内部的多个照射区域并且扫描这些多个照射区域并检测分别在这些多个照射区域所产生的光而制作观察对象物的图像的装置以及方法。
背景技术
非专利文献1,2所记载的图像取得装置能够将光聚光照射于观察对象物的表面或者内部的多个照射区域并且扫描这些多个照射区域并检测分别在这些多个照射区域所产生的光(例如荧光、高次谐波光、反射散射光等)而制作观察对象物的图像。与由单一的照射光束来扫描单一的照射区域的情况(以下称之为“单点扫描”)相比，在由N个照射光束来同时扫描N个照射区域的情况(以下称之为“多点扫描”或者“N点扫描”)下因为能够将各个照射区域的扫描范围的大小控制到1/N，所以能够将用于制作观察对象物的图像的数据的收集所需要的测量时间缩短到1/N。在此，N为2以上的整数。
设想将向观察对象物的光照射的方向设定为z方向的xyz直角坐标系。在取得z方向的某1点上的xy平面的图像的情况下，例如单点扫描所需要的时间如果是0.24秒的话则4点扫描所需要的时间可以是0.06秒。另外，在分别在z方向的1000点上取得xy平面的图像的情况(即取得3维图像的情况)下，单点扫描所需要的时间为240秒，4点扫描所需要的时间成为60秒。这样，与单点扫描相比，多点扫描中，能够在短时间内完成数据收集并制作观察对象物的图像。
另外，N点扫描中，如果即使需要与单点扫描所需要的时间相同的时间也没关系的话则能够将对在各个照射区域所产生的光进行受光的时间(曝光时间)设为N倍，并且能够减少向观察对象物的光照射量。这事关带给观察对象物或荧光分子的损伤的减轻，另外，在进行时间推移(time lapse)等的重复测定的时候是有效的。
在多点扫描的情况下，有必要使用个别地检测分别在多个照射区域所产生的光的检测部。即，将在观察对象物的各个照射区域所产生的光成像于在检测部的受光面上对应的成像区域，从而从各个成像区域个别地取出检测信号。与观察对象物的多个照射区域互相不同的情况相同，检测部的受光面上的多个成像区域也作为互相不同的成像区域而被隔开。
在观察对象物的某个照射区域所产生的光应该在成像区域上被受光，该成像区域在检测部的受光面上对应于该照射区域，但由在观察对象物的内部的散射或像差的影响而会有一部分在其他成像区域作为噪声光被受光的情况。该噪声光成为被生成的观察对象物的图像中的背景噪声，在该图像中与本来的像的位置不同的位置上产生重像而使SN(Signal-to-noise(信噪))比降低。如果观察对象物上的照射区域从表面变深的话则这样的现象变得显著。
在非专利文献1,2中记载有谋求观察对象物的图像的SN比的改善的技术。非专利文献1所记载的SN比改善技术意图相对于存在单一的荧光产生区域的观察对象物进行单点扫描而求出检测部的受光面上的光的扩展，通过计算由多点扫描取得到的观察对象物的图像和上述的光的扩展的反卷积(deconvolution)从而改善观察对象物的图像的SN比。非专利文献2所记载的SN比改善技术意图根据由多点扫描取得到的观察对象物的图像进行利用最大似然估计法的推定，求出SN比被改善了的观察对象物的图像。
现有技术文献
非专利文献
非专利文献1：K.H.Kim et al.,“Multifocal multiphoton microscopy basedon multianode photomultiplier tubes”,Optics Express,Vol.15,No.18,pp.11658-11678(2007)
非专利文献2：J.W.Cha et al.,“Reassignment of Scattered EmissionPhotons in Multifocal Multiphoton Microscopy”,Scientific Reports 4:5153pp.1-13(2014)
发明内容
发明所要解决的技术问题
非专利文献1所记载的SN比改善技术有必要为了求得检测部的受光面上的光的扩展而进行单点扫描。检测部的受光面上的光的扩展的程度因为由观察对象物上的照射区域的深度(z方向的位置)而不同，所以有必要将照射区域设定于z方向的各个位置来求得。尽管多点扫描的目的是缩短测量时间，但是因为除了多点扫描之外还有必要进行单点扫描，所以与该目的相反测量时间变长。原本如果进行单点扫描的话则没有必要进行多点扫描。非专利文献2所记载的SN比改善技术有必要在进行利用最大似然估计法的推定的时候重复进行计算，对于该重复计算来说需要较长时间。
本发明的一个方面为了解决上述问题而完成，其目的在于，提供一种能够容易地改善由多点扫描生成的观察对象物的图像的SN比的图像取得装置以及图像取得方法。
解决问题的技术手段
本发明的一个方面的图像取得装置具备：(1)光源，输出光；(2)照射光学系统，将从光源被输出的光聚光照射于观察对象物的表面或者内部的多个照射区域；(3)扫描部，在与利用照射光学系统的向观察对象物的光照射的方向的光轴相交叉的方向上扫描多个照射区域；(4)成像光学系统，对伴随于利用照射光学系统的向观察对象物的光照射而分别在多个照射区域产生的光进行引导并进行成像；(5)检测部，具有多个照射区域由成像光学系统而被成像的受光面且多个像素以一维状或者二维状被排列于该受光面上并且输出对应于多个像素的各个中的受光量的值的检测信号；(6)图像制作部，根据从检测部被输出的检测信号制作观察对象物的图像。
再有，图像取得装置在上述结构中，(a)检测部在受光面上具有相对于观察对象物上的多个照射区域处于利用成像光学系统的成像关系的多个成像区域，多个成像区域分别对应于1个或者2个以上像素，与多个成像区域的任一个均不对应的像素存在于各个成像区域的旁边；(b)图像制作部根据处于各个成像区域的旁边并且与多个成像区域的任一个均不对应的1个或者2个以上像素的检测信号修正分别对应于多个成像区域的像素的检测信号，根据该修正后的检测信号制作观察对象物的图像。
本发明的一个方面的图像取得方法是使用上述的光源、照射光学系统、扫描部、成像光学系统以及检测部并根据从检测部被输出的检测信号制作观察对象物的图像的图像取得方法，(a)设为如下结构：在检测部的受光面上具有相对于观察对象物上的多个照射区域处于利用成像光学系统的成像关系的多个成像区域，多个成像区域分别对应于1个或者2个以上像素，与多个成像区域的任一个均不对应的像素存在于各个成像区域的旁边；(b)根据处于各个成像区域的旁边并且与多个成像区域的任一个均不对应的1个或者2个以上像素的检测信号修正分别对应于多个成像区域的像素的检测信号，根据该修正后的检测信号制作观察对象物的图像。
发明的效果
根据本发明的一个方面，能够容易地改善由多点扫描生成的观察对象物的图像的SN比。
附图说明
图1是表示图像取得装置1的结构的图。
图2是表示图像取得装置2的结构的图。
图3是对(a)单点扫描以及(b)多点扫描进行说明的图。
图4是对(a)观察对象物S上的照射区域A1～A4以及(b)检测部32的受光面上的成像区域B1～B2进行说明的图。
图5是表示观察对象物S上的照射区域A1～A4以及荧光珠的分布的图。
图6(a)～(c)是对检测部32的受光面上的受光区域的扩展进行说明的图。
图7是表示单点扫描的情况下的检测部32的各个像素上的荧光强度的图表。
图8是表示2点扫描的情况下的检测部32的各个像素上的荧光强度的图表。
图9是表示(a)单点扫描以及(b)4点扫描各自的情况下的观察对象物的荧光图像的图。
图10(a)～(d)是说明检测部32的受光面上的像素结构与成像区域之间的关系的图。
图11(a)、(b)是说明从检测部32被输出的检测信号与观察对象物S的图像的关系的图。
图12(a)、(b)是表示确认检测信号的修正效果的模拟结果的图表。
图13(a)、(b)是表示确认检测信号的修正效果的模拟结果的图表。
图14(a)、(b)是表示第1实施例的SN比改善效果的观察对象物荧光图像。
图15(a)、(b)是表示第2实施例的SN比改善效果的观察对象物荧光图像。
图16(a)、(b)是表示第2实施例的SN比改善效果的观察对象物荧光图像。
图17(a)、(b)是表示第2实施例的SN比改善效果的观察对象物荧光图像。
图18是表示第3实施例的SN比改善效果的观察对象物荧光图像。
图19是表示与第3实施例相对比的比较例的观察对象物荧光图像。
图20是说明使用在受光面上多个像素被二维排列的检测部的情况下的像素结构与成像区域之间的关系的图。
图21是说明使用在受光面上多个像素被二维排列的检测部的情况下的像素结构与成像区域之间的关系的图。
图22是说明使用在受光面上多个像素被二维排列的检测部的情况下的像素结构与成像区域之间的关系的图。
图23(a)、(b)是说明检测部的受光面上的像素结构与成像区域之间的关系的图。
图24是表示变焦透镜的构成例的图。
图25(a)、(b)是对其他多点扫描的例子进行说明的图。
具体实施方式
以下，参照附图来详细说明用于实施本发明的方式。还有，在附图说明中将相同符号标注于相同要素，并省略重复的说明。另外，本发明并不限定于这些例示。
本实施方式的图像取得装置以及图像取得方法能够取得到在观察对象物的表面或者内部所产生的荧光、高次谐波光、反射散射光等的像，但以下主要对取得观察对象物的荧光图像的实施方式进行说明。另外，在各个图中为了便于说明观察对象物与光照射的方向的关系等而表示xyz直角坐标系。
图1是表示图像取得装置1的结构的图。图像取得装置1具备光源10、空间光调制器11、分色镜13、光扫描仪14、物镜21、平台23、成像透镜31、检测部32以及控制部70等。
光源10是输出可以激发包含于观察对象物S的荧光标识的波长的激发光的光源，优选为激光光源。光源10对于在观察对象物S上产生由多光子吸收引起的荧光来说优选为将飞秒、皮秒、纳秒等短脉冲激光作为激发光来进行输出的激光光源。
输入从光源10被输出的激发光的透镜41,42构成调整光束直径并输出激发光的光束扩展器。光束扩展器一般由多枚透镜构成。从光束扩展器被输出的激发光的光束直径对应于物镜21的瞳孔直径而被恰当设定。
空间光调制器11输入从光源10被输出并经光束扩展器(透镜41,42)而在镜51上被反射的激发光，空间性地调制该输入的激发光并进行输出。空间光调制器11既可以是相位调制型的空间光调制器，也可以是振幅调制型的空间光调制器。空间光调制器11在图1中作为反射型的空间光调制器被表示，但也可以是透过型的空间光调制器。空间光调制器11对应于被呈现的调制图案而能够在输出光的光束截面上空间性地调制相位或者振幅。
空间光调制器11通过规定的调制图案被呈现从而能够将调制后的激发光聚光照射于观察对象物S的表面或者内部的多个照射区域。在此情况下，空间光调制器11作为由从光源10被输出的单一的光束生成多个光束的多点生成元件来进行使用。
作为多点生成元件来进行使用的空间光调制器11能够对应于由从控制部70被提供的电控制信号而被呈现的调制图案自由地设定光束的根数、光束的间隔、各个光束的聚光位置的深度(z方向位置)等。它们对应于在将观察对象物S中的应该进行观察的区域区分成多个部分区域的时候的部分区域的个数或各个部分区域的大小而被设定。还有，作为多点生成元件除了空间光调制器之外还可以使用衍射光学元件、微透镜阵列、分束器等。
另外，空间光调制器11通过使被呈现的调制图案变化从而即使作为扫描观察对象物S上的多个照射区域的扫描部也可以被使用。再有，空间光调制器11通过规定的调制图案被呈现从而修正直至观察对象物S上的多个照射区域为止的光路的像差，能够减小各个照射区域并且能够提高所取得到的图像的分辨率。
分色镜13选择性地使激发光以及荧光中的激发光透过并选择性地使荧光反射。即，分色镜13输入从空间光调制器11到达的激发光，并使该激发光向透镜43透过。另外，分色镜13输入从透镜43到达的荧光，并使该荧光向变焦透镜(zoom lens)47反射。
输入从分色镜13被输出的激发光的透镜43,44构成远心中继透镜系统。
光扫描仪14作为输入从分色镜13被输出并经远心中继透镜系统(透镜43,44)的激发光并在与向观察对象物S的激发光照射的方向(z方向)相交叉的方向上扫描照射区域的扫描部而被使用，另外，光扫描仪14通过输入在观察对象物S的照射区域产生的荧光并进行扫描，从而能够使分色镜13与光扫描仪14之间的激发光以及荧光各自的主光线互相一致。光扫描仪14包含例如电流镜(galvano mirror)、多角镜(polygon mirror)、MEMS(MicroElectro Mechanical System(微机电系统))镜、万向镜(Gimbal mirror)。
输入从光扫描仪14被输出并被镜52反射的激发光的透镜45,46构成远心中继透镜系统。远心中继透镜系统(透镜43,44)以及远心中继透镜系统(透镜45,46)向物镜21的后侧焦点面传输被空间光调制器11调制并生成的激发光的波阵面。
还有，在作为多点生成元件而使用微透镜阵列的情况下，这些远心中继透镜系统向物镜21的后侧焦点面传输微透镜阵列附近的聚光点。在多点生成元件和物镜21互相极其靠近的情况下，也可以不设置这些远心中继透镜系统。
物镜21以对峙于平台23上的观察对象物S的形式被配置。物镜21输入从远心中继透镜系统(透镜45,46)被输出并由镜53而被反射的激发光，并且将激发光聚光照射于平台23上的观察对象物S的表面或者内部的多个照射区域。另外，在观察对象物S的任意的照射区域产生荧光的情况下，物镜21输入该荧光，并向镜53输出该荧光。
物镜21由物镜移动机构22的作用而在光轴方向上即在观察对象物S的深度方向(z方向)上能够进行移动。平台23由平台移动机构24的作用而在与物镜21的光轴方向相交叉的方向(优选为平行于xy面的方向)上能够进行移动，另外，在光轴方向上即在观察对象物S的深度方向(z方向)上能够进行移动。物镜移动机构22以及平台移动机构24也作为扫描观察对象物S上的多个照射区域的扫描部而被使用。物镜移动机构22以及平台移动机构24分别包含例如步进电机或压电致动器等。
在图1所表示的结构中单一的物镜21兼备激发光照射用以及荧光观察用这两者，但是激发光照射用物镜和荧光观察用物镜也可以分开设置。作为激发光照射用物镜能够通过使用高NA的透镜来减少像差的影响并进行局部聚光。作为荧光观察用的物镜通过使用瞳孔直径大的透镜从而能够输入更多的荧光。
在图1中，包含物镜21的显微镜为倒立型的结构，但也可以是正立型的显微镜的结构。
在观察对象物S的照射区域上产生且被输入到物镜21的荧光在与激发光的路径相同的路径上以相反方向前进并到达分色镜13，并且在分色镜13上被反射。输入在分色镜13上被反射的荧光的变焦透镜47以及成像透镜31将在观察对象物S的照射区域产生的荧光引导到检测部32的受光面，并将荧光图像形成于受光面上。滤光器54被设置于分色镜13与检测部32之间的光路上，选择性地使激发光以及荧光中的荧光透过并选择性地遮断激发光。滤光器54能够抑制检测部32对在观察对象物S等上被散射或者被反射的激发光中的在分色镜13上被一部分反射的激发光进行受光。
还有，处于从光源10到观察对象物S为止的激发光的光路上的要素群构成将从光源10被输出的激发光聚光照射于观察对象物S的表面或者内部的多个照射区域的照射光学系统。处于从观察对象物S到检测部32为止的荧光的光路上的要素群构成引导伴随于利用照射光学系统的对观察对象物S的激发光照射而分别在多个照射区域产生的光并进行成像的成像光学系统。
检测部32具有观察对象物S上的多个照射区域由成像光学系统而被成像的受光面，在该受光面上多个像素被排列成一维状或者二维状，输出对应于这些多个像素的各个中的受光量的值的检测信号。检测部32包括例如多阳极光电倍增管、MPPC(注册商标)、光电二极管阵列、雪崩光电二极管阵列、CCD图像传感器、CMOS图像传感器等光检测器。
多阳极光电倍增管(multi-anode photo multiplier tube，以下称之为“mPMT”)具有作为多个像素的多个阳极，并且能够输出对应于各个阳极受光量的检测信号。MPPC(Multi-Pixel Photon Counter(多像素光子计数器))是将灭弧电阻连接于以盖革模式进行工作的雪崩光电二极管而成的构件作为1个像素来二维排列多个像素的构件。它们能够进行高速·高灵敏度的光检测。
也可以在检测部32的受光面之前配置针孔阵列，将观察对象物S的照射区域与针孔之间的光学系统作为共焦点光学系统。针孔阵列既可以被配置于检测部32的受光面的正前方，也可以相对于检测部32的受光面被配置于经由中继透镜系统的位置。它们在检测由单光子激发引起的荧光的情况下或在检测反射散射光的情况下是有效的。
控制部70控制图像取得装置1整体的动作。具体来说，控制部70控制利用光源10的光输出动作，另外，生成提供给空间光调制器11的调制图案，并且将该调制图案提供给空间光调制器11。控制部70驱动光扫描仪14，另外，通过驱动物镜移动机构22来使物镜21移动，从而扫描观察对象物S上的照射区域。控制部70即使通过驱动物镜移动机构22来使平台23移动也能够扫描观察对象物S上的照射区域。
再有，控制部70控制利用检测部32的光检测动作。控制部70也可以作为接受从检测部32被输出的检测信号并根据该检测信号制作观察对象物S的图像的图像制作部来进行使用。关于此在后面叙述。
控制部70例如是计算机，至少具有图像处理电路。控制部70与输入部71以及显示部72一起被使用。输入部71例如是键盘或鼠标，输入测量开始的指示或关于测量条件的指示等。显示部72例如是显示器，显示测量条件或者显示观察对象物S的图像。
该图像取得装置1的大概动作如以下所述。从光源10被输出的激发光由照射光学系统而被聚光照射于观察对象物S的表面或者内部的多个照射区域。即，从光源10被输出的激发光其光束直径被光束扩展器(透镜41,42)调整并且在镜51上被反射，从而被输入到空间光调制器11。在激发光的光束截面上相位或者振幅由呈现从控制部70被提供的调制图案的空间光调制器11而被空间性地调制，该调制后的激发光从空间光调制器11被输出。
从空间光调制器11被输出的激发光透过分色镜13并经远心中继透镜系统(透镜43,44)而被输入到光扫描仪14。来自光扫描仪14的激发光的输出方向由光扫描仪14而发生变化。从光扫描仪14被输出的激发光在镜52上被反射，并经远心中继透镜系统(透镜45,46)而在镜53上被反射，从而被输入到物镜21。
被输入到物镜21的激发光被聚光照射于平台23上的观察对象物S的表面或者内部。此时，观察对象物S上的照射区域的个数或间隔等对应于由控制部70而被呈现于空间光调制器11的调制图案进行设定。观察对象物S上的照射区域的xy面上的位置由被控制部70驱动的光扫描仪14而被扫描。观察对象物S上的照射区域的z方向的位置通过物镜21由被控制部70驱动的物镜移动机构22而在z方向上进行移动来被扫描，或者，通过平台23由被控制部70驱动的平台移动机构24而在z方向上进行移动来被扫描。
在观察对象物S的照射区域上产生并被输入到物镜21的荧光由成像光学系统而被成像于检测部32的受光面上。即，该荧光经物镜21、镜53、远心中继透镜系统(透镜46,45)、镜52、光扫描仪14以及远心中继透镜系统(透镜44,43)而在分色镜13上被反射。分色镜13与光扫描仪14之间的激发光以及荧光各自的主光线由相对于荧光的光扫描仪14的去扫描作用而互相一致。在分色镜13上被反射的荧光经变焦透镜47、滤光器54以及成像透镜31而到达检测部32的受光面。观察对象物S上的照射区域被成像于检测部32的受光面上。
然后，对应于被排列于检测部32的受光面上的多个像素的各个中的受光量的值的检测信号从检测部32被输出。从检测部32被输出的检测信号被输入到控制部70。根据从检测部32被输出的检测信号由作为图像制作部的控制部70来制作观察对象物S的图像。该图像被显示部72显示。
图1所表示的图像取得装置1是具备反射型的空间光调制器的图像取得装置，但是也可以设为如图2所示具备透过型的空间光调制器的图像取得装置2的结构。图2是表示图像取得装置2的结构的图。该图表示从透过型空间光调制器12到观察对象物S为止的激发光的照射光学系统、以及从观察对象物S到检测部32为止的荧光的成像光学系统。
包含于图2所表示的图像取得装置2中的分色镜13、物镜21、平台23、成像透镜31以及检测部32分别与包含于图1所表示的图像取得装置1中的各个相同。图像取得装置2与图像取得装置1的结构相同，具备光源、光束扩展器、物镜驱动装置、平台驱动机构以及控制部等，关于这些在图2中省略图示。
空间光调制器12能够在使激发光透过的时候在激发光的光束截面上空间性地调制相位或者振幅。透过型的空间光调制器12与反射型的空间光调制器11相同，能够将调制后的激发光聚光照射于观察对象物S的表面或者内部的多个照射区域，并且即使作为扫描观察对象物S上的多个照射区域的扫描部也能够进行使用，另外，能够修正到观察对象物S上的多个照射区域为止的光路的像差。
作为在与向观察对象物S的激发光照射的方向相交叉的方向上扫描照射区域的扫描部，设置光扫描仪14a,14b。一方的光扫描仪14a输入从空间光调制器12经分色镜13以及远心中继透镜系统(透镜61,62)而到达的激发光并在与向观察对象物S的激发光照射的方向相交叉的第1方向上扫描照射区域。另一方的光扫描仪14b输入从光扫描仪14a经远心中继透镜系统(透镜63,64)而到达的激发光并在与向观察对象物S的激发光照射的方向相交叉的第2方向上扫描照射区域。例如，第1方向以及第2方向中的一方为x方向，另一方为y方向。
该图像取得装置2的大概动作如以下所述。从光源被输出的激发光由照射光学系统而被聚光照射于观察对象物S的表面或者内部的多个照射区域。即，从光源被输出的激发光其光束直径被光束扩展器调整并且被输入到空间光调制器12。在激发光的光束截面上相位或者振幅由呈现规定的调制图案的空间光调制器12而被空间性地调制，该调制后的激发光从空间光调制器12被输出。
从空间光调制器12被输出的激发光透过分色镜13并经远心中继透镜系统(透镜61,62)而被输入到光扫描仪14a。来自光扫描仪14a的激发光的输出方向由光扫描仪14a而发生变化。从光扫描仪14a被输出的激发光经远心中继透镜系统(透镜63,64)而被输入到光扫描仪14b。来自光扫描仪14b的激发光的输出方向由光扫描仪14b而发生变化。从光扫描仪14b被输出的激发光经远心中继透镜系统(透镜65,66)而被输入到物镜21。
被输入到物镜21的激发光被聚光照射于平台23上的观察对象物S的表面或者内部。此时，观察对象物S上的照射区域的个数或间隔等对应于被呈现于空间光调制器12的调制图案而被设定。观察对象物S上的照射区域的xy面上的位置被光扫描仪14a,14b扫描。观察对象物S上的照射区域的z方向的位置通过物镜21由物镜移动机构而在z方向上进行移动从而被扫描，或者通过平台23由平台移动机构23而在z方向上进行移动从而被扫描。
在观察对象物S的照射区域上产生并被输入到物镜21的荧光由成像光学系统而被成像于检测部32的受光面。即，该荧光经物镜21、远心中继透镜系统(透镜66,65)、光扫描仪14b、远心中继透镜系统(透镜64,63)、光扫描仪14a、远心中继透镜系统(透镜62,61)而在分色镜13上被反射。分色镜13与光扫描仪14b之间的激发光以及荧光各自的主光线由相对于荧光的光扫描仪14a,14b的去扫描作用而互相一致。在分色镜13上被反射的荧光经成像透镜31而到达检测部32的受光面。观察对象物S上的照射区域被成像于检测部32的受光面上。
然后，对应于被排列于检测部32的受光面上的多个像素的各个中的受光量的值的检测信号从检测部32被输出。观察对象物S的图像根据从检测部32被输出的检测信号并由作为图像制作部的控制部而被制作。该图像被显示部显示。
即使相对于图1以及图2所表示的2个结构中的任一个均可适用本发明。本实施方式的图像取得装置以及图像取得方法主要涉及观察对象物S上的多个照射区域以及检测部32的受光面上的像素结构与成像区域之间的关系，另外，根据该关系，谋求改善观察对象物S的图像的SN比。
图像取得装置1,2作为进行多点扫描的激光扫描型荧光显微镜(laser scanningfluorescence microscopy，以下称之为“LSFM”)而被适宜使用。另外，进行多点扫描的LSFM中将短脉冲激光作为激发光照射于观察对象物S并检测由多光子激发引起的荧光的被称作为多焦点多光子激发荧光显微镜(multifocal multiphoton microscopy，以下称之为“MMM”)。图像取得装置1,2即使作为MMM也可被适宜使用。
与单光子激发的情况相比，在多光子激发的情况下激发光的波长长，在观察对象物上激发光的光子密度高且只在被限定的区域产生荧光。因此，在多光子激发的情况下激发光的散射或吸收的影响小且适宜于观察对象物的特别是深部的荧光图像的取得。另外，通过由空间光调制器来控制激发光的波阵面，从而能够修正起因于观察对象物与周围的介质(例如水、空气、油等)之间的折射率差的像差，并且能够将激发光聚光照射于观察对象物的内部的局部照射区域。据此，在多光子激发的情况下即使是在观察对象物的深位置也能够获得荧光强度以及分辨率这两者高的图像，另外，通过组合多点扫描和像差修正从而还能够快速取得观察对象物的深部的荧光图像。
相对于激发包含于观察对象物S中的荧光分子并使荧光产生所必要的激发光强度，从光源10被输出的激发光的强度具有充分的余量，并且在即使进行多点扫描，向观察对象物S的损害也少的情况下，进行多点扫描的LSFM或者MMM对于高速化是极为有效的。
例如，在双光子激发荧光显微镜中，使用输出具有飞秒到皮秒的脉冲宽度的脉冲激光的激光光源，在该激光光源中为了获得稳定的输出而使激光输出极大到3W左右。另一方面，在观察对象物中为了使荧光产生而进行照射的激发光的光量在接近观察对象物的表面的浅位置上也可以是10mW左右。这样，激光输出相对于荧光产生所必要的激发光强度而有300倍左右的余量。另外，只要相邻的2个照射位置不极端地接近，热的蓄积就小。
图3是对单点扫描以及多点扫描进行说明的图。该图表示平行于z方向来看的时候的观察对象物S上的照射区域的扫描的情况。在图3(a)所表示的单点扫描中，在观察对象物S中的应该进行观察的区域的全体上光栅扫描(raster scan)1个照射区域A。在图3(b)所表示的4点扫描中将观察对象物S中的应该进行观察的区域4等分并设定为部分区域S1～S4，在各部分区域Sn上光栅扫描照射区域An。在4点扫描中同时扫描4个照射区域A1～A4。因此，在4点扫描中，与单点扫描相比能够将测量时间缩短到1/4。
图25是对其他多点扫描的例子进行说明的图。该图也表示平行于z方向来看的时候的观察对象物S上的照射区域A1～A4的扫描的情况。在该例子中，如图25(a)所示，照射区域A1～A4被排列于平行于光栅扫描的时候的高速轴的直线上。在这样的多点扫描中，不能够缩短测量时间，但是照射区域A1～A4以短时间间隔依次通过图25(b)所表示的阴影线区域(照射区域A1～A4的扫描范围重叠的区域)内的各个位置。因此，例如能够容易地确认发出荧光的蛋白质等的移动。在该多点扫描中，分别输出在观察使对象物S上的某个观测点上时刻不同的多枚图像。在这种情况下，因为最后也同时对于多点进行测量，所以被其他激发光激发的荧光的散射也包含于别的图像中。
图4是对4点扫描的情况下的观察对象物S上的照射区域A1～A4以及检测部32的受光面上的成像区域B1～B2进行说明的图。图4(a)表示物镜21以及观察对象物S，另外，示意性地表示观察对象物S上的4个照射区域A1～A4。图4(b)表示成像透镜31以及检测部32，另外，示意性地表示检测部32的受光面上的4个像素P1～P4以及4个成像区域B1～B4。
检测部32的受光面上的各个成像区域Bn相对于观察对象物S上的照射区域An处于利用成像光学系统的成像关系。在观察对象物S上4个照射区域A1～A4互相分离，另外，在检测部32的受光面上4个成像区域B1～B4也互相分离。各个像素Pn对应于成像区域Bn，输出对应于该成像区域Bn中的受光量的值的检测信号。
图5是表示4点扫描的情况下的观察对象物S上的照射区域A1～A4以及荧光珠的分布的图。在该图中，作为观察对象物S，设想以各个实线圆进行表示的多个荧光珠被分散于环氧树脂中。另外，在该图中荧光珠分别存在于照射区域A2,A4，荧光珠不存在于以各个虚线圆进行表示的照射区域A1,A3。在该图所表示的例子的情况下，荧光分别到达检测部32的受光面上的4个成像区域B1～B4中的成像区域B2,B4，荧光不到达成像区域B1,B3。
但是，在物镜21与观察对象物S中的各个照射区域之间的激发光以及荧光的光路上存在成为散射、衍射以及像差的主要原因的荧光珠。据此，荧光在检测部32的受光面上实际上到达的受光区域比基于相对于观察对象物S上的照射区域的利用成像光学系统的成像关系的成像区域更宽。其扩展的程度取决于观察对象物S上的散射或像差的大小。一般来说，在照射区域处于观察对象物的表面附近的情况下，受光区域的扩展程度最小。照射区域在观察对象物的内部变得越深则受光区域的扩展程度变得越大。这对于实际的观察对象物即生物体等来说也是合适的。
图6是对4点扫描的情况下的检测部32的受光面上的受光区域的扩展进行说明的图。在图中，以圆的大小来表示荧光实际到达的受光区域的宽阔度。图6(a)表示照射区域处于观察对象物的表面附近的情况。图6(b)表示照射区域处于观察对象物的内部的浅位置的情况。另外图6(c)表示照射区域处于观察对象物的内部的深位置的情况。
如图6(a)所示，在照射区域处于观察对象物的表面附近的情况下，受光区域Cn为与成像区域Bn相同程度的扩展，并且只收敛于本来进行对应的像素Pn。但是，照射区域在观察对象物的内部变得越深则受光区域Cn的扩展程度越是变得比成像区域Bn更大。如图6(c)所示，受光区域Cn不仅是本来进行对应的像素Pn而且还扩及到旁边的像素Pn-1,Pn+1。即，本来应该从像素Pn被输出的检测信号的一部分被叠加到从旁边的像素Pn-1,Pn+1被输出的检测信号。其结果，根据检测信号被生成的观察对象物S的荧光图像的SN比变差。
图7是表示单点扫描的情况下的检测部32的各个像素上的荧光强度的图表。在此，作为观察对象物S，使用荧光珠被分散于环氧树脂中的观察对象物，作为检测部32，使用mPMT。以能够在观察对象物S的表面或者内部扫描单一的照射区域的形式使规定的调制图案呈现于空间光调制器。该图表示分别在观察对象物S的表面(深度0μm)、深度250μm、深度500μm以及深度1250μm设定单一的照射区域的时候的检测部32的受光面上的受光区域的扩展。横轴表示作为检测部32的mPMT的阳极序号(像素位置)。
在将单一的照射区域设定于观察对象物S的表面(深度0μm)的时候，荧光只到达mPMT的9个阳极1～9中的单一的阳极6。这表示处于相对于观察对象物S上的照射区域处于成像关系的受光面上的成像区域的只是阳极6。在观察对象物S的表面(深度0μm)上因为没有散射的影响，所以荧光只到达阳极6。
随着观察对象物S的内部的单一的照射区域的位置变深，到达处于阳极6的旁边的阳极5,7等的荧光的量增加，检测部32的受光面上的受光区域扩展。阳极5,7等不处于相对于观察对象物S上的照射区域处于成像关系的成像区域。这样的受光面上的受光区域的扩展由观察对象物S上的散射或像差的影响而产生。
在单点扫描的情况下，如果通过求得从所有阳极1～9被输出的检测信号的总和从而求得到达检测部32的受光面的全体的荧光的总量的话即可。或者，在单点扫描的情况下，如果替代在受光面上排列有多个像素的检测部32而使用单一通道(单一像素)的检测部并求得荧光的总量的话即可。特别是在多光子激发的情况下，因为激发几率只在光子密度高的聚光点附近变高并产生荧光，所以如果相对于激发光没有像差或散射的影响的话则只从欲观察的位置(即激发光进行聚光的位置的附近)产生荧光。由此，如果即使从某个局部照射区域产生的荧光在检测部的受光面上扩展也检测出其荧光的总量的话即可。在那时从检测部被输出的检测信号如果无视吸收的影响的话则可以说是全部集中了从局部照射区域产生的荧光。
相对于此，在多点扫描的情况下，相对于在观察对象物S上被互相区分的多个照射区域，由利用成像光学系统的成像关系而存在在检测部32受光面上被互相区分的多个成像区域。如果在观察对象物S上的多个照射区域中任意一个照射区域产生荧光的话则在检测部32的受光面上荧光到达相对于荧光产生的照射区域处于成像关系的成像区域，另外，如果有散射或像差的影响的话则实际的受光区域比成像区域更扩展。
图8是表示2点扫描的情况下的检测部32的各个像素上的荧光强度的图表。该图表示使用图7所表示的实测结果来进行的2点扫描的情况下的模拟的结果的图。该图表示分别在观察对象物S的表面(深度0μm)、深度250μm、深度500μm以及深度1250μm设定2个照射区域的时候的检测部32的受光面上的受光区域的扩展。
在将2个照射区域设定于观察对象物S的表面(深度0μm)的时候，荧光只到达mPMT的9个阳极1～9中的2个阳极5,7。这表示处于相对于观察对象物S上的一方的照射区域处于成像关系的受光面上的成像区域的是阳极5、以及处于相对于观察对象物S上的另一方的照射区域处于成像关系的受光面上的成像区域的是阳极7。
随着观察对象物S的内部的2个照射区域的位置变深，到达阳极5、7以外的阳极4,6,8等的荧光的量增加。阳极4,6,8等不处于相对于观察对象物S上的2个照射区域处于成像关系的2个成像区域。被阳极4,6,8等检测出的荧光本来不应该被这些阳极检测出。从阳极5,7以外的阳极4,6,8等被输出的检测信号在制作观察对象物S的荧光图像的时候成为噪声。
由该噪声的影响而在被制作的观察对象物S的荧光图像中产生重影，并且背景噪声增加。重影以及背景噪声起因于从检测出本来不应该进行检测的荧光的像素被输出的检测信号(噪声)。但是，在观察对象物S的荧光图像中，在某种情况下噪声的影响作为重影显现，在其他某种情况下噪声的影响作为背景噪声显现。
重影在荧光产生区域在观察对象物S的宽范围内比较稀疏的时候或在荧光信号的SN比高的情况下产生。例如，设想作为观察对象物S而使用荧光珠被分散于环氧树脂中的观察对象物来进行多点扫描的情况。在荧光珠的分散密度比较小的情况下，可以产生荧光的区域少且在多点扫描的情况下会有多个照射区域中只在某一个照射区域产生荧光的情况。另外，因为荧光强度强所以SN比比较高。此时，通过如前面所述在检测部32的受光面上实际的受光区域扩展，从而作为噪声以其他像素来进行观测。与在该像素中本来产生的暗电流或读出噪声等的噪声相比，由实际的受光区域的扩展引起的噪声比较强，另外，如果其他荧光不到达该像素的话则由该像素来观测本来应该没有的珠子(beads)、即重影。
图9是表示单点扫描以及4点扫描各自的情况下的观察对象物的荧光图像的图。在此，作为观察对象物S使用荧光珠被分散于环氧树脂中的观察对象物。图9(a)表示单点扫描的情况下的观察对象物的荧光图像。图9(b)表示4点扫描的情况下的观察对象物的荧光图像。另外，图9(b)使用箭头来表示将观察对象物S中的应该进行观察的区域4等分并作为部分区域S1～S4的时候的各个部分区域上的扫描(光栅扫描)的开始位置。在4点扫描的情况下的荧光图像(图9(b))的部分区域S3中，认为在与单点扫描的情况下的荧光图像(图9(a))中的荧光珠的位置相同的位置上存在荧光珠。除此之外，在4点扫描的情况下的荧光图像(图9(b))的部分区域S2,S4中，在以虚线圆包围的范围内以荧光珠由重影的发生而存在的形式进行观察。
另一方面，在观察对象物S的全体的观察区域上荧光产生区域为比较不稀疏的情况，即荧光信号的SN比低的情况下，由散射引起的荧光作为背景噪声被观测。例如，会有在检测部32的各个像素上2以上的荧光信号进行混合或者被观测的荧光在图像上遍布宽范围的情况。
不管怎样，如果是重影的话则不应该被观测的像会被观测，如果是背景噪声的话则产生SN比的降低。其结果，观察对象物S上的观测深度被限制。本实施方式谋求降低这样的噪声的影响并改善由多点扫描而被生成的观察对象物的图像的SN比。
图10是说明检测部32的受光面上的像素结构与成像区域之间的关系的图。在该图中表示在检测部32的受光面上被一维排列的10个像素P1～P10。
在图10(a)的例子中，像素P4对应于成像区域B1，像素P5对应于成像区域B2，像素P6对应于成像区域B3，像素P7对应于成像区域B4。像素P1～P3,P8～P10与任一个成像区域均不对应。
在图10(b)的例子中，像素P2对应于成像区域B1，像素P4对应于成像区域B2，像素P6对应于成像区域B3，像素P8对应于成像区域B4。像素P1,P3,P5,P7,P9,P10与任一个成像区域均不对应。
在图10(c)的例子中，像素P2对应于成像区域B1，像素P5对应于成像区域B2，像素P8对应于成像区域B3。像素P1,P3,P4,P6,P7,P9,P10与任一个成像区域均不对应。
在图10(d)的例子中，像素P4以及P5对应于成像区域B1，像素P8以及P9对应于成像区域B2。像素P1～P3,P6,P7,P10与任一个成像区域均不对应。
还有，所谓像素和成像区域进行对应，是指该像素的光电转换区域和该成像区域至少在一部分上进行互相重叠。
在图10的(b)～(d)的例子中，在检测部32的受光面上与任一个成像区域均不对应的像素存在于各个成像区域的两旁。在图10(b)的例子中，与任一个成像区域均不对应的像素有1个存在于邻接的2个成像区域之间。在图10(c)、(d)的例子中，与任一个成像区域均不对应的像素有2个存在于邻接的2个成像区域之间。在图10(d)的例子中，因为2个像素对应于各个成像区域，所以如果将像素P4以及P5各自的检测信号值之和设定为到达成像区域B1的光的强度并且将像素P8以及P9各自的检测信号值之和设定为到达成像区域B2的光的强度的话即可。
在本实施方式中，检测部32在受光面上具有相对于观察对象物S上的多个照射区域处于利用成像光学系统的成像关系的多个成像区域，多个成像区域分别对应于1个以上的像素，与多个成像区域的任一个均不对应的像素存在于各个成像区域的至少一方侧的旁边。在本实施方式中，以这样的关系被满足的形式调整观察对象物S上的多个照射区域的间隔或成像光学系统的成像倍率。
图11是说明从检测部32被输出的检测信号与观察对象物S的图像的关系的图。在图10(b)所表示的例子中，在检测部32的受光面上的受光区域不比成像区域扩展的情况下，从检测部32被输出的检测信号如图11(a)所示对于对应于任意的成像区域的像素P2,P4,P6,P8的各个成为对应于各个像素的受光量的值，对于其他像素P1,P3,P5,P7,P9,P10的各个成为暗电流噪声电平。
一般从检测部被输出的检测信号因为是电流信号，所以该电流信号由电流-电压转换电路而被转换成电压信号。之后，如图11(b)所示电压信号值由作为图像制作部的控制部70而被存储在与观察对象物S上的各个照射区域的位置相对应的图像上的位置。另外，此时，根据需要，相对于电压信号实施补偿(offset)修正等。
在观察对象物S的表面附近有照射区域且在检测部32的受光面上受光区域不比成像区域扩展的情况下也可以如以上所述。另一方面，在观察对象物S的内部的深位置上有照射区域且在检测部32的受光面上受光区域比成像区域扩展的情况下为了改善被制作的观察对象物S的图像的SN比而作为图像制作部的控制部70根据处于该成像区域的旁边且与任一个成像区域均不对应的1或者2以上的像素的检测信号修正对应于各个成像区域的像素的检测信号，根据该修正后的检测信号制作观察对象物S的图像。具体来说，如以下所述。
将对应于成像区域的像素Pn的检测信号值设定为Vsignal n，将处于该成像区域的两旁的像素Pn-1,Pn+1的检测信号值分别设定为Vsignal n-1,Vsignal n+1。控制部70以下述(1)式来求得对应于该成像区域的像素Pn的修正后的检测信号值Voutput n。其中，α为系数且通常可为1左右。
[数1]
图12是表示确认检测信号的修正效果的模拟结果的图表。该图表示在进行4点扫描的情况下在观察对象物上的4个照射区域中的1个照射区域产生荧光并且对应于产生该荧光的照射区域的检测部32的受光面上的成像区域对应于像素P6(阳极序号6)的情况。图12(a)表示模拟条件，并且表示将单一的照射区域设定到图7所表示的观察对象物S的深度500μm的时候的检测部32的在受光面上的受光区域的扩展。图12(b)分别关于实施例(进行利用上述(1)式的修正的情况)以及比较例(不进行修正的情况)表示对应于任意的成像区域的像素P2,P4,P6,P8的各个检测信号。
如果观察图12(a)以及图12(b)的比较例的话则通过在检测部32的受光面上受光区域比成像区域更扩展，从而不仅从对应于该成像区域的像素P6输出检测信号而且还从对应于其他成像区域的像素P4,P8等输出噪声。通过降低这些像素P4,P8等的噪声，从而能够改善观察对象物S的图像的SN比。如果着眼于将像素P6作为中心的像素P3～P9各自的检测信号值的话则可了解到像素P6的检测信号值最大，且随着从该像素P6变远而像素的输出值变小。另外，像素P4的输出值为两旁的像素P3,P5各自的输出值的大致平均值。因此，如果在上述(1)式中求得n＝4的像素P4的修正后的检测信号值Vputput 4的话即可。对于像素P2,P6,P8来说也同样。进行了这样的修正的结果是图12(b)的实施例的图表。与比较例相比，实施例中，像素P2,P8各自的噪声电平由修正而被降低到1/2以下。
图13也是表示确认检测信号的修正效果的模拟结果的图表。该图表示在进行4点扫描的情况下在观察对象物上的4个照射区域中的2个照射区域上产生荧光并且对应于产生该荧光的照射区域的检测部32的受光面上的一方的成像区域对应于像素P2(阳极序号2)并且另一方的成像区域对应于像素P6(阳极序号6)的情况。图12(a)表示模拟条件，并且表示将2个照射区域分别设定到图7所表示的观察对象物S的表面(深度0μm)以及深度500μm的时候的检测部32的受光面上的受光区域的扩展。图12(b)分别关于实施例(进行利用上述(1)式的修正的情况)以及比较例(不进行修正的情况)表示对应于任意的成像区域的像素P2,P4,P6,P8的各个检测信号。
如果观察图13(a)以及图13(b)的比较例的话则在将2个照射区域设定于观察对象物S的表面(深度0μm)的情况下在检测部32的受光面上与成像区域相比受光区域的扩展基本上没有并且只从像素P2,P6输出检测信号，从其他像素P4,P8基本上不输出噪声。相对于此，在将2个照射区域设定于观察对象物S的深度500μm的情况下通过在检测部32的受光面上受光区域比成像区域更扩展，从而不仅从像素P2,P6输出检测信号而且还从其他像素P4,P8输出噪声。与上述相同，通过降低这些像素P4,P8等的噪声，从而能够改善观察对象物S的图像的SN比。关于像素P2,P6也相同。进行了这样的修正的结果是图13(b)的实施例的图表。在该情况下，与比较例相比，实施例中，像素P4,P6各自的噪声电平也由修正而被降低到1/2以下。
这样的修正不仅对于像素P4,P8的输出值而且也对于像素P2,P6的输出值来进行。因为像素P2的输出值的影响波及到像素P1,P3的输出值，所以如果对于像素P2的输出值进行上述修正的话则会过度地降低像素P2的输出值。同样，因为像素P6的输出值的影响会波及到像素P5,P7的输出值，所以如果对于像素P6的输出值进行上述的修正的话则会过度地降低像素P6的输出值。但是，相对于像素P2,P6的输出值原本就大，利用修正的降低量小。因此，为了改善观察对象物S的图像的SN比而即使牺牲一点像素P2,P6的输出值也基本上不会有问题。
接着，与非专利文献1,2所记载的现有SN比改善技术相对比，对本实施方式的效果进行说明。在这些现有的SN比改善技术中，在检测部的受光面上，与任一个成像区域均不对应的像素不被设置于多个成像区域之间。
在非专利文献1所记载的SN比改善技术中，相对于存在单一的荧光产生区域的观察对象物进行单点扫描来求得检测部的受光面上扩展的受光量分布(相当于图12(a))，并计算由多点扫描而被取得的观察对象物的图像和上述的受光量分布的反卷积。该SN比改善技术有必要进行与多点扫描不同的单点扫描来求得在检测部的受光面上扩展的受光量分布。另外，该受光量分布因为由于观察对象物上的荧光产生区域的深度(z方向的位置)而不同，所以有必要将照射区域设定于z方向的各个位置来求得，并且对于数据取得来说需要长时间。
在非专利文献2所记载的SN比改善技术中，通过根据由多点扫描而被取得的观察对象物的图像进行利用最大似然估计法的推定，从而有必要在进行该利用最大似然估计法的推定的时候重复计算，对于该重复计算来说需要长时间。
这些现有的SN比改善技术对于数据取得或者计算来说需要长时间，实时处理是困难的。尽管多点扫描原本以缩短测量时间为目的，但是这些现有的SN比改善技术因为对于数据取得或者计算来说需要长时间，所以反而会有比单点扫描的情况更需要长时间的情况。
相对于此，在本实施方式中因为能够在进行修正之后由多点扫描来取得必要的信号而且能够以简单的计算处理来进行修正，所以与不进行修正的情况相比较所要时间基本上不会不同。这样，在本实施方式中能够容易地改善由多点扫描而被生成的观察对象物的图像的SN比。
接着，对适用了本实施方式的SN比改善技术的实施例进行说明。
图14是表示第1实施例的SN比改善效果的观察对象物的荧光图像。在第1实施例中将荧光珠被分散于环氧树脂中的对象物作为观察对象物来使用，并且进行4点扫描。在该图中，用箭头表示将观察对象物中的应该进行观察的区域4等分并作为4个部分区域的时候的各个部分区域中的扫描(光栅扫描)的开始位置。图14(a)与图9(b)相同，并且是修正前的荧光图像。在该修正前的荧光图像中，以在用虚线圆包围的范围内由于重影的发生而存在荧光珠的形式被观察。图14(b)是利用上述(1)式的修正后的荧光图像。在该修正后的荧光图像中没有看到重影。与修正前的荧光图像(图14(a))相比较可以了解到在修正后的荧光图像(图14(b))中SN比被改善。相对于修正前的荧光图像(图14(a))，仅通过进行利用上述(1)式的简单计算处理的修正，而能够容易而且短时间地取得到SN比被改善了的荧光图像(图14(b))。
图15～图17是表示第2实施例的SN比改善效果的观察对象物的荧光图像。在第2实施例中所使用的观察对象物与在第1实施例中所使用的相比，是环氧树脂中的荧光珠的分散密度高的观察对象物。将观察对象物的表面设定为z＝0，在z＝1000μm～1030μm的范围内以0.6μm的间距使物镜移动，并取得到3维图像。还有，观察对象物中的深度方向的实际的移动量成为将观察对象物的折射率乘以物镜移动量而得的值。另外，在向观察对象物进行光照射的时候进行相差修正。
图15a是进行单点扫描的情况下的yz最大值投影图像，图15(b)是以图15(a)中的虚线进行表示的深度的xy平面图像。图16(a)是进行4点扫描并且进行利用上述(1)式的修正的情况下的yz最大值投影图像，图16(b)是以图16(a)中的虚线进行表示的深度的xy平面图像。图17(a)是进行4点扫描并且不进行利用上述(1)式的修正的情况下的yz最大值投影图像，图17(b)是以图17(a)中的虚线进行表示的深度的xy平面图像。在图16以及图17中用箭头表示将观察对象物中的应该进行观察的区域4等分并作为4个部分区域的时候的各个部分区域中的扫描(光栅扫描)的开始位置。
图15中的箭头指示应该注意的重点而进行表示。如果将图15～图17对比的话则可了解到进行4点扫描并且进行利用上述(1)式的修正的实施例(图16)的SN比与进行4点扫描并且不进行利用上述(1)式的修正的比较例(图17)相比被改善，并且为与进行单点扫描的情况(图15)下的SN比相同程度。
图18是表示第3实施例的SN比改善效果的观察对象物的荧光图像。在第3实施例中将由灌注固定来将荧光素异硫氰酸酯-葡聚糖(Fluorescein Isothiocyanate-Dextran)固定于血管内的鼠脑作为观察对象物来使用，将照射区域设定成深度100μm左右并进行4点扫描。图18是进行利用上述(1)式的修正的情况(实施例)下的荧光图像。图19是不进行利用上述(1)式的修正的情况(比较例)下的荧光图像。在图18的荧光图像(实施例)中，在观察对象物S的部分区域S1～S4中的部分区域S3看到在从跟前向纵深方向平行于光轴进行延伸的血管像。相对于此，在图19的荧光图像(比较例)中，在部分区域S2,S4看到血管像的重影。在图18的荧光图像(实施例)中，重影被抑制到噪声电平程度。
接着，对变形例进行说明。例如，能够设为如以下所述的各种变形例的结构。
修正式并不限定于上述(1)式。例如，控制部70也可以以下述(2)式来求得对应于检测部32的受光面上的成像区域的像素Pn的修正后的检测信号值Voutput n。该(2)式在从对应于成像区域的像素Pn的检测信号值Vsignal n求得修正后的检测信号值Voutput n的时候不仅是处于该成像区域的两旁的像素Pn-1,Pn+1的检测信号值Vsignal n-1,Vsignal n+1，还考虑进一步处于旁边的像素Pn-2,Pn+2的检测信号值Vsignal n-2,Vsignal n+2，并进行加权。可以有其他各种修正式，但是基本上如果使用与任一个成像区域均不对应的像素的检测信号来修正对应于成像区域的像素的检测信号的话即可。
[数2]
在上述的实施方式中说明了使用在受光面上多个像素被一维排列的检测部的情况，但是也可以使用在受光面上多个像素被二维排列的检测部。图20～图22是说明使用在受光面上多个像素被二维排列的检测部的情况下的像素结构与成像区域之间的关系的图。在这些图中，矩形框表示像素，圆区域表示成像区域。
在图20的例子中，在检测部的受光面上与任一个成像区域均不对应的4个像素存在于各个成像区域的四周的旁边。在此情况下，能够用例如下述(3)式从对应于成像区域的像素Pm,n的检测信号值Vsignal m,n来求得修正后的检测信号值Voutput m,n。Vsignal m-1,n,Vsignal m+1,n,Vsignal m,n-1,Vsignal m,n+1分别是处于成像区域的四周的旁边的像素Pm-1,n,Pm+1,n,Pm,n-1,Pm,n+1的检测信号值。
[数3]
在图21的例子中，在检测部的受光面上与任一个成像区域均不对应的2个像素存在于各个成像区域的两旁。在此情况下，能够用例如下述(4)式从对应于成像区域的像素Pm,n的检测信号值Vsignal m,n来求得修正后的检测信号值Voutput m,n。Vsignal m-1,n,Vsignal m+1,n,Vsignal m,n-1,Vsignal m,n+1分别是处于成像区域的四周的旁边的像素Pm-1,n,Pm+1,n,Pm,n-1,Pm,n+1的检测信号值。
[数4]
在图22的例子中，在检测部的受光面上，与任一个成像区域均不对应的1个像素存在于各个成像区域的一方侧的旁边。在此情况下，能够用例如下述(5)式从对应于成像区域的像素Pm,n的检测信号值Vsignal m,n来求得修正后的检测信号值Voutput m,n。Vsignal m-1,n,Vsignal m+1,n,Vsignal m,n-1,Vsignal m,n+1分别是处于成像区域的四周的旁边的像素Pm-1,n,Pm+1,n,Pm,n-1,Pm,n+1的检测信号值。
[数5]
还有，在图21以及图22的例子中，虽然由修正取得的SN比改善的程度小但是在修正前的图像的SN比非常低的情况下能够充分认识到由修正取得的SN比改善效果。
上述(1)～(5)的各式中的系数α通常可为1左右，但是能够根据检测部的各个像素的检测信号值进行设定。例如，在检测部的受光面上与任一个成像区域均不对应的像素的检测信号值因为本来应该成为0，所以如果以对于该像素的检测信号值进行修正的结果成为0的形式设定系数α的值的话即可。
在上述的实施方式中主要对制作观察对象物的荧光图像的情况进行了说明，但是在制作观察对象物的高次谐波光或反射散射光的图像的情况下也能够使用。在制作荧光图像的情况下，既可以是单光子激发也可以是多光子激发。另外，也能够制作自体荧光的图像。
在上述的实施方式中主要对使用空间光调制器来将光照射于观察对象物上的多个照射区域的情况进行了说明，但是也可以使用分段式可变形镜、衍射光学元件、微透镜阵列、分束器等来将光照射于观察对象物上的多个照射区域。另外，在观察对象物上多个照射区域其深度也可以不同。
在上述的实施方式中主要对使用作为检测部的mPMT的情况进行了说明，但是也能够将MPPC(注册商标)、光电二极管阵列、雪崩光电二极管阵列、CCD图像传感器、CMOS图像传感器等作为检测部来使用。
引导在观察对象物上的照射区域上产生的光并成像于检测部的受光面上的成像区域的成像系统的成像倍率优选为可变。例如，在图1所表示的图像取得装置1的结构中被设置于检测部32的前段的成像透镜31或者变焦透镜47、或者在图2所表示的图像取得装置2的结构中被设置于检测部32的前段的成像透镜31优选为可变焦点透镜。变焦倍率优选由从控制部被提供的电信号进行控制。可变焦点透镜可以是由电信号进行控制的元件单体，或者也可以是组合1枚以上的由BK7等玻璃材料等构成的固定焦点距离的透镜的结构。
在图像取得装置1,2中，由扫描部(光扫描仪14,14a,14b)的扫描范围、检测部32的受光区域上的成像区域的间隔以及数量、以及观察对象物上的照射区域的大小，基本上决定视野范围以及分辨率。例如，在欲观察宽视野范围的情况下宽地设定扫描范围来进行扫描。相反，在欲观察窄视野范围的情况下窄地设定扫描范围来进行扫描。
在进行多点扫描的情况下，能够由呈现于空间光调制器的调制图案来变更观察对象物上的多个照射区域的间隔，并且能够变更视野范围。另一方面，在检测部的受光面上被排列的多个像素的间隔是固定的。因此，如果变更观察对象物上的多个照射区域的间隔的话则检测部的受光面上的成像区域与像素之间的对应关系不同。
例如，在观察对象物上的多个照射区域以某个一定间隔被配置的时候，如图23(a)所示与任一个成像区域均不对应的像素存在于相邻的2个成像区域之间。但是，如果观察对象物上的多个照射区域以别的间隔被配置的话则如图23(b)所示会有发生与任一个成像区域均不对应的像素不存在于相邻的2个成像区域之间的事态的情况。为了避免这样的事态的发生而通过调整被配置于检测部32的前段的可变焦点透镜，从而即使是变更观察对象物上的多个照射区域的间隔的情况也能够满足如图23(a)所表示的那样的像素结构与成像区域之间的适宜的关系。
在使用空间光调制器使光衍射并形成多个照射区域的情况下，将用于生成衍射光栅或多个照射区域的调制图案(全息图图案)呈现于空间光调制器。这些全息图图案的最大衍射角θmax从能够由空间光调制器进行显现的空间频率最高的衍射光栅图案(二进制2像素周期)的光栅间隔a以及被调制光的波长λ并以下述式被求得。
[数6]
θmax≈λ/a …(6)
另外，观察对象物上的+1阶衍射光与0阶衍射光(不表示衍射光栅的时候的聚光位置)之间的间隔L使用物镜的焦点距离fobj以及θmax并以下述式来求得。因此，空间光调制器能够在观察对象物上以光轴为中心仅离开2L×2L的范围内形成照射区域。
[数7]
L＝fobj tanθmax …(7)
在此，如果将光的波长设定为800nm；将光栅间隔a设定为40μm；将物镜的焦点距离fobj设定为4.5mm的话则获得L＝90μm。
对于在观察对象物上形成多个照射区域来说将用于此的全息图图案呈现于空间光调制器。在此，在观察对象图上形成以一定间隔被配置的4个照射区域来进行扫描，关于其间隔设想以下所述的3种方式，以下进行说明。
(a)5μm (b)10μm (c)15μm
在观察对象物上扫描照射区域的情况下扫描可能范围例如成为如以下所述。
(a)20×20μm (b)40×40μm (c)60×60μm
此时，在相邻的2个照射范围被构成的衍射角度θ分别成为如以下所述。
(a)0.0011[rad] (b)0.0022[rad] (c)0.0033[rad]
将被设置于检测部的前段的可变焦点透镜的焦点距离f1设定为200mm。在检测部的受光面上的相邻的2个成像区域之间的间隔L1根据衍射角度θ以及焦点距离f1并由下述(8)式来进行表示，成为如以下所述。
(a)222μm (b)444μm (c)666μm
[数8]
L1＝f1 tanθ …(8)
将在检测部的受光面上被排列的多个像素的间隔设定为400μm。此时，在(a)的条件下恐怕多个成像区域对应于1个像素，在(c)的条件下，会产生荧光不入射的像素。
为了解决这样的问题而采用可变焦点透镜。于是，使用电控制的变焦透镜来如下所述扩大或者缩小检测部的受光面上的相邻的2个成像区域之间的间隔。
(a)3.6倍 (b)1.8倍 (c)1.2倍
通过这样处理从而能够将相邻的2个成像区域之间的间隔设定为800μm，并且与任一个成像区域均不对应的像素存在于相邻的2个成像区域之间。
根据以上所述，如果知道检测部的多个像素的间隔p、在被空间光调制器形成的多个照射区域中的相邻的2个照射区域中被构成的衍射角度θ、以及被配置于检测部的正前方的透镜的焦点距离f1的话则由以下式而能够决定可变焦点透镜应该扩大或者缩小的倍率M，基于此而能够进行自动调整。
[数9]
M＝p/(f1 tanθ) …(9)
该M在实际的实验中会有与理论值不同的情况。首先，最初进行校正并测量理论值与实测的偏差量，其实测值也预先进行存储。在之后被形成的照射区域的间隔发生变化的情况下，考虑变焦透镜的理论值与实测的偏差并自动变更倍率。例如，在照射区域的间隔对于理论值来说变化到1/2的情况下，如果以从实测值变成1/2的形式变更倍率的话即可。
可变焦点透镜在设为组合了多枚透镜的结构的情况下，能够如图24所示由固定透镜101以及可变透镜102构成。该情况下的可变透镜的合成焦点距离f1根据固定透镜101的焦点距离fsta、可变透镜102的焦点距离fele以及两透镜之间的间隔d并由以下式来进行表示。在由上述方法来求得必要的合成焦点距离f1之后，如果从以下式来求得可变透镜102的焦点距离fele的话即可。
[数10]
不管怎样，能够对应于由空间光调制器生成的多个照射区域的间隔来自动决定可变焦点透镜的焦点距离。
还有，在激发光以及荧光各自的远心中继透镜系统的成像倍率互相不同的情况下，有必要也考虑其成像倍率。例如，特别是在激发光的光学系统由3个中继透镜系统构成，另一方面，荧光的光学系统由2个中继透镜系统构成的情况下有必要进行考虑。另外，在色像差(透镜的焦点距离由于波长而不同的现象)存在于透镜的情况下，因为其修正成为必要所以优选包含用于调整的反馈等。
另外，优选设为聚光位置即使可变透镜的倍率改变也不发生变化的结构。优选设为在聚光位置发生变化的情况下使检测器移动的结构。
本发明的图像取得装置以及图像取得方法并不限定于上述的实施方式以及构成例，能够进行各种变形。
在上述实施方式的图像取得装置中，其构成为具备：(1)光源，输出光；(2)照射光学系统，将从光源被输出的光聚光照射于观察对象物的表面或者内部的多个照射区域；(3)扫描部，在与利用照射光学系统的向观察对象物的光照射的方向的光轴相交叉的方向上扫描多个照射区域；(4)成像光学系统，对伴随于利用照射光学系统的向观察对象物的光照射而分别在多个照射区域上产生的光进行引导并进行成像；(5)检测部，具有多个照射区域由成像光学系统而被成像的受光面且多个像素以一维状或者二维状被排列于该受光面上并且输出分别对应于多个像素的各个中的受光量的值的检测信号；(6)图像制作部，根据从检测部被输出的检测信号制作观察对象物的图像。
再有，在图像取得装置中，在上述结构中，(a)检测部在受光面上具有相对于观察对象物上的多个照射区域处于利用成像光学系统的成像关系的多个成像区域，多个成像区域分别对应于1个或者2个以上像素，与多个成像区域的任一个均不对应的像素存在于各个成像区域的旁边；(b)图像制作部根据处于各个成像区域的旁边并且与多个成像区域的任一个均不对应的1个或者2个以上像素的检测信号修正分别对应于多个成像区域的像素的检测信号，根据该修正后的检测信号制作观察对象物的图像。
在上述的图像取得装置中也可以设为如下结构：检测部中，在受光面上与多个成像区域的任一个均不对应的像素存在于各个成像区域的两旁，图像制作部根据处于各个成像区域的两旁并且与多个成像区域的任一个均不对应的2个像素的检测信号修正分别对应于多个成像区域的像素的检测信号并且根据该修正后的检测信号制作观察对象物的图像。
在上述的图像取得装置中也可以设为如下结构：检测部中，在受光面上多个成像区域被二维排列并且与多个成像区域的任一个均不对应的4个像素存在于各个成像区域的四周的旁边，图像制作部根据处于各个成像区域的四周的旁边并且与多个成像区域的任一个均不对应的4个像素的检测信号修正分别对应于多个成像区域的像素的检测信号，并且根据该修正后的检测信号制作观察对象物的图像。
在上述的图像取得装置中也可以设为如下结构：检测部中，在受光面上与多个成像区域的任一个均不对应的2个以上像素存在于多个成像区域中相邻的2个成像区域之间。
在上述的图像取得装置中也可以设为如下结构：照射光学系统包含空间性地调制从光源被输出的光的空间光调制器，通过将调制图案呈现于空间光调制器从而将该调制后的光聚光照射于多个照射区域。另外，在上述的图像取得装置中也可以设为如下结构：照射光学系统包含使从光源被输出的光衍射的衍射光学元件，将利用衍射光学元件的衍射后的光聚光照射于多个照射区域。
在上述的图像取得装置中也可以设为如下结构：扫描部包含被设置于照射光学系统的光路上的光扫描仪，通过驱动该光扫描仪从而扫描多个照射区域。另外，在上述的图像取得装置中也可以设为如下结构：扫描部在利用照射光学系统的向观察对象物的光照射的方向上也扫描多个照射区域。
在上述的图像取得装置中也可以设为如下结构：成像光学系统的成像倍率是可变的。
在上述的图像取得装置中也可以设为如下结构：检测部包含作为多个像素而具有多个阳极的多阳极光电倍增管。另外，在上述的图像取得装置中也可以设为如下结构：检测部包含作为多个像素而排列了多个雪崩光电二极管的构件。
在上述实施方式的图像取得方法中，是使用上述的光源、照射光学系统、扫描部、成像光学系统以及检测部并根据从检测部被输出的检测信号制作观察对象物的图像的图像取得方法，(a)设为如下结构：在检测部的受光面上具有相对于观察对象物上的多个照射区域处于利用成像光学系统的成像关系的多个成像区域，多个成像区域分别对应于1个或者2个以上像素，与多个成像区域的任一个均不对应的像素存在于各个成像区域的旁边；(b)设为如下结构：根据处于各个成像区域的旁边并且与多个成像区域的任一个均不对应的1个或者2个以上像素的检测信号修正分别对应于多个成像区域的像素的检测信号，根据该修正后的检测信号制作观察对象物的图像。
另外，图像取得方法在上述结构中也可以设为与上述的图像取得装置的各个结构相同的结构。
产业上的可利用性
本发明能够作为能够容易地改善由多点扫描生成的观察对象物的图像的SN比的图像取得装置以及图像取得方法来进行利用。
符号的说明
1,2…图像取得装置、10…光源、11,12…空间光调制器、13…分色镜、14,14a,14b…光扫描仪、21…物镜、22…物镜移动机构、23…平台、24…平台移动机构、31…成像透镜、32…检测部、41～46…透镜、47…变焦透镜、51～53…镜、54…滤光器、61～66…透镜、70…控制部、71…输入部、72…显示部、S…观察对象物。

Claims (22)

1.一种图像取得装置，其特征在于：
具备：
光源，输出光；
照射光学系统，将从所述光源被输出的光聚光照射于观察对象物的表面或者内部的多个照射区域；
扫描部，在与利用所述照射光学系统的向所述观察对象物的光照射的方向的光轴相交叉的方向上扫描所述多个照射区域；
成像光学系统，对伴随于利用所述照射光学系统的向所述观察对象物的光照射而分别在所述多个照射区域产生的光进行引导并进行成像；
检测部，具有所述多个照射区域由所述成像光学系统而被成像的受光面且多个像素以一维状或者二维状被排列于该受光面上并且输出对应于所述多个像素的各个中的受光量的值的检测信号；及
图像制作部，根据从所述检测部被输出的检测信号，制作所述观察对象物的图像，
所述检测部在所述受光面上具有相对于所述观察对象物上的所述多个照射区域处于利用所述成像光学系统的成像关系的多个成像区域，所述多个成像区域分别对应于1个或者2个以上像素，与所述多个成像区域的任一个均不对应的像素存在于各个成像区域的旁边，
所述图像制作部根据处于各个成像区域的旁边并且与所述多个成像区域的任一个均不对应的1个或者2个以上像素的检测信号修正分别对应于所述多个成像区域的像素的检测信号，根据该修正后的检测信号制作所述观察对象物的图像。
2.如权利要求1所述的图像取得装置，其特征在于：
所述检测部中，在所述受光面上与所述多个成像区域的任一个均不对应的像素存在于各个成像区域的两旁，
所述图像制作部根据处于各个成像区域的两旁并且与所述多个成像区域的任一个均不对应的2个像素的检测信号修正分别对应于所述多个成像区域的像素的检测信号，并且根据该修正后的检测信号制作所述观察对象物的图像。
3.如权利要求1或者2所述的图像取得装置，其特征在于：
所述检测部中，在所述受光面上，所述多个成像区域被二维排列，与所述多个成像区域的任一个均不对应的4个像素存在于各个成像区域的四周的旁边，
所述图像制作部根据处于各个成像区域的四周的旁边并且与所述多个成像区域的任一个均不对应的4个像素的检测信号修正分别对应于所述多个成像区域的像素的检测信号，并且根据该修正后的检测信号制作所述观察对象物的图像。
4.如权利要求1～3中任意一项所述的图像取得装置，其特征在于：
所述检测部中，在所述受光面上，与所述多个成像区域的任一个均不对应的2个以上像素存在于所述多个成像区域中相邻的2个成像区域之间。
5.如权利要求1～4中任意一项所述的图像取得装置，其特征在于：
所述照射光学系统包含空间性地调制从所述光源被输出的光的空间光调制器，通过将调制图案呈现于所述空间光调制器从而将该调制后的光聚光照射于所述多个照射区域。
6.如权利要求1～4中任意一项所述的图像取得装置，其特征在于：
所述照射光学系统包含使从所述光源被输出的光衍射的衍射光学元件，将利用所述衍射光学元件的衍射后的光聚光照射于所述多个照射区域。
7.如权利要求1～6中任意一项所述的图像取得装置，其特征在于：
所述扫描部包含被设置于所述照射光学系统的光路上的光扫描仪，通过驱动该光扫描仪从而扫描所述多个照射区域。
8.如权利要求1～7中任意一项所述的图像取得装置，其特征在于：
所述扫描部在利用所述照射光学系统的向所述观察对象物的光照射的方向上也扫描所述多个照射区域。
9.如权利要求1～8中任意一项所述的图像取得装置，其特征在于：
所述成像光学系统的成像倍率是可变的。
10.如权利要求1～9中任意一项所述的图像取得装置，其特征在于：
所述检测部包含作为所述多个像素而具有多个阳极的多阳极光电倍增管。
11.如权利要求1～9中任意一项所述的图像取得装置，其特征在于：
所述检测部包含作为所述多个像素而排列有多个雪崩光电二极管的构件。
12.一种图像取得方法，其特征在于：
是使用如下构件并根据从检测部被输出的检测信号制作观察对象物的图像的图像取得方法：
光源，输出光；
照射光学系统，将从所述光源被输出的光聚光照射于所述观察对象物的表面或者内部的多个照射区域；
扫描部，在与利用所述照射光学系统的向所述观察对象物的光照射的方向的光轴相交叉的方向上扫描所述多个照射区域；
成像光学系统，对伴随于利用所述照射光学系统的向所述观察对象物的光照射而分别在所述多个照射区域产生的光进行引导并进行成像；及
所述检测部，具有所述多个照射区域由所述成像光学系统而被成像的受光面且多个像素以一维状或者二维状被排列于该受光面上并且输出对应于所述多个像素的各个中的受光量的值的检测信号，
设为如下结构：在所述检测部的所述受光面上，具有相对于所述观察对象物上的所述多个照射区域处于利用所述成像光学系统的成像关系的多个成像区域，所述多个成像区域分别对应于1个或者2个以上像素，与所述多个成像区域的任一个均不对应的像素存在于各个成像区域的旁边，
根据处于各个成像区域的旁边并且与所述多个成像区域的任一个均不对应的1个或者2个以上像素的检测信号修正分别对应于所述多个成像区域的像素的检测信号，根据该修正后的检测信号制作所述观察对象物的图像。
13.如权利要求12所述的图像取得方法，其特征在于：
设为如下结构：在所述检测部的所述受光面上，与所述多个成像区域的任一个均不对应的像素存在于各个成像区域的两旁，
根据处于各个成像区域的两旁并且与所述多个成像区域的任一个均不对应的2个像素的检测信号修正分别对应于所述多个成像区域的像素的检测信号，根据该修正后的检测信号制作所述观察对象物的图像。
14.如权利要求12或者13所述的图像取得方法，其特征在于：
设为如下结构：在所述检测部的所述受光面上，所述多个成像区域被二维排列，与所述多个成像区域的任一个均不对应的4个像素存在于各个成像区域的四周的旁边，
根据处于各个成像区域的四周的旁边并且与所述多个成像区域的任一个均不对应的4个像素的检测信号修正分别对应于所述多个成像区域的像素的检测信号，并且根据该修正后的检测信号制作所述观察对象物的图像。
15.如权利要求12～14中任意一项所述的图像取得方法，其特征在于：
设为如下结构：在所述检测部的所述受光面上，与所述多个成像区域的任一个均不对应的2个以上像素存在于所述多个成像区域中相邻的2个成像区域之间。
16.如权利要求12～15中任意一项所述的图像取得方法，其特征在于：
设为如下结构：所述照射光学系统包含空间性地调制从所述光源被输出的光的空间光调制器，
通过将调制图案呈现于所述空间光调制器从而将该调制后的光聚光照射于所述多个照射区域。
17.如权利要求12～15中任意一项所述的图像取得方法，其特征在于：
设为如下结构：所述照射光学系统包含使从所述光源被输出的光衍射的衍射光学元件，
将利用所述衍射光学元件的衍射后的光聚光照射于所述多个照射区域。
18.如权利要求12～17中任意一项所述的图像取得方法，其特征在于：
设为如下结构：所述扫描部包含被设置于所述照射光学系统的光路上的光扫描仪，
通过驱动该光扫描仪从而扫描所述多个照射区域。
19.如权利要求12～18中任意一项所述的图像取得方法，其特征在于：
利用所述扫描部，在利用所述照射光学系统的向所述观察对象物的光照射的方向上也扫描所述多个照射区域。
20.如权利要求12～19中任意一项所述的图像取得方法，其特征在于：
所述成像光学系统的成像倍率是可变的。
21.如权利要求12～20中任意一项所述的图像取得方法，其特征在于：
所述检测部包含作为所述多个像素而具有多个阳极的多阳极光电倍增管。
22.如权利要求12～20中任意一项所述的图像取得方法，其特征在于：
所述检测部包含作为所述多个像素而排列有多个雪崩光电二极管的构件。
CN201780020100.2A 2016-04-01 2017-03-08 图像取得装置以及图像取得方法 Active CN109073873B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016074204A JP6722883B2 (ja) 2016-04-01 2016-04-01 画像取得装置および画像取得方法
JP2016-074204 2016-04-01
PCT/JP2017/009269 WO2017169597A1 (ja) 2016-04-01 2017-03-08 画像取得装置および画像取得方法

Publications (2)

Publication Number Publication Date
CN109073873A true CN109073873A (zh) 2018-12-21
CN109073873B CN109073873B (zh) 2020-12-29

Family

ID=59964101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780020100.2A Active CN109073873B (zh) 2016-04-01 2017-03-08 图像取得装置以及图像取得方法

Country Status (5)

Country Link
US (1) US10890530B2 (zh)
JP (1) JP6722883B2 (zh)
CN (1) CN109073873B (zh)
DE (1) DE112017001734T5 (zh)
WO (1) WO2017169597A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7007227B2 (ja) * 2018-04-09 2022-01-24 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
KR102104238B1 (ko) * 2018-10-19 2020-04-24 한국과학기술연구원 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법
DE102020209889A1 (de) * 2020-08-05 2022-02-10 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur mikroskopischen Bildaufnahme mit variabler Beleuchtung

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1482570A (zh) * 2002-09-09 2004-03-17 力捷电脑股份有限公司 借助校正数据参数调整影像的方法
US20070057211A1 (en) * 2005-05-25 2007-03-15 Karsten Bahlman Multifocal imaging systems and method
CN101019018A (zh) * 2004-09-06 2007-08-15 浜松光子学株式会社 荧光显微镜及荧光相关光谱分析装置
JP2009130777A (ja) * 2007-11-27 2009-06-11 Victor Co Of Japan Ltd 撮像装置
JP2011128572A (ja) * 2009-12-21 2011-06-30 Olympus Corp ホログラム像投影方法およびホログラム像投影装置
CN102348073A (zh) * 2010-07-21 2012-02-08 卡尔斯特里姆保健公司 具有减小的噪声的数字射线照相成像阵列
CN102939555A (zh) * 2010-06-11 2013-02-20 株式会社尼康 显微镜装置、观察方法
JP2014006308A (ja) * 2012-06-21 2014-01-16 Olympus Corp 走査型共焦点レーザ顕微鏡
JP2015001674A (ja) * 2013-06-17 2015-01-05 オリンパス株式会社 空間光変調器を用いた光の変調方法、及び、空間光変調器を備えた装置
CN104508462A (zh) * 2012-08-02 2015-04-08 奥林巴斯株式会社 使用共焦显微镜或多光子显微镜的光学系统的光分析装置、光分析方法以及光分析用计算机程序
CN105026916A (zh) * 2013-03-06 2015-11-04 浜松光子学株式会社 荧光受光装置以及荧光受光方法
EP2949117A1 (en) * 2013-01-25 2015-12-02 The Trustees Of Columbia University In The City Of New York Depth of field 3d imaging slm microscope

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
JP2008049393A (ja) * 2006-08-28 2008-03-06 Univ Of Tokushima レーザ加工装置及びレーザ加工方法
US8463068B2 (en) * 2007-08-09 2013-06-11 Micron Technology, Inc. Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves
US9767342B2 (en) * 2009-05-22 2017-09-19 Affymetrix, Inc. Methods and devices for reading microarrays
DE102009024943A1 (de) * 2009-06-10 2010-12-16 W.O.M. World Of Medicine Ag Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts
US8872946B2 (en) * 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US8917336B2 (en) * 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
JP6047325B2 (ja) * 2012-07-26 2016-12-21 浜松ホトニクス株式会社 光変調方法、光変調プログラム、光変調装置、及び光照射装置
KR102102010B1 (ko) * 2012-09-13 2020-04-17 하마마츠 포토닉스 가부시키가이샤 광변조 제어 방법, 제어 프로그램, 제어 장치, 및 레이저광 조사 장치
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
DE102013019347A1 (de) * 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1482570A (zh) * 2002-09-09 2004-03-17 力捷电脑股份有限公司 借助校正数据参数调整影像的方法
CN101019018A (zh) * 2004-09-06 2007-08-15 浜松光子学株式会社 荧光显微镜及荧光相关光谱分析装置
US20070057211A1 (en) * 2005-05-25 2007-03-15 Karsten Bahlman Multifocal imaging systems and method
EP2703871A2 (en) * 2005-05-25 2014-03-05 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
JP2009130777A (ja) * 2007-11-27 2009-06-11 Victor Co Of Japan Ltd 撮像装置
JP2011128572A (ja) * 2009-12-21 2011-06-30 Olympus Corp ホログラム像投影方法およびホログラム像投影装置
CN102939555A (zh) * 2010-06-11 2013-02-20 株式会社尼康 显微镜装置、观察方法
CN102348073A (zh) * 2010-07-21 2012-02-08 卡尔斯特里姆保健公司 具有减小的噪声的数字射线照相成像阵列
JP2014006308A (ja) * 2012-06-21 2014-01-16 Olympus Corp 走査型共焦点レーザ顕微鏡
CN104508462A (zh) * 2012-08-02 2015-04-08 奥林巴斯株式会社 使用共焦显微镜或多光子显微镜的光学系统的光分析装置、光分析方法以及光分析用计算机程序
EP2949117A1 (en) * 2013-01-25 2015-12-02 The Trustees Of Columbia University In The City Of New York Depth of field 3d imaging slm microscope
CN105026916A (zh) * 2013-03-06 2015-11-04 浜松光子学株式会社 荧光受光装置以及荧光受光方法
JP2015001674A (ja) * 2013-06-17 2015-01-05 オリンパス株式会社 空間光変調器を用いた光の変調方法、及び、空間光変調器を備えた装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JAEWONCHA: "Reassignment of Scattered Emission Photons in Multifocal Multiphoton Microscopy", 《SCIENTIFIC REPORTS》 *
KI HEAN KIM: "Multifocal multiphoton microscopy based onmultianode photomultiplier tubes", 《OPTICS EXPRESS》 *
YONGHONG SHAO: "Addressable multiregional and multifocal multiphoton microscopy based on a spatial light modulator", 《JOURNAL OF BIOMEDICAL OPTICS》 *

Also Published As

Publication number Publication date
DE112017001734T5 (de) 2018-12-20
CN109073873B (zh) 2020-12-29
JP2017187532A (ja) 2017-10-12
JP6722883B2 (ja) 2020-07-15
US10890530B2 (en) 2021-01-12
WO2017169597A1 (ja) 2017-10-05
US20200300762A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
JP6276749B2 (ja) 蛍光受光装置および蛍光受光方法
CN106133580B (zh) 受激发射损耗显微镜装置
JP5999121B2 (ja) 共焦点光スキャナ
JP4236123B1 (ja) 三次元画像取得装置
JPH02146514A (ja) 光学装置
JP2007263730A (ja) 多光子励起型観察装置
US20070091425A1 (en) Microscope examination apparatus and microscope examination method
CN109073873A (zh) 图像取得装置以及图像取得方法
JP5734588B2 (ja) 細胞観察装置および観察方法
CN107209360B (zh) 图像取得装置以及图像取得方法
US20130250088A1 (en) Multi-color confocal microscope and imaging methods
JP2014081417A (ja) レーザー走査顕微鏡装置
CN106556570A (zh) 用于对表面的三维红外成像的装置和方法
JP4974689B2 (ja) 走査型顕微鏡
WO2023276326A1 (ja) 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム
JP6639595B2 (ja) 誘導放射抑制顕微鏡装置
CN107209359B (zh) 图像取得装置以及图像取得方法
JP2010164635A (ja) 共焦点顕微鏡
JP6003072B2 (ja) 顕微鏡装置
WO2022202565A1 (ja) 顕微鏡、観察方法、およびプログラム
CN117590575A (zh) 用于显微术的方法和设备
JP2011013483A (ja) コンフォーカル顕微鏡

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant