CN107209360A - 图像取得装置以及图像取得方法 - Google Patents

图像取得装置以及图像取得方法 Download PDF

Info

Publication number
CN107209360A
CN107209360A CN201680006352.5A CN201680006352A CN107209360A CN 107209360 A CN107209360 A CN 107209360A CN 201680006352 A CN201680006352 A CN 201680006352A CN 107209360 A CN107209360 A CN 107209360A
Authority
CN
China
Prior art keywords
light
focal point
observation
image
observation thing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680006352.5A
Other languages
English (en)
Other versions
CN107209360B (zh
Inventor
松本直也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of CN107209360A publication Critical patent/CN107209360A/zh
Application granted granted Critical
Publication of CN107209360B publication Critical patent/CN107209360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/004—Scanning details, e.g. scanning stages fixed arrays, e.g. switchable aperture arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/114—Two photon or multiphoton effect
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0031—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Microscoopes, Condenser (AREA)
  • Nonlinear Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

一种图像取得装置，具备：空间光调制器，调制照射光；控制部，以在观察对象物中形成多个聚光点的方式控制调制图案；聚光光学系统，对被调制了的所述照射光进行聚光；扫描部，在与所述聚光光学系统的光轴相交叉的扫描方向上扫描所述观察对象物中的所述多个聚光点的位置；光检测器，检测从所述多个聚光点分别产生的多个观察光；所述控制部根据所述光轴的方向上的所述多个聚光点的位置而设定相邻的所述聚光点的中心间隔。

Description

图像取得装置以及图像取得方法
技术领域
本发明的一个方面涉及图像取得装置以及图像取得方法。
背景技术
非专利文献1公开了使用空间光调制器(Spatial Light Modulator：SLM)的多光子吸收显微镜。该显微镜企图通过使用SLM并形成多个激发光光点(spot)来进行扫描，从而高速且鲜明地取得观察对象物内的荧光图像。
现有技术文献
专利文献
专利文献1：日本专利申请公开2012-226268号公报
非专利文献
非专利文献1：Wan Qin,Yonghong Shao,Honghai Liu,Xiang Peng,Hanben Niu,and Bruce Gao,“Addressable discrete-line-scanning multiphoton microscopybased on a spatial light modulator”,OPTICS LETTERS,Vol.37,No.5,pp.827-829,March 1,2012
发明内容
发明所要解决的技术问题
近年来，研究使用SLM来调制被照射于观察对象物的激发光或照明光等的光的技术。根据这样的技术，相对于观察对象物能够实现各种各样的照射光、例如具有平坦的强度分布的光或同时被照射于多个位置(光点)的光等。
在显微观察中通过将光同时照射于观察对象物的多个位置从而能够同时观察多个部位，所以能够缩短观察时间，另外，具有能够取得多个部位的同时刻的状况等的优点。为此，需要同时将光照射于多个位置并且使用例如具有多个检测区域的光检测器来同时检测从这些位置产生的观察光。然而，在如上所述检测观察光的时候，有时会发生如以下所述的问题。
在将照射光照射于观察对象物的时候，会产生起因于观察对象物的表面形状的像差(例如球面像差)。为了修正这样的像差而可以使用例如SLM来控制照射光的波阵面。然而，相对于从观察对象物产生的观察光进行这样的修正多是困难的。因此，到达光检测器的观察光的形态成为受像差影响的形态。即，在观察对象物的深的位置上产生的观察光中，与在观察对象物的浅的位置上产生的观察光相比较，到达物镜时的光径变大。因此，在光检测器中，同样的，在深的位置上产生的观察光的光径也大于在浅的位置上产生的观察光的光径。
在显微观察中，在从浅的位置到深的位置为止观察具有厚度的观察对象物的情况下，根据上述的现象，观察光的光径由于观察深度而不同。因此，在同时检测从多个位置产生的多个观测光的情况下，由观察深度而会有相邻的观察光彼此在光检测器中重叠而产生串扰的担忧。如果产生串扰的话，则难以高精度地分别检测多个观察光。
本发明的一个方面的目的在于，提供一种能够降低由于多个观察光彼此重叠所引起的串扰的图像取得装置以及图像取得方法。
解决问题的技术手段
本发明的一个实施方式的图像取得装置是一种取得观察对象物的图像的装置，具备：空间光调制器，调制从光源输出的照射光；控制部，以在观察对象物中形成多个聚光点的方式控制被呈现于空间光调制器的调制图案；聚光光学系统，为了在观察对象物中形成多个聚光点而对被调制的照射光进行聚光；扫描部，在与聚光光学系统的光轴相交叉的扫描方向上扫描观察对象物中的多个聚光点的位置；光检测器，检测从多个聚光点分别产生的多个观察光；图像制作部，使用来自光检测器的检测信号来制作观察对象物的图像。控制部根据光轴的方向上的多个聚光点的位置设定相邻的聚光点的中心间隔。
另外，本发明的其它的实施方式的图像取得装置是一种取得观察对象物的图像的装置，具备：空间光调制器，调制从光源输出的照射光；控制部，以在观察对象物中形成多个聚光点的方式控制被呈现于空间光调制器的调制图案；聚光光学系统，为了在观察对象物中形成多个聚光点而对被调制的照射光进行聚光；光检测器，检测从多个聚光点分别产生的多个观察光；图像制作部，使用来自光检测器的检测信号来制作观察对象物的图像。调制图案包含用于在与照射光的光轴相交叉的扫描方向上扫描多个聚光点的图案。控制部根据光轴的方向上的多个聚光点的位置设定相邻的聚光点的中心间隔。
另外，本发明的一个实施方式的图像取得方法是一种取得观察对象物的图像的方法，包含：将用于在观察对象物中形成多个聚光点的调制图案呈现于空间光调制器的步骤；在空间光调制器中调制从光源输出的照射光，为了将多个聚光点形成于观察对象物中而由聚光光学系统对被调制的照射光进行聚光的步骤；在与照射光的光轴相交叉的扫描方向上扫描观察对象物中的多个聚光点的位置并检测从多个聚光点分别产生的多个观察光的步骤；使用由光检测步骤获得的检测信号来制作观察对象物的图像。在图案呈现步骤中，根据光轴的方向上的多个聚光点的位置设定相邻的聚光点的中心间隔。
在这些图像取得装置以及图像取得方法中，通过调制图案被呈现于空间光调制器从而能够同时而且容易地形成多个聚光点。于是，多个聚光点被扫描(scan)并且由光检测器检测在这些聚光点上分别产生的多个观察光。这样，根据上述的各个图像取得装置以及图像取得方法，能够同时将多个光照射于观察对象物，再有，能够同时检测多个观察光。因此，能够缩短观察时间，另外能够容易地取得多个部位的同时刻的状况。
另外，如上所述，在同时检测从多个位置产生的多个观察光的情况下，由于观察深度而会有在光检测器中相邻的观察光彼此发生重叠而产生串扰的担忧。相对于此，在上述的图像取得装置以及图像取得方法中，相邻的聚光点的中心间隔根据光轴的方向上的多个聚光点的位置(即观察深度)进行设定。由此，例如在光检测器中观察光的光径变大的情况下，因为能够扩大聚光点的中心间隔，所以能够抑制多个观察光彼此发生重叠并且能够减少串扰。因此，能够高精度地分别检测多个观察光，并且能够提供清晰的观察对象物中的图像。
另外，在上述的图像取得装置中，控制部也可以对应于光轴的方向上的多个聚光点的位置的变化来使中心间隔变化。同样的，在上述的图像取得方法的图案呈现步骤中，也可以对应于光轴的方向上的多个聚光点的位置的变化来使中心间隔变化。由此，能够一边抑制串扰一边连续地进行多个观察深度下的观察。在此情况下，控制部(或者在图案呈现步骤中)，也可以越是光轴的方向上的多个聚光点的位置从观察对象物的表面离开就越是扩大中心间隔。由此，能够适宜地减少起因于观察对象物的表面的像差的观察光的串扰。
另外，在上述的图像取得装置中，扫描部也可以包含接收被调制的照射光的光扫描器，或者也可以包含保持观察对象物并在扫描方向上使观察对象物移动的平台。另外，在上述的图像取得方法的光检测步骤中，既可以使用接收被调制的照射光的光扫描器来进行多个聚光点的扫描，也可以使用保持观察对象物并在扫描方向上使观察对象物移动的平台来进行多个聚光点的扫描，或者，也可以使用于扫描多个聚光点的图案重叠于调制图案。由这些的任意一者，能够适宜地扫描多个聚光点的位置。
另外，在上述的图像取得装置中，光检测器也可以具有用于分别检测多个观察光的多个检测区域，多个检测区域的大小以及中心间隔根据光轴的方向上的多个聚光点的位置进行设定。同样的，在上述的图像取得方法的光检测步骤中，也可以使用具有用于分别检测多个观察光的多个检测区域的光检测器，多个检测区域根据光轴的方向上的多个聚光点的位置进行设定。由此，因为对应于光检测器中的观察光彼此的中心间隔或光径来设定多个检测区域的间隙以及大小，所以能够适宜地检测多个观察光。
另外，在上述的图像取得装置中，也可以是光检测器输出作为检测信号的对应于多个检测区域的多个图像数据，图像制作部为了制作观察对象物的图像而结合多个图像数据。同样的，在上述的图像取得方法中，也可以是光检测器输出作为检测信号的对应于多个检测区域的多个图像数据，在图像制作步骤中，为了制作观察对象物的图像而结合多个图像数据。由此，因为能够在观察对象物中将成为观察对象的区域分割成多个区域并且并行制作各个区域的图像，所以能够有效地缩短观察时间。
另外，在上述的图像取得装置中，光检测器既可以包含具有多个阳极的多阳极光电倍增管也可以包含具有多个像素的区域图像传感器(area image sensor)。同样的，在上述的图像取得方法的光检测步骤中，既可以使用具有多个阳极的多阳极光电倍增管来检测多个观察光，也可以使用具有多个像素的区域图像传感器来检测多个观察光。由这些的任意一者，能够高精度地检测多个观察光。
另外，在上述的图像取得装置以及图像取得方法中，也可以是从光轴的方向看，多个聚光点在与扫描方向相交叉的方向上进行排列。由此，因为在观察对象物中将成为观察对象的区域分割成多个区域并且并行制作各个区域的图像，所以能够有效地缩短观察时间。
另外，控制部也可以进一步根据光轴的方向上的多个聚光点的像差量设定相邻的聚光点的中心间隔。同样的，在上述的图像取得方法的图案呈现步骤中，也可以进一步根据光轴的方向上的多个聚光点的像差量设定相邻的聚光点的中心间隔。由此，能够适宜地减少起因于观察对象物中的像差量的观察光的串扰。
发明的效果
根据本发明的一个方面的图像取得装置以及图像取得方法，能够同时照射聚光位置在观察对象物的深度方向上互相不同的多个光。
附图说明
图1是表示本发明的一个实施方式所涉及的图像取得装置的结构的图。
图2是概念性地表示观察对象物及其附近的照射光的情况的图。
图3是概略性地表示观察对象物及其附近的照射光的情况的图。
图4是概略性地表示从物镜的光轴的方向看到的聚光点的排列方向的一个例子的图。
图5是表示光检测器的光检测面的正面图。
图6是概念性地表示包含于检测信号中的多个图像数据的图。
图7是图像取得方法的流程图。
图8是概念性地表示设定基准高度的情况的图。
图9是表示设定聚光点的观察深度的情况的图。
图10是表示在光检测器上相邻的点像彼此发生重叠而发生串扰的情况的图。
图11是第1变形例所涉及的图像取得方法的流程图。
图12表示在实施例中取得的图像。
图13表示在实施例中取得的图像。
具体实施方式
以下，参照附图，对本发明的一个方面的图像取得装置以及图像取得方法的实施方式进行详细的说明。还有，在附图的说明中，将相同符号标注于相同要素，并省略重复的说明。
图1是表示本发明的一个实施方式所涉及的图像取得装置1A的结构的图。图像取得装置1A是一种用于将照射光L1照射于观察对象物B并且观察由此在观察对象物B上产生的观察光(被检测光)L2的装置。图像取得装置1A例如是显微镜装置。作为显微镜装置例如可以列举正立型显微镜或者倒立型显微镜。观察光L2例如是荧光、磷光、高频发生光(SHG)、反射光、透过光、散射光等。如图1所示，图像取得装置1A具备照射光生成单元10、扫描单元20、照射光学单元30、观察单元40以及控制单元50。
照射光生成单元10生成被照射于观察对象物B的照射光L1。本实施方式的照射光生成单元10具有光源11、光束扩展器12以及空间光调制器(Spatial Light Modulator：SLM)13。
光源11输出照射光L0。照射光L0例如包含应照射到观察对象物B的波长的光。光源11例如包含脉冲光振荡或连续波振荡的激光光源、SLD光源、或LED光源等来构成。光束扩展器12例如包含被排列配置于照射光L0的光轴上的多个透镜12a,12b来构成，调整相对于照射光L0的光轴垂直的截面的大小。还有，透镜12a,12b既可以是凸透镜也可以是凹透镜，也可以组合它们。
空间光调制器13与光源11光学性地结合，调制来自光源11的照射光L0，从而生成向观察对象物B进行照射的照射光L1。空间光调制器13具有被排列成二维的多个像素，按多个像素列的每列调制从光源11输出的照射光L0的强度或者相位。被呈现于空间光调制器13的调制图案(全息图(hologram))由后面所述的控制单元50控制。空间光调制器13既可以是相位调制型的也可以是振幅(强度)调制型的。另外，空间光调制器13也可以是反射型以及透过型中的任何一种。另外，空间光调制器13也可以被设置多枚，在该情况下，照射光L0经多次被调制。
扫描单元20是本实施方式中的扫描部的例子。扫描单元20具有作为扫描光学系统的光扫描器21。光扫描器21光学性地与空间光调制器13相结合，接收被空间光调制器13调制的照射光L1。另外，光扫描器21扫描观察对象物B上的照射光L1的照射位置。再有，光扫描器21接收在观察对象物B的聚光点上发生的观察光L2。由此，观察光L2被除扫描(de-scan)。光扫描器21被后面所述的控制单元50控制。光扫描器21例如由电流镜(galvano mirror)、共振镜、MEMS镜、二维声光元件(AOM)或者多角镜(polygon mirror)等构成。还有，在光扫描器21为双轴扫描器的情况下，光扫描器21可以包含远心光学系统等图像传输光学系统。
还有，扫描单元20除了光扫描器21之外也可以进一步具有镜22。镜22为了光学性地结合光扫描器21和照射光学单元30而使照射光L1的光轴弯曲。
照射光学单元30将从扫描单元20提供的照射光L1照射于观察对象物B并且将来自观察对象物B的观察光L2输出到观察单元40。照射光学单元30具有平台31、物镜32、物镜移动机构33以及反射镜34。还有，作为反射镜34也可以使用分色镜。
平台31是用于支撑观察对象物B(或者容纳观察对象物B的载玻片或浅底皿、微型板、玻璃底皿等容器)的构件。平台31例如由玻璃构成。在图1所表示的例子中照射光L1从平台31的表面侧进行照射，但是，也可以是照射光L1从平台31的背面侧透过平台31而照射到观察对象物B。平台31保持观察对象物B并在相对于后面所述的物镜32的光轴交叉(例如垂直)的面方向上能够进行移动。另外，也可以在物镜32的光轴方向上能够进行移动。
物镜32是与观察对象物B相对地配置并将照射光L1的聚光点形成于观察对象物B的内部的聚光光学系统。另外，物镜32接收在观察对象物B的该聚光点上发生的观察光L2并使观察光L2平行化。用于照射光L1的物镜和用于观察光L2的物镜也可以分开设置。例如，也可以是为了照射光L1而使用数值孔径(NA)高的物镜并通过由空间光调制器13得到的像差修正而被局部聚光。另外，也可以是为了观察光L2而使用瞳孔大的物镜来取出更多光。也可以是以夹着观察对象物B的方式配置用于照射光L1的物镜和用于观察光L2的物镜从而将照射光L1的观察对象物B中的透过光作为观察光L2来取得。
物镜移动机构33是用于在照射光L1的光轴方向上使物镜32移动的机构。物镜移动机构33例如由步进电机或者压电致动器等构成。
反射镜34向物镜32反射从照射光生成单元10到达照射光学单元30的照射光L1。另外，反射镜34朝向扫描单元20反射来自观察对象物B的观察光L2。
在物镜32与空间光调制器13的距离长的情况下，也可以将至少一个远心光学系统设置于照射光L1以及观察光L2的光轴上。作为一个例子，在图1中表示2个远心光学系统61以及62。远心光学系统61以及62具有将在空间光调制器13上生成的照射光L1的波阵面传输到物镜32的后侧焦点的作用。远心光学系统61以及62也可以是两侧远心光学系统。在此情况下，被配置于空间光调制器13与光扫描器21之间的远心光学系统61以成像于空间光调制器13的调制面和光扫描器21的扫描面的方式被调整。另外，被配置于光扫描器21与物镜32之间的远心光学系统62以成像于光扫描器21的扫描面和物镜32的瞳孔面的方式被调整。还有，远心光学系统61,62如果能够将在空间光调制器13上生成的照射光L1的波阵面传输到物镜32的后侧焦点的话则也可以是像侧远心光学系统或物体侧远心光学系统。另外，在物镜32与空间光调制器13的距离极其近的情况下，也可以省去远心光学系统。
观察单元40具有光检测器41、滤光片42以及聚光透镜43。光检测器41被光学性地结合于物镜32以及光扫描器21，接收观察光L2并检测观察光L2的光强度。光检测器41经由被设置于照射光生成单元10的分色镜14而光学性地与光扫描器21相结合。分色镜14被配置于接收被空间光调制器13调制的照射光L1以及被光扫描器21除扫描的观察光L2的位置，透过照射光L1的至少一部分并反射观察光L2的至少一部分。光检测器41检测观察光L2的光强度并输出检测信号Sd。光检测器41既可以由具有多个阳极的多阳极型的光电倍增管(Photomultiplier Tube：PMT)构成，或者，也可以由多个光电二极管被排列成阵列状来进行构成的光电二极管阵列或者多个雪崩光电二极管被排列成阵列状来进行构成的雪崩光电二极管阵列构成。或者，光检测器41也可以是CCD图像传感器、EM-CCD图像传感器、或者CMOS图像传感器等的具有多个像素的区域图像传感器(area image sensor)，另外，也可以是线传感器。特别是多阳极型的PMT，倍增率高并且其受光面大于其他的。
滤光片42被配置于分色镜14与光检测器41之间的光轴上。滤光片42从入射到光检测器41的光中将照射光L1的波长以及对于观察来说不需要的荧光等的波长截止。聚光透镜43被配置于光检测器41的正前方，朝着光检测器41对观察光L2进行聚光。还有，滤波片42也可以被配置于聚光透镜43的前段、后段的任一方。另外，在不需要滤波器42的情况下也可以不设置。
控制单元50控制照射光生成单元10、扫描单元20以及照射光学单元30。例如，控制单元50控制光源11、空间光调制器13以及光扫描器21。另外，例如控制单元50使用物镜移动机构33来控制物镜32的光轴方向的位置(高度)。另外，例如控制单元50使支撑观察对象物B的平台31在与光轴方向相交叉的方向上移动。控制单元50包含鼠标或键盘等的输入装置51、显示器等的显示装置52以及计算机53来构成。
另外，计算机53是本实施方式中的图像制作部的例子。计算机53例如是个人电脑或智能设备等，并具有图像处理电路(图像处理器)以及控制电路(控制处理器)、内部存储器。计算器53使用来自光检测器41的检测信号Sd以及光扫描器21中的光照射位置信息来制作观察对象物B的图像。被制作的图像被显示于显示装置52。另外，计算机53为本实施方式中的控制部(控制器)的例子。计算机53以在观察对象物B中形成所希望的聚光点的方式控制被呈现于空间光调制器13的调制图案(全息图)。被制作的图像也可以被存储在计算机53的存储器或外部存储装置。
在此，对观察对象物B中的聚光点的形态进行详细的说明。图2以及图3是概念性地表示观察对象物B及其附近的照射光L1的情况的图。如图2以及图3所示，在本实施方式中，照射光L1由物镜32而被聚光于多个聚光点P1。还有，在聚光点的个数为3个以上的情况下，图2以及图3扩大表示多个聚光点P1中互相相邻的2个聚光点P1。图中的假想线A1为表示物镜32的基准高度的基准线。
物镜32的光轴方向(换言之，观察对象物B的深度方向)上的聚光点P1的位置在图2和图3中是不同的。即，在图2中表示自观察对象物B的表面起的聚光点P1的深度d浅的情况，在图3中表示自观察对象物B的表面起的聚光点P1的深度d深的情况。换言之，图3所表示的聚光点P1比图2所表示的聚光点P1更离开观察对象物B的表面。
与物镜32的光轴方向相垂直的方向上的聚光点P1的中心间隔根据物镜32的光轴方向上的聚光点P1的位置进行设定。例如如图2所示，在聚光点P1的深度d浅的情况下，计算机53较窄地设定相邻的聚光点P1的中心间隔W。另外，如图3所示，在聚光点P1的深度d深的情况下，计算机53较宽地设定相邻的聚光点P1的中心间隔W。这样，计算机53越是物镜32的光轴方向上的聚光点P1的位置离开观察对象物B的表面则越是较宽地设定相邻的聚光点P1的中心间隔W。这样的设定通过被呈现于空间光调制器13的调制图案的控制来进行。另外，计算机53可以对应于观察深度d的变化、即对应于物镜32的光轴方向上的聚光点P1的位置的变化而使相邻的聚光点P1的中心间隔W每次变化。
另外，与物镜32的光轴方向相垂直的方向上的聚光点P1的中心间隔进一步根据观察对象物B的表面以及/或者内部的像差量进行设定的。例如，在像差量大的情况下较宽地设定聚光点P1的中心间隔，在像差量小的情况下较窄地设定聚光点P2的中心间隔。这样的设定通过被呈现于空间光调制器13的调制图案的控制来进行。还有，观察对象物B的表面以及/或者内部的像差量既可以通过实际测定来求得也可以由模拟等来推定求得。
图4是概略性地表示从物镜32的光轴方向看到的聚光点P1的排列方向的一个例子的图。图4(a)表示聚光点P1的扫描方向A2，图4(b)表示从照射光L1的光轴方向看到的聚光点P1的由光扫描器21进行的扫描的情况。如图4(a)所示，在该例子中，从照射光L1的光轴方向看，聚光点P1沿着与扫描方向A2相交叉的方向A3进行排列。另外，如图4(b)所示，对于由光扫描器21进行的扫描来说存在高速轴和低速轴，聚光点P1重复在沿着高速轴移动之后在低速轴的方向上移动并再次沿着高速轴移动的动作。在该例子中，从照射光L1的光轴方向看到的聚光点P1的排列方向沿着低速轴(即与扫描方向A2相交叉的轴)。方向A3例如与扫描方向A2相垂直，或者相对于扫描方向A2倾斜。还有，光扫描器21也可以以聚光点P1一边沿着高速轴进行移动一边也在低速轴方向上进行移动的方式扫描聚光点P1。另外，并不限定于线扫描，也可以是拼接扫描(tiling scan)。
以如以上所述那样的位置关系形成的多个聚光点P1由控制被呈现于空间光调制器13的调制图案的计算机53和物镜32来实现。计算机53以在观察对象物B中形成多个聚光点P1的方式控制调制图案。于是，调制后的照射光L1被物镜32聚光，多个聚光点P1被形成于观察对象物B。
图5(a)～图5(c)是表示本实施方式的光检测器41的光检测面44的正面图。如图5(a)～图5(c)所示，光检测面44包含多个光检测部44a。例如在光检测器41为多阳极PMT的情况下，光检测部44a相当于多阳极PMT的各个阳极。另外，例如在光检测器41为区域图像传感器的情况下，光检测部44a相当于一个像素或者像素组。另外，例如在光检测器41为光电二极管阵列(线传感器)的情况下，光检测部44a相当于各个光电二极管。
另外，如图5(a)～图5(c)所示，在光检测面44上形成从多个聚光点P1分别发生的多个观察光的点像P2。光检测器41通过检测多个点像P2各自的光强度从而检测多个观察光。图5(a)表示聚光点P1的观察深度浅的情况，图5(c)表示聚光点P1的观察深度深的情况，图5(b)表示聚光点P1的观察深度在它们的中间的情况。因为观察对象物B中的聚光点P1的观察深度越深则赋予像差的观察对象物B的表面与聚光点P1的距离(即，观察对象物B的内部的距离)变得越长，所以到达光检测器41的观察光的点像P2的光径变大。例如在图5(a)中，因为聚光点P1的观察深度浅，所以点像P2的光径变小。相反，在图5(c)中，因为聚光点P1的观察深度深，所以点像P2的光径变大。还有，到达光检测器41的观察光的点像P2的光径的大小根据物镜32的焦点与聚光点P1的距离的大小也会发生变化。
光检测器41具有用于分别检测多个点像P3的多个检测区域45。多个检测区域45为互相独立的区域，分别包含一个或者多个光检测部44a来构成。然后，在本实施方式中，多个检测区域45的大小以及中心间隔根据物镜32的光轴方向上的多个聚光点P1的位置(即，观察深度)进行设定。
具体来说，在图5(a)所表示的例子中因为聚光点P1的观察深度浅，所以较小地设定多个检测区域45的大小，多个检测区域45的中心间隔也被较短地设定。作为一个例子，各个检测区域45以由一个光检测部44a构成的方式被设定，其中心间隔被设定为与光检测部44a中心间隔相等。另外，在图5(c)所表示的例子中，因为聚光点P1的观察深度深，所以多个检测区域45的大小被设定成大于图5(a)，多个检测区域45的中心间隔被设定成长于图5(a)。作为一个例子，各个检测区域45以由3个光检测部44a构成的方式被设定，其中心间隔被设定成与每隔5个的光检测部44a的中心间隔相等。在此情况下，来自3个光检测部44a的检测信号合计而成为来自检测区域45的检测信号。另外，在图5(b)所表示的例子中，因为聚光点P1的观察深度为图5(a)与图5(c)的中间的深度，所以多个检测区域45的大小被设定成大于图5(a)且小于图5(c)，并且多个检测区域45的中心间隔被设定成长于图5(a)且短于图5(c)。作为一个例子，各个检测区域45以由2个光检测部44a构成的方式被设定，其中心间隔被设定成与每隔2个的光检测部44a的中心间隔相等。在此情况下，来自2个光检测部44a的检测信号合计而成为来自检测区域45的检测信号。还有，在多数情况下，多个检测区域45的中心间隔成为与聚光点P1的中心间隔W不同的值。
作为图像制作部的计算机53根据来自光检测器41的检测信号Sd和光扫描器21中的光照射位置信息，制作观察对象物B的图像。在来自光检测器41的检测信号Sd中包含对应于多个检测区域45的多个图像数据。图6是概念性地表示包含于检测信号Sd中的多个图像数据D1的图。通过多个聚光点P1以上述的形态在观察对象物B中被扫描，从而从多个观察光生成细长形状的多个图像数据(带图像)D1。换言之，各个图像数据D1为各个聚光点P1的扫描区域的图像。还有，在图6中扩大表示多个图像数据D1中的2个。计算机53通过相互结合多个图像数据D1从而制作观察对象物B的图像。由此，能够制作所希望的观察深度下的观察对象物B的内部图像。
还有，也可以以相邻的聚光点P1的扫描区域发生部分重叠的方式设定各个扫描区域。在此情况下，例如通过一边对重叠的部分进行加权一边结合多个图像数据D1，从而能够将多个图像数据D1彼此的边界部分做得不显眼。
在此，图7是表示以上所述的图像取得装置1A的动作的流程图。参照图7，对本实施方式的图像取得方法进行说明。
首先，在将观察对象物B载置于平台31上之后，设定物镜32的基准高度(步骤S1)。在该步骤S1中，由物镜移动结构33或者平台31来调整物镜32与观察对象物B的距离并设定基准高度。图8是概念性地表示设定基准高度Z0的情况的图。例如，也可以以物镜32的焦点位置对准观察对象物B的表面的方式调整物镜32的高度并将该高度作为基准高度Z0。另外，也可以通过使平台31在物镜32的光轴方向上进行移动从而使物镜32的焦点位置对准观察对象物B的表面。计算机53存储该基准高度Z0。
接着，如图9所示，设定聚光点P1的观察深度d、即打算图像化的观察对象物B内部的深度(步骤S2)。在该步骤S2中，例如，观察者既可以经由输入装置51来输入相对于基准高度Z0的物镜32的光轴方向位置，也可以输入距观察对象物B的表面的深度。观察对象物B内部的深度既可以是实际距离也可以是光学距离。还有，也可以考虑物镜32与观察对象物B之间的介质(例如空气、水、油、甘油、硅酮等)的折射率以及/或者观察对象物B的折射率而计算出实际上使物镜32(或者平台31)移动的量。例如，在此情况下，如果聚光点P1的观察深度d为光学距离并且将介质的折射率设为na且将观察对象物B的折射率设为nb的话则将物镜32(或者平台31)的移动量作为nb·d/na来进行计算。
接着，设定多个聚光点P1的中心间隔W(步骤S3)。在该步骤S3中，如图2以及图3所示，可以是聚光点P1的深度d越深则越增大中心间隔W。另外，例如，也可以基于物镜32的数值孔径(NA)、物镜32与观察对象物B之间的介质的折射率、观察对象物B的折射率、照射光L1的波长、观察对象物B的表面形状或内部结构、观察对象物B的表面以及/或者内部的像差量等参数来设定中心间隔W。这些参数既可以通过实际测定来求得也可以根据模拟等进行推定来求得。另外，也可以预先计算对应于深度d的中心间隔W并作为表格保存于计算机53的存储区域，并从中选择恰当的中心间隔W。
接着，制作调制图案(全息图)(步骤S4)。在该步骤S4中，根据在上述步骤S2,S3中设定的多个聚光点P1的间隔W以及深度d，制作被呈现于空间光调制器13的计算机生成全息图(CGH)。还有，该步骤S4例如可以由计算机53来进行。另外，预先计算对应于深度d以及间隔W的CGH并作为表格保存于计算机53内部的存储单元，并从中选择恰当的CGH。
接着，将在步骤S4中制作的CGH、即在观察对象物B中多个聚光点P1被形成的那样的调制图案呈现于空间光调制器13(图案呈现步骤S5)。于是，通过在空间光调制器13中调制从光源11输出的照射光L0并由物镜32对调制后的照射光L1进行聚光，从而将多个聚光点P1形成于观察对象物B的深度d(聚光点形成步骤S6)。在该步骤S5以及S6中，以聚光点P1被形成于观察对象物B内部的深度d的方式调整物镜32与观察对象物B的距离。在此状态下，通过CGH被呈现于空间光调制器13，从而调制从光源11输出的照射光L0，调制后的照射光L1被物镜32聚光，多个聚光点P1以中心间隔W被形成于观察对象物B内部的深度d的位置。还有，也可以在调整了物镜32与观察对象物B的距离之后将CGH呈现于空间光调制器13，并由物镜32对调制后的照射光L1进行聚光。
接着，进行多个聚光点P1的扫描以及光检测(光检测步骤S7)。在该光检测步骤S7中，在与照射光L1的光轴相交叉的扫描方向上扫描观察对象物B内部的多个聚光点P1的位置并检测从多个聚光点P1分别产生的多个观察光L2。此时，多个观察光L2被光扫描器21除扫描，所以能够一边使聚光点P1移动一边固定光检测器41中的观察光L2的点像P2的位置来进行检测。从光检测器41，将包含对应于多个点像P2的多个图像数据的检测信号Sd输出至计算机53。
接着，制作观察对象物B的图像(图像制作步骤S8)。在该图像制作步骤S8中，使用由光检测步骤S7获得的检测信号Sd(光强度信息)和由光扫描器21得到的光扫描位置信息(聚光点P1的平面位置信息)并以计算机53制作观察对象物B的图像。具体来说，如图6所示，从检测信号Sd以及光扫描位置信息取得多个图像数据D1(步骤S8a)，之后，通过相互结合多个图像数据D1，从而制作观察对象物B的图像(步骤S8b)。
对以上所说明的本实施方式的图像取得装置1A以及图像取得方法的效果进行说明。在本实施方式的图像取得装置1A以及图像取得方法中，通过将调制图案呈现于空间光调制器13从而能够同时并且容易地形成多个聚光点P1。于是，多个聚光点P1被扫描(scan)并且由光检测器41检测在这些聚光点P1上分别产生的多个观察光的点像P2。这样，根据本实施方式的各个图像取得装置1A以及图像取得方法，能够将多个照射光L1同时照射于观察对象物B，并且还能够同时检测多个观察光L2。因此，能够缩短观察时间，另外能够容易地取得多个部位的同时刻的状况。
在观察对象物B例如为生物体试样的情况下，由于观察时间的缩短而能够减小对生物体的负荷并且在更良好的状态下的观察成为可能。例如，在对于三维成像来说需要100分钟的时间的情况下难以以救活生物体的状态进行观察，但是，该时间如果成为10分钟的话则可以认为能够进行救活的状态下的观察。
另外，在同时检测从多个位置产生的多个观察光L2的情况下，根据观察深度d，存在在光检测器41上相邻的点像P2彼此重叠从而发生串扰的担忧。图10是用于说明这样的现象的图。如图10(a)所示，考虑在某个观察深度d，多个观察光的点像P2入射到多个检测区域45的情况。如上所述，起因于观察对象物B的表面上的像差，在观察对象物B的深的位置上产生的观察光的光径大于在浅的位置上产生的观察光的光径(参照图5)。在此，所谓观察对象物B的表面上的像差，例如存在由为了观察而被使用的浸液或者空气与观察对象物B的折射率差而产生的球面像差、以及在折射率边界相对于光轴非垂直的情况下产生的散光像差、彗形像差、散焦像差等。特别是对于球面像差来说，会有观察深度d越是变深则越是变大的趋势。另外，在观察对象物B的深的位置上产生的观察光的光径即使起因于观察对象物B的内部的像差(球面像差或散光像差、彗形像差、散焦像差等)也大于在浅的位置上产生的观察光的光径(参照图5)。因此，根据观察深度d，如图10(b)所示，存在在光检测器41上相邻的观察光的点像P2彼此重叠而发生串扰的担忧。如果发生串扰的话则难以分别高精度地检测多个观察光L2。
相对于此，在本实施方式的图像取得装置1A以及图像取得方法中，如图2以及图3所示，相邻的聚光点P1的中心间隔W根据物镜32的光轴方向上的多个聚光点P1的位置(即，观察深度d)进行设定。由此，例如在观察光的点像P2的光径在光检测器41上变大的情况下，因为能够扩大聚光点P1的中心间隔W，所以能够抑制多个点像P2彼此发生重叠，并且能够降低串扰。另外，在本实施方式的图像取得装置1A以及图像取得方法中，相邻的聚光点P1的中心间隔W进一步根据观察对象物B的表面以及/或者内部的像差量进行设定。由此，因为也考虑观察对象物B的表面以及/或者内部的像差量来设定相邻的聚光点P1的中心距离W，所以能够进一步抑制多个点像P2彼此发生重叠，并且能够降低串扰。因此，能够分别高精度地检测多个观察光的点像P2，并且能够提供清晰的观察对象物中的图像。
还有，在本实施方式中，所谓多个聚光点P1，是指互相同等的光量的聚光点。例如，光量较其他聚光点格外小并且不对图像的制作有贡献的那样的聚光点不包含于在此所说的聚光点中。换言之，所谓本实施方式中的聚光点P1，是指使为了制作图像而有用的观察光L2产生的聚光点。
另外，通过使用被呈现于空间光调制器13的调制图案来形成多个聚光点P1，从而能够容易地聚光于垂直或者平行于照射光L1的光轴方向的方向上的所希望的位置，并且能够容易地改变聚光点数、位置、强度等。
另外，如本实施方式所述，计算机53也可以越是多个聚光点P1从观察对象物B的表面离开就越是扩大中心间隔W。由此，能够适宜降低起因于观察对象物B的表面的像差的观察光的串扰。
另外，如本实施方式所述，光检测器41也可以具有用于分别检测多个观察光的点像P2的多个检测区域45，多个检测区域45的大小以及中心间隔也可以基于物镜32的光轴方向上的多个聚光点P1的位置进行设定。由此，因为对应于光检测器41上的点像P2彼此的中心间隔或光径来设定多个检测区域45的间距以及大小，所以能够适宜检测多个观察光L2。
另外，如本实施方式所述，光检测器41也可以输出作为检测信号Sd的对应于多个检测区45的多个图像数据D1，在图像制作步骤S8中，计算机53也可以通过结合多个图像数据D1来制作观察对象物B的图像。由此，因为将在观察对象物B中成为观察对象的区域分割成多个区域并且并行制作各个区域的图像，所以能够有效地缩短观察时间。
另外，如本实施方式所述，光检测器41既可以包含具有多个阳极的多阳极光电倍增管或者也可以包含具有多个像素的区域图像传感器。由它们的任意一者，能够在多个点像P2上分别高精度地检测观察光L2的光强度。
另外，如本实施方式所述，从物镜32的光轴方向看，多个聚光点P1也可以在与扫描方向A2相交叉的方向上进行排列。由此，因为将观察对象物B中成为观察对象的区域分割成多个区域并且并行制作各个区域的图像，所以能够有效地缩短观察时间。
还有，在本实施方式中，被呈现于空间光调制器13的调制图案也可以包含相对于照射光L1的相差修正图案。由此，能够减小聚光点P1来提高测量的分辨率。然后，以小的间隔来观察宽的观察区域，但是，根据本实施方式，因为同时照射多个聚光点P1并且同时检测多个观察光的点像P2，所以能够有效地缩短观察时间，例如在由单一的聚光点P1所进行的观察中，即使是进一步需要观察时间的那样的条件，也能够防止观察时间的增加，或者，能够以格外短的时间进行观察。
(第1变形例)
图11是上述实施方式的第1变形例所涉及的图像取得方法的流程图。在上述实施方式中，取得观察对象物B的某个观察深度d下的图像，但是，在本变形例中，一边从观察对象物B的表面按顺序使观察深度d变化一边取得图像。还有，关于图11所表示的步骤S1～S8，因为与上述实施方式相同，所以省略说明。
在本变形例中，在设定了物镜32的基准高度Z0之后(步骤S1)计算机53进行多个观察深度d的设定(步骤S11)。还有，多个观察深度d既可以经由输入装置51由观察者来进行设定，也可以根据被观察者输入的图像取得范围，由计算机53来进行自动设定。
接着，与上述实施方式相同，进行步骤S2～S8。之后，在没有对所有观察深度d制作图像的情况(步骤S12：否)下，再次返回到步骤S2，计算机53进行聚光点P1的深度d的再设定并且变更深度d。此时，在步骤S3中，计算机53对应于观察深度d的变化使中心间隔W变化。具体来说，计算机53越是聚光点P1从观察对象物B的表面离开就越是扩大中心间隔W。另外，在对所有观察深度d制作图像的情况(步骤S12：是)下，结束处理。
如本变形例所述，计算机53也可以对应于物镜32的光轴方向上的多个聚光点P1的位置(即，观察深度d)的变化，使中心间隔W变化。由此，能够一边抑制串扰一边连续进行多个观察深度d下的观察。在此情况下，计算机53也可以越是多个聚光点P1从观察对象物B的表面离开就越是扩大中心间隔W。由此，能够适宜降低起因于观察对象物B的表面的像差的观察光的串扰。
(第2变形例)
在上述实施方式中由光扫描器21扫描聚光点P1，但是也可以通过在与光轴方向相交叉的面方向上使平台31移动从而扫描聚光点P1。换言之，上述实施方式的扫描部也可以取代光扫描器21或者与光扫描器21一起包含平台31。即使是这样的结构，也能够适宜扫描聚光点P1。
(第3变形例)
在上述实施方式中由光扫描器21扫描聚光点P1，但是，也可以在被呈现于空间光调制器13的调制图案中包含(重叠)用于扫描聚光点P1的图案(光扫描全息图)。在此情况下，因为不需要上述实施方式中的扫描部，所以能够削减图像取得装置1A的构成部件并且有助于小型化。
(实施例)
在此，对上述实施方式的实施例进行说明。在本实施例中，准备作为观察对象物B的内包了多个直径3μm的荧光珠的树脂。使用物镜(浸水40倍，NA1.15)来观察该树脂。在深度d的位置形成多个聚光点P1，扫描这些聚光点P1并取得图像。此时，多个聚光点P1沿着相对于扫描方向A2垂直的方向A3进行排列。另外，使观察深度d为5μm以及250μm。还有，在以下的附图中，图中的箭头A4表示方向A3上的多个聚光点P1的扫描开始位置。
图12表示将观察深度d以光学距离计设为5.68μm且将多个聚光点P1的中心间隔W设为13.7μm而得到的图像。此时，能够取得清晰的荧光图像。
另外，图13表示将观察深度d以光学距离计设为292μm而得到的图像。图13(a)表示将多个聚光点P1的中心间隔W设为27.4μm而得到的图像，图13(b)表示将多个聚光点P1的中心间隔W设为13.7μm而得到的图像。如图13(b)所示，在将观察深度d变更成292μm并且将中心间隔W按原样13.7μm而不变更的情况下，由于观察光的串扰的影响，本来是1个荧光珠的地方可看到存在多个荧光珠(参照图中的范围B1)。相对于此，如图13(a)所示，基于观察深度d(292μm)将中心间隔W变更成27.4μm的情况下，能够取得串扰的影响被抑制了的清晰的荧光图像。
产业上的利用可能性
能够同时照射在观察对象物的深度方向上聚光位置互相不同的多个光。
符号的说明
1A…图像取得装置、10…照射光生成单元、11…光源、12…光束扩展器、13…空间光调制器、14…分色镜、20…扫描单元、21…光扫描器、22…镜、30…照射光学单元、31…平台、32…物镜、33…物镜移动机构、34…反射镜、40…观察单元、41…光检测器、42…滤光片、43…聚光透镜、44…光检测面、44a…光检测部、45…检测区域、50…控制单元、51…输入装置、52…显示装置、53…计算机、61,62…远心光学系统、B…观察对象物、D1…图像数据、L1…照射光、L2…观察光、P1…聚光点、P2…点像、Sd…检测信号。

Claims (26)

1.一种图像取得装置，其特征在于：
具备：
空间光调制器，调制从光源输出的照射光；
控制部，以在观察对象物中形成多个聚光点的方式控制被呈现于所述空间光调制器的调制图案；
聚光光学系统，为了在所述观察对象物中形成所述多个聚光点而对被调制了的所述照射光进行聚光；
扫描部，在与所述聚光光学系统的光轴相交叉的扫描方向上扫描所述观察对象物中的所述多个聚光点的位置；
光检测器，检测从所述多个聚光点分别产生的多个观察光；以及
图像制作部，使用来自所述光检测器的检测信号来制作所述观察对象物的图像，
所述控制部根据所述光轴的方向上的所述多个聚光点的位置，设定相邻的所述聚光点的中心间隔。
2.如权利要求1所述的图像取得装置，其特征在于：
所述控制部对应于所述光轴的方向上的所述多个聚光点的位置的变化，使所述中心间隔变化。
3.如权利要求2所述的图像取得装置，其特征在于：
所述光轴的方向上的所述多个聚光点的位置越是从所述观察对象物的表面离开，所述控制部越是扩大所述中心间隔。
4.如权利要求1～3中任意一项所述的图像取得装置，其特征在于：
所述扫描部包含接收被调制了的所述照射光的光扫描器。
5.如权利要求1～3中任意一项所述的图像取得装置，其特征在于：
所述扫描部包含保持所述观察对象物并在所述扫描方向上使所述观察对象物移动的平台。
6.如权利要求1～5中任意一项所述的图像取得装置，其特征在于：
所述光检测器具有用于分别检测所述多个观察光的多个检测区域，
所述多个检测区域的大小以及中心间隔根据所述光轴的方向上的所述多个聚光点的位置进行设定。
7.如权利要求6所述的图像取得装置，其特征在于：
所述光检测器输出作为所述检测信号的对应于所述多个检测区域的多个图像数据，
所述图像制作部为了制作所述观察对象物的图像而结合所述多个图像数据。
8.如权利要求6或者7所述的图像取得装置，其特征在于：
所述光检测器包含具有多个阳极的多阳极光电倍增管。
9.如权利要求6或者7所述的图像取得装置，其特征在于：
所述光检测器包含具有多个像素的区域图像传感器。
10.如权利要求6或者7所述的图像取得装置，其特征在于：
所述光检测器包含具有多个雪崩光电二极管的雪崩光电二极管阵列。
11.如权利要求1～10中任意一项所述的图像取得装置，其特征在于：
从所述光轴的方向看，所述多个聚光点在与所述扫描方向相交叉的方向上进行排列。
12.如权利要求1～11中任意一项所述的图像取得装置，其特征在于：
所述控制部进一步根据所述观察对象物的表面以及/或者内部的像差量而设定相邻的所述聚光点的中心间隔。
13.一种图像取得装置，其特征在于：
具备：
空间光调制器，调制从光源输出的照射光；
控制部，以在观察对象物中形成多个聚光点的方式控制被呈现于所述空间光调制器的调制图案；
聚光光学系统，为了在所述观察对象物中形成所述多个聚光点而对被调制了的所述照射光进行聚光；
光检测器，检测从所述多个聚光点分别产生的多个观察光；以及
图像制作部，使用来自所述光检测器的检测信号来制作所述观察对象物的图像，
所述调制图案包含用于在与所述照射光的光轴相交叉的扫描方向上扫描所述多个聚光点的图案，
所述控制部根据所述光轴的方向上的所述多个聚光点的位置，设定相邻的所述聚光点的中心间隔。
14.一种图像取得方法，其特征在于：
包含：
图案呈现步骤，将用于在观察对象物中形成多个聚光点的调制图案呈现于空间光调制器；
聚光点形成步骤，在所述空间光调制器中调制从光源输出的照射光，为了将所述多个聚光点形成于所述观察对象物中而由聚光光学系统对被调制了的所述照射光进行聚光；
光检测步骤，在与所述照射光的光轴相交叉的扫描方向上扫描所述观察对象物中的所述多个聚光点的位置并检测从所述多个聚光点分别产生的多个观察光；以及
图像制作步骤，使用由所述光检测步骤获得的检测信号来制作所述观察对象物的图像，
在所述图案呈现步骤中，根据所述光轴的方向上的所述多个聚光点的位置而设定相邻的所述聚光点的中心间隔。
15.如权利要求14所述的图像取得方法，其特征在于：
在所述图案呈现步骤中，对应于所述光轴的方向上的所述多个聚光点的位置的变化，使所述中心间隔变化。
16.如权利要求15所述的图像取得方法，其特征在于：
在所述图案呈现步骤中，所述光轴的方向上的所述多个聚光点的位置越是从所述观察对象物的表面离开，越是扩大所述中心间隔。
17.如权利要求14～16中任意一项所述的图像取得方法，其特征在于：
在所述光检测步骤中，使用接收被调制了的所述照射光的光扫描器来进行所述多个聚光点的扫描。
18.如权利要求14～16中任意一项所述的图像取得方法，其特征在于：
在所述光检测步骤中，使用保持所述观察对象物并在所述扫描方向上使所述观察对象物移动的平台来进行所述多个聚光点的扫描。
19.如权利要求14～16中任意一项所述的图像取得方法，其特征在于：
在所述光检测步骤中，将用于扫描所述多个聚光点的图案重叠于所述调制图案。
20.如权利要求14～19中任意一项所述的图像取得方法，其特征在于：
在所述光检测步骤中，使用具有用于分别检测所述多个观察光的多个检测区域的光检测器，
所述多个检测区域的大小以及中心间隔根据所述光轴的方向上的所述多个聚光点的位置进行设定。
21.如权利要求20所述的图像取得方法，其特征在于：
所述光检测器输出作为所述检测信号的对应于所述多个检测区域的多个图像数据，
在所述图像制作步骤中，为了制作所述观察对象物的图像而结合所述多个图像数据。
22.如权利要求14～21中任意一项所述的图像取得方法，其特征在于：
在所述光检测步骤中，使用具有多个阳极的多阳极光电倍增管来检测所述多个观察光。
23.如权利要求14～21中任意一项所述的图像取得方法，其特征在于：
在所述光检测步骤中，使用具有多个像素的区域图像传感器来检测所述多个观察光。
24.如权利要求14～21中任意一项所述的图像取得方法，其特征在于：
在所述光检测步骤中，使用具有多个雪崩光电二极管的雪崩光电二极管阵列来检测所述多个观察光。
25.如权利要求14～24中任意一项所述的图像取得方法，其特征在于：
从所述光轴的方向看，所述多个聚光点在与所述扫描方向相交叉的方向上进行排列。
26.如权利要求14～25中任意一项所述的图像取得方法，其特征在于：
在所述图案呈现步骤中，进一步根据所述观察对象物的表面以及/或者内部的像差量而设定相邻的所述聚光点的中心间隔。
CN201680006352.5A 2015-01-20 2016-01-12 图像取得装置以及图像取得方法 Active CN107209360B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-008445 2015-01-20
JP2015008445A JP6300739B2 (ja) 2015-01-20 2015-01-20 画像取得装置および画像取得方法
PCT/JP2016/050700 WO2016117415A1 (ja) 2015-01-20 2016-01-12 画像取得装置および画像取得方法

Publications (2)

Publication Number Publication Date
CN107209360A true CN107209360A (zh) 2017-09-26
CN107209360B CN107209360B (zh) 2021-01-29

Family

ID=56416962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006352.5A Active CN107209360B (zh) 2015-01-20 2016-01-12 图像取得装置以及图像取得方法

Country Status (5)

Country Link
US (1) US10488640B2 (zh)
EP (1) EP3249441B1 (zh)
JP (1) JP6300739B2 (zh)
CN (1) CN107209360B (zh)
WO (1) WO2016117415A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111247421A (zh) * 2017-09-29 2020-06-05 株式会社日立高新技术 分析装置
CN111527438A (zh) * 2017-11-30 2020-08-11 徕卡生物系统成像股份有限公司 冲击重新扫描系统
CN114113138A (zh) * 2021-11-22 2022-03-01 合肥维信诺科技有限公司 产品在籍检测装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018138794A1 (ja) * 2017-01-25 2018-08-02 オリンパス株式会社 光走査型顕微鏡装置および光走査型顕微鏡装置におけるスポット間距離測定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102162908A (zh) * 2011-05-13 2011-08-24 厦门大学 一种基于塔尔博特效应的新型全息光镊系统
CN103226238A (zh) * 2013-05-14 2013-07-31 哈尔滨工业大学 基于反射式液晶空间光调制器的共焦横向扫描装置与方法
CN103403610A (zh) * 2011-02-22 2013-11-20 浜松光子学株式会社 空间光调制装置以及空间光调制方法
EP2703871A2 (en) * 2005-05-25 2014-03-05 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
WO2014117079A1 (en) * 2013-01-25 2014-07-31 The Trustees Of Columbia University In The City Of New York Depth of field 3d imaging slm microscope

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5248876A (en) 1992-04-21 1993-09-28 International Business Machines Corporation Tandem linear scanning confocal imaging system with focal volumes at different heights
US6758402B1 (en) * 1994-08-17 2004-07-06 Metrologic Instruments, Inc. Bioptical holographic laser scanning system
US5982553A (en) * 1997-03-20 1999-11-09 Silicon Light Machines Display device incorporating one-dimensional grating light-valve array
JP3816632B2 (ja) * 1997-05-14 2006-08-30 オリンパス株式会社 走査型顕微鏡
US7098871B1 (en) * 1998-08-05 2006-08-29 Microvision, Inc. Optical scanning system with correction
US9188874B1 (en) * 2011-05-09 2015-11-17 Kenneth C. Johnson Spot-array imaging system for maskless lithography and parallel confocal microscopy
US20030021016A1 (en) * 2001-07-27 2003-01-30 Grier David G. Parallel scanned laser confocal microscope
JP2004138906A (ja) * 2002-10-18 2004-05-13 Hamamatsu Photonics Kk 光ピンセット装置
JP4425098B2 (ja) 2004-09-06 2010-03-03 浜松ホトニクス株式会社 蛍光顕微鏡および蛍光相関分光解析装置
JP4761432B2 (ja) * 2004-10-13 2011-08-31 株式会社リコー レーザ加工装置
US8213017B2 (en) * 2006-07-17 2012-07-03 Max Wiki Analytical system comprising an arrangement for temporally variable spatial light modulation and detection method executable therewith
JP5281756B2 (ja) * 2007-04-13 2013-09-04 オリンパス株式会社 走査型光学装置および観察方法
KR100842617B1 (ko) 2007-05-29 2008-06-30 삼성전자주식회사 프로젝터
JP5039583B2 (ja) 2008-01-24 2012-10-03 浜松ホトニクス株式会社 観察装置
GB0812712D0 (en) * 2008-07-10 2008-08-20 Imp Innovations Ltd Improved endoscope
JP5692969B2 (ja) * 2008-09-01 2015-04-01 浜松ホトニクス株式会社 収差補正方法、この収差補正方法を用いたレーザ加工方法、この収差補正方法を用いたレーザ照射方法、収差補正装置、及び、収差補正プログラム
JP2010175448A (ja) * 2009-01-30 2010-08-12 Kowa Co 光学撮像装置
JP5638793B2 (ja) 2009-12-03 2014-12-10 オリンパス株式会社 顕微鏡装置
US20110267663A1 (en) * 2009-12-21 2011-11-03 Olympus Corporation Holographic image projection method and holographic image projection system
JP2011128572A (ja) 2009-12-21 2011-06-30 Olympus Corp ホログラム像投影方法およびホログラム像投影装置
JP5479925B2 (ja) * 2010-01-27 2014-04-23 浜松ホトニクス株式会社 レーザ加工システム
JP5479924B2 (ja) * 2010-01-27 2014-04-23 浜松ホトニクス株式会社 レーザ加工方法
JP5749553B2 (ja) 2011-04-22 2015-07-15 浜松ホトニクス株式会社 光変調制御方法、制御プログラム、制御装置、及びレーザ光照射装置
US8659824B2 (en) * 2012-03-23 2014-02-25 Olympus Corporation Laser microscope
JP6116142B2 (ja) 2012-06-21 2017-04-19 オリンパス株式会社 走査型共焦点レーザ顕微鏡
WO2014085748A1 (en) * 2012-11-28 2014-06-05 The Penn State Research Foundation Z-microscopy
CN105026916B (zh) * 2013-03-06 2017-07-14 浜松光子学株式会社 荧光受光装置以及荧光受光方法
JPWO2016056147A1 (ja) * 2014-10-08 2017-07-20 オリンパス株式会社 結像光学系、照明装置および観察装置
US9733462B2 (en) * 2014-12-17 2017-08-15 Olympus Corporation Scanning apparatus, confocal observation apparatus and disk scanning apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2703871A2 (en) * 2005-05-25 2014-03-05 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
CN103403610A (zh) * 2011-02-22 2013-11-20 浜松光子学株式会社 空间光调制装置以及空间光调制方法
CN102162908A (zh) * 2011-05-13 2011-08-24 厦门大学 一种基于塔尔博特效应的新型全息光镊系统
WO2014117079A1 (en) * 2013-01-25 2014-07-31 The Trustees Of Columbia University In The City Of New York Depth of field 3d imaging slm microscope
CN103226238A (zh) * 2013-05-14 2013-07-31 哈尔滨工业大学 基于反射式液晶空间光调制器的共焦横向扫描装置与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YONGHONG SHAO: "addressable multiregional and multifocal multiphoton microscopy based on a spatial light modulator", 《JOURNAL OF BIOMEDICAL OPTICS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111247421A (zh) * 2017-09-29 2020-06-05 株式会社日立高新技术 分析装置
CN111247421B (zh) * 2017-09-29 2024-01-30 株式会社日立高新技术 分析装置
CN111527438A (zh) * 2017-11-30 2020-08-11 徕卡生物系统成像股份有限公司 冲击重新扫描系统
CN111527438B (zh) * 2017-11-30 2023-02-21 徕卡生物系统成像股份有限公司 冲击重新扫描系统
US11943537B2 (en) 2017-11-30 2024-03-26 Leica Biosystems Imaging, Inc. Impulse rescan system
CN114113138A (zh) * 2021-11-22 2022-03-01 合肥维信诺科技有限公司 产品在籍检测装置

Also Published As

Publication number Publication date
US20180267283A1 (en) 2018-09-20
EP3249441A1 (en) 2017-11-29
WO2016117415A1 (ja) 2016-07-28
US10488640B2 (en) 2019-11-26
JP6300739B2 (ja) 2018-03-28
JP2016133637A (ja) 2016-07-25
EP3249441A4 (en) 2018-09-12
CN107209360B (zh) 2021-01-29
EP3249441B1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
CN106133580B (zh) 受激发射损耗显微镜装置
JP5999121B2 (ja) 共焦点光スキャナ
JP2016534389A (ja) 開口走査フーリエタイコグラフィ撮像
US10466458B2 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
CN109477954A (zh) 具有相位调制元件的scape显微术和图像重构
US11885947B2 (en) Lattice light sheet microscope and method for tiling lattice light sheet in lattice light sheet microscope
Matsumoto et al. An adaptive approach for uniform scanning in multifocal multiphoton microscopy with a spatial light modulator
CN107209360A (zh) 图像取得装置以及图像取得方法
JP2014081417A (ja) レーザー走査顕微鏡装置
CN110520779B (zh) 像差校正方法和光学装置
CN107209359A (zh) 图像取得装置以及图像取得方法
CN111971607B (zh) 试样观察装置
JP6639595B2 (ja) 誘導放射抑制顕微鏡装置
JP2022544292A (ja) ２段階明視野再構築を介したサンプル結像
JP6770616B2 (ja) 画像取得装置、画像取得方法、及び空間光変調ユニット
Neu et al. Time-resolved confocal microscopy using a digital micromirror device
JP2020042283A (ja) 顕微鏡装置
Matsumoto et al. Modulation of the pupil function of microscope objective lens for multifocal multi-photon microscopy using a spatial light modulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant