CN111902711B - 试样观察装置和试样观察方法 - Google Patents

试样观察装置和试样观察方法 Download PDF

Info

Publication number
CN111902711B
CN111902711B CN201980021112.6A CN201980021112A CN111902711B CN 111902711 B CN111902711 B CN 111902711B CN 201980021112 A CN201980021112 A CN 201980021112A CN 111902711 B CN111902711 B CN 111902711B
Authority
CN
China
Prior art keywords
sample
scanning
optical system
theta
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980021112.6A
Other languages
English (en)
Other versions
CN111902711A (zh
Inventor
山本谕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of CN111902711A publication Critical patent/CN111902711A/zh
Application granted granted Critical
Publication of CN111902711B publication Critical patent/CN111902711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明的试样观察装置(1)中，在设照射光学系统(3)的光轴P1与扫描面K的法线P3所成的角度为θ1、成像光学系统(5)的光轴P2与扫描面K的法线P3所成的角度为θ2时，θ1、θ2均为80°以下，且θ1+θ2为100°以上，在图像获取部(6)中，相对于第n个像素的第m帧的图像获取区域Fn，m，第n+1个像素的第m+1帧的图像获取区域Fn+1，m+1在试样S的扫描方向上根据在一帧的曝光时间内试样S的扫描量V而偏移。

Description

试样观察装置和试样观察方法
技术领域
本发明涉及一种试样观察装置和试样观察方法。
背景技术
SPIM(选择性平面照明显微镜)是已知的用于观察细胞等具有三维立体结构的试样的内部的技术之一。例如，专利文献1中记载的断层图像观察装置公开了SPIM的基本原理。在该装置中，用平面光照射试样，使在试样内部产生的荧光或散射光在成像面上成像，以获取试样内部的观察图像数据。
作为另一种使用平面光的试样观察装置，例如，可以列举专利文献2中记载的SPIM显微镜。在该常规SPIM显微镜中，对试样的配置面以一定的倾斜角照射面状光，由具有与面状光的照射面正交的观察轴的观察光学系统对来自试样的观察光摄像。
现有技术文献
专利文献
专利文献1：日本特开昭62-180241号公报
专利文献2：日本特开2014-202967号公报
发明内容
但是，如上述专利文献2那样，在使照射光学系统和观察光学系统分别相对于试样的配置面倾斜、并维持照射光学系统和观察光学系统相互正交的结构下，在构建观察图像数据时，存在难以将所获得的图像数据转换为现实空间中的三维数据的问题。
本发明为解决上述问题而做出，其目的在于提供一种可以容易地将获得的图像数据转换成现实空间中的三维数据的试样观察装置和试样观察方法。
用于解决问题的技术手段
根据本发明的一个方面的试样观察装置包括：对试样照射平面光的照射光学系统；以通过平面光的照射面的方式在扫描面内的一个方向上扫描试样的扫描部；使通过平面光的照射而在试样上产生的观察光成像的成像光学系统；具有二维排列的多个像素、用于获取多个与由成像光学系统成像的观察光的光学图像对应的图像数据的图像获取部；和基于由图像获取部获取的多个图像数据，生成试样的观察图像数据的图像生成部，在令照射光学系统的光轴与扫描面的法线所成的角度为θ1、成像光学系统的光轴与扫描面的法线所成的角度为θ2时，θ1、θ2均为80°以下，且θ1、θ2之和为100°以上，在图像获取部中，相对于第n个像素的图像获取区域，第n+1个像素的图像获取区域在试样的扫描方向上根据在一帧的曝光时间内试样的扫描量而偏移。
在该试样观察装置中，成像光学系统的光轴相对于试样的扫描面倾斜。因此，图像获取部可以顺序地获取在平面光的光轴方向上的断层面的图像数据，可以以高处理能力获得图像数据。此外，在图像获取部中，相邻像素中的图像获取区域根据在一帧的曝光时间内试样的扫描量偏移。因此，各图像数据的位置关系的校正变得更简单，在构建观察图像数据时，可以容易地将各图像数据转换为现实空间中的三维数据。
在试样观察装置中可以设置成θ1、θ2均为70°以下，并且θ1、θ2之和为110°以上。在该范围内，可以更佳地减小散焦的影响。
试样观察装置还可以具有试样容器，该试样容器具有成为平面光的输入面和观察光的输出面的面用作为扫描面。通过使用这样的试样容器，可以稳定地扫描多个试样。
试样观察装置还可以包括解析部，该解析部解析观察图像数据并产生解析结果。在这种情况下，用解析部对由图像生成部生成的观察图像数据进行解析，因此可以提高解析处理能力。
根据本发明的一个方面的试样观察方法包括：使用照射光学系统对试样照射平面光的照射步骤；以通过平面光的照射面的方式在扫描面内的一个方向上扫描试样的扫描步骤；使用成像光学系统使通过平面光的照射而在试样上产生的观察光成像的成像步骤；使用具有二维排列的多个像素的图像传感器，用于获取多个与由成像步骤成像的观察光的光学图像对应的图像数据的图像获取步骤；和基于多个图像数据，生成试样的观察图像数据的图像生成步骤，在令照射光学系统的光轴与扫描面的法线所成的角度为θ1、成像光学系统的光轴与扫描面的法线所成的角度为θ2时，θ1、θ2均为80°以下，且θ1、θ2之和为100°以上，在图像获取步骤中，相对于第n个像素的图像获取区域，使第n+1个像素的图像获取区域在试样的扫描方向上根据在一帧的曝光时间内试样的扫描量而偏移。
在该试样观察方法中，成像光学系统的光轴相对于试样的扫描面倾斜。因此，在图像获取步骤中，可以顺序地获取在平面光的光轴方向上的断层面的图像数据，可以以高处理能力获得图像数据。此外，在图像获取步骤中，使相邻像素中的图像获取区域根据在一帧的曝光时间内试样的扫描量偏移。因此，各图像数据的位置关系的校正变得更简单，在构建观察图像数据时，可以容易地将各图像数据转换为现实空间中的三维数据。
发明效果
根据该试样观察装置和试样观察方法，可以容易地将获得的图像数据转换为现实空间中的三维数据。
附图说明
图1是示出试样观察装置的一实施方式的示意性结构图。
图2是示出试样附近的主要部分的放大图。
图3是示出由图像生成部生成观察图像数据的一例的图。
图4是示出使用试样观察装置的试样观察方法的一例的流程图。
图5是示出相对于扫描面的平面光的倾斜角和观察光的倾斜角的范围的图。
图6是示出倾斜角与透射率之间的关系的图。
图7是示出图像获取部如何获取图像的示意图。
图8是示出如何校正图像数据的位置的示意图。
图9是示出一个像素的图像获取区域与视野之间的关系的图。
图10是示出平面光和观察光的倾斜角与视野之间的关系的图。
具体实施方式
在下文中，将参考附图详细描述根据本发明的一方面的试样观察装置的优选实施方式。
图1是示出试样观察装置的一实施方式的示意性结构图。该试样观察装置1将平面光L2照射到试样S上，使在试样S内部产生的观察光(例如，荧光或散射光)在成像面上成像，从而获取试样S内部的观察图像数据。这种类型的试样观察装置1包括：玻片扫描仪，其获取并显示被保持在载玻片上的试样S的图像；或者，板读取器，其获取被保持在微板上的试样S的图像数据，并解析该图像数据。如图1所示，试样观察装置1构成为包括光源2、照射光学系统3、扫描部4、成像光学系统5、图像获取部6和计算机7。
作为观察对象的试样S的示例包括人或动物细胞、组织、器官、动物或植物自身、植物细胞和组织等。试样S可以包含在溶液、凝胶或折射率不同于试样S的折射率的物质中。
光源2是输出用于照射试样S的光L1的光源。光源2的示例例如包括激光二极管和固态激光源等激光源。此外，光源2可以是发光二极管、超发光二极管或灯光源。从光源2输出的光L1被引导至照射光学系统3。
照射光学系统3是将从光源2输出的光L1整形为平面光L2，并沿光轴P1将所整形的平面光L2照射到试样S上的光学系统。在本实施方式中，照射光学系统3的光轴P1与平面光L2的光轴一致。照射光学系统3构成为包括诸如圆柱透镜、轴棱锥透镜或空间光调制器等的光整形元件，并且与光源2光耦合。照射光学系统3可以包括物镜。由照射光学系统3形成的平面光L2照射到试样S。为了减小像差，照射光学系统3可以包括诸如棱镜的光学元件。在被平面光L2照射的试样S中，在平面光L2的照射面R上产生观察光L3。观察光L3例如是由平面光L2激发的荧光，平面光L2的散射光或平面光L2的漫反射光。
当在试样S的厚度方向上进行观察时，考虑到分辨率，优选地，平面光L2是厚度为2mm以下的薄平面光。当试样S的厚度非常小时，即，当观察具有稍后描述的Z方向分辨率以下的厚度的试样S时，平面光L2的厚度不影响分辨率。因此，在这种情况下，可以使用厚度大于2mm的平面光L2。
扫描部4是在平面光L2的照射面R上扫描试样S的机构。在本实施方式中，扫描部4由移动台12构成，该移动台12使保持试样S的试样容器11移动。试样容器11例如是微板，载玻片，培养皿等，并且相对于平面光L2和观察光L3是透明的。在该实施方式中，以微板为例。如图2所示，试样容器11包括板状的主体部14和板状的透明构件15，该板状的主体部14在其内部以直线状(或矩阵状)排列有多个配置有试样S的孔13，该板状的透明构件15在主体部14的一面侧以封闭孔13的一端侧的方式设置。
当将试样S配置到孔13中时，在孔13的内部可以填充有诸如水的介质。透明构件15具有成为相对于配置在孔13内的试样S的平面光L2的输入面和通过平面光L2的照射而在试样S中产生的观察光L3的输出面的底面15a。该底面15a构成用扫描部4扫描试样S时的扫描面K。在本实施方式中，照射光学系统3的光轴P1相对于扫描面K的法线P3以角度θ1倾斜。透明构件15的材料只要是对平面光L2透明的构件即可，没有特别限定，例如可以举出玻璃，石英或合成树脂。孔13的另一端向外敞开。试样容器11可以固定到移动台12。
如图1所示，移动台12根据来自计算机7的控制信号沿预定方向扫描试样容器11。移动台12在与照射光学系统3的光轴P1交叉的平面内的一个方向上对试样容器11进行扫描。在下面的描述中，移动台12对试样S的扫描方向称为Y轴，透明构件15上试样S的宽度方向称为X轴，透明构件15上试样S的深度方向称为Z轴。沿着照射光学系统3的光轴P1的方向称为Z′轴。X轴是在与照射光学系统3的光轴P1正交的平面中与Y轴正交的轴。Z轴是与扫描面K的法线P3的方向一致的轴。相对于试样S的面光L2的照射面R是XZ′平面内的面。
成像光学系统5是使通过平面光L2的照射而在试样S上产生的观察光L3成像的光学系统。如图2所示，成像光学系统5构成为例如包括物镜16和成像透镜等。成像光学系统5的光轴P2是观察光L3的观察轴。在该实施方式中，成像光学系统5的光轴P2相对于扫描面K的法线P3以倾斜角θ2倾斜。
如图1所示，图像获取部6是获取多个与由成像光学系统5成像的基于观察光L3的光学图像相对应的图像数据的装置。图像获取部6构成为包括例如对基于观察光L3的光学图像进行摄像的摄像装置。摄像装置的示例包括诸如CMOS图像传感器、CCD图像传感器等的区域图像传感器。这些区域图像传感器配置在成像光学系统5的成像面上，例如通过全局快门或卷帘快门来对光学图像摄像，并将二维图像数据输出至计算机7。
计算机7在物理上构成为包括RAM、ROM等的存储器，CPU等的处理器(运算电路)，通信接口，硬盘等的存储部以及显示器等的显示部。该计算机7的示例包括个人计算机，云服务器，智能装置(智能电话，平板终端等)等。计算机7通过计算机系统的CPU执行存储在存储器中的程序，作为控制光源2和移动台12的动作的控制器、生成试样S的观察图像数据的图像生成部8、以及对观察图像数据进行解析的解析部10发挥作用。
作为控制器的计算机7接收用户的测量开始操作的输入，同步驱动光源2、移动台12和图像获取部6。在该情况下，计算机7在通过移动台12移动试样S期间，可以控制光源2使得光源2连续地输出光L1，也可以根据图像获取部6的摄像来控制基于光源2的光L1的输出的开/关。当照射光学系统3包括光学快门(未示出)时，计算机7可以通过控制该光学快门来打开/关闭平面光L2向试样S的照射。
此外，作为图像生成部8的计算机7基于由图像获取部6生成的多个图像数据来生成试样S的观察图像数据。图像生成部8例如基于从图像获取部6输出的多个图像数据来构成试样S的三维数据，生成观察图像数据。图像生成器8根据用户的预定操作来存储所生成的观察图像数据、将其显示到监视器等上等等。
如图1和图2所示，试样S上的平面光的照射面R是XZ′平面中的面，并且照射面R在试样S上沿Y轴方向扫描。因此，如图3(a)所示，图像生成部8通过获取在Y轴方向上的多个与试样S的XZ′截面相对应的图像数据31，而累积试样S的三维信息。在图像生成器8中，使用这些图像数据31重建数据，例如，如图3(b)所示，在试样S的Z轴方向的任意位置具有任意厚度的XY截面图像生成为抑制了背景的观察图像数据32。此外，在使用图像数据31重建数据时，图像生成部8也可以生成XYZ三维图像数据作为观察图像数据32。
作为解析部10的计算机7基于由图像生成部8生成的观察图像数据32执行解析而生成解析结果。解析部10根据用户的预定操作来存储所生成的解析结果、将其显示到监视器等上等等。也可以不进行由图像生成部8生成的观察图像数据32向监视器等的显示，而仅将由解析部10生成的解析结果显示在监视器等上。
图4是表示使用试样观察装置1的试样观察方法的一例的流程图。如该图所示，在该试样观察方法中包括：照射步骤(步骤S01)、扫描步骤(步骤S02)、成像步骤(步骤S03)、图像获取步骤(步骤S04)、图像生成步骤(步骤S05)以及解析步骤(步骤S06)。
在照射步骤S01中，用平面光L2照射试样S。当用户输入测定开始的操作时，基于来自计算机7的控制信号来驱动光源2，从光源2输出光L1。从光源2输出的光L1被照射光学系统3整形为平面光L2，对试样S进行照射。
在扫描步骤S02中，针对平面光L2的照射面R扫描试样S。当用户输入测定开始的操作时，基于来自计算机7的控制信号，与光源2的驱动同步地进行移动台12的驱动。由此，试样容器11以恒定的速度沿Y轴方向线性驱动，针对平面光L2的照射面R扫描孔13中的试样S。
在成像步骤S03中，使用具有相对于照射面R倾斜的观察轴P2的成像光学系统5，使通过平面光L2的照射在试样S中产生的观察光L3在图像获取部6的成像面上成像。在图像获取步骤S04中，获取多个与由成像光学系统5成像的基于观察光L3的光学图像相对应的图像数据。图像数据从图像获取部6依次地输出到图像生成部8。
在图像生成步骤S05中，基于多个图像数据生成试样S的观察图像数据。在本实施方式中，如图1和图2所示，照射光学系统3的光轴相对于扫描面K的法线倾斜角度θ1，在试样S上照射面R沿Y轴方向扫描。因此，如图3(a)所示，图像生成部8通过获取在Y轴方向上的多个图像数据31，而累积试样S的三维信息。在图像生成部8中，使用多个图像数据31来重建数据，例如图3(b)所示，试样S在Z轴方向上的任意位置处具有任意厚度的XY图像数据或XYZ三维图像数据被生成为试样S的观察图像数据32。
在解析步骤S06中，由解析部10解析观察图像数据32而生成解析结果。例如，在药物开发筛选中，将试样S和试剂放入试样容器11中，并获取观察图像数据32。然后，解析部10基于观察图像数据32评价试剂，并生成评价数据作为解析结果。
下面将更详细地描述上述试样观察装置1的光学系统的构成和观察图像数据32的生成。
在试样观察装置1中，如图2所示，相对于扫描面K的法线P3，照射光学系统3的光轴P1以角度θ1倾斜，成像光学系统5的光轴P2以角度θ2倾斜。在试样观察装置1中，1)θ1、θ2都为80°以下，并且θ1、θ2之和为100°以上。此外也可以为：2)θ1、θ2都为70°以下，并且θ1、θ2之和为110°以上。在图5中示出了满足1)和2)的范围。在该图中，将满足1)的范围表示为区域A，并将满足2)的范围表示为区域B。
例如，基于平面光L2和观察光L3相对于试样容器11的透明构件15的透射率来确定θ1、θ2的上限值。图6是示出倾斜角与透射率之间的关系的图。在该图中，横轴表示倾斜角θ，纵轴表示透射率。在该图6中，考虑到试样S在试样容器11中的具体保持状态，设介质A的折射率n1为1(空气)，介质B的折射率n2为1.53(玻璃)，并且介质C的折射率n3为1.33(水)。此外，通过介质B、C的界面的透射率与介质A、B的界面的透射率的乘积，计算出平面光L2和观察光L3相对于试样容器11的透明构件15的透射率的值。在图6中，绘制了P波的透射率、S波的透射率以及它们的平均值的角度依赖性。
从图6所示的结果可知，可以通过改变倾斜角θ来改变试样容器11中的平面光L2和观察光L3的透射率。还可知当倾斜角θ在80°以下的范围内时，可获得至少50％以上的透射率。此外可知，在倾斜角θ为70°以下的范围内时，可获得至少60％以上的透射率。因此，将上述θ1、θ2的上限值设定为80°以下，优选为70°以下是合适的。
此外，图7是示出图像获取部6如何获取图像的示意图。在该图的示例中，示出了图像获取部6中的第n个像素、第(n+1)个像素和第(n+2)个像素这三个像素如何在第m帧、第(m+1)帧和第(m+2)帧这三段时间内摄像。各像素是在各帧中顺序对由扫描部4沿Y轴方向扫描的试样S的XZ'截面的一部分的光学图像进行摄像。
在图像获取部6中，如图7中的阴影部分所示，在第m帧中，相对于第n个像素的图像获取区域Fn，m，第(n+1)个像素的图像获取区域Fn+1，m在试样S的扫描方向(Y轴方向)上根据在一帧的曝光时间内试样S的扫描量V而偏移。同样地，在第m帧中，相对于第(n+1)个像素的图像获取区域Fn+1，m，第(n+2)个像素的图像获取区域Fn+2，m在试样S的扫描方向(Y轴方向)上根据在一帧的曝光时间内试样S的扫描量V而偏移。为了满足这种关系，根据照射光学系统3的光轴P1和扫描面K的法线P3所形成的角度θ1以及成像光学系统5的光轴P2和扫描面K的法线P3所形成的角度θ2，来设定在一帧的曝光时间内试样S的扫描量V。此外，也可以根据在一帧的曝光时间内试样S的扫描量V,来设定角度θ1和角度θ2中的至少一者。
当满足上述关系时，如图7的点表示部分所示，在第m帧的第(n+2)个像素处的图像获取区域Fn+2，m、第(m+1)帧的第(n+1)个像素处的图像获取区域Fn+1，m+1和第(m+2)帧的第n个像素处的图像获取区域Fn，m+2在Z轴方向上彼此相邻。因此，当在图像生成部8中不重建数据的情况下生成观察图像数据32时，则如图8(a)所示，各图像数据31成为现实空间中的XYZ′图像数据，将会生成难以观察的图像数据。因此，当在图像生成部8中使用各像素的图像数据31重建数据时，则如图8(b)所示，在图像生成部8中对在Z轴方向上离开n个像素的图像数据31执行校正使其成为在Y轴方向上也离开n个像素的图像数据31。结果，各图像数据31成为现实空间中的XYZ图像数据，并且可以容易地将各图像数据31转换为现实空间中的三维数据。
图9是示出一个像素的图像获取区域与视野之间的关系的图。如图9所示，一个像素中的Z轴方向的分辨率Zreso由下式(1)表示。在式(1)中的V'与扫描量V之间成立式(2)的关系。
式(1)
Zreso＝V′×cosθ1′…(1)
式(2)
V＝V′×sinθ1′…(2)
图10是示出平面光和观察光的倾斜角与视野之间的关系的图。在该图中所示的例子中，假设成像光学系统5位于折射率为n1的介质A中，并且平面光L2的照射面R位于折射率为n2的介质B中。在此，使成像光学系统5的视野V与上述的在一帧的曝光时间内试样S的扫描量V一致。成像光学系统5的视野V由像素尺寸和成像倍率确定。通过以与其相匹配的方式对一帧的曝光时间与由扫描部4进行的试样容器11的扫描速度进行调整，可以使视野V与在一帧的曝光时间内试样S的扫描量V一致。当设视野V中的介质A和介质B之间的界面处的距离为L时，以下的式(3)～(8)成立。
(3)
L＝V/cosθ2…(3)
(4)
L′＝L×cosθ2′…(4)
(5)
sinθ1′＝(n1/n2)×sinθ1…(5)
(6)
Sinθ2′＝(n1/n2)×sinθ2…(6)
(7)
θdiff＝|90-(θ1′+θ2′)|…(7)
(8)
V′＝L′/cosθdiff…(8)
当从图2所示的θ1、θ2的范围中选择θ1、θ2的组合时，例如，考虑以下三个条件。
1)θdiff的值越小，散焦的影响越小。
2)Zreso的值越小，观察图像数据中的Z轴方向的分辨率越高。
3)当V′的Y轴方向上的分量与V一致时，在Z轴方向上相邻的像素的图像获取区域在Y轴方向上也相邻，各图像数据的位置关系的校正变得更简单。
如上所述，在试样观察装置1中，成像光学系统5的光轴P2相对于试样S的扫描面K倾斜。因此，图像获取部6可以顺序地获取在平面光L2的光轴P1方向上的断层面的图像数据31，可以以高处理能力获得图像数据31。此外，在图像获取部6中，相邻像素中的图像获取区域F根据在一帧的曝光时间内试样S的扫描量V偏移。因此，各图像数据31的位置关系的校正变得更简单，在构建观察图像数据32时，可以容易地将各图像数据31转换为现实空间中的三维数据。
另外，在试样观察装置1中，通过使照射光学系统3的光轴P1相对于扫描面K在满足上述θ1、θ2的条件的范围内倾斜，能够减少散焦的影响，可以充分提高观察图像数据32的深度方向上的分辨率。当θ1、θ2都为70°以下并且θ1、θ2之和为110°以上时，可以更佳地减小散焦的影响。
试样观察装置1还包括试样容器11，该试样容器具有成为平面光L2的输入面和观察光L3的输出面的面，并将其用作为扫描面K。通过使用这种试样容器11，可以稳定地扫描多个试样S。
此外，试样观察装置1包括解析部10，该解析部10解析观察图像数据32并产生解析结果。因此，可以由解析部10解析由图像生成部8生成的观察图像数据32，从而还可以提高解析处理能力。
本发明不限于以上实施方式。例如，在以上实施方式中，透明构件15设置在试样容器11中以封闭孔13的一端侧，但是也可以代替试样容器11而将试样S保持在凝胶等固体物质中。此外，可以像流式细胞仪那样，通过使水等的流体在透明容器内流动来使试样S移动
此外，可以配置多对成像光学系统5和图像获取部6。在该情况下，可以扩大观察范围，还可以观察具有多个不同波长的观察光L3。此外，可以相对于成像光学系统5配置多个图像获取部6，或者可以相对于多个成像光学系统5配置图像获取部6。多个图像获取部6可以组合不同类型的光检测器或摄像装置。光源2可以由输出具有不同波长的光的多个光源构成。在该情况下，可以用具有不同波长的激发光照射试样S。
此外，可以在成像光学系统5中配置棱镜以便减轻像散。在该情况下，例如，可以在物镜16的后级侧(在物镜16和图像获取部6之间)配置棱镜。作为防止散焦的对策，可以使图像获取部6中的摄像装置的摄像面相对于成像光学系统5的光轴P2倾斜。另外，例如，可以在成像光学系统5和图像获取部6之间配置二向色镜或棱镜，来执行观察光L3的波长分离。
附图标记说明
1…试样观察装置、3…照射光学系统、5…成像光学系统、6…图像获取部、8…图像生成部、10…解析部、11…试样容器、31…图像数据、32…观察图像数据、F…图像获取区域、K...扫描面、L2…平面光、L3…观察光、R…照射面、P1…照射光学系统的光轴、P2…成像光学系统的光轴、P3…扫描面的法线、S...试样、V…扫描量。

Claims (6)

1.一种试样观察装置，其特征在于，包括：
对试样照射平面光的照射光学系统；
以通过所述平面光的照射面的方式在扫描面内的一个方向上扫描所述试样的扫描部；
使通过所述平面光的照射而在所述试样上产生的观察光成像的成像光学系统；
具有二维排列的多个像素、用于获取多个与由所述成像光学系统成像的所述观察光的光学图像对应的图像数据的图像获取部；和
基于由所述图像获取部获取的多个所述图像数据，生成所述试样的观察图像数据的图像生成部，
在令所述平面光的照射面为XZ′面、所述扫描面为XY面、所述扫描面内的一个方向为Y轴方向、沿着所述照射光学系统的光轴（P1）的方向为Z′轴、沿着所述扫描面的法线（P3）的方向为Z轴、所述成像光学系统的光轴为P2、所述照射光学系统的光轴（P1）与所述扫描面的法线（P3）所成的角度为θ1、所述成像光学系统的光轴（P2）与所述扫描面的法线（P3）所成的角度为θ2时，θ1、θ2均为80°以下，且θ1、θ2之和为100°以上，
在所述图像获取部中，相对于第n个像素的图像获取区域，第n+1个像素的图像获取区域在所述试样的扫描方向上根据在一帧的曝光时间内所述试样的扫描量而偏移。
2.根据权利要求1所述的试样观察装置，其特征在于，
θ1、θ2均为70°以下，并且θ1、θ2之和为110°以上。
3.根据权利要求1所述的试样观察装置，其特征在于，
还具有试样容器，该试样容器具有成为所述平面光的输入面和所述观察光的输出面的面用作为所述扫描面。
4.根据权利要求2所述的试样观察装置，其特征在于，
还具有试样容器，该试样容器具有成为所述平面光的输入面和所述观察光的输出面的面用作为所述扫描面。
5.根据权利要求1～4中任一项所述的试样观察装置，其特征在于
还包括解析部，该解析部解析所述观察图像数据并产生解析结果。
6.一种试样观察方法，其特征在于，包括：
使用照射光学系统对试样照射平面光的照射步骤；
以通过所述平面光的照射面的方式在扫描面内的一个方向上扫描所述试样的扫描步骤；
使用成像光学系统使通过所述平面光的照射而在所述试样上产生的观察光成像的成像步骤；
使用具有二维排列的多个像素的图像传感器，用于获取多个与由所述成像步骤成像的所述观察光的光学图像对应的图像数据的图像获取步骤；和
基于所述多个图像数据，生成所述试样的观察图像数据的图像生成步骤，
在令所述平面光的照射面为XZ′面、所述扫描面为XY面、所述扫描面内的一个方向为Y轴方向、沿着所述照射光学系统的光轴（P1）的方向为Z′轴、沿着所述扫描面的法线（P3）的方向为Z轴、所述成像光学系统的光轴为P2、所述照射光学系统的光轴（P1）与所述扫描面的法线（P3）所成的角度为θ1、所述成像光学系统的光轴（P2）与所述扫描面的法线（P3）所成的角度为θ2时，θ1、θ2均为80°以下，且θ1、θ2之和为100°以上，
在所述图像获取步骤中，相对于第n个像素的图像获取区域，使第n+1个像素的图像获取区域在所述试样的扫描方向上根据在一帧的曝光时间内所述试样的扫描量而偏移。
CN201980021112.6A 2018-04-09 2019-01-30 试样观察装置和试样观察方法 Active CN111902711B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-074868 2018-04-09
JP2018074868A JP7007227B2 (ja) 2018-04-09 2018-04-09 試料観察装置及び試料観察方法
PCT/JP2019/003233 WO2019198309A1 (ja) 2018-04-09 2019-01-30 試料観察装置及び試料観察方法

Publications (2)

Publication Number Publication Date
CN111902711A CN111902711A (zh) 2020-11-06
CN111902711B true CN111902711B (zh) 2023-07-18

Family

ID=68163985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980021112.6A Active CN111902711B (zh) 2018-04-09 2019-01-30 试样观察装置和试样观察方法

Country Status (5)

Country Link
US (1) US11391935B2 (zh)
EP (1) EP3779411B1 (zh)
JP (1) JP7007227B2 (zh)
CN (1) CN111902711B (zh)
WO (1) WO2019198309A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021246021A1 (ja) * 2020-06-01 2021-12-09 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7375826B1 (en) * 2004-09-23 2008-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) High speed three-dimensional laser scanner with real time processing
JP2011017620A (ja) * 2009-07-09 2011-01-27 Nikon Corp 形状測定方法、画像処理プログラム及び観察装置
CN102667473A (zh) * 2009-10-12 2012-09-12 文塔纳医疗系统公司 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现
CA2793840A1 (en) * 2012-10-02 2014-04-02 The Royal Institution For The Advancement Of Learning/Mcgill University Method and system for optical microscopy
JP2017187532A (ja) * 2016-04-01 2017-10-12 国立大学法人浜松医科大学 画像取得装置および画像取得方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62180241A (ja) 1986-02-04 1987-08-07 Hamamatsu Photonics Kk 断層像観察装置
JP3651943B2 (ja) * 1994-12-09 2005-05-25 オリンパス株式会社 アイコン作成方法及び動画用のコマ作成方法
WO2008137746A1 (en) 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
WO2012002542A1 (ja) * 2010-07-01 2012-01-05 株式会社ニコン 光学部材および顕微鏡
JP2014507645A (ja) * 2011-01-06 2014-03-27 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 無レンズ断層撮影装置及び方法
US9030548B2 (en) * 2012-03-16 2015-05-12 Dmetrix, Inc. Correction of a field-of-view overlay in a multi-axis projection imaging system
JP6086366B2 (ja) 2013-04-05 2017-03-01 国立研究開発法人理化学研究所 顕微鏡、焦準器具、流体保持器具、及び光学ユニット
MX2016011404A (es) * 2014-12-22 2016-11-16 Koninklijke Philips Nv Metodo para captura simultanea de datos de imagen a multiples profundidades de una muestra.
JP6503221B2 (ja) * 2015-05-13 2019-04-17 オリンパス株式会社 ３次元情報取得装置、及び、３次元情報取得方法
DE102015209758A1 (de) * 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Anordnung und Verfahren zur Strahlformung und zur Lichtblattmikroskopie
JP6796917B2 (ja) 2015-09-18 2020-12-09 シスメックス株式会社 粒子撮像装置および粒子撮像方法
DE102016204653B4 (de) * 2016-03-21 2022-12-22 Carl Zeiss Microscopy Gmbh Die Erfindung betrifft ein Lichtblattmikroskop sowie ein Verfahren zum Betreiben eines Lichtblattmikroskops
US10409052B2 (en) 2016-09-28 2019-09-10 University Of Washington Inverted light-sheet microscope
JP6411597B2 (ja) 2017-08-22 2018-10-24 浜松ホトニクス株式会社 蛍光観察装置及び蛍光観察方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7375826B1 (en) * 2004-09-23 2008-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) High speed three-dimensional laser scanner with real time processing
JP2011017620A (ja) * 2009-07-09 2011-01-27 Nikon Corp 形状測定方法、画像処理プログラム及び観察装置
CN102667473A (zh) * 2009-10-12 2012-09-12 文塔纳医疗系统公司 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现
CA2793840A1 (en) * 2012-10-02 2014-04-02 The Royal Institution For The Advancement Of Learning/Mcgill University Method and system for optical microscopy
JP2017187532A (ja) * 2016-04-01 2017-10-12 国立大学法人浜松医科大学 画像取得装置および画像取得方法

Also Published As

Publication number Publication date
JP2019184403A (ja) 2019-10-24
CN111902711A (zh) 2020-11-06
US11391935B2 (en) 2022-07-19
EP3779411A4 (en) 2021-12-22
EP3779411B1 (en) 2024-04-03
US20210018735A1 (en) 2021-01-21
JP7007227B2 (ja) 2022-01-24
WO2019198309A1 (ja) 2019-10-17
EP3779411A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
US11822066B2 (en) Sample observation device and sample observation method
JP2022132488A (ja) 装置、方法、及びプログラム
CN111902711B (zh) 试样观察装置和试样观察方法
CN111971607B (zh) 试样观察装置
JP6978562B2 (ja) 試料観察装置及び試料観察方法
JP6754408B2 (ja) 試料観察装置及び試料観察方法
EP4321917A1 (en) Sample observation device and sample observation method
EP4137864A1 (en) Sample observation device and sample observation method
JP7329113B2 (ja) 試料観察装置
WO2023007827A1 (ja) 試料観察装置及び試料観察方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant