CN111902761B - 试样观察装置和试样观察方法 - Google Patents

试样观察装置和试样观察方法 Download PDF

Info

Publication number
CN111902761B
CN111902761B CN201980021841.1A CN201980021841A CN111902761B CN 111902761 B CN111902761 B CN 111902761B CN 201980021841 A CN201980021841 A CN 201980021841A CN 111902761 B CN111902761 B CN 111902761B
Authority
CN
China
Prior art keywords
image data
sample
observation
image
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980021841.1A
Other languages
English (en)
Other versions
CN111902761A (zh
Inventor
山本谕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of CN111902761A publication Critical patent/CN111902761A/zh
Application granted granted Critical
Publication of CN111902761B publication Critical patent/CN111902761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/49Scattering, i.e. diffuse reflection within a body or fluid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

试样观察装置(1)包括:用于在XZ面上对试样S照射平面光L2的照射光学系统(3);以通过平面光L2的照射面R的方式在Y轴方向上扫描试样S的扫描部(4);具有相对于照射面R倾斜的观察轴P2、使在试样S上产生的观察光L3成像的成像光学系统(5);用于获取多个与观察光L3的光学图像对应的XZ图像数据(31)的图像获取部(6);和基于多个XZ图像数据(31),生成XY图像数据(32)的图像生成部(8),图像生成部(8)提取关于Y轴方向获取的多个XZ图像数据(31)中的解析区域,至少在Z轴方向上累计解析区域F的亮度值,生成X图像数据(33),在Y轴方向上组合X图像数据(33)以生成XY图像数据(32)。

Description

试样观察装置和试样观察方法
技术领域
本发明涉及一种试样观察装置和试样观察方法。
背景技术
SPIM(选择性平面照明显微镜)是已知的用于观察细胞等具有三维立体结构的试样的内部的技术之一。例如,专利文献1中记载的断层图像观察装置公开了SPIM的基本原理。在该装置中,用平面光照射试样,使在试样内部产生的荧光或散射光在成像面上成像,以获取试样内部的观察图像数据。
作为另一种使用平面光的试样观察装置,例如,可以列举专利文献2中记载的SPIM显微镜。在该常规SPIM显微镜中,对试样的配置面以一定的倾斜角照射面状光,由具有与面状光的照射面正交的观察轴的观察光学系统对来自试样的观察光摄像。
现有技术文献
专利文献
专利文献1:日本特开昭62-180241号公报
专利文献2:日本特开2014-202967号公报
发明内容
发明要解决的问题
在如上所述的试样观察装置中,例如,将试样和溶液保持在试样容器中以进行观察。由于来自溶液的荧光成为背景光,因此有必要减小背景光的影响,以便以高再现性测定来自试样的观察光。常规上,作为从所获取图像减少背景光的影响的技术可列举如下技术,例如,从所获取图像求取不存在试样的区域的平均亮度值,从存在试样的区域的亮度值减去不存在试样的区域的平均亮度值,来计算试样的亮度值。
然而,认为背景光的亮度值的计算结果由于各种因素而发生偏差。例如,当背景光是荧光时,背景光的亮度值由溶液每单位体积的荧光强度和溶液深度的乘积表示。当求取同一试样容器中不存在试样的区域的平均亮度值时,溶液的高度可能会因表面张力而发生偏差。此外,当将仅容纳溶液的试样容器用于检测背景光时,溶液的分注精度可能会发生偏差。如果背景光的亮度值的计算结果发生偏差,则相对于试样的荧光的亮度值减去背景光后的荧光的亮度值的线性会大大受损,试样观察的再现性可能会下降。
为解决上述问题而提出本发明,本发明的目的在于提供一种可以减小背景光的亮度值的偏差的影响的试样观察装置和试样观察方法。
解决问题的手段
根据本发明的一个方面的试样观察装置包括:用于在XZ面上对试样照射平面光的照射光学系统;以通过平面光的照射面的方式在Y轴方向上扫描试样的扫描部;具有相对于照射面倾斜的观察轴、使通过平面光的照射而在试样上产生的观察光成像的成像光学系统;用于获取多个与由成像光学系统成像的观察光的光学图像对应的XZ图像数据的图像获取部;和基于由图像获取部获取的多个XZ图像数据,生成试样的XY图像数据的图像生成部,图像获取部关于Y轴方向获取多个XZ图像数据,图像生成部提取在XZ图像数据中的解析区域,并且至少在Z轴方向上累计解析区域的亮度值,生成X图像数据,在Y轴方向上组合X图像数据以生成XY图像数据。
在该试样观察装置中,通过观察轴相对于照射面倾斜的成像光学系统获取试样的多个XZ图像数据。在每个XZ图像数据中,可以使一个像素中包括的背景光的Z方向分量恒定,从而可以减小背景光的亮度值的偏差的影响。因此,即使在通过在Y轴方向上组合X图像数据而获得的XY图像数据中,也可以充分降低背景光的影响。
图像生成部可以至少对解析区域进行暗点修正消减,然后在Z轴方向上累计解析区域的亮度值。通过执行暗点修正消减,可以充分减小图像获取部的噪声的影响。
图像生成部可以减小除解析区域之外的区域的亮度值,并在Z轴方向上累计XZ图像数据的亮度值来生成X图像数据。由此,可以抑制在获取图像时装置固有的噪声波动的影响。
图像生成部可以仅对解析区域的亮度值在Z轴方向上进行累计来生成X图像数据。由此,可以限制在Z轴方向上累计的像素的数量,从而可以抑制获取图像时装置固有的噪声波动的影响。
成像光学系统的观察轴相对于平面光的照射面的倾斜角可以为 10°~80°。在该范围内,可以充分确保观察图像的分辨率。
成像光学系统的观察轴相对于平面光的照射面的倾斜角可以为 20°~70°。在该范围内,可以更充分地确保观察图像的分辨率。此外,可以抑制视野相对于观察轴的角度变化量的变化,从而可以确保视野的稳定性。
成像光学系统的观察轴相对于平面光的照射面的倾斜角可以为 30°~65°。在该范围内,可以更适当地确保观察图像的分辨率和视野的稳定性。
试样观察装置还可包括:解析包括XY图像数据的观察图像数据、生成解析结果的解析部。在该情况下,还可以提高解析处理能力。
另外,根据本发明的一个方面的试样观察方法包括:以下步骤:在XZ面上对试样照射平面光的照射步骤;以通过平面光的照射面的方式在Y轴方向上扫描试样的扫描步骤;使用具有相对于照射面倾斜的观察轴的成像光学系统,使通过平面光的照射而在试样上产生的观察光成像的成像步骤;用于获取多个与由成像光学系统成像的观察光的光学图像对应的XZ图像数据的图像获取步骤;和基于多个XZ图像数据生成试样的XY图像数据的图像生成步骤,在图像获取步骤中,关于Y轴方向获取多个XZ图像数据,在图像生成步骤中,提取在XZ图像数据中的解析区域,并且至少在Z轴方向上累计解析区域的亮度值,生成X图像数据,在Y轴方向上组合X图像数据来生成XY图像数据。
在该试样观察方法中,通过观察轴相对于照射面倾斜的成像光学系统获取试样的多个XZ图像数据。在每个XZ图像数据中,可以使一个像素中包括的背景光的Z方向分量恒定,从而可以减小背景光的亮度值的偏差的影响。因此,即使在通过在Y轴方向上组合X图像数据而获得的XY图像数据中,也可以充分降低背景光的影响
在图像生成步骤中,可以至少对解析区域进行暗点修正消减,然后在Z轴方向上累计解析区域的亮度值。通过执行暗点修正消减,可以充分减小图像获取部的噪声的影响。
在图像生成步骤中,可以减小除解析区域之外的区域的亮度值,并在Z轴方向上累计XZ图像数据的亮度值来生成X图像数据。由此,可以抑制在获取图像时装置固有的噪声波动的影响。
在图像生成步骤中,可以通过仅对解析区域的亮度值在Z轴方向上进行累计来生成X图像数据。由此,可以限制在Z轴方向上累计的像素的数量,从而可以抑制获取图像时装置固有的噪声波动的影响。
在图像获取步骤中,成像光学系统的观察轴相对于平面光的照射面的倾斜角可以为10°~80°。在该范围内,可以充分确保观察图像的分辨率。
在图像获取步骤中,成像光学系统的观察轴相对于平面光的照射面的倾斜角可以为20°~70°。在该范围内,可以更充分地确保观察图像的分辨率。此外,可以抑制视野相对于观察轴的角度变化量的变化,从而可以确保视野的稳定性。
成像光学系统的观察轴相对于平面光的照射面的倾斜角可以为 30°~65°。在该范围内,可以更适当地确保观察图像的分辨率和视野的稳定性。
试样观察方法还可包括:解析XY图像数据、生成解析结果的解析步骤。在该情况下,还可以提高解析处理能力。
发明效果
根据该试样观察装置和试样观察方法,可以减少背景光的亮度值的偏差的影响。
附图说明
图1是示出试样观察装置的一实施方式的示意性结构图。
图2是示出试样附近的主要部分的放大图。
图3是示出使用试样观察装置的试样观察方法的一例的流程图。
图4(A)和图4(B)是示出由图像生成部生成观察图像的示例的图。
图5(A)和图5(B)是示出图像获取部如何获取图像的图。
图6是示出试样观察装置中的视野的算出例的图。
图7是示出观察轴的倾斜角与分辨率之间的关系的图。
图8是示出观察轴的倾斜角与视野的稳定性之间的关系的图。
图9是示出观察轴的倾斜角与来自试样的观察光的透射率之间的关系的图。
图10是示出背景光的相减值的偏差的影响的图。
图11是示出XZ图像数据的生成的示例的图。
图12是示出X图像数据的生成的示例的图。
图13是示出XY图像数据的生成的示例的图。
图14是示出图像生成步骤的一示例的流程图。
图15是示出图像生成步骤的另一示例的流程图。
图16是示出图像生成步骤的又一示例的流程图。
图17是示出图像生成步骤的又一示例的流程图。
具体实施方式
在下文中,将参考附图详细描述根据本发明的一方面的试样观察装置和试样观察方法的优选实施方式。
图1是示出试样观察装置的实施方式的示意性结构图。该试样观察装置1将平面光L2照射到试样S上,使在试样S内部产生的观察光 (例如,荧光或散射光)在成像面上成像,从而获取试样S内部的观察图像数据。这种类型的试样观察装置1包括:玻片扫描仪,其获取并显示被保持在载玻片上的试样S的图像;或者,板读取器,其获取被保持在微板上的试样S的图像数据,并解析该图像数据。如图1所示,试样观察装置1构成为包括光源2、照射光学系统3、扫描部4、成像光学系统5、图像获取部6和计算机7。
作为观察对象的试样S的示例包括人或动物细胞、组织、器官、动物或植物自身、植物细胞和组织等。例如用荧光素-葡聚糖(激发波长:494nm/荧光波长:521nm)和四甲基若丹明(激发波长:555nm/ 荧光波长:580nm)等荧光材料对这些试样S进行染色。试样S可以用多种荧光物质染色。试样S可以包含在溶液、凝胶或折射率不同于试样S的折射率的物质中。
光源2是输出用于照射试样S的光L1的光源。光源2的示例包括激光二极管和固态激光源等激光源。此外,光源2可以是发光二极管、超发光二极管或灯光源。从光源2输出的光L1被引导至照射光学系统 3。
照射光学系统3是将从光源2输出的光L1整形为平面光L2,并沿光轴P1将所整形的平面光L2照射到试样S上的光学系统。在下面的描述中,照射光学系统3的光轴P1也被称为平面光L2的光轴。照射光学系统3构成为包括诸如圆柱透镜、轴棱锥透镜或空间光调制器等的光整形元件,并且与光源2光耦合。照射光学系统3可以包括物镜。由照射光学系统3形成的平面光L2照射到试样S。在被平面光L2 照射的试样S中,在平面光L2的照射面R上产生观察光L3。观察光 L3例如是由平面光L2激发的荧光,平面光L2的散射光或平面光L2 的漫反射光。
当在试样S的厚度方向上进行观察时,考虑到分辨率,优选地,平面光L2是厚度为2mm以下的薄平面光。当试样S的厚度非常小时,即,当观察具有稍后描述的Z方向分辨率以下的厚度的试样S时,平面光L2的厚度不影响分辨率。因此,可以使用厚度大于2mm的平面光L2。
扫描部4是在平面光L2的照射面R上扫描试样S的机构。在本实施方式中,扫描部4由移动台12构成,该移动台12使保持试样S的试样容器11移动。试样容器11例如是微板,载玻片,培养皿等,并且相对于平面光L2和观察光L3是透明的。在该实施方式中,以微板为例。如图2所示,试样容器11包括板状的主体部14和板状的透明构件15,该板状的主体部14在其内部以直线状(或矩阵状)排列有多个配置有试样S的孔(井、槽)13,该板状的透明构件15在主体部14 的一面侧以封闭孔13的一端侧的方式设置。
当将试样S配置到孔13中时,在孔13中与试样S一起填充有培养液,荧光指示剂和缓冲液等的溶液。溶液发出自体荧光。透明构件 15具有相对于配置在孔13中的试样S的平面光L2的入射面15a。透明构件15的材料只要是对平面光L2透明的构件即可,没有特别限定,例如为玻璃、石英或合成树脂。试样容器11相对于移动台12配置成使得输入面15a与平面光L2的光轴P1正交。孔13的另一端侧为向外部敞开的状态。试样容器11也可以相对于移动台12固定。
如图1所示,移动台12根据来自计算机7的控制信号沿预定方向扫描试样容器11。在本实施方式中,移动台12在与平面光L2的光轴 P1正交的平面内的一个方向上对试样容器11进行扫描。在下面的描述中,平面光L2的光轴P1方向称为Z轴,移动台12对试样容器11的扫描方向称为Y轴,并且在与平面光L2的光轴P1正交的平面内与Y 轴正交的方向称为X轴。试样S上的平面光L2的照射面R是XZ平面内的面。
成像光学系统5是使通过平面光L2的照射而在试样S上产生的观察光L3成像的光学系统。如图2所示,成像光学系统5构成为例如包括物镜16。成像光学系统5的光轴是观察光L3的观察轴P2。该成像光学系统5的观察轴P2相对于试样S上的平面光L2的照射面R以倾斜角θ倾斜。倾斜角θ也与由朝向试样S的平面光L2的光轴P1和观察轴P2形成的角度一致。倾斜角θ为10°~80°。从提高观察图像的分辨率的观点出发,倾斜角θ优选为20°~70°。另外,从提高观察图像的分辨率和视野的稳定性的观点出发,倾斜角θ更优选为30°~65°。
如图1所示,图像获取部6是获取多个与由成像光学系统5成像的基于观察光L3的光学图像相对应的图像数据的装置。图像获取部6 构成为包括例如对基于观察光L3的光学图像进行摄像的摄像装置。摄像装置的示例包括诸如CMOS图像传感器、CCD图像传感器等的区域图像传感器。这些区域图像传感器配置在成像光学系统5的成像面上,例如通过全局快门或卷帘快门来对光学图像摄像,并将二维图像数据输出至计算机7。
图像获取部6也可以构成为用于获取多个与基于观察光L3的光学图像的一部分相对应的部分图像数据的方式。在该情况下,例如,可以在区域图像传感器的成像面上设定子阵列,并且仅读出包括在该子阵列中的像素列来获取部分图像数据。此外,也可以将区域图像传感器的所有像素列作为读取区域,通过随后的图像处理提取二维图像的一部分,来获取部分图像数据。可以使用线传感器代替区域图像传感器,将摄像面本身限定于一个像素列来获取部分图像数据。可以将仅透射观察光L3的一部分的狭缝配置在区域图像传感器的前面,获取与该狭缝相对应的像素列的图像数据作为部分图像数据。
计算机7在物理上构成为包括RAM、ROM等的存储器,CPU等的处理器(运算电路),通信接口,硬盘等的存储部以及显示器等的显示部。该计算机7的示例包括个人计算机,云服务器,智能装置(智能电话,平板终端等)等。计算机7通过计算机系统的CPU执行存储在存储器中的程序,作为控制光源2和移动台12的动作的控制器、生成试样S的观察图像数据的图像生成部8、以及对观察图像数据进行解析的解析部10发挥作用(见图1)。
作为控制器的计算机7接收用户的测量开始操作的输入,同步驱动光源2、移动台12和图像获取部6。在该情况下,计算机7在通过移动台12移动试样S期间,可以控制光源2使得光源2连续地输出光 L1,也可以根据图像获取部6的摄像来控制基于光源2的光L1的输出的开/关。当照射光学系统3包括光学快门(未示出)时,计算机7可以通过控制该光学快门来打开/关闭平面光L2向试样S的照射。
此外,作为图像生成部8的计算机7基于由图像获取部6生成的多个图像数据来生成试样S的观察图像数据。图像生成部8基于从图像获取部6输出的多个图像数据,例如生成在与平面光L2的光轴P1 正交的平面(XY平面)中的试样S的观察图像数据。图像生成器8 根据用户的预定操作来存储所生成的观察图像数据、将其显示到监视器等上等等。
作为解析部10的计算机7基于由图像生成部8生成的观察图像数据执行解析而生成解析结果。解析部10根据用户的预定操作来存储所生成的解析结果、将其显示到监视器等上等等。也可以不进行由图像生成部8生成的观察图像数据向监视器等的显示,而仅将由解析部10 生成的解析结果显示在监视器等上。
图3是表示使用试样观察装置1的试样观察方法的一例的流程图。如该图所示,在该试样观察方法中包括:照射步骤(步骤S01)、扫描步骤(步骤S02)、成像步骤(步骤S03)、图像获取步骤(步骤S04)、图像生成步骤(步骤S05)以及解析步骤(步骤S06)。
在照射步骤S01中,用平面光L2照射试样S。当用户输入测定开始的操作时,基于来自计算机7的控制信号来驱动光源2,从光源2 输出光L1。从光源2输出的光L1被照射光学系统3整形为平面光L2,对试样S进行照射。
在扫描步骤S02中,针对平面光L2的照射面R扫描试样S。当用户输入测定开始的操作时,基于来自计算机7的控制信号,与光源2 的驱动同步地进行移动台12的驱动。由此,试样容器11以恒定的速度沿Y轴方向线性驱动,针对平面光L2的照射面R扫描孔13中的试样S。
在成像步骤S03中,使用具有相对于照射面R倾斜的观察轴P2 的成像光学系统5,使通过平面光L2的照射在试样S中产生的观察光 L3在图像获取部6的成像面上成像。在图像获取步骤S04中,获取多个与由成像光学系统5成像的基于观察光L3的光学图像相对应的图像数据。图像数据从图像获取部6依次地输出到图像生成部8。
在图像生成步骤S05中,基于多个图像数据生成试样S的观察图像数据。在本实施方式中,如图1和图2所示,试样S上的平面光L2 的照射面R是XZ平面内的面,试样S上的照射面R在Y轴方向上被扫描。因此,如图4(A)所示,图像生成部8通过获取在Y轴方向上的多个XZ图像数据31,而累积试样S的三维信息。在图像生成部8 中,使用多个XZ图像数据31来重构数据,例如图4(B)所示,试样 S在Z轴方向上的任意位置处具有任意厚度的XY图像数据32被生成为试样S的观察图像数据。图像生成器8也可以生成包括XY图像数据32的三维数据作为观察图像数据。
在解析步骤S06中,由解析部10解析观察图像数据而生成解析结果。例如,在药物开发筛选中,将试样S和试剂放入试样容器11中,并获取作为观察图像数据的XY图像数据32。然后,解析部10基于 XY图像数据32评价试剂,并生成评价数据作为解析结果。解析部10也可以获取并解析包括XY图像数据32的三维数据作为观察图像数据。
下面将更详细地描述上述试样观察装置1。
如图5(A)所示,在试样观察装置1中,一边针对平面光L2的照射面R对试样S进行扫描,一边由图像取得部6获取图像。此外,在试样观察装置1中,成像光学系统5的观察轴P2相对于平面光L2 的照射面R倾斜。因此,图像获取部6可以依次地获取在平面光L2 的光轴P1方向(Z轴方向)上的XZ图像数据31,并且图像生成部8 可以基于多个XZ图像数据31生成试样S的XY图像数据32。
在该试样观察装置1中,如图5(B)所示,可以一边扫描试样S 一边依次进行图像获取。在常规试样观察装置的操作中,每次驱动和停止移动台时,由于惯性等的影响而发生时间损失。与此不同,在试样观察装置1中,可以减少驱动和停止移动台12的次数,同时执行试样S的扫描操作和图像获取。因此,可以谋求提高直到获得XY图像数据32为止的处理能力。
在试样观察装置1中,如图2所示,配置成将试样S保持在具有用于平面光L2的入射面15a的试样容器11中,并且基于照射光学系统3的平面光L2的光轴P1与试样容器11的输入面15a正交。此外,在试样观察装置1中,扫描部4在与基于照射光学系统3的平面光L2 的光轴P1(Z轴方向)正交的方向(Y轴方向)上扫描试样S。由此,不再需要对由图像获取部6获取的XZ图像数据31的位置校正等的图像处理,可以使XY图像数据32的生成处理变得容易。
在试样观察装置1中,成像光学系统5的观察轴P2相对于试样S 上的平面光L2的照射面R的倾斜角θ为10°~80°,优选为20°~70°,并且更优选30°~65°。这一点将在下面考虑。图6是表示试样观察装置中的视野的算出例的图。在该图所示的示例中,成像光学系统位于折射率为n1的介质A中,而平面光的照射面位于折射率为n2的介质 B中。当设成像光学系统中的视野为V,照射面为V',观察轴相对于照射面的倾斜角为θ,介质A、B之间的界面处的折射角为θ',并且在视野V的倾斜角θ处的介质和介质B之间的界面处的距离为L时,以下的式(1)~(3)成立。
L=V/cosθ 式(1)
sinθ'=(n1/n2)×sinθ 式(2)
V'=L/tanθ' 式(3)
图7是示出观察轴的倾斜角与分辨率之间的关系的图。在该图中,横轴是观察轴的倾斜角θ,纵轴是视野的相对值V'/V。然后,相对于倾斜角θ描绘当介质A的折射率n1为1(空气)、介质B的折射率n2 以0.1的增量在1.0~2.0之间改变时的V'/V的值。图中示出了V’/V的值越小,则试样的深度方向的分辨率(以下称为“Z方向分辨率”)越高; V’/V的值越大,则Z方向的分辨率越低。
从图7所示的结果可知,当介质A的折射率n1和介质B的折射率n2相等时,V'/V的值与倾斜角θ成反比。此外可知,当介质A的折射率n1和介质B的折射率n2不同时,V'/V的值相对于倾斜角θ描绘出抛物线。从该结果可知,可以通过试样的配置空间的折射率,成像光学系统的配置空间的折射率以及观察轴的倾斜角θ,来控制Z方向分辨率。此外可知,在倾斜角θ处于10°~80°的范围内时,与倾斜角θ小于10°以及大于80°的范围内相比,可以获得更好的Z方向分辨率。
此外,从图7所示的结果可知,随着折射率n1和折射率n2之间的差增大,Z方向分辨率最大时的倾斜角θ趋于减小。当折射率n2在 1.1~2.0的范围内时,Z方向分辨率最大时的倾斜角θ在约47°~约57°的范围内。例如,当折射率n2为1.33(水)时,Z方向分辨率最大时的倾斜角θ估计为约52°。此外,例如,当折射率n2为1.53(玻璃) 时,Z方向分辨率最大时的倾斜角θ估计为约48°。
图8是示出观察轴的倾斜角与视野的稳定性之间的关系的图。在该图中,横轴是观察轴的倾斜角θ,纵轴是视野的稳定性。稳定性由在倾斜角θ+1处的V′/V与在倾斜角θ-1处的V′/V之间的差值与在倾斜角θ处的V′/V之比表示,可由以下的式(4)算出。稳定性越接近0%,则相对于倾斜角的变化的视野的变化越小,可以评价为视野稳定。与图7类似,在图8中,描绘当介质A的折射率n1为1(空气)、介质B 的折射率n2以0.1的增量在1.0~2.0之间改变时的稳定性。
稳定性(%)=((V′/V)θ+1-(V′/V)θ-1)/(V′/V)θ 式(4)
从图8所示的结果可知,在倾斜角θ小于10°以及大于80°的范围内,稳定性超过±20%,难以控制视野。另一方面,当倾斜角θ在10°~ 80°的范围内时,稳定性变为±20%以下,可以控制视野。此外,当倾斜角θ在20°~70°的范围内时,稳定性变为±10%以下,易于进行视野的控制。
图9是示出观察轴的倾斜角与来自试样的观察光的透射率之间的关系的图。在该图中,横轴是观察轴的倾斜角θ,左侧纵轴是视野的相对值,右侧纵轴是透射率。在图9中,考虑到试样容器中的试样保持状态,介质A的折射率n1为1(空气),介质B的折射率n2为1.53(玻璃),介质C的折射率n3为1.33(水),透射率值是介质B、C的界面与介质A、B的界面的透射率的乘积。在图9中,描绘了P波透射率,S波透射率以及它们的平均值的角度依赖性。此外,在图9中,还一并描绘了介质C中的视野的相对值。
从图9所示的结果可知,可以通过改变观察轴的倾斜角θ来改变观察光从试样到成像光学系统的透射率。还可知当倾斜角θ在80°以下的范围内时,可获得至少50%以上的透射率。此外可知,在倾斜角θ在70°以下的范围内时,可获得至少60%以上的透射率,在倾斜角θ在65°以下的范围内时,可获得至少75%以上的透射率。
根据以上结果,当要求试样的Z方向分辨率时,优选在30°~65°的范围内选择倾斜角θ,例如使得视野的相对值V'/V的值为3以下,稳定性小于5%,观察光的透射率(P波和S波的平均值)为75%以上。此外,当不要求试样的Z方向分辨率时,可以从10°~80°的范围中适当地选择倾斜角θ,并且从确保每个像素的视野范围的观点出发,优选从10°~30°或者65°~80°的范围内选择。
接下来,将描述试样观察装置1中的背景光的减法处理。
在试样观察装置1中,将试样S和荧光溶液保持在试样容器11的孔13中来进行观察。由于来自溶液的自体荧光成为背景光,因此,为了以高再现性测定来自试样S的观察光L3,需要减少背景光的影响。常规上,作为减少来自所获取图像的背景光的影响的方法,例如可列举如下方法,从所获取图像中求取不存在试样的区域的平均亮度值,从存在试样的区域的亮度值减去不存在试样的区域的平均亮度值,来计算出试样的亮度值。
然而,背景光的亮度值的计算结果可能由于各种因素而发生偏差。例如,当背景光是荧光时,背景光的亮度值由溶液每单位体积的荧光强度和溶液深度的乘积表示。当求取在同一试样容器中不存在试样的区域的平均亮度值时,溶液的高度可能会由于表面张力而发生偏差。此外,当将仅保持溶液的试样容器用于检测背景光时,溶液的分配精度可能会发生偏差。
如果背景光的亮度值的计算结果发生偏差,则可能会如图10所示,减去背景光后的荧光的亮度值相对于试样的荧光的亮度值的线性会大幅下降,导致试样的再现性降低。图10示出了当背景光的相减值偏差±10%时的减去背景光之后的荧光量与试样的荧光量的相对关系。从该结果可知,即使背景光的相减值偏差±几%,也不能保持减去背景光后的荧光的亮度值的线性。
与此不同,试样观察装置1的图像生成部8首先提取XZ图像数据 31中的解析区域F。在XZ图像数据31被摄像的区域中,针对存在来自试样S的荧光的区域提取解析区域F。在图11的示例中,示出了由图像获取部6在Y轴方向上获取的多个XZ图像数据31中的一个XZ图像数据31。该XZ图像数据31包括例如与试样容器11的透明构件 15或空气相对应的光学图像41、与试样S相对应的光学图像42以及与溶液相对应的光学图像43。
如图12所示,图像生成部8提取该XZ图像数据31中的解析区域 F,在Z轴方向上累计解析区域F的亮度值,生成X图像数据33。同样地,对于其他XZ图像数据31,图像生成部8也提取解析区域F并在Z轴方向上累计解析区域F的亮度值,以生成多个X图像数据33。如图13所示,图像生成部8在Y轴方向上组合这些X图像数据33以生成XY图像数据32。
图14是示出图像生成步骤S05的示例的流程图。在图中所示的图像生成步骤S05的示例中,首先,设定用于提取解析区域F的阈值(步骤S11)。例如,基于相对于仅保持溶液的试样容器11的孔13的XZ 图像数据31的亮度值来设定阈值。当试样S的荧光量已知时,也可以基于该荧光量设定阈值。也可以为每个XZ图像数据31设定阈值,或者可以为图像获取部6的每个像素设定阈值。
接下来,基于设定的阈值执行XZ图像数据31中的解析区域F的提取(步骤S12)。在此,提取存在来自试样S的荧光的区域作为解析区域F。在提取解析区域F之后,在解析区域F上执行图像获取部6 的暗点修正消减(dark offset)(暗点补偿消减)(步骤S13)。暗点修正(dark offset)是摄像装置所固有的噪声,例如由摄像装置的暗电流产生的噪声。在执行暗点修正消减之后,在Z轴方向上累计解析区域F 的亮度值,生成X图像数据33(步骤S14)。然后,在Y轴方向上组合对其他XZ图像数据31也同样地获得的X图像数据33,以生成XY 图像数据32(步骤S15)。也可以在步骤S11的阈值设定之前执行步骤 S13的暗点修正消减。在该情况下,优选考虑暗点修正消减量来设定阈值。也可以在步骤S14的生成X图像数据33之后执行步骤S13的暗点修正消减。此时,由于对X图像数据33进行了暗点修正消减,因此获得与对全部XZ图像数据31进行暗点修正消减相同的效果。
此外,也可以在图像生成步骤S05中在减小了构成除解析区域F 之外的区域的多个像素的亮度值之后,在步骤S14中生成X图像数据 33。例如,可以在执行将构成除解析区域F之外的区域的多个像素的亮度值0计数的处理之后,在Z轴方向上累计XZ图像数据31以生成 X图像数据33。在该情况下,可以抑制摄像装置固有的噪声(例如,读取噪声)的波动的影响。当不产生背景光时(例如,当溶液不产生自体荧光时),这种处理也是有效的。
此外,也可以在图像生成步骤S05中在进行了步骤S12的解析区域F的提取之后,在Z轴方向上仅累计XZ图像数据31中的解析区域 F来生成X图像数据33。在该情况下,由于在X图像数据33的生成中累计的像素数受到限制,因此可以抑制摄像装置固有的噪声(例如,读取噪声)的波动的影响。即使在不产生背景光的情况下(例如,在溶液不产生自体荧光的情况下),这种处理也是有效的。
图15是示出图像生成步骤S05的另一示例的流程图。该另一示例与图14所示的方式的不同之处在于在XZ图像数据31中设定了阈值。在该图像生成步骤S05的示例中,首先,检测XZ图像数据31中的背景光(步骤S21)。这里,从XZ图像数据31中不存在试样S的区域的亮度值求取背景光的亮度值。不存在试样S的区域包括:例如与试样容器11的透明构件15或空气相对应的光学图像41的区域、以及与溶液相对应的光学图像43的区域。
可以应用各种方法来确定不存在试样S的区域。例如,不存在试样S的区域可以是XZ图像数据31的上部区域。此外,当已知试样S 的厚度时,不存在试样S的区域可以在从透明构件15到试样S的厚度以上的范围内。此外,当已知试样S的荧光量时,不存在试样S的区域可以是以该荧光量以下的值为阈值时由具有阈值以下的亮度值的像素构成的区域。
此外,可以将各种方法应用于背景光的亮度值的获取。例如,可以从不存在试样S的区域中的特定像素的亮度值求取,也可以从不存在试样S的区域的X方向或Z向方上的多个像素的亮度值分布求取。此外,可以从构成不存在试样S的区域的特定区域的多个像素的亮度值分布求取背景光的亮度值。
在下文中,基于检测到的背景光,执行用于提取解析区域F的阈值的设定(步骤S22)。与图14的情况相同,执行XZ图像数据31中的解析区域F的提取(步骤S23)、暗点修正消减(步骤S24)、X图像数据33的生成(步骤S25)以及XY图像数据32的生成(步骤S26)。可以在步骤S21的背景光检测之前执行步骤S24的暗点修正消减。在该情况下,优选考虑暗点修正消减量来检测背景光和设定阈值。也可以在步骤S25的生成X图像数据33之后执行步骤S24的暗点修正消减。此时,由于对X图像数据33进行了暗点修正消减,因此获得与对全部 XZ图像数据31进行暗点修正消减相同的效果。
图16是示出图像生成步骤S05的又一示例的流程图。该又一示例与图14所示的方式的不同之处在于,在提取解析区域F之后减去背景光。在该图像生成步骤S05的示例中,首先,与图15的情况相同地,检测XZ图像数据31中的背景光(步骤S31),基于检测到的背景光设定用于提取解析区域F的阈值(步骤S32)。接下来,提取XZ图像数据31中的解析区域F(步骤S33),执行暗点修正消减(步骤S34)。
在执行暗点修正消减之后,从解析区域F减去背景光(步骤S35)。在步骤S35中,例如,针对与解析区域F相对应的每个像素,减去在步骤S31中检测到的背景光的亮度值。用于相减的背景光的亮度值可以是在步骤S31求得的背景光的亮度值,也可以是通过另一种方法求得的背景光的亮度值。
在减去背景光之后,生成X图像数据33(步骤S36),生成XY图像数据32(步骤S37)。也可以在步骤S31的背景光检测之前执行步骤 S34的暗点修正消减。在该情况下,优选考虑暗点修正消减量进行背景光的检测、阈值的设定,以及减去背景光。此外,也可以在步骤S32的阈值设定之前执行步骤S35的背景光的减法。在该情况下,优选考虑暗点修正消减量来检测背景光,并且考虑暗点修正消减量和背景光消减量来设定阈值。也可以在步骤S36的生成X图像数据33之后执行步骤S34的暗点修正消减和步骤S35的背景光减法。此时,由于对X 图像数据33进行了暗点修正消减,因此获得与对全部XZ图像数据31 进行暗点修正消减相同的效果。
图17是示出图像生成步骤S05的再一示例的流程图。该再一示例与图14所示的方式的不同之处在于,还从解析区域F中提取出试样S 的存在区域,对除了该试样S的存在区域之外的区域减去背景光。在该图像生成步骤S05的示例中,首先,与图15的情况相同地,执行 XZ图像数据31中的背景光的检测(步骤S41)、阈值的设定(步骤S42)、 XZ图像数据31中的解析区域F的提取(步骤S43)和暗点修正消减 (步骤S44)。
接下来,从解析区域F中提取试样S的存在区域(步骤S45)。可以通过基于XZ图像数据31中的每个像素的亮度值的试样S的边缘检测来提取试样S的存在区域,或者可以基于试样S的亮度轮廓来提取试样S的存在区域。当试样S的荧光量已知时,可以根据基于该荧光量设定的阈值来提取试样S的存在区域。在提取出试样S的存在区域之后,从除该试样S的存在区域之外的解析区域F中减去背景光(步骤S46)。用于相减的背景光的亮度值可以是在步骤S41中求得的背景光的亮度值,或者可以是通过另一种方法求得的背景光的亮度值。在减去背景光之后,执行X图像数据33的生成(步骤S47),以及XY 图像数据32的生成(步骤S48)。通常,溶液不存在于试样S内部,但是来自试样S20的荧光通过光学系统扩散到试样S的周边。由于溶液存在于试样S的周边,因此可以通过从获取试样S的周边的光学图像的像素中减去背景光,来提高观察图像的精度。
也可以在步骤S45的试样S的存在区域的提取与步骤S46的背景光的减法之间执行步骤S44的暗点修正消减。在该情况下,优选地,执行暗点修正消减的区域是以整个解析区域F为对象。此外,可以在步骤S41的背景光检测之前执行步骤S44的暗点修正消减。在该情况下,优选地,考虑到暗点修正消减量,来检测背景光、设定阈值以及减去背景光。
此外,也可以在步骤S47的生成X图像数据33之后,执行步骤 S44的暗点修正消减和步骤S46的背景光减法。在该情况下,认为背景光存在于从在Z轴方向上累计的像素中除去与试样S的存在区域相对应的像素以后的像素中。因此,优选地,针对从与XZ图像数据31的解析区域F相对应的像素中除去与试样S的存在区域相对应的像素以后的像素,进行背景光减法。
此外,可以在步骤S41的背景光检测与步骤S42的阈值设定之间,执行步骤S44的暗点修正消减和与步骤S35同样的背景光减法。在该情况下,对试样S的存在区域减去背景光变得过度。因此,代替执行步骤S46的背景光的减法,优选在步骤S47的X图像数据33的生成之后,进行将过度的减法量相加的处理。
如上所述,在试样观察装置1中,通过具有相对于照射面R倾斜的观察轴P2的成像光学系统5,来获取试样S的多个XZ图像数据31。在每个XZ图像数据31中,由于可以使包括在一个像素中的背景光的 Z方向分量恒定,所以可以减小背景光的亮度值的偏差的影响。此外,通过提取XZ图像数据31中的解析区域F,可以分离试样S和背景。因此,在通过累计在Z轴方向上的解析区域F的亮度值而获得的X图像数据33中,可充分减少背景光的影响。因此,即使在通过在Y轴方向上组合X图像数据33而获得的XY图像数据32中,也可以充分减少背景光的影响,从而可以提高试样观察的再现性。
此外,在试样观察装置1中,图像生成器8在解析区域F上执行暗点修正消减,然后在Z轴方向上累计解析区域F的亮度值。通过执行暗点修正消减,可以充分减少图像获取部6的噪声的影响。因此,可以进一步提高试样观察的再现性。
此外,在试样观察装置1中,图像生成部8可以减小除解析区域F 之外的区域的亮度值,并对XZ图像数据31的亮度值在Z轴方向上进行累计以生成X图像数据33。由此,可以抑制摄像装置固有的噪声波动的影响。在试样观察装置1中,图像生成部8可以通过仅对解析区域F的亮度值在Z轴方向上进行累计来生成X图像数据33。同样在该情况下,可以限制在Z轴方向上累计的像素的数量,从而可以抑制摄像装置固有的噪声波动的影响。
在试样观察装置1中,成像光学系统5的观察轴P2相对于平面光 L2的照射面R的倾斜角θ为10°~80°,优选为20°~70°,并且更优选为30°~65°。根据该范围,可以充分确保视野相对于观察图像的分辨率和观察轴的角度变化量的稳定性。试样观察装置1还包括解析部10,解析部10解析XY图像数据32而产生解析结果。由此,还可以提高解析处理能力。
本发明不限于以上实施方式。例如,平面光L2的光轴P1与试样容器11的输入面15a不一定正交,平面光L2的光轴P1与扫描部4对试样S的扫描方向不一定正交。
此外,例如,在上述实施方式中,在试样容器11中透明构件15 设置成封闭孔13的一端侧,使平面光L2从透明构件15的入射面15a 输入。然而,也可以使平面光L2从孔13的另一端侧输入。在该情况下,具有不同折射率的介质的界面数目减少,可以减少观察光L3的折射次数。此外,也可以代替试样容器11,将试样S保持在凝胶等的固体物质中,或者像流式细胞仪那样,通过使水等的流体在透明容器内流动来使试样S移动。
此外,可以配置多对成像光学系统5和图像获取部6。在该情况下,可以扩大观察范围,还可以观察具有多个不同波长的观察光L3。此外,可以相对于成像光学系统5配置多个图像获取部6,或者可以相对于多个成像光学系统5配置图像获取部6。多个图像获取部6可以组合不同类型的光检测器或摄像装置。光源2可以由输出具有不同波长的光的多个光源构成。在该情况下,可以用具有不同波长的激发光照射试样S。
此外,可以在成像光学系统5中配置棱镜以便减轻像散。在该情况下,例如,可以在物镜16的后级侧(在物镜16和图像获取部6之间)配置棱镜。作为防止散焦的对策,可以使图像获取部6中的摄像装置的摄像面相对于观察轴P2倾斜。另外,例如,可以在成像光学系统5和图像获取部6之间配置二向色镜或棱镜,来执行观察光L3的波长分离。
附图标记说明
1…试样观察装置、3…照射光学系统、4…扫描部、5…成像光学系统、6…图像获取部、8…图像生成部、10…解析部、31…XZ图像数据、32…XY图像数据、33…X图像数据、L2…平面光、L3…观察光、 P2…观察轴、R…照射面、S…试样、F…解析区域、θ…倾斜角。

Claims (42)

1.一种试样观察装置,其特征在于,包括:
用于在XZ面上对试样照射平面光的照射光学系统;
以通过所述平面光的照射面的方式在Y轴方向上扫描所述试样的扫描部;
具有相对于所述照射面倾斜的观察轴、使通过所述平面光的照射而在所述试样上产生的观察光成像的成像光学系统;
用于获取多个与由所述成像光学系统成像的所述观察光的光学图像对应的XZ图像数据的图像获取部;和
基于由所述图像获取部获取的多个所述XZ图像数据,生成所述试样的XY图像数据的图像生成部,
所述图像获取部对所述Y轴方向获取多个所述XZ图像数据,
所述图像生成部提取在所述XZ图像数据中的解析区域,并且至少在Z轴方向上累计所述解析区域的亮度值,生成X图像数据,在所述Y轴方向上组合所述X图像数据以生成所述XY图像数据。
2.如权利要求1所述的试样观察装置,其特征在于,
所述图像生成部至少对所述解析区域进行暗点修正消减,之后在所述Z轴方向上累计所述解析区域的亮度值。
3.如权利要求1所述的试样观察装置,其特征在于,
所述图像生成部减小除所述解析区域之外的区域的亮度值,并在Z轴方向上累计所述XZ图像数据的亮度值来生成所述X图像数据。
4.如权利要求2所述的试样观察装置,其特征在于,
所述图像生成部减小除所述解析区域之外的区域的亮度值,并在Z轴方向上累计所述XZ图像数据的亮度值来生成所述X图像数据。
5.如权利要求1所述的试样观察装置,其特征在于,
所述图像生成部仅对所述解析区域的亮度值在Z轴方向上进行累计来生成所述X图像数据。
6.如权利要求2所述的试样观察装置,其特征在于,
所述图像生成部仅对所述解析区域的亮度值在Z轴方向上进行累计来生成所述X图像数据。
7.如权利要求1~6中任一项所述的试样观察装置,其特征在于,
所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为10°~80°。
8.如权利要求1~6中任一项所述的试样观察装置,其特征在于,
所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为20°~70°。
9.如权利要求7所述的试样观察装置,其特征在于,
所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为20°~70°。
10.如权利要求1~6中任一项所述的试样观察装置,其特征在于,
所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为30°~65°。
11.如权利要求7所述的试样观察装置,其特征在于,
所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为30°~65°。
12.如权利要求8所述的试样观察装置,其特征在于,
所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为30°~65°。
13.如权利要求9所述的试样观察装置,其特征在于,
所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为30°~65°。
14.如权利要求1~6中任一项所述的试样观察装置,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据,生成解析结果的解析部。
15.如权利要求7所述的试样观察装置,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据,生成解析结果的解析部。
16.如权利要求8所述的试样观察装置,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据,生成解析结果的解析部。
17.如权利要求9所述的试样观察装置,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据,生成解析结果的解析部。
18.如权利要求10所述的试样观察装置,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据,生成解析结果的解析部。
19.如权利要求11所述的试样观察装置,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据,生成解析结果的解析部。
20.如权利要求12所述的试样观察装置,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据,生成解析结果的解析部。
21.如权利要求13所述的试样观察装置,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据,生成解析结果的解析部。
22.一种试样观察方法,其特征在于,包括以下步骤:
在XZ面上对试样照射平面光的照射步骤;
以通过所述平面光的照射面的方式在Y轴方向上扫描所述试样的扫描步骤;
使用具有相对于所述照射面倾斜的观察轴的成像光学系统,使通过所述平面光的照射而在所述试样上产生的观察光成像的成像步骤;
用于获取多个与由所述成像光学系统成像的所述观察光的光学图像对应的XZ图像数据的图像获取步骤;和
基于所述多个的XZ图像数据,生成所述试样的XY图像数据的图像生成步骤,
在所述图像获取步骤中,对所述Y轴方向获取多个所述XZ图像数据,
在所述图像生成步骤中,提取在所述XZ图像数据中的解析区域,并且至少在Z轴方向上累计所述解析区域的亮度值,生成X图像数据,在所述Y轴方向上组合所述X图像数据来生成所述XY图像数据。
23.如权利要求22所述的试样观察方法,其特征在于,
在所述图像生成步骤中,至少对所述解析区域进行暗点修正消减,之后在所述Z轴方向上累计所述解析区域的亮度值。
24.如权利要求22所述的试样观察方法,其特征在于,
在所述图像生成步骤中,减小除所述解析区域之外的区域的亮度值,并在Z轴方向上累计所述XZ图像数据的亮度值来生成所述X图像数据。
25.如权利要求23所述的试样观察方法,其特征在于,
在所述图像生成步骤中,减小除所述解析区域之外的区域的亮度值,并在Z轴方向上累计所述XZ图像数据的亮度值来生成所述X图像数据。
26.如权利要求22所述的试样观察方法,其特征在于,
在所述图像生成步骤中,通过仅对所述解析区域的亮度值在Z轴方向上进行累计来生成所述X图像数据。
27.如权利要求23所述的试样观察方法,其特征在于,
在所述图像生成步骤中,通过仅对所述解析区域的亮度值在Z轴方向上进行累计来生成所述X图像数据。
28.如权利要求22~27中任一项所述的试样观察方法,其特征在于,
在所述图像获取步骤中,所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为10°~80°。
29.如权利要求22~27中任一项所述的试样观察方法,其特征在于,
在所述图像获取步骤中,所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为20°~70°。
30.如权利要求28所述的试样观察方法,其特征在于,
在所述图像获取步骤中,所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为20°~70°。
31.如权利要求22~27中任一项所述的试样观察方法,其特征在于,在
所述图像获取步骤中,所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为30°~65°。
32.如权利要求28所述的试样观察方法,其特征在于,在
所述图像获取步骤中,所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为30°~65°。
33.如权利要求29所述的试样观察方法,其特征在于,在
所述图像获取步骤中,所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为30°~65°。
34.如权利要求30所述的试样观察方法,其特征在于,在
所述图像获取步骤中,所述成像光学系统的所述观察轴相对于所述平面光的照射面的倾斜角为30°~65°。
35.如权利要求22~27中任一项所述的试样观察方法,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据、生成解析结果的解析步骤。
36.如权利要求28所述的试样观察方法,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据、生成解析结果的解析步骤。
37.如权利要求29所述的试样观察方法,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据、生成解析结果的解析步骤。
38.如权利要求30所述的试样观察方法,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据、生成解析结果的解析步骤。
39.如权利要求31所述的试样观察方法,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据、生成解析结果的解析步骤。
40.如权利要求32所述的试样观察方法,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据、生成解析结果的解析步骤。
41.如权利要求33所述的试样观察方法,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据、生成解析结果的解析步骤。
42.如权利要求34所述的试样观察方法,其特征在于,
还包括:解析包括所述XY图像数据的观察图像数据、生成解析结果的解析步骤。
CN201980021841.1A 2018-04-09 2019-01-30 试样观察装置和试样观察方法 Active CN111902761B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018074865A JP7298993B2 (ja) 2018-04-09 2018-04-09 試料観察装置及び試料観察方法
JP2018-074865 2018-04-09
PCT/JP2019/003226 WO2019198308A1 (ja) 2018-04-09 2019-01-30 試料観察装置及び試料観察方法

Publications (2)

Publication Number Publication Date
CN111902761A CN111902761A (zh) 2020-11-06
CN111902761B true CN111902761B (zh) 2022-06-03

Family

ID=68163141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980021841.1A Active CN111902761B (zh) 2018-04-09 2019-01-30 试样观察装置和试样观察方法

Country Status (5)

Country Link
US (2) US11709350B2 (zh)
EP (1) EP3779557B1 (zh)
JP (2) JP7298993B2 (zh)
CN (1) CN111902761B (zh)
WO (1) WO2019198308A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021246021A1 (ja) 2020-06-01 2021-12-09 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
US20230222753A1 (en) 2020-06-16 2023-07-13 Hamamatsu Photonics K.K. Sample observation device and sample observation method
US20240184090A1 (en) * 2021-07-26 2024-06-06 Hamamatsu Photonics K.K. Sample observation device and sample observation method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62180241U (zh) * 1986-04-28 1987-11-16
EP1498759A2 (en) * 2003-07-15 2005-01-19 Yokogawa Electric Corporation Confocal microscope
CN1766607A (zh) * 2005-11-11 2006-05-03 清华大学 基于图像处理技术的薄层色谱定量分析方法
CN101576505A (zh) * 2008-04-21 2009-11-11 株式会社林创研 三维图像取得装置和利用该三维图像取得装置的加工装置
CN102667473A (zh) * 2009-10-12 2012-09-12 文塔纳医疗系统公司 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现
CN103323442A (zh) * 2013-06-20 2013-09-25 中国科学院苏州生物医学工程技术研究所 一种应用于共聚焦显微术中的led线扫描光学系统
CN103516962A (zh) * 2012-06-19 2014-01-15 全友电脑股份有限公司 影像撷取系统及方法
CN104272721A (zh) * 2012-05-02 2015-01-07 株式会社尼康 拍摄装置
CN105283791A (zh) * 2013-06-11 2016-01-27 浜松光子学株式会社 图像取得装置及图像取得装置的聚焦方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62180241A (ja) 1986-02-04 1987-08-07 Hamamatsu Photonics Kk 断層像観察装置
JP4377082B2 (ja) * 2001-03-15 2009-12-02 株式会社リコー 画像処理装置及び画像読取装置
US7841533B2 (en) * 2003-11-13 2010-11-30 Metrologic Instruments, Inc. Method of capturing and processing digital images of an object within the field of view (FOV) of a hand-supportable digitial image capture and processing system
JP2006003653A (ja) * 2004-06-17 2006-01-05 Olympus Corp 生体試料観察システム
GB0427050D0 (en) * 2004-12-10 2005-01-12 Amersham Biosciences Uk Ltd Method of,and apparatus and computer software for,imaging biological objects
KR20070010478A (ko) * 2005-07-19 2007-01-24 삼성전자주식회사 광학시트, 이를 갖는 백라이트 어셈블리 및 이를 갖는표시장치
JP4795063B2 (ja) * 2006-03-17 2011-10-19 株式会社リコー 画像読取装置、画像処理装置およびプログラム
JP4836718B2 (ja) * 2006-09-04 2011-12-14 オンセミコンダクター・トレーディング・リミテッド エレクトロルミネッセンス表示装置の欠陥検査方法及び欠陥検査装置及びこれらを利用したエレクトロルミネッセンス表示装置の製造方法
JP5177999B2 (ja) * 2006-12-05 2013-04-10 株式会社半導体エネルギー研究所 液晶表示装置
JP5304380B2 (ja) * 2008-07-23 2013-10-02 株式会社リコー 光走査装置、これを用いた画像投影装置、ヘッドアップディスプレイ装置および携帯電話機
US8625863B2 (en) * 2009-06-02 2014-01-07 Sofast Gmbh Superresolution optical fluctuation imaging (SOFI)
JP5365407B2 (ja) * 2009-08-17 2013-12-11 ソニー株式会社 画像取得装置及び画像取得方法
DE102009043746A1 (de) * 2009-09-30 2011-03-31 Carl Zeiss Microimaging Gmbh Verfahren zum Erzeugen von Bildern mit erweitertem Dynamikumfang und optisches Gerät zur Durchführung eines solchen Verfahrens, insbesondere Laser-Scanning-Mikroskop
JP2012138891A (ja) * 2010-12-08 2012-07-19 Canon Inc 撮像装置
JP2012163777A (ja) * 2011-02-07 2012-08-30 Nikon Corp 画像処理装置、撮像装置およびプログラム
US8673628B2 (en) * 2011-06-10 2014-03-18 Essen Instruments, Inc. Methods and apparatus for improving in vitro measurements using boyden chambers
WO2013165576A1 (en) * 2012-05-02 2013-11-07 Aperio Technologies, Inc. Real-time focusing in line scan imaging
JP5935581B2 (ja) * 2012-08-03 2016-06-15 株式会社ニコン 撮像装置、画像処理装置、画像処理方法、画像処理プログラム
DE102012020240A1 (de) * 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
JP6218389B2 (ja) * 2013-02-07 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
US20160004058A1 (en) * 2013-03-15 2016-01-07 Leonard Rodenhausen Wayne Lightsheet microscopy with rotational-shear interferometry
CN103207458B (zh) 2013-03-25 2015-04-01 李志扬 一种采用平面光波导回路的立体成像方法及装置
JP6086366B2 (ja) 2013-04-05 2017-03-01 国立研究開発法人理化学研究所 顕微鏡、焦準器具、流体保持器具、及び光学ユニット
JP6161399B2 (ja) * 2013-05-17 2017-07-12 オリンパス株式会社 顕微鏡システム
JP5669885B2 (ja) * 2013-06-06 2015-02-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP6178656B2 (ja) * 2013-08-02 2017-08-09 株式会社ニコン 補償光学素子の設定方法及び顕微鏡
DE102013021542A1 (de) * 2013-12-18 2015-06-18 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
JP7180964B2 (ja) * 2014-01-17 2022-11-30 ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク 三次元イメージング装置および方法
JP6300658B2 (ja) * 2014-06-19 2018-03-28 オリンパス株式会社 標本観察装置
JP6392040B2 (ja) * 2014-09-11 2018-09-19 キヤノンメディカルシステムズ株式会社 画像処理装置、及び、x線診断装置
JP6443450B2 (ja) * 2014-09-19 2018-12-26 コニカミノルタ株式会社 画像処理装置、画像処理方法、及びプログラム
CN104301707B (zh) * 2014-10-22 2016-07-06 中国科学院合肥物质科学研究院 基于dmd扫描和积分相移测距的深度图像获取装置及方法
EP3259631B1 (en) * 2015-02-20 2019-12-18 Max-Planck-Gesellschaft zur Förderung der Wissenschaften Device and method for creating an optical tomogram of a microscopic sample
EP3079003A1 (en) * 2015-04-10 2016-10-12 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Imaging method using magnetic elements and device for this purpose
JP6215894B2 (ja) * 2015-10-22 2017-10-18 株式会社Screenホールディングス 画像処理方法およびシェーディング基準データ作成方法
JP2017090595A (ja) * 2015-11-06 2017-05-25 キヤノン株式会社 画像表示装置、画像表示制御装置、及び画像表示方法
JP6594223B2 (ja) * 2016-02-22 2019-10-23 富士フイルム株式会社 位相差顕微鏡および撮像方法
US11327004B2 (en) * 2016-03-02 2022-05-10 Arizona Board Of Regents On Behalf Of Arizona State University Live-cell computed tomography
US10690898B2 (en) * 2016-09-15 2020-06-23 Molecular Devices (Austria) GmbH Light-field microscope with selective-plane illumination
US10409052B2 (en) * 2016-09-28 2019-09-10 University Of Washington Inverted light-sheet microscope
JP7007122B2 (ja) * 2017-07-11 2022-01-24 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
JP6626485B2 (ja) * 2017-10-04 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62180241U (zh) * 1986-04-28 1987-11-16
EP1498759A2 (en) * 2003-07-15 2005-01-19 Yokogawa Electric Corporation Confocal microscope
CN1766607A (zh) * 2005-11-11 2006-05-03 清华大学 基于图像处理技术的薄层色谱定量分析方法
CN101576505A (zh) * 2008-04-21 2009-11-11 株式会社林创研 三维图像取得装置和利用该三维图像取得装置的加工装置
CN102667473A (zh) * 2009-10-12 2012-09-12 文塔纳医疗系统公司 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现
CN104272721A (zh) * 2012-05-02 2015-01-07 株式会社尼康 拍摄装置
CN103516962A (zh) * 2012-06-19 2014-01-15 全友电脑股份有限公司 影像撷取系统及方法
CN105283791A (zh) * 2013-06-11 2016-01-27 浜松光子学株式会社 图像取得装置及图像取得装置的聚焦方法
CN103323442A (zh) * 2013-06-20 2013-09-25 中国科学院苏州生物医学工程技术研究所 一种应用于共聚焦显微术中的led线扫描光学系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Quantitative High-Throughput Endothelial Cell;Vladimir Mastyugin,et al;《Journal of Biomolecular Screening》;20041231;第9卷(第8期);全文 *

Also Published As

Publication number Publication date
US20230314782A1 (en) 2023-10-05
WO2019198308A1 (ja) 2019-10-17
EP3779557A1 (en) 2021-02-17
US20210026121A1 (en) 2021-01-28
JP2019184401A (ja) 2019-10-24
JP7298993B2 (ja) 2023-06-27
JP2022132488A (ja) 2022-09-08
US11709350B2 (en) 2023-07-25
CN111902761A (zh) 2020-11-06
EP3779557A4 (en) 2021-12-22
EP3779557B1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
US11822066B2 (en) Sample observation device and sample observation method
US20230314782A1 (en) Sample observation device and sample observation method
CN111971607B (zh) 试样观察装置
US20200080833A1 (en) Measurement apparatus and measurement method
CN111902711B (zh) 试样观察装置和试样观察方法
CN110892251B (zh) 试样观察装置和试样观察方法
JP6978562B2 (ja) 試料観察装置及び試料観察方法
JP6754408B2 (ja) 試料観察装置及び試料観察方法
US20230184681A1 (en) Sample observation device and sample observation method
US20230222753A1 (en) Sample observation device and sample observation method
US20240184090A1 (en) Sample observation device and sample observation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant