CN111033352A - 图像取得装置和图像取得方法 - Google Patents

图像取得装置和图像取得方法 Download PDF

Info

Publication number
CN111033352A
CN111033352A CN201880055846.1A CN201880055846A CN111033352A CN 111033352 A CN111033352 A CN 111033352A CN 201880055846 A CN201880055846 A CN 201880055846A CN 111033352 A CN111033352 A CN 111033352A
Authority
CN
China
Prior art keywords
image
images
tile
image acquisition
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880055846.1A
Other languages
English (en)
Other versions
CN111033352B (zh
Inventor
高桥聪
河岛孝之
须须木仁一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of CN111033352A publication Critical patent/CN111033352A/zh
Application granted granted Critical
Publication of CN111033352B publication Critical patent/CN111033352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

在图像取得装置(1)中,当通过道扫描对试样(S)的光学图像进行摄像时,对在一根道中取得的平铺图像列(R)所包含的平铺图像(T)的图像数进行计数,判断图像数是否达到预先设定的取得预定数。然后,在判断为图像数未达到取得预定数的情况下,再执行对该道的道扫描。因此,即使因环境负荷而发生平铺图像(T)的丢失,也可以通过道扫描的再执行来补全平铺图像(T),可以防止观察图像中的平铺图像(T)的丢失。

Description

图像取得装置和图像取得方法
技术领域
本发明涉及一种图像取得装置和图像取得方法。
背景技术
在用于取得组织细胞等的试样的静止图像的图像取得装置中,在试样相对于摄像元件的摄像视野大的情况下,例如,一边使保持有试样的平台相对于物镜移动,一边依次取得试样的部分图像,然后通过合成部分图像来取得试样的整体图像。在这样的图像取得装置中,例如使用被称为平铺扫描方式的图像取得方法。在平铺扫描方式中,以试样的规定区域被包含于物镜的视野的方式使平台移动,并使用区域传感器等的二维摄像元件取得平铺(tile)图像(试样的部分图像)。之后,通过重复执行同样的操作来取得由多个平铺图像列构成的观察图像(试样的整体图像)(例如,参照专利文献1、2)。
现有技术文献
专利文献
专利文献1:日本特开2015-087723号公报
专利文献2:日本特开2015-087719号公报
发明内容
发明所要解决的技术问题
在采用平铺扫描方式的图像取得装置中,使用线性编码器之类的位置检测部来监视保持有试样的平台的位置,并且在试样到达目标位置的时刻执行试样的光学图像的摄像。然而,可认为当扫描的执行时,如果来自外部的振动、静电、温度等环境负荷施加于图像取得装置,则在位置检测部产生误操作。如果在位置检测部产生误操作,则会有二维摄像装置跳过目标位置处的摄像而导致构成观察图像的平铺图像丢失的担忧。
本发明是为了解决上述技术问题而做出的,其目的在于,提供一种可以防止观察图像中的平铺图像的丢失的图像取得装置和图像取得方法。
解决问题的技术手段
本发明的一个方式所涉及的图像取得装置,具备:平台,其保持试样;光出射部,其出射瞬时光;导光光学系统,其包含以与平台上的试样相对的方式配置的物镜;驱动部,其使试样在与物镜的光轴交叉的扫描方向上以规定速度移动;二维摄像元件,其通过与光出射部和驱动部的协作,从而由道(Lane)扫描对被导光光学系统导光的试样的光学图像进行摄像,取得由多个平铺图像列构成的观察图像数据;控制部,其控制光出射部、驱动部和二维摄像元件所进行的道扫描的执行;以及判断部,其对在一根道中取得的平铺图像列所包含的平铺图像的图像数进行计数,判断图像数是否达到预先设定的取得预定数,控制部在根据判断部判断为图像数未达到取得预定数的情况下,再执行对一根道的道扫描。
在该图像取得装置中,当通过道扫描对试样的光学图像进行摄像时,对在一根道中取得的平铺图像列所包含的平铺图像的图像数进行计数,判断图像数是否达到预先设定的取得预定数。然后,在判断为图像数未达到取得预定数的情况下,再执行对该道的道扫描。因此,即使因环境负荷而发生平铺图像的丢失,也可以通过道扫描的再执行来补全平铺图像,可以防止观察图像中的平铺图像的丢失。
另外,控制部在再执行道扫描时,也可以将平台的移动速度设定为比规定速度慢的速度。由此,可以抑制当道扫描的再执行时产生平铺图像的丢失。
另外,也可以是图像取得装置还具备检测平台的位置的位置检测部,控制部基于由位置检测部生成的平台的位置信息,使二维摄像元件的摄像与光出射部的瞬时光的出射同步。由此,可以适当地执行在试样的目标位置处的平铺图像的取得。
另外,也可以是判断部每当一根道中的摄像的结束时对平铺图像列所包含的平铺图像的图像数进行计数。在这种情况下,由于在各平铺图像列的取得时判断平铺图像的补全的需要与否,因此可以在道扫描的结束的同时得到没有平铺图像的丢失的观察图像。
另外,判断部也可以在所有的道中的摄像的结束后对各平铺图像列所包含的平铺图像的图像数进行计数。在这种情况下,由于在所有的平铺图像列的取得后判断平铺图像的补全的需要与否,因此在没有平铺图像的丢失的情况下,可以缩短得到观察图像为止的时间。
此外,本发明的一个方式所涉及的图像取得方法,包括:定位步骤,以物镜的视野位置位于道扫描的开始位置的方式,将保持试样的平台相对于物镜进行定位;摄像步骤,其一边使平台在道扫描的扫描方向上以规定速度移动,一边与瞬时光的照射同步地通过二维摄像元件对试样的光学图像进行摄像,取得由多个平铺图像列构成的观察图像数据;判断步骤,其对在一根道中取得的平铺图像列所包含的平铺图像的图像数进行计数,判断图像数是否达到预先设定的取得预定数;以及再执行步骤,其在判断步骤中判断为图像数未达到所述取得预定数的情况下,再执行对一根道的道扫描。
在该图像取得方法中,当通过道扫描对试样的光学图像进行摄像时,对在一根道中取得的平铺图像列所包含的平铺图像的图像数进行计数,判断图像数是否达到预先设定的取得预定数。然后,在判断为图像数未达到取得预定数的情况下,再执行对该道的道扫描。因此,即使因环境负荷而发生平铺图像的丢失,也可以通过道扫描的再执行来补全平铺图像,可以防止观察图像中的平铺图像的丢失。
另外,在再执行步骤中,也可以将平台的移动速度设定为比规定速度慢的速度。由此,可以抑制当道扫描的再执行时产生平铺图像的丢失。
另外,也可以是图像取得方法还具备检测平台的位置的位置检测步骤,在摄像步骤中,基于由位置检测步骤生成的平台的位置信息,使二维摄像元件的摄像与瞬时光的出射同步。由此,可以适当地执行在试样的目标位置处的平铺图像的取得。
另外,在判断步骤中,也可以是每当一根道中的摄像的结束时对该平铺图像列所包含的平铺图像的图像数进行计数。在这种情况下,由于在各平铺图像列的取得时判断平铺图像的补全的需要与否,因此可以在道扫描的结束的同时得到没有平铺图像的丢失的观察图像。
另外,在判断步骤中,也可以在所有的道中的摄像的结束后对各平铺图像列所包含的平铺图像的图像数进行计数。在这种情况下,由于在所有的平铺图像列的取得后判断平铺图像的补全的需要与否,因此在没有平铺图像的丢失的情况下,可以缩短得到观察图像为止的时间。
发明的效果
根据该图像取得装置和图像取得方法,可以防止观察图像中的平铺图像的丢失。
附图说明
图1是示出图像取得装置的一个实施方式的图。
图2是示出构成图像取得装置的摄像元件的受光面的图。
图3是示出计算机的功能性构成要素的方块图。
图4是示出相对于试样的宏观图像的一个例子的图。
图5是示出相对于试样的图像取得区域的一个例子的图。
图6是示出摄像元件中的曝光期间和读出期间与瞬时光的照射之间的关系的一个例子的图。
图7是示出图像取得方法的一个例子的流程图。
图8是示出道扫描的一个例子的流程图。
图9是示出图像取得方法的另一个例子的流程图。
具体实施方式
在下文中,一边参考附图,一边对本发明的一个方式所涉及的图像取得装置和图像取得方法的优选实施方式进行详细地说明。
图1是示出图像取得装置的一个实施方式的图。如图1所示,图像取得装置1具备:平台2,其保持试样S;光源3(光出射部),其向试样S照射瞬时光L;导光光学系统5,其包含以与平台2上的试样S相对的方式配置的物镜25;以及二维摄像元件6,其对被导光光学系统5导光的试样S的光学图像进行摄像。
另外,图像取得装置1具备:物镜驱动部11,其使物镜25相对于试样S的焦点位置改变;平台驱动部(驱动部)12,其使试样S在与物镜25的光轴交叉的方向(扫描方向)上以规定速度移动;位置检测部13,其检测平台2的位置;以及计算机14,其统括图像取得装置1的动作。
由图像取得装置1观察的试样S例如是组织细胞等的生物样品,例如在被密封于载玻片的状态下被载置于平台2。光源3配置于平台2的底面侧。作为光源3,例如可以使用激光二极管(LD)、发光二极管(LED)、超发光二极管(SLD)、氙气闪光灯之类的闪光灯方式光源等。光源3的动作由下述的光源控制部101A控制。
导光光学系统5由配置于光源3与平台2之间的照明光学系统21和配置于平台2与二维摄像元件6之间的显微镜光学系统22构成。照明光学系统21例如具有由聚光透镜23和投影透镜24构成的科勒照明光学系统,将来自光源3的光导光并对试样S照射均匀的光。
另一方面,显微镜光学系统22具有物镜25和配置于物镜25的后段侧(二维摄像元件6侧)的成像透镜26,并将试样S的光学图像导光至二维摄像元件6。此外,试样S的光学图像在明视野照明的情况下是由透过光形成的像、在暗视野照明的情况下是由散射光形成的像、在发光观察(荧光观察)的情况下是由发光(荧光)形成的像。另外,也可以是由来自试样S的反射光形成的像。在这些情况下,作为导光光学系统5,可以采用与试样S的透过光图像、散射光图像以及发光(荧光)图像的图像取得相对应的光学系统。
二维摄像元件6是具有多个像素列的摄像元件。作为二维摄像元件6,可以列举例如CCD图像传感器或CMOS图像传感器。如图2所示,在二维摄像元件6的受光面6a,例如由多个像素一维地配置而成的像素列31(第一像素列311、第二像素列312、第三像素列313、……、第M-2像素行31M-、第M-1像素列31M-1、第M像素行31M)以互相平行的方式排列成M列。二维摄像元件6基于从计算机14输出的触发信号的输入,对被导光光学系统5导光的试样S的光学图像以规定的帧率依次进行摄像,并将由摄像取得的图像数据(下述的平铺图像T)输出至计算机14。此外,触发信号也可以从平台驱动部12或位置检测部13输出。
物镜驱动部11例如由步进电动机(脉冲电动机)之类的电动机或压电致动器之类的致动器构成。物镜驱动部11基于下述的物镜控制部101B的控制,在沿物镜25的光轴的Z方向上驱动物镜25。由此,物镜25相对于试样S的焦点位置移动。
平台驱动部12例如由步进电动机(脉冲电动机)之类的电动机或压电致动器之类的致动器构成。平台驱动部12基于下述的平台控制部101C的控制,关于相对于物镜25的光轴的正交面具有规定的角度(例如90°)的面沿XY方向驱动平台2。由此,保持于平台2的试样S相对于物镜的光轴移动,物镜25相对于试样S的视野位置移动。
另外,位置检测部13例如由安装于平台2的线性编码器构成。位置检测部13检测平台2的XY坐标。位置检测部13生成表示检测结果的位置信息,并输出至计算机14。
计算机14在物理上被构成为具备RAM、ROM等的存储器、以及CPU等的处理器(运算电路)、通信接口、硬盘等的存储部、显示器等的显示部。作为该计算机14,可以列举例如个人计算机、微型计算机、云服务器、智能装置(智能电话、平板终端等)等。
计算机14通过由计算机系统的CPU执行存储于存储器的程序,从而如图3所示,发挥作为控制图像取得装置1的动作的控制部101、执行由二维摄像元件6摄像的图像数据的处理的图像处理部102、判断由二维摄像元件6摄像的图像数据的状态的判断部103的作用。另外,计算机14具有存储图像数据等的各种信息的存储部104。此外,计算机14也可以由多个计算机构成,例如,也可以以一台计算机执行控制部101的功能,以其它的计算机执行其它的功能。
更具体地,控制部101由控制光源3的动作的光源控制部101A、控制物镜驱动部11的动作的物镜控制部101B和控制平台驱动部12的动作的平台控制部101C构成。控制部101通过光源控制部101A、物镜控制部101B以及平台控制部101C,控制光源3、平台驱动部12和二维摄像元件6所进行的道扫描的执行。在下文中,对道扫描进行说明。
在图像取得装置1中,例如以20倍或40倍之类的高倍率进行试样S的摄像。因此,相对于试样S,物镜25的视野小,可以以一次摄像取得图像的区域也相对于试样S小。因此,为了对试样S的整体进行摄像,需要使物镜25的视野相对于试样S移动。因此,在图像取得装置1中,相对于保持试样S的载玻片以包含试样S的方式设定图像取得区域,并对图像取得区域执行道扫描。
在本实施方式中的道扫描中,作为事前设定,如图4所示,预先通过宏观图像取得装置(未图示)取得载玻片整体的宏观图像,并基于所取得的宏观图像来设定相对于试样S的图像取得区域32。在设定图像取得区域32时,为了使宏观图像中的试样S的范围的特定容易化,优选进行宏观图像的二值化。在图像取得区域32的设定之后,为了焦点图的制作,设定图像取得区域32中的焦点测量位置。
在图4所示的例子中,图像取得区域32被矩阵状地分割成九份,焦点测量位置P被设定于各分割区域33的中央。另外,在分割区域33的中央偏离试样S的情况下,通过用户的手动的设定等,在试样S所位于的任意的位置处设定焦点测量位置P。接下来,将载玻片设置于作为微观图像取得装置的图像取得装置1,以物镜25位于各焦点测量位置P上的方式使平台2移动。然后,在各焦点测量位置P上一边沿Z方向驱动物镜25,一边取得分割区域33中的多个二维图像,基于所取得的二维图像的对比度来决定聚焦位置。将最小二乘法应用于在各个焦点测量位置P上分别决定的聚焦位置,制作试样S的焦点图。
焦点图的制作后,设定图像取得区域32中的摄像位置。物镜25的试样S上的视野F通过使用的物镜25的倍率等预先确定。因此,通过相对于设定的图像取得区域32分配视野F的大小,在图像取得区域32以矩阵状设定多个摄像位置34。在图5所示的例子中,在图像取得区域32,在Y方向上设定有第一~第n为止的多根道,在各道,在X方向(扫描方向)上设定有第一~第m为止的多个摄像位置34。各摄像位置34的XY坐标和从焦点图求得的摄像位置34的Z坐标与各道中的摄像位置34的数量一同被存储于存储部104。
在道扫描中,一边使平台2沿XY方向移动,一边通过瞬时光L对试样S的一部分进行闪光摄影。当平台2通过组合X平台和Y平台来构成时,考虑平台2的X轴和Y轴不完全正交,各道中的摄像位置34的Y坐标不一致。因此,在摄像位置34的设定时,优选如上所述包含摄像位置34的Y坐标。在自平台2的X轴和Y轴之间的正交起的偏差小至可以忽略的程度的情况下,为了处理的简单化,也可以仅将摄像位置34的XZ坐标存储于存储部104。
图像取得装置1通过由二维摄像元件6对对应于摄像位置34的试样S的一部分进行摄像,从而分别取得对应于摄像位置34的平铺图像T。在物镜25的视野F移动至接下来进行摄像的摄像位置34之后,再次进行摄像而取得下一平铺图像T。然后,在图像取得装置1中,重复执行在每根道上对摄像位置34进行依次摄像的动作,进行由多个平铺图像列R构成的图像数据的取得。
利用平台控制部101C的物镜25的视野位置的移动方式采用例如如图5所示在各道中扫描方向成为相同方向的单方向扫描(Uni-directional scanning)。物镜25的视野位置的移动方式不限于单方向扫描,也可以采用在相邻的道间使扫描方向反转的双方向扫描(Bi-directional scanning)。另外,光源控制部101A从光源3使瞬时光L照射。在本实施方式中,如图6所示,二维摄像元件6交替地执行曝光和读出,在像素列31(第一像素列311、第二像素列312、第三像素列313……第M像素行31M)的曝光期间中向光源控制部101A输出触发信号。光源控制部101A基于触发信号从光源3使瞬时光L照射。
二维摄像元件6的读出方式可以是各像素列31的曝光期间一致的全局快门方式,也可以是各像素列31的曝光期间各规定时间地错开的滚动快门方式。触发信号例如基于通过位置检测部13检测出的平台2的位置信息,当通过平台2的驱动物镜25的视野F移动至成为摄像对象的摄像位置34时,从控制部101向二维摄像元件6和光源控制部101A输出。另外,也可以通过控制部101对用于控制平台驱动部12的时钟数进行计数,当达到规定的计数数时,从控制部101向二维摄像元件6和光源控制部101A输出触发信号。此外,在组合瞬时光L和滚动快门方式的情况下,当像素列31的全部曝光时,需要输出瞬时光L。因此,可以以当通过平台2的驱动将物镜25的视野F移动至成为摄像对象的摄像位置34时输出瞬时光L的方式,向光源控制部101A输出触发信号。
图像处理部102执行从二维摄像元件6输出的图像数据的处理。图像处理部102接收从二维摄像元件6输出的平铺图像T,合成在各道中取得的平铺图像列R,从而生成试样S整体的观察图像数据。在生成观察图像数据时,例如也可以基于从位置检测部13输出的位置信息,将相邻的平铺图像T、T的一部分彼此重叠。
判断部103对在一根道中取得的平铺图像列R所包含的平铺图像T的图像数进行计数,判断图像数是否达到预先设定的取得预定数。在图5所示的例子中,各道中的摄像位置34的数量是m个,平铺图像列R由m个平铺图像T构成。因此,判断部103参照存储部104,当在一根道中取得的平铺图像列R所包含的平铺图像T为m个时,判断为平铺图像T的图像数达到预先设定的取得预定数,当平铺图像T小于m个时,判断为平铺图像T的图像数未达到预先设定的取得预定数。判断部103可以在每当一根道中的摄像的结束时对平铺图像列R所包含的平铺图像T的图像数进行计数,也可以在所有的道中的摄像的结束后对各平铺图像列R所包含的平铺图像的图像数进行计数。
在判断部103判断为一根道中的平铺图像列R的图像数未达到预先设定的取得预定数的情况下,向控制部101输出指示相对于该道的道扫描的再执行的指示信息。接收到指示信息的控制部101对被判断为平铺图像T的图像数未达到预先设定的取得预定数的道再执行光源3、平台驱动部12和二维摄像元件6所进行的道扫描。当控制部101再执行道扫描时,也可以将平台2的速度V1设定为比初次道扫描时的速度V0慢的速度。例如,控制部101将道扫描的再执行时的平台2的速度V1设定为初次道扫描时的速度V0的2/3以下。
接下来,对使用了上述的图像取得装置1的图像取得方法进行说明。
图7是示出使用图像取得装置1的图像取得方法的一个例子的流程图。如该图所示,在该图像取得方法中,作为事前设定,首先,制作焦点图(步骤S01)。在此,预先通过宏观图像取得装置(未图示)取得载玻片整体的宏观图像,并基于所取得的宏观图像来设定相对于试样S的图像取得区域32。在图像取得区域32的设定之后,设定图像取得区域32中的焦点测量位置,基于在各焦点测量位置P处取得的二维图像的对比度来决定聚焦位置。然后,将最小二乘法应用于在各焦点测量位置P处分别决定的聚焦位置,制作试样S的焦点图。
在焦点图的制作之后,设定执行道扫描时的平台2的速度V0(步骤S02)。另外,基于制作的宏观图像,设定图像取得区域32中的摄像位置34(步骤S03)。即,在图像取得区域32中,在Y方向上设定第一~第n为止的多根道,在各道中,在X方向上设定第一~第m为止的多个摄像位置34。然后,将各摄像位置34的XY坐标和从焦点图求得的摄像位置34的Z坐标与各道中的摄像位置34的数量一同存储于存储部104。
在摄像位置34的设定之后,从存储部104读出所有的摄像位置34的坐标,以物镜25的视野位置位于道扫描的开始位置的方式将平台2相对于物镜25进行定位(步骤S04:定位步骤)。此时,以相对于平台2的物镜25的高度也位于开始位置的方式控制物镜驱动部11。然后,执行相对于一根道的道扫描(步骤S05)。在道扫描中,如图8所示,首先,通过平台2的驱动,使物镜25的视野位置移动至摄像位置34(步骤S11)。此时,由位置检测部13检测平台2的位置(步骤S12:位置检测步骤)。
基于平台2的位置检测结果,在物镜25的视野位置到达摄像位置34的时刻生成触发信号(步骤S13),进行瞬时光L的照射和试样S的摄像(步骤S14:摄像步骤)。在该摄像步骤中,一边使平台2在道扫描的扫描方向上以速度V0移动,一边与瞬时光L的照射同步地通过二维摄像元件6对试样S的光学图像进行摄像,取得摄像位置34中的平铺图像T。另外,在摄像步骤中,基于通过位置检测步骤生成的平台2的位置信息,使二维成像装置6的摄像和瞬时光L的出射同步。
在一个摄像位置34中的摄像的执行之后,判断物镜25的视野位置是否到达道的终点位置(步骤S15)。在判断为物镜25的视野位置未到达道的终点位置的情况下,对下一摄像位置34重复执行步骤S11~步骤S15为止的处理,取得包含于该道的各摄像位置34上的平铺图像列R。在判断为物镜25的视野位置到达道的终点位置的情况下,相对于该道的处理完成。
在相对于一根道的道扫描完成之后,如图7所示,对在一根道中取得的平铺图像列R所包含的平铺图像T的图像数进行计数(步骤S06),判断图像数是否达到预先设定的取得预定数(步骤S07:判断步骤)。在判断步骤中判断为图像数未达到预先设定的取得预定数的情况下,再执行相对于该道的道扫描(再执行步骤)。在再执行步骤中,在将平台2的速度再设定为比在步骤S02中设定的速度V0慢的速度V1之后(步骤S08),再执行步骤S03~S07的处理。
另一方面,在判断步骤中判断为图像数达到预先设定的取得预定数的情况下,判断在所有的道中道扫描完成了么(步骤S09)。在判断为道扫描未完成的情况下,相对于下一道重复执行步骤S02~步骤S09的处理。在相对于之前的道进行了道扫描的再执行的情况下,在相对于下一根道的步骤S02的处理中,将平台2的速度再设定为速度V0。在判断为道扫描完成了的情况下,合成通过各道的道扫描所取得的平铺图像列R,生成试样S整体的观察图像数据(步骤S10)。
在图7所示的例子中,在每当一根道中的摄像的结束时对该平铺图像列R所包含的平铺图像T的图像数进行计数,但也可以如图9所示,在所有的道中的摄像的结束后对各平铺图像列R所包含的平铺图像T的图像数进行计数。在图9所示的例子中,与图7中的步骤S01~S05同样地,进行焦点图的制作(步骤S21)、平台速度的设定(步骤S22)、摄像位置的设定(步骤S23)、向道扫描的开始位置的物镜25的定位(步骤S24)以及道扫描的执行(步骤S25)的各处理。
在道扫描的执行之后,判断在所有的道中道扫描是否完成了(步骤S26)。在判断为所有的道扫描未完成的情况下,相对于下一根道重复执行步骤S22~步骤S26的处理。在判断为所有的道扫描完成了的情况下,对在各道中所取得的平铺图像列R所包含的平铺图像T的图像数进行计数(步骤S27),判断图像数是否达到预先设定的取得预定数(步骤S28:判断步骤)。
在判断步骤中判断为图像数未达到预先设定的取得预定数的情况下,再执行相对于该道的道扫描(再执行步骤)。在再执行步骤中,在将平台2的速度再设定为比在步骤S22中设定的速度V0慢的速度V1之后(步骤S29),再执行步骤S23~S28的处理。在判断步骤中判断为图像数达到预先设定的取得预定数的情况下,合成在各道的道扫描中所取得的平铺图像列R,生成试样S整体的观察图像数据(步骤S30)。
如以上所说明的那样,在图像取得装置1中,当通过道扫描对试样S的光学图像进行摄像时,对在一根道中取得的平铺图像列R所包含的平铺图像T的图像数进行计数,判断图像数是否达到预先设定的取得预定数。然后,在判断为图像数未达到取得预定数的情况下,再执行相对于该道的道扫描。因此,即使因环境负荷而发生平铺图像T的丢失,也可以通过道扫描的再执行来补全平铺图像T,可以防止观察图像中的平铺图像T的丢失。
另外,在图像取得装置1中,当再执行道扫描时,控制部101将平台2的移动速度设定为比规定速度慢的速度。由此,可以抑制当道扫描的再执行时产生平铺图像T的丢失。
另外,在图像取得装置1中,通过位置检测部13检测平台2的位置,控制部101基于通过位置检测部13生成的平台2的位置信息,使二维摄像元件6的摄像与光源3的瞬时光L的出射同步。由此,可以适当地执行在试样S的目标位置处的平铺图像T的取得。
另外,在图像取得装置1中,判断部103可以在每当一根道中的摄像的结束时对平铺图像列R所包含的平铺图像T的图像数进行计数。在这种情况下,由于在各平铺图像列R的取得时判断平铺图像T的补全的需要与否,因此可以在道扫描的结束的同时得到没有平铺图像T的丢失的观察图像。
另外,在图像取得装置1中,判断部103可以在所有的道中的摄像的结束后对各平铺图像列R所包含的平铺图像T的图像数进行计数。在这种情况下,由于在所有的平铺图像列R的取得后判断平铺图像T的补全的需要与否,因此在没有平铺图像T的丢失的情况下,可以缩短得到观察图像为止的时间。
符号的说明
1…图像取得装置、2…平台、3…光源(光出射部)、5…导光光学系统、6…二维摄像元件、12…平台驱动部(驱动部)、13…位置检测部、25…物镜、101…控制部、103…判断部、L…瞬时光、R…平铺图像列、T…平铺图像、S…试样。

Claims (10)

1.一种图像取得装置,其中,
具备:
平台,其保持试样;
光出射部,其出射瞬时光;
导光光学系统,其包含以与所述平台上的所述试样相对的方式配置的物镜;
驱动部,其使所述试样在与所述物镜的光轴交叉的扫描方向上以规定速度移动;
二维摄像元件,其通过与所述光出射部和所述驱动部的协作,从而由道扫描对被所述导光光学系统导光的所述试样的光学图像进行摄像,并取得由多个平铺图像列构成的观察图像数据;
控制部,其控制所述光出射部、所述驱动部和所述二维摄像元件所进行的所述道扫描的执行;以及
判断部,其对在一根道中取得的所述平铺图像列所包含的平铺图像的图像数进行计数,判断所述图像数是否达到预先设定的取得预定数,
所述控制部在根据所述判断部判断为所述图像数未达到所述取得预定数的情况下,再执行对所述一根道的道扫描。
2.根据权利要求1所述的图像取得装置,其中,
所述控制部在再执行所述道扫描时,将所述平台的移动速度设定为比所述规定速度慢的速度。
3.根据权利要求1或2所述的图像取得装置,其中,
进一步具备检测所述平台的位置的位置检测部,
所述控制部基于由所述位置检测部生成的所述平台的位置信息,使所述二维摄像元件的摄像与所述光出射部的所述瞬时光的出射同步。
4.根据权利要求1~3中任一项所述的图像取得装置,其中,
所述判断部每当所述一根道中的摄像的结束时对平铺图像列所包含的平铺图像的图像数进行计数。
5.根据权利要求1~3中任一项所述的图像取得装置,其中,
所述判断部在所有的道中的摄像的结束后对各平铺图像列所包含的平铺图像的图像数进行计数。
6.一种图像取得方法,其中,
包括:
定位步骤,以物镜的视野位置位于道扫描的开始位置的方式,将保持有试样的平台相对于所述物镜进行定位;
摄像步骤,其一边使所述平台在所述道扫描的扫描方向上以规定速度移动,一边与瞬时光的照射同步地通过二维摄像元件对所述试样的光学图像进行摄像,取得由多个平铺图像列构成的观察图像数据;
判断步骤,其对在一根道中取得的所述平铺图像列所包含的平铺图像的图像数进行计数,判断所述图像数是否达到预先设定的取得预定数;以及
再执行步骤,其在所述判断步骤中判断为所述图像数未达到所述取得预定数的情况下,再执行对所述一根道的道扫描。
7.根据权利要求6所述的图像取得方法,其中,
在所述再执行步骤中,将所述平台的移动速度设定为比所述规定速度慢的速度。
8.根据权利要求6或7所述的图像取得方法,其中,
进一步具备检测所述平台的位置的位置检测步骤,
在所述摄像步骤中,基于由所述位置检测步骤生成的所述平台的位置信息,使所述二维摄像元件的摄像与所述瞬时光的出射同步。
9.根据权利要求6~8中任一项所述的图像取得方法,其中,
在所述判断步骤中,每当所述一根道中的摄像的结束时对平铺图像列所包含的平铺图像的图像数进行计数。
10.根据权利要求6~8中任一项所述的图像取得方法,其中,
在所述判断步骤中,在所有的道中的摄像的结束后对各平铺图像列所包含的平铺图像的图像数进行计数。
CN201880055846.1A 2017-08-31 2018-05-28 图像取得装置和图像取得方法 Active CN111033352B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017167294A JP6842387B2 (ja) 2017-08-31 2017-08-31 画像取得装置及び画像取得方法
JP2017-167294 2017-08-31
PCT/JP2018/020375 WO2019044076A1 (ja) 2017-08-31 2018-05-28 画像取得装置及び画像取得方法

Publications (2)

Publication Number Publication Date
CN111033352A true CN111033352A (zh) 2020-04-17
CN111033352B CN111033352B (zh) 2021-08-03

Family

ID=65527241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880055846.1A Active CN111033352B (zh) 2017-08-31 2018-05-28 图像取得装置和图像取得方法

Country Status (5)

Country Link
US (2) US11280991B2 (zh)
EP (1) EP3677946B1 (zh)
JP (2) JP6842387B2 (zh)
CN (1) CN111033352B (zh)
WO (1) WO2019044076A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6842387B2 (ja) * 2017-08-31 2021-03-17 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
JP2021083408A (ja) * 2019-11-29 2021-06-03 株式会社島津製作所 検査方法および検査装置
KR102258958B1 (ko) * 2019-12-26 2021-06-02 나노스코프시스템즈 주식회사 고속 이미징 방법 및 이를 이용한 고속 이미징 현미경

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001084209A2 (en) * 2000-05-03 2001-11-08 Dirk Soenksen Fully automatic rapid microscope slide scanner
US20060034543A1 (en) * 2004-08-16 2006-02-16 Bacus James V Method and apparatus of mechanical stage positioning in virtual microscopy image capture
CN101952762A (zh) * 2008-01-02 2011-01-19 加利福尼亚大学董事会 高数值孔径远程显微镜设备
WO2015174057A1 (en) * 2014-05-15 2015-11-19 Canon Kabushiki Kaisha Image processing apparatus and imaging apparatus
WO2016079853A1 (ja) * 2014-11-20 2016-05-26 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
CN105683806A (zh) * 2013-11-01 2016-06-15 浜松光子学株式会社 图像取得装置以及图像取得装置的图像取得方法
CN105683805A (zh) * 2013-11-01 2016-06-15 浜松光子学株式会社 图像取得装置以及图像取得装置的图像取得方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863993B2 (ja) 1998-03-18 2006-12-27 オリンパス株式会社 顕微鏡
US7155049B2 (en) * 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
JP2006308337A (ja) 2005-04-26 2006-11-09 Honda Electronic Co Ltd 光学顕微鏡用超音波プローブ、超音波顕微鏡システム、及び光学/超音波顕微鏡システム
US8870751B2 (en) * 2010-09-28 2014-10-28 Fujifilm Corporation Endoscope system, endoscope image recording apparatus, endoscope image acquisition assisting method and computer readable medium
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
US20130077892A1 (en) 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
JP2016125913A (ja) 2015-01-05 2016-07-11 キヤノン株式会社 画像取得装置及び画像取得装置の制御方法
JP6619217B2 (ja) 2015-11-26 2019-12-11 オリンパス株式会社 顕微鏡システムとその制御方法
JP6842387B2 (ja) * 2017-08-31 2021-03-17 浜松ホトニクス株式会社 画像取得装置及び画像取得方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001084209A2 (en) * 2000-05-03 2001-11-08 Dirk Soenksen Fully automatic rapid microscope slide scanner
US20060034543A1 (en) * 2004-08-16 2006-02-16 Bacus James V Method and apparatus of mechanical stage positioning in virtual microscopy image capture
CN101952762A (zh) * 2008-01-02 2011-01-19 加利福尼亚大学董事会 高数值孔径远程显微镜设备
CN105683806A (zh) * 2013-11-01 2016-06-15 浜松光子学株式会社 图像取得装置以及图像取得装置的图像取得方法
CN105683805A (zh) * 2013-11-01 2016-06-15 浜松光子学株式会社 图像取得装置以及图像取得装置的图像取得方法
WO2015174057A1 (en) * 2014-05-15 2015-11-19 Canon Kabushiki Kaisha Image processing apparatus and imaging apparatus
WO2016079853A1 (ja) * 2014-11-20 2016-05-26 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
EP3677946A1 (en) 2020-07-08
US20220128807A1 (en) 2022-04-28
JP2019045632A (ja) 2019-03-22
WO2019044076A1 (ja) 2019-03-07
US11280991B2 (en) 2022-03-22
CN111033352B (zh) 2021-08-03
US11698519B2 (en) 2023-07-11
JP2021101241A (ja) 2021-07-08
JP7093435B2 (ja) 2022-06-29
JP6842387B2 (ja) 2021-03-17
EP3677946A4 (en) 2021-06-23
US20200257099A1 (en) 2020-08-13
EP3677946B1 (en) 2024-06-12

Similar Documents

Publication Publication Date Title
JP7093435B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP6266601B2 (ja) 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
EP3064981B1 (en) Image acquisition device and image acquisition method for image acquisition device
JP2015001531A (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
US20150358533A1 (en) Control method for imaging apparatus and imaging system
US20190265457A1 (en) Image acquisition device and method and system for acquiring focusing information for specimen
US20160142617A1 (en) Image acquisition device and image acquisition device focusing method
WO2014174919A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
US10422987B2 (en) Image acquisition device and image acquisition method for image acquisition device
CN105651699B (zh) 一种基于面阵相机的动态跟焦方法
WO2019123869A1 (ja) 画像取得装置及び画像取得方法
JP6076205B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
US20110085215A1 (en) Image-capturing system
EP2947487A1 (en) Image acquisition device and focus method for image acquisition device
JP6023012B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2021043383A1 (en) Microscope and method for imaging an object using a microscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant