CN110967820B - 显微镜系统的控制方法、显微镜系统、记录介质 - Google Patents

Abstract

本发明公开显微镜系统的控制方法、显微镜系统、记录介质。更容易取得期望的超分辨率图像。显微镜系统(300)的控制方法包括：将由摄像部(10b)依次摄像的多个第1图像显示于第1显示区域(31)的工序(步骤S2)；将根据从第1图像抽出的信息模拟超分辨率图像而生成的第2图像显示于第2显示区域(32)的工序(步骤S4)；以及使用在第1图像的摄像中使用的第1摄像条件通过摄像部(10b)对用于构筑超分辨率图像的多个第3图像依次进行摄像的工序(步骤S7)。

Description

显微镜系统的控制方法、显微镜系统、记录介质

技术领域

本发明涉及显微镜系统的控制方法、以及用于取得该超分辨率图像的显微镜系统等。

背景技术

能够观察活着的状态的细胞的荧光成像法承担为了解释生命现象而重要的作用。光学显微镜的分辨率由于光的衍射界限大致是200nm程度，所以为了观察在细胞中存在的复杂的构造是不充分的。

但是，近年来，提出用于取得实现超过光的衍射界限的分辨率的图像(以下记载为超分辨率图像)的各种技术，利用超分辨率图像的研究以及检查已经出现在我们身边。例如，在专利文献1中公开了取得超分辨率图像的显微镜装置。

在专利文献1中，公开了用于取得超分辨率图像的显微镜装置。专利文献1的显微镜装置具备：(i)框体部，在内部配置有试样设置部、光学系统、及摄像部；以及(ii)移动部，一体地设置有显示由摄像部摄像的图像的显示部，能够相对于试样设置部相对移动。

在专利文献1的显微镜装置中，在显示部的显示画面中，包括照相机画面显示区域和超分辨率图像显示区域。在照相机画面显示区域中，显示由摄像部(更严密而言摄像元件)实时地摄像的照相机图像。在超分辨率图像显示区域中，显示由显微镜装置构筑的超分辨率图像。

现有技术文献

专利文献1：日本特开2018-44997号公报

发明内容

虽然超分辨率图像的利用已经出现在我们身边，但不容易取得期望的超分辨率图像。例如，在使用专利文献1的显微镜装置来构筑超分辨率图像的情况下，通过下述所示的(工序1)～(工序6)进行。(工序1)设置试样并开始摄像；(工序2)在照相机画面显示区域中，显示实时地摄像的照相机图像；(工序3)进行摄像的视场的决定以及摄像参数的设定；(工序4)开始摄像；(工序5)保存摄像的多个图像；(工序6)决定超分辨率图像的构筑；(工序7)在超分辨率图像显示区域中，显示构筑的超分辨率图像。

上述工序中的、特别是(工序3)以及(工序6)并不容易，可能成为期望的超分辨率图像的取得失败的原因。例如，在(工序3)中，根据实时地摄像的照相机图像决定视场并适合地设定摄像参数，这即便是积累经验的用户，在大多数的情况下也需要试错。另外，在(工序6)中，用户必须在不知道构筑什么样的超分辨率图像的阶段，决定是否进行超分辨率图像的构筑。

另外，在(工序7)中显示的超分辨率图像并非期望的图像的情况下，需要重新执行(工序3)～(工序7)。但是，在使用对为了观察试样而使用的荧光色素分子发出的荧光进行摄像而得到的图像来构筑超分辨率图像的情况下，来自荧光色素分子的荧光强度由于光的照射而衰减，所以无法反复多次重新摄像。

本发明是鉴于上述问题而完成的，其目的在于更容易地取得期望的超分辨率图像。

为了解决上述课题，本发明的一个方案提供一种显微镜系统(300)的控制方法，该显微镜系统(300)具备：摄像部(10b)；以及显示部(21)，具有第1显示区域(31)及第2显示区域(32)，其中，所述控制方法包括：将由摄像部(10b)依次摄像的多个第1图像依次显示于第1显示区域(31)的工序(步骤S2)；以及将根据从依次摄像的多个第1图像抽出的信息生成的第2图像显示于第2显示区域(32)的工序(步骤S4)。

在此，“第1图像”表示，在生成第2图像的阶段(第1阶段)中由摄像部(10b)实时地摄像的图像。“第1图像”还被称为“实况图像”。另外，“第2图像”表示，用于在构筑超分辨率图像之前，使显微镜系统(300)的用户确认包含于该超分辨率图像的区域、以及该超分辨率图像的构图等的图像。由此，“第2图像”还被称为“预览图像”。

根据上述结构，通过使第2图像(预览图像)显示于第2显示区域(32)，能够使显微镜系统(300)的用户粗略地预测超分辨率图像的显示内容。即，能够在构筑超分辨率图像之前，确认当前时间点的摄像条件是否适合于该超分辨率图像的构筑。因此，与以往相比，能够更容易地取得期望的超分辨率图像。进而，还起到能够降低超分辨率图像的取得时间这样的效果。

另外，显微镜系统(300)的控制方法也可以还包括通过摄像部(10b)对用于构筑超分辨率图像的多个第3图像依次进行摄像的工序。

“第3图像”表示，在构筑超分辨率图像的阶段(第2阶段)中，由摄像部(10b)摄像的图像中的、成为构筑该超分辨率图像的对象的图像。“第3图像”还被称为“对象图像”。

通过上述结构，能够对用于构筑超分辨率图像的第3图像进行摄像。

另外，显微镜系统(300)的控制方法也可以还包括：针对多个第1图像进行第1处理而生成第2图像的工序；以及针对多个第3图像进行与第1处理不同的第2处理而进行超分辨率图像的构筑的工序。

另外，在显微镜系统(300)的控制方法中，也可以在第2处理中进行通过模板匹配从多个第1图像抽出亮点的处理，在第1处理中不进行模板匹配。

另外，在显微镜系统(300)的控制方法中，也可以在第2处理中，针对抽出的亮点通过基于点像分布函数的拟合来确定亮点的中心位置，在第1处理中，不进行利用基于点像分布函数的拟合进行的亮点的中心位置的确定。

另外，在显微镜系统(300)的控制方法中，也可以在第2处理中进行针对摄像中的载置台漂移的校正，在第1处理中不进行针对载置台漂移的校正。

通过上述结构，能够根据多个第3图像适合地构筑超分辨率图像。

另外，在显微镜系统(300)的控制方法中，也可以所述第2图像是简易地模拟超分辨率图像而得到的预览图像。

根据上述结构，通过使预览图像显示于第2显示区域(32)，能够使显微镜系统(300)的用户粗略地预测超分辨率图像的显示内容。

另外，显微镜系统(300)的控制方法也可以还包括在将第2图像显示于第2显示区域(32)之后受理变更第1摄像条件的输入的工序(步骤S6)。

另外，显微镜系统(300)的控制方法也可以是在受理到变更第1摄像条件的输入之后使用该变更后的第1摄像条件进行第1图像的摄像的结构。

另外，显微镜系统(300)的控制方法也可以还包括在将第2图像显示于第2显示区域(32)之后受理为了构筑超分辨率图像而进行第3图像的摄像的指示的工序(步骤S9)。

通过生成表示从第1图像抽出的亮点的第2图像，并显示为虚拟的超分辨率图像，从而即使不实际上构筑超分辨率图像，也能够使用户判断摄像对象、该时间点的摄像位置是否适合。通过在用户判断为摄像对象以及摄像位置适合之后，进行用于构筑超分辨率图像的摄像，从而能够防止使用不适合的图像来进行超分辨率图像的构筑。

显微镜系统(300)的控制方法也可以还包括在受理到所述指示之后受理在第3图像的摄像中与第1摄像条件一起使用的第2摄像条件的输入的工序(步骤S6)。

另外，在显微镜系统(300)的控制方法中，也可以摄像条件包括摄像的试样的范围、曝光时间、用于摄像的光源的种类。

通过适合地设定对第3图像进行摄像的摄像条件，能够对作为用于构筑超分辨率图像的图像适合的图像进行摄像。

另外，在显微镜系统(300)的控制方法中，也可以第2摄像条件包括多个第3图像的数量。

另外，在显微镜系统(300)的控制方法中，也可以第1图像是荧光图像，从第1图像抽出的信息是与第1图像的亮点有关的信息。

通过上述结构，能够将模拟超分辨率图像而得到的图像生成为预览图像。

另外，在显微镜系统(300)的控制方法中，也可以所述摄像条件包括摄像的试样的范围、曝光时间、用于摄像的光源的种类、或者摄像的第3图像的数量。

另外，在显微镜系统(300)的控制方法中，也可以多个第3图像是对试样连续地进行摄像而得到的连续图像。

通过使用对试样连续地进行摄像而得到的连续图像，能够适合地构筑荧光明灭的试样的超分辨率图像。

另外，显微镜系统(300)的控制方法也可以还包括作为用于构筑超分辨率图像的处理条件，受理指定所述第3图像中的成为构筑对象的区域的信息、以及确定所述多个第3图像中的成为构筑对象的图像的信息的至少一方的输入的工序(步骤S24)。

通过上述结构，能够从摄像的多个第3图像，缩减适合于在超分辨率图像的构筑中使用的图像或者其区域，从而能够缩短超分辨率图像的构筑所需的时间。

另外，显微镜系统(300)的控制方法也可以还包括：将摄像的多个第3图像的至少一部分、或者通过合成多个第3图像而得到的合成图像显示于显示部(21)的工序(步骤S21)；使用多个第3图像的至少一部分来构筑超分辨率图像的工序(步骤S25)；以及将构筑的超分辨率图像显示于显示部(21)的工序(步骤S26)。

通过将摄像的多个第3图像的至少一部分、或者通过合成多个第3图像而得到的合成图像显示于显示部(21)，能够使用户确认摄像的第3图像作为用于构筑超分辨率图像的图像是否适合。根据由该用户实施的确认进行超分辨率图像的构筑，所以能够防止使用不适合的图像来进行超分辨率图像的构筑。

另外，显微镜系统(300)的控制方法也可以还包括一边使摄像部(10b)摄像的试样的范围变化一边取得多个第1图像的工序(步骤S43)。

另外，显微镜系统(300)的控制方法也可以还包括使将一边使摄像的试样的范围变化一边在多个摄像位置摄像的多个荧光图像接在一起而得到的宽视场的荧光图像显示于显示部(21)的工序(步骤S44)。宽视场的荧光图像既可以显示于第1显示区域(31)，也可以显示为弹出画面(310)，还可以进行其两方。

根据上述结构，通过一边使摄像位置变化一边对多个第1图像进行摄像，能够取得宽视场的图像。通过显示将这样取得的多个第1图像接在一起而得到的图像，能够对用户表示宽视场的摄像图像。

另外，在显微镜系统(300)的控制方法中，也可以所述第3图像是荧光图像，一边使摄像部(10b)的摄像位置变化一边在各摄像位置检测荧光强度，在检测到比预定的阈值大的荧光强度的摄像位置对所述多个第3图像进行摄像。

通过上述结构，在超分辨率图像的构筑中不使用具有预定的阈值以下的荧光强度的图像，能够缩短超分辨率图像的构筑所需的时间。

另外，本发明的其他方案所涉及的显微镜系统(300)具备：摄像部(10b)；以及显示部(21)，具有第1显示区域(31)及第2显示区域(32)，其中，显示部(21)将由摄像部(10b)依次摄像的多个第1图像依次显示于第1显示区域(31)，将根据从依次摄像的多个第1图像抽出的信息生成的第2图像显示于第2显示区域(32)。

通过该显微镜系统(300)，也通过使第2图像(预览图像)显示于第2显示区域(32)，能够使用户粗略地预测超分辨率图像的显示内容。因此，能够更容易地取得期望的超分辨率图像。

另外，在显微镜系统(300)中，也可以摄像部(10b)对用于构筑超分辨率图像的多个第3图像依次进行摄像。

另外，在显微镜系统(300)中，也可以还具备控制装置(200)，控制装置(200)针对多个所述第1图像进行第1处理而生成第2图像，针对多个第3图像进行与所述第1处理不同的第2处理而进行超分辨率图像的构筑。

另外，在显微镜系统(300)中，也可以控制装置(200)在第2处理中进行通过模板匹配从多个所述第1图像抽出亮点的处理，在第1处理中不进行所述模板匹配。

另外，在显微镜系统(300)中，也可以控制装置(200)在第2处理中，针对抽出的亮点通过基于点像分布函数的拟合来确定亮点的中心位置，在第1处理中，不进行利用基于点像分布函数的拟合进行的亮点的中心位置的确定。

另外，在显微镜系统(300)中，也可以控制装置(200)在第2处理中，进行针对摄像中的载置台漂移的校正，在第1处理中，不进行针对载置台漂移的校正。

通过上述结构，能够根据多个第3图像适合地构筑超分辨率图像。

另外，在显微镜系统(300)中，也可以第2图像是简易地模拟超分辨率图像而得到的预览图像。

根据上述结构，通过使预览图像显示于第2显示区域(32)，能够使显微镜系统(300)的用户粗略地预测超分辨率图像的显示内容。

另外，本发明的其他方案所涉及的程序是在显微镜系统(300)中使用的计算机用的程序，该程序使计算机执行：将由摄像部(10b)依次摄像的多个第1图像依次显示于显示部(21)的第1显示区域(31)的工序(步骤S21)；以及将根据从依次摄像的多个第1图像抽出的信息生成的第2图像显示于显示部(21)的第2显示区域的工序(步骤S25)。

另外，记录有上述程序的计算机可读取的记录介质也包含于本发明的技术范围。

另外，本发明的其他方案所涉及的显微镜系统(300)的控制方法是具备摄像部以及显示部的显微镜系统的控制方法，其中，包括：将由摄像部(10b)依次摄像的多个第1图像依次显示于显示部(21)的工序；将根据从依次摄像的多个第1图像抽出的信息生成的第2图像显示于显示部(21)的工序；以及将根据由摄像部(10b)依次摄像的多个第3图像构筑的超分辨率图像显示于显示部(21)的工序。

另外，本发明的其他方案所涉及的显微镜系统(300)具备摄像部(10b)以及显示部(21)，其中，显示部(21)具备第1显示区域(31)以及第2显示区域(32)，将由摄像部(10b)依次摄像的多个第1图像依次显示于第1显示区域(31)，将根据从依次摄像的多个第1图像抽出的信息生成的第2图像显示于第2显示区域(32)，显示根据由摄像部(10b)依次摄像的多个第3图像构筑的超分辨率图像。

根据上述结构，通过使第2图像(预览图像)显示于第2显示区域(32)，能够使显微镜系统(300)的用户粗略地预测超分辨率图像的显示内容。即，能够在构筑超分辨率图像之前，确认当前时间点的摄像条件是否适合于该超分辨率图像的构筑。因此，与以往相比，能够更容易地取得期望的超分辨率图像。进而，还起到能够降低超分辨率图像的取得时间这样的效果。

根据本发明，能够比以往降低超分辨率图像的取得时间。

附图说明

图1是示出本发明的实施方式1所涉及的显微镜系统的一个结构例的立体图。

图2的(a)以及(b)分别是示出包含于图1的显微镜系统的显微镜装置的一个结构例的立体图。

图3是示出包含于图2的显微镜装置的光源的一个结构例的图。

图4是概略地示出包含于图1的显微镜系统的控制部及其周边的各部的结构的功能框图。

图5是示出第1阶段中的显示部的布局的一个例子的图。

图6是用于说明预览图像生成部中的预览图像生成处理的图。

图7是用于说明超分辨率图像构筑部中的超分辨率图像构筑处理的图。

图8是例示第1阶段中的处理流程的流程图。

图9是示出第2阶段中的显示部的布局的一个例子的图。

图10是例示第2阶段中的处理流程的流程图。

图11是概略地示出本发明的实施方式1的一个变形例所涉及的显微镜系统的结构的功能框图。

图12是示出本发明的实施方式2中的处理流程的流程图。

图13例示宽视场荧光成像模式中的处理流程。

图14的(a)以及(b)分别是示出视场的移动方法的一个例子的图。

图15是示出显示多个视场的预览图像的画面的一个例子的图。

图16是例示多个视场摄像模式中的处理流程的流程图。

(符号说明)

1：预览图像生成部；2：超分辨率图像构筑部；3：显示控制部；4：摄像控制部；10b：摄像部；11：试样设置部；20：移动部；21：显示部；31：第1显示区域；310a：荧光图像；32：第2显示区域；41、42、43：实况图像(第1图像)；44：预览图像(第2图像)；51、52、53：对象图像(第3图像)；54：超分辨率图像；100：显微镜装置；200：控制装置；300：显微镜系统。

具体实施方式

〔实施方式1〕

说明本发明的实施方式1所涉及的显微镜系统300。图1是示出显微镜系统300的一个结构例的立体图。如图1所示，显微镜系统300具备显微镜装置100以及控制装置200。显微镜装置100以及控制装置200可相互发送接收信号地连接。例如，显微镜装置100以及控制装置200以有线或者无线方式可相互通信地连接。

(显微镜装置100的结构)

图2是示出显微镜装置100的一个结构例的立体图。显微镜装置100是用于将载置于试样设置部11的试样放大显示的装置。显微镜装置100的分辨率例如也可以是水平方向20～50nm、Z轴方向约20～50nm。显微镜装置100的分辨率是以往的光学显微镜的大致10倍。试样是从被检体(被验者)提取的生物体试样，例如是细胞、生物体组织等。但是，如后所述，试样不限定于生物体试样。

如图2所示，显微镜装置100具备框体部10和移动部20。显微镜装置100具备摄像部10b和试样设置部11。摄像部10b具备物镜12、光源13、以及摄像元件14。试样设置部11设置于框体部10的上表面(Z1方向侧的面)。

物镜12、光源13、以及摄像元件14设置于框体部10的内部。显微镜装置100具备显示部21。显示部21设置于移动部20的前表面(Y1方向侧的面)。显示部21的显示面21a配置于移动部20的前面侧。显微镜装置100具备使移动部20相对于框体部10相对移动的驱动部10a。但是，如后述变形例所示，在本发明的显微镜系统中，无需与显微镜装置100一体地设置显示部21，例如，也可以与显微镜装置100独立地设置显示部。

以下，将在与显微镜装置100的设置面平行的面内(即水平的面内)正交的2个方向分别设为X方向、Y方向。如图1所示，显微镜装置100具有在俯视时分别沿着X方向以及Y方向的大致矩形形状的外形形状。将X方向设为显微镜装置100的左右方向，将Y方向设为显微镜装置100的前后方向。Y1方向是该装置主体的前面方向，Y2方向是该装置主体的背面方向。将与水平的面正交的上下方向设为Z方向。Z1方向是上方向，Z2方向是下方向。

移动部20能够与显示部21一起相对于框体部10相对移动到覆盖试样设置部11的遮光位置(参照图2的(a))和敞开试样设置部11的敞开位置(参照图2的(b))。具体而言，移动部20通过在与框体部10的设置面大致平行的方向上相对于框体部10相对地滑动移动，从而相对移动到遮光位置以及敞开位置。

由此，能够使移动部20相对于框体部10并非在上下方向(Z方向)上而是在横向(X方向)上相对地移动，所以能够抑制重力的影响，使移动部20相对于框体部10容易地相对移动到遮光位置或者敞开位置。另外，能够将遮光位置以及敞开位置配置于平行的位置，所以在敞开位置也能够在与遮光位置同样的高度位置观察设置于移动部20的显示部21。由此，能够提高显示部21的视觉辨认性。

试样设置部11配置于与框体部10的设置面大致平行的框体部10上表面(Z1方向的面)。因此，在使移动部20相对移动到敞开位置的情况下，能够敞开试样设置部11的上方，所以能够容易地访问试样设置部11。

在移动部20相对于框体部10相对移动到敞开位置的状态下，向试样设置部11设置试样。在移动部20相对于框体部10相对移动到遮光位置的状态下，试样设置部11的试样被摄像。

试样设置部11以除了水平方向的一个方向侧以及上侧以外的部分被壁包围的方式凹状地设置于框体部10的上表面。例如，试样设置部11以除了框体部10的前面侧以及上侧以外的部分被壁包围的方式凹状地设置于框体部10的上表面。试样设置部11在移动部20位于敞开位置的情况下，上侧以及水平方向的一个方向侧被敞开。例如，试样设置部11在移动部20位于敞开位置的情况下，上方(Z1方向)以及前方(Y1方向)被敞开。由此，在移动部20位于敞开位置的情况下，能够更容易地访问试样设置部11。

试样设置部11包括载置台11a。载置台11a能够在水平方向(X方向以及Y方向)和上下方向(Z方向)上移动。载置台11a能够在X方向、Y方向以及Z方向上相互独立地移动。由此，能够使试样相对于物镜12相对移动，所以能够放大观察试样的期望的位置。

如图2的(b)所示，物镜12接近试样设置部11的载置台11a地配置。物镜12被设置成在试样设置部11的载置台11a的下方(Z2方向)与试样设置部11相向。物镜12能够相对于试样设置部11在上下方向上相对移动。

光源13经由物镜12从与摄像元件14相同的一侧对试样照射光。光源13既可以是输出预定的波长的光的例子，也可以是输出不同的多个波长的光的例子。光源13包括发光元件。发光元件例如包括LED(Light Emitting Diode，发光二极管)元件、或者、激光元件等。

图3是示出光源13的一个结构例的图。如图3所示，光源13包括第1光源131a、第2光源131b、反射镜132a、光学滤光片132b、以及风扇133。第1光源131a以及第2光源131b输出相互不同的波长的光。在实施方式1中，说明显微镜装置100使用受激发射抑制显微镜(Stimulated emission depletion microscopy：STED)法来取得荧光图像的情况。在该情况下，例如，第1光源131a射出激发光，第2光源131b射出STED光。第1光源131a以及第2光源131b能够分别输出激光。此外，第2光源131b输出的光既可以是可见光区域的光，也可以是红外区域或者紫外区域的非可见光区域的光。

由第1光源131a输出的光被反射镜132a反射，并且透射光学滤光片132b而从光源13输出。由第2光源131b输出的光被光学滤光片132b反射而从光源13输出。由此，从第1光源131a输出的光和从第2光源131b输出的光在光轴相互一致的状态下从光源13输出。光学滤光片132b例如是二向色镜或者长通滤光片等。

风扇133配置于框体部10的内部，是为了使光源13冷却而设置的。具体而言，风扇133构成为通过驱动而在光源13的周边产生空气的流动来去除从光源13产生的热。风扇133优选在利用摄像元件14摄像试样的过程中停止动作。由此，能够防止在摄像过程中风扇133所致的振动传递到摄像元件14、试样设置部11等，所以能够对试样精度良好地进行摄像。但是，也可以在利用摄像元件14摄像试样的过程中在动作过程中驱动风扇133。

摄像元件14根据从光源13照射的光对试样进行摄像。具体而言，摄像元件14基于通过从光源13照射的光从试样发出的光，对试样的静止图像或者连续图像进行摄像。在由摄像元件14摄像的图像中，例如，包括暗场图像、荧光图像或者明场图像。摄像元件14例如包括CCD(Charge Coupled Device，电荷耦合器件)元件、CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)元件。

如后所述，多个荧光色素分子被结合到试样，在某个定时多个荧光色素分子中的一部分发出荧光。摄像元件14构成为通过以预定的时间间隔(例如30～100毫秒间隔)进行摄像，对多个荧光色素分子中的、在明灭的状态的“明”的定时从荧光色素分子发出的光进行摄像。由此，能够对将各荧光色素分子发出的荧光在空间上分离而捕捉到的图像进行摄像。

显示部21显示由摄像元件14摄像的图像、以及根据摄像图像生成的图像。特别是，显示部21显示后述实况图像、预览图像、对象图像以及超分辨率图像。另外，显示部21能够显示用于操作显微镜装置100的画面、以及表示显微镜装置100的状态的画面。显示部21能够显示基于对试样进行摄像时的程序的画面、以及基于来自外部的控制装置200的信号的画面。

显示部21例如是液晶显示器。在实施方式1的例子中，显示部21配置于移动部20的侧面。例如，显示部21配置于移动部20中的前方侧(Y1方向侧)。通过与移动部20一体地设置显示部21，无需除了显微镜装置100之外单独地设置显示部，所以能够减小显微镜系统300的设置面积。但是，如后所述，也可以将显示部21设置于显微镜装置100的外部。

(试样)

成为摄像对象的物质例如是从生物体提取的组织或者细胞。该组织以及细胞的种类没有特别限定。摄像对象的物质不限于包含于生物体试样的物质，也可以是不由来于生物体试样的物质。例如，摄像对象的物质也可以是荧光珠等产生荧光的粒子等荧光物质。在以下的说明中，设为使用生物体组织作为摄像对象的物质。

在STED法中，利用受激发射来取得荧光图像。受激发射是指，在对处于活性状态的荧光色素分子照射能量比激发光低的光的情况下，该荧光色素分子不会发出荧光，而强制地返回到非活性状态的现象。通过STED法取得荧光图像的处理的流程例如如下所述。(1)首先，使荧光色素分子均匀地分布于试样。(2)接下来，朝向存在于预定的位置的试样照射作为斑点光的激发光。(3)然后，以包围激发光的斑点的方式，对上述试样照射STED光。由此，在除了斑点以外的周围的区域中，抑制由荧光色素分子射出荧光，所以仅能够在与该斑点对应的位置处观测到荧光。(4)然后，将激发光的斑点变更为其他位置，反复上述(2)～(4)。这样，能够使存在于不同的位置的各荧光色素分子选择性地明灭。即，能够利用受激发射进行1个分子单位下的荧光观察。此外，在显微镜装置100中，能够应用针对活性状态的荧光色素分子照射光来取得荧光图像的任意的公知的方法。或者，显微镜装置100也可以使用以使活性状态和非活性状态自发地切换的方式修饰的荧光色素分子取得荧光图像。如以上所述，各荧光色素分子以预定的时间间隔明灭。但是，各荧光色素分子通过反复明灭而逐渐衰变。因此，优选尽可能在短时间内结束摄像。

在来自第1光源131a的光被照射到生物体组织预定时间时，各荧光色素分子在始终活性化状态下明灭。通过调整来自第1光源131a的光的照射时间，活性化的荧光色素分子的比例变化。

(控制装置200的结构)

图4是概略地示出控制装置200及其周边的各部的结构的功能框图。在图4中，关于显微镜装置100的构成要素，仅图示处于控制装置200的控制下的构成要素。控制装置200构成为控制显微镜装置100。控制装置200例如由计算机构成，包括CPU(中央运算处理装置)、存储器等。控制装置200控制利用显微镜装置100进行的试样的摄像处理，进行摄像的图像的处理。控制装置200能够将处理后的图像输出到显微镜装置100，显示于显微镜装置100的显示部21。另外，控制装置200能够将由显微镜装置100摄像的试样的图像放大显示于显示部21。控制装置200控制显微镜装置100的移动部20的遮光位置和敞开位置的移动。

如图4所示，控制装置200具备处理部201和存储部202。对控制装置200连接有输入部204。

处理部201例如包括CPU，控制显微镜装置100的动作。存储部202例如包括HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid State Drive，固态驱动器)等，储存由控制装置200执行的程序、信息。输入部204受理用户的操作(指示)。输入部204例如包括鼠标、键盘等。

如图4所示，处理部201具备预览图像生成部1、超分辨率图像构筑部2、显示控制部3、以及摄像控制部4。在显微镜系统300中取得超分辨率图像的工序被大致分成第1阶段(捕捉影像模式)和第2阶段(过程影像模式)。第1阶段包括：生成并显示虚拟地表现超分辨率图像的预览图像的工序；以及通过摄像部10b对用于构筑超分辨率图像的多个对象图像依次进行摄像的工序。第2阶段包括使用在第1阶段中得到的图像来构筑超分辨率图像的工序。

预览图像生成部1根据在摄像控制部4的控制下摄像的多个实况图像，生成预览图像。实况图像是指，在第1阶段中，由摄像部10b实时地摄像的图像。实况图像还被称为第1图像。相对于此，预览图像还被称为第2图像。关于生成预览图像的处理的具体例，后述。

此外，预览图像是简易地模拟以下叙述的超分辨率图像而得到的图像(参照后述图6、7)。由此，预览图像也可以被称为虚拟超分辨率图像。显示部21将由摄像部10b依次摄像的多个实况图像依次显示于第1显示区域，将根据从依次摄像的多个实况图像抽出的信息生成的预览图像显示于第2显示区域。显微镜系统300的用户通过在第1阶段的时间点参照预览图像，能够预测在将来的第2阶段中构筑的超分辨率图像的显示内容。

超分辨率图像构筑部2根据在摄像控制部4的控制下摄像的多个对象图像构筑超分辨率图像。对象图像是指，由摄像部10b摄像的图像中的、用于构筑超分辨率图像的图像。摄像部10b对用于构筑超分辨率图像的多个对象图像依次进行摄像。对象图像还被称为第3图像。关于生成超分辨率图像的处理的具体例，后述。

即，预览图像生成部1针对多个第1图像进行第1处理而生成第2图像，超分辨率图像构筑部2针对多个第3图像进行与第1处理不同的第2处理而进行超分辨率图像的构筑。

显示控制部3将各种图像显示于显示部21。图5是示出第1阶段中的显示部21的布局的一个例子的图。如图5所示，在显示部21中，作为主要的显示区域具备第1显示区域31以及第2显示区域32。第1显示区域31以及第2显示区域32被设置成在显示部21的显示画面中左右排列。

另外，如图5所示，在显示部21中，以能够对用户提供利用GUI(Graphical UserInterface，图形用户界面)的操作的方式，显示各种按钮(图标)。以下的说明中，为便于说明，例示显示部21是触摸面板的情况。在该情况下，用户通过按下(触摸)预定的按钮，能够进行与该预定的按钮对应的操作。为便于说明，在图5中，仅对各种按钮中的、与实施方式1的关联性特别高的主要的按钮附加部件编号而进行说明。但是，也可以使用户使用输入部204进行第1阶段以及第2阶段中的各种操作。即，显示部21也可以不是触摸面板。

显示控制部3在第1阶段中，将实况图像(第1图像)显示于第1显示区域31，将预览图像(第2图像)显示于第2显示区域32。显示控制部3在第2阶段中，将对象图像(第3图像)显示于第1显示区域31，将超分辨率图像显示于第2显示区域32。

摄像控制部4控制摄像部10b。具体而言，摄像控制部4以在预定的摄像条件下对各种图像进行摄像的方式，控制摄像部10b。在图4的例子中，显微镜装置100具备控制器110。在图4的例子中，显示控制部3以及摄像控制部4分别经由控制器110控制显示部21以及摄像部10b。但是，显示控制部3也可以不经由控制器110而控制显示部21。同样地，摄像控制部4也可以不经由控制器110而控制摄像部10b。

此外，显微镜系统300的控制块(特别是处理部201)既可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)实现，也可以通过软件实现。

在后者的情况下，显微镜系统300具备执行作为实现各功能的软件的程序的命令的计算机。该计算机例如具备1个以上的处理器，并且具备存储有上述程序的计算机可读取的记录介质。而且，在上述计算机中，通过上述处理器从上述记录介质读取并执行上述程序，达成本发明的目的。作为上述处理器，例如能够使用CPU(Central Processing Unit，中央处理单元)。作为上述记录介质，除了“并非临时的有形的介质”例如ROM(Read OnlyMemory，只读存储器)等以外，还能够使用带、盘、卡、半导体存储器、可编程的逻辑电路等。另外，也可以还具备展开上述程序的RAM(Random Access Memory，随机存取存储器)等。另外，上述程序也可以经由能够传送该程序的任意的传送介质(通信网络、广播波等)供给给上述计算机。此外，在本发明的一个方案中，上述程序还能够以通过电子的传送而具体化的、埋入到载波的数据信号的方式实现。

(生成预览图像的处理的一个例子)

图6是用于说明预览图像生成部1中的预览图像生成处理的图。在图6的例子中，预览图像生成部1根据从3个实况图像41～43抽出的信息，生成1个预览图像44。实际上，例如，根据在从实时超分辨率图像的构筑开始定时至当前时间点取得的所有实况图像，生成1个预览图像44。或者，也可以为了降低计算负荷，从上述所有实况图像对一部分的实况图像进行间除，生成1个预览图像。

实况图像41～43是由摄像部10b摄像的荧光图像。在实况图像41中，拍摄到2个亮点(荧光亮点)41A、41B。同样地，在实况图像42、43的各个中，也拍摄到2个亮点。此外，实况图像中的各亮点由于显微镜装置100的光学系统的影响，被拍摄得比荧光色素分子的大小更大。关于该点，后述图7中的各对象图像(对象图像51～53)的各亮点也相同。

首先，预览图像生成部1进行滤波处理，从各实况图像去除噪声。在关于预览图像生成处理的以下的说明中，只要未特别明示，则将噪声去除后的各实况图像简称为实况图像。然后，预览图像生成部1从各实况图像检测(抽出)具有预定的阈值以上的亮度的亮点。然后，预览图像生成部1确定各实况图像中的、各亮点的中心位置(重心位置)的坐标。即，预览图像生成部1抽出的信息是与实况图像的亮点有关的信息。

接下来，预览图像生成部1根据各实况图像的亮点的抽出结果，生成预览图像44。具体而言，预览图像生成部1将在各实况图像中确定的各亮点的重心位置映射到其他图像。该其他图像是预览图像44。

更具体而言，预览图像生成部1将在与各实况图像的各亮点的中心位置相同的坐标绘制(描绘)1个像素(one pixel)量的大小的亮点而成的图像，生成为预览图像44。或者，预览图像生成部1也可以将上述坐标作为中心点，以均匀的亮度绘制多个像素量的大小的亮点。如图6所示，预览图像44的6个亮点分别与各实况图像的各亮点一对一地对应。这样，预览图像44是表示从实况图像41～43抽出的各亮点(更具体而言实况图像41～43的各亮点的位置)的图像。

此外，预览图像44的各亮点与各实况图像的各亮点不同，不会被模糊地拍摄。这是因为，如上所述，预览图像44的各亮点以均匀的亮度被绘制成1个像素量或者多个像素量的大小。

例如，在预览图像生成处理中，与后述超分辨率图像构筑处理不同，不进行下述的处理。

■模板匹配

■通过基于点像分布函数的拟合确定亮点的中心位置

■针对载置台漂移的校正。

因此，预览图像生成处理相比于以下叙述的超分辨率图像构筑处理，处理的工数(步骤数)少，并且，各处理的计算负荷非常小。因此，预览图像生成处理相比于超分辨率图像构筑处理极其高速。即，预览图像相比于超分辨率图像，能够在足够短时间内取得。但是，在预览图像生成处理中，相比于超分辨率图像构筑处理，各亮点的中心位置的检测精度低。

(构筑超分辨率图像的处理的一个例子)

图7是用于说明超分辨率图像构筑部2中的超分辨率图像构筑处理的图。图7是与图6成对的图。在图7的例子中，超分辨率图像构筑部2根据3个对象图像51～53构筑1个超分辨率图像54。实际上，根据几百～几千张程度的对象图像，生成1个超分辨率图像54。

但是，超分辨率图像构筑部2还能够根据多个对象图像的一部分构筑1个超分辨率图像54。例如，超分辨率图像构筑部2还能够仅根据各对象图像的预定的区域，构筑与各区域对应的超分辨率图像54。超分辨率图像构筑部2根据对象图像的至少一部分构筑1个超分辨率图像54即可。

对象图像51～53也与实况图像41～43同样地，是由摄像部10b摄像的荧光图像。在对象图像51中，拍摄到2个亮点(荧光亮点)51A、51B。同样地，在对象图像52、53的各个中，也拍摄到2个亮点。此外，如图6、图7所示，在各对象图像中拍摄到的各亮点的位置与在各实况图像中拍摄到的各亮点的位置大致相同。

首先，超分辨率图像构筑部2根据背景图像信息，从各对象图像去除噪声。在关于超分辨率图像构筑处理的以下的说明中，只要未特别明示，将噪声去除后的各对象图像简称为对象图像。

然后，超分辨率图像构筑部2通过模板匹配，从各对象图像抽出在该对象图像中拍摄到的亮点。接下来，超分辨率图像构筑部2针对各亮点，进行基于点像分布函数的拟合。通过进行这样的拟合，能够以1个分子单位精度良好地确定各对象图像中的亮点的中心位置。

接下来，超分辨率图像构筑部2根据基于点像分布函数的拟合结果，判定各亮点是否为妥当的亮点。具体而言，超分辨率图像构筑部2对照上述拟合结果，判定各亮点是否满足预定的判定基准。超分辨率图像构筑部2仅将满足判定基准的亮点确定为各对象图像的亮点。

接下来，超分辨率图像构筑部2进行针对摄像过程中的载置台漂移的校正。之后，超分辨率图像构筑部2构筑(生成)超分辨率图像54。具体而言，超分辨率图像构筑部2对各对象图像的亮点一边施加基于点像分布函数的晕映，一边绘制到其他图像。该其他图像是超分辨率图像54。通过施加晕映，能够使超分辨率图像54中的各亮点具有与实际的亮点接近的光辉。

这样，通过合成以1个分子单位的位置精度确定了亮点的位置的对象图像(荧光图像)，从而能够取得超过分辨率的界限的超分辨率图像54。

此外，在上述例子中，说明了超分辨率图像构筑部2以针对各亮点施加晕映的方式绘制超分辨率图像54中的各亮点的情况。但是，超分辨率图像构筑部2也可以以不针对各亮点施加晕映的方式绘制超分辨率图像54中的各亮点。

超分辨率图像的数据具有几千像素见方～几万像素见方程度的分辨率。在此，显示部21的大小越大，能够越增大超分辨率图像的显示面积，所以显示部21的面积优选为大。特别是，优选尽可能增大第2显示区域32的面积。

超分辨率图像构筑处理相比于上述预览图像生成处理，处理的工数多，并且，各处理的计算负荷非常大。因此，超分辨率图像构筑处理比预览图像生成处理低速。但是，在超分辨率图像构筑处理中，相比于预览图像生成处理，各亮点的中心位置的检测精度高。

由此，在超分辨率图像构筑处理中，需要几十秒～几分钟程度的比较长的时间。相对于此，荧光色素分子发出的荧光强度伴随时间的经过而比较迅速地降低。因此，为了构筑适合的超分辨率图像，需要在短时间内对各对象图像进行摄像。因此，各对象图像优选为是在短时间内对试样连续地进行摄像而得到的连续图像。

如以上所述，预览图像44以及超分辨率图像54都是以反映荧光图像的各亮点的位置的方式生成的图像。因此，预览图像44的显示内容几乎接近超分辨率图像54的显示内容。因此，能够将预览图像44用作用于事先预测超分辨率图像54的显示内容的虚拟的超分辨率图像。

(第1阶段中的处理流程)

图8是例示第1阶段中的处理流程的流程图。

在步骤S1中，由用户向试样设置部11设置试样(即摄像对象物)。具体地说明步骤S1的处理，则如下所述。

首先，在由用户按下显示于显示部21的预定的按钮(例：图5的BT1)的情况下，显微镜系统300转移到第1阶段。显示控制部3伴随BT1的按下，将显示部21的显示画面变更为基本画面。BT1是用于使显微镜系统300转移到第1阶段的按钮，例如被称为“Capture Image(捕捉影像)”按钮。

另外，在显示部21上显示有用于变更移动部20的位置的按钮(罩开闭按钮)(未图示)。在由用户按下罩开闭按钮时，位于遮光位置的移动部20被用户移动至敞开位置。接下来，用户向成为敞开状态的试样设置部11设置试样(即摄像对象物)。在设置完成后，由用户再次按下罩开闭按钮，从而显微镜系统300使位于敞开位置的移动部20移动至遮光位置。

在步骤S2、S3中，通过摄像部10b对试样的多个实况图像进行摄像，将该实况图像显示于第1显示区域31。具体地说明步骤S2的处理，则如下所述。此外，设为在显示部21上显示有用于设定摄像部10b的摄像条件的按钮(摄像条件设定按钮)(未图示)。

在步骤S2中，处理部201伴随由用户按下摄像条件设定按钮，设定各种摄像参数。摄像参数意味着表示利用摄像部10b进行摄像的摄像条件的各种参数。摄像参数例如包括：

■预览图像生成用的光源的条件(光源的种类、射出光的波长、射出光的强度等)、

■摄像范围(试样的摄像范围)、

■曝光时间(摄像部10b的曝光时间)、

■对比度(显示于第1显示区域31的实况图像的对比度)、

■显示比例尺(第1显示区域31的显示比例尺)、

■试样设置部11(载置台11a)的位置(换言之移动量)、

■超分辨率图像构筑用的光源的条件(光源的种类、射出光的波长、射出光的强度、摄像的对象图像的帧数(张数)等)、

■视场(摄像时的视场)。

但是，摄像参数不限定于上述例子，也可以设置其他摄像参数。也可以在显示部21上显示用于使用户设定摄像条件的对话框画面。

在设定摄像条件后，由用户按下显示于显示部21的预定的按钮(例：图5的BT4)时，摄像部10b进行摄像。BT4是用于受理指示开始利用摄像部10b摄像的输入的按钮，例如被称为“摄像”按钮。伴随BT4的按下，摄像部10b使用通过摄像参数指定的预览图像生成用的光源，对实况图像进行摄像。作为预览图像生成用的光源，使用激光元件。通过将激光元件用作光源，能够取得作为荧光图像的实况图像。然后，在步骤S3中，显示控制部3使由摄像部10b摄像的实况图像显示于第1显示区域31。

此外，用户为了事先研究摄像条件，有时期望在确认实况图像之前确认明场图像。在这样的情况下，通过将LED元件用作光源，能够使摄像部10b对明场图像进行摄像。然后，使由摄像部10b摄像的明场图像显示于第1显示区域31即可。

在步骤S4中，预览图像生成部1根据实况图像生成预览图像。预览图像生成部1以用户按下显示于显示部21的预定的按钮(例：图5的BT3)为契机，在预览图像生成部1中开始预览图像的生成。BT3是用于对预览图像生成部1许可预览图像的生成的按钮，例如被称为“Realtime(实时)”按钮。伴随BT4的按下，开始各实况图像的亮点的抽出。而且，预览图像生成部1根据各实况图像的各亮点的抽出结果，生成预览图像。

在步骤S5中，显示控制部3使由预览图像生成部1生成的预览图像显示于第2显示区域32。能够在步骤S4的时间点，使用户参照预览图像。因此，用户能够预测在第2阶段中构筑的超分辨率图像的显示内容。在步骤S5中，通过使用户参照显示于第2显示区域32的预览图像，能够使用户判断在该预览图像中是否有问题(即该预览图像是否为作为目的的图像)。

在步骤S6中，受理由判断了在预览图像中是否有问题的用户实施的操作。在由判断为在预览图像中无问题(即预览图像是作为目的的图像)的用户进行了预定的输入(例如“无问题”按钮的按下等)的情况下(在步骤S6中“是”)，进入到步骤S6。另一方面，在由判断为在预览图像中有问题(即预览图像不是作为目的的图像)的用户进行了预定的输入(例如“有问题”按钮的按下等)的情况下(在步骤S6中“否”)，返回到步骤S2，反复同样的处理。由此，直至摄像适合的预览图像，能够反复再设定视场、以及摄像的试样的范围、曝光时间、用于摄像的光源的种类等摄像条件。

这样，通过在第2阶段之前，在第1阶段的时间点使用户确认预览图像，从而能够降低在该第2阶段中构筑不适合的超分辨率图像的可能性。因此，能够降低产生重新执行对象图像的摄像以及超分辨率图像的构筑的必要的可能性，所以能够比以往更高效地取得超分辨率图像。即，能够比以往降低超分辨率图像的取得时间。

在步骤S7中，在确认了在预览图像中无问题之后，再设定摄像条件(各摄像参数)。具体而言，在步骤S6中，在确认了在预览图像中无问题的情况下，在步骤S7中，以适合于对象图像的摄像的方式，再设定摄像条件。处理部201伴随由用户按下摄像条件设定按钮，再设定摄像条件。此外，在不变更为了取得预览图像在步骤S2的时间点设定的摄像条件而用作用于取得对象图像的摄像条件的情况下，能够省略步骤S7。

在步骤S8中，在再设定的摄像条件下，执行对象图像的摄像。具体而言，摄像部10b伴随由用户按下BT4，对多个对象图像进行摄像。这样，在第1阶段中，包括根据预览图像输入是否进行对象图像的摄像(用于构筑超分辨率图像的摄像)的指示的工序。摄像部10b在荧光色素明灭的状态下，对试样的图像连续地进行摄像。以下，将连续地摄像的试样的图像记载为“连续图像”。在该情况下，各对象图像是构成连续图像的各帧(图像帧)。荧光色素明灭的时间间隔是几毫秒～几十毫秒，所以将连续图像的摄像间隔设定为30毫秒～100毫秒即可。能够将某1个荧光色素分子发出的荧光最少摄像1次即可。

在步骤S9中，摄像部10b将摄像的对象图像(更严密而言对象图像的数据)保存到存储部202。

在步骤S10中，使用户判断是否构筑超分辨率图像(是否进入到第2阶段)。在用户希望进入到第2阶段的情况下，由该用户按下显示于显示部21的预定的按钮(例：图5的BT2)(在步骤S10中“是”)，显微镜系统300开始用于构筑超分辨率图像的一连串的处理。即，进入到步骤S11。步骤S11总体地表示第2阶段的各处理。关于步骤S11的具体的处理内容，后述(参照图10)。BT2是用于使显微镜系统300从第1阶段转移到第2阶段的按钮，例如被称为“Process Image(过程影像)”按钮。

另一方面，在用户不希望进入到第2阶段的情况下，该用户不按下BT2。在该情况下，不进入到第2阶段，根据该用户的预定的操作(在步骤S10中“否”)，第1阶段的处理结束。例如，在由用户再次按下罩开闭按钮的情况下，显微镜系统300使位于遮光位置的移动部20移动至敞开位置。然后，用户从成为敞开状态的试样设置部11去除试样。由此，第1阶段的处理结束。

(第2阶段中的处理流程)

图9是示出第2阶段中的显示部21的布局的一个例子的图。如图9所示，第2阶段中的显示部21的显示画面与第1阶段中的显示画面同样地，具备第1显示区域31以及第2显示区域32。第2阶段中的显示画面显示与第1阶段中的显示画面不同的各种按钮。

图10是例示第2阶段中的处理流程的流程图。图10更具体地示出图8的步骤S10的处理内容。此外，在步骤S21之前，显示控制部3伴随由用户按下B2(图8的步骤S9)，将显示部21的显示画面变更为用于构筑超分辨率图像的解析画面。

在步骤S21中，超分辨率图像构筑部2读入保存于存储部202的对象图像。

在步骤S22中，显示控制部3使从存储部202读出的对象图像显示于第1显示区域31。作为一个例子，显示控制部3伴随由用户按下预定的按钮(例：图9的BT5)，使多个对象图像中的预定的1个对象图像显示于第1显示区域31。通过由用户操作BT5，作为显示对象的连续图像的帧编号被指定，处理部201能够受理被指定的帧编号。例如，在BT5中，包括用于使构成连续图像的各帧自动地依次显示的滑动条(SL)。用户通过滑动SL，能够指定成为显示对象的初始帧编号。

或者，处理部201还能够从用户受理指定了包含于连续图像的多个图像帧的信息。在该情况下，处理部201也可以针对指定的多个图像帧实施平均化处理，生成平均化图像。显示控制部3也可以使该平均化图像显示于第1显示区域31。显示平均化图像只不过是一个例子，显示控制部3也可以使通过合成多个对象图像而得到的合成图像显示于第1显示区域31。

此外，设为在第2阶段中，在显示部21上显示有用于设定超分辨率图像的构筑条件(用于构筑超分辨率图像的处理条件)的按钮(构筑条件设定按钮)(未图示)。因此，能够在步骤S22中，使用户设定构筑条件。处理部201伴随由用户按下构筑条件设定按钮，设定各种构筑参数。构筑参数例如包括：

■构筑范围(各对象图像中的、成为构筑超分辨率图像的对象的范围(区域))、

■帧编号(成为构筑超分辨率图像的对象的帧编号的范围)。

但是，构筑参数不限定于上述例子，也可以设置其他构筑参数。也可以在显示部21上显示用于使用户设定构筑条件的对话框画面。

这样，在第1显示区域31上显示多个对象图像的至少一部分即可。或者，也可以在第1显示区域31上显示通过合成多个对象图像而得到的合成图像。上述平均化处理是合成处理的一个例子。即，上述平均化图像是合成图像的一个例子。

在步骤S23中，用户参照显示于第1显示区域31的对象图像，判断在该对象图像中是否有问题。在由用户判断为在对象图像中无问题，且由该用户进行了预定的输入(例如“无问题”按钮的按下等)的情况下(在步骤S23中“是”)，进入到步骤S24。另一方面，由用户判断为在对象图像中有问题，且由该用户进行了预定的输入(例如“有问题”按钮的按下等)的情况下(在步骤S23中“否”)，返回到步骤S22，反复同样的处理。由此，直至显示适合的对象图像，能够反复再设定构筑条件。

在步骤S23中显示于第1显示区域31的对象图像可以说是用于粗略地预测在后面的步骤S25中构筑的超分辨率图像的显示内容的图像。因此，通过在构筑超分辨率图像之前，使用户确认对象图像，从而能够降低在步骤S25中构筑不适合的超分辨率图像的可能性。因此，能够降低产生重新执行超分辨率图像的构筑的必要的可能性，所以能够比以往高效地取得超分辨率图像。从该点来看，也能够比以往降低超分辨率图像的取得时间。

此外，即使在第1显示区域31上显示对象图像的一部分、或者、合成图像的情况下，也能够使用户判断在对象图像中是否有问题。这是因为，对象图像的一部分以及合成图像都包括与对象图像接近的显示内容。

在由用户确认了在对象图像中无问题之后(在步骤S23中“是”)，在步骤S24中，再设定构筑条件(各构筑参数)。具体而言，在步骤S24中，以适合于超分辨率图像的构筑的方式，再设定构筑条件。处理部201伴随由用户按下构筑条件设定按钮，再设定构筑条件。此外，在无需变更在步骤S22的时间点设定的构筑条件的情况下，能够省略步骤S24。

在步骤S25中，在再设定的构筑条件下，执行超分辨率图像构筑处理。具体而言，超分辨率图像构筑部2伴随由用户操作预定的按钮(例：图8的BT6)，开始超分辨率图像构筑处理。BT6是用于使超分辨率图像构筑部2开始超分辨率图像构筑处理的按钮，例如被称为“解析”按钮。

在步骤S26中，显示控制部3使由超分辨率图像构筑部2生成的超分辨率图像显示于第2显示区域32。

在步骤S27中，用户参照显示于第2显示区域32的超分辨率图像，判断在该超分辨率图像中是否有问题。更具体而言，用户参照该超分辨率图像，判断是否需要变更对象图像。在由用户判断为无需变更对象图像，且由该用户进行了预定的输入(例如“对象图像不需要变更”按钮的按下等)的情况下(在步骤S27中“否”)，第2阶段的处理结束。另一方面，在由用户判断为需要变更对象图像，且由该用户进行了预定的输入(例如“对象图像需要变更”按钮的按下等)的情况下(在步骤S27中“是”)，返回到步骤S21，反复同样的处理。由此，直至构筑适合的超分辨率图像，能够反复进行对象图像的选择以及构筑条件的设定。

〔变形例〕

图11是示出显微镜系统300的一个变形例的功能框图。将图11的显微镜系统称为显微镜系统300V。显微镜系统300V具备显微镜装置100V。在显微镜系统300V中，与显微镜系统300不同，显微镜装置100V和显示部21作为不同的个体(其他装置)设置。即，显微镜装置100V与显微镜装置100不同，不具有显示部21。显微镜装置100V与显示部21可通信地连接。这样，在本发明的显微镜系统中，无需与显微镜装置100一体地设置显示部21。

〔实施方式2〕

以下，说明本发明的实施方式2。此外，为便于说明，对具有与在实施方式1中说明的部件相同的功能的部件，附加相同的符号，不反复其说明。

图12是示出显微镜系统300中的其他处理流程的流程图。也可以如图11所示，在显微镜系统300中，能够选择通常摄像模式、宽视场荧光成像模式以及多个视场摄像模式这3个模式。在该情况下，处理部201经由输入部204受理关于以哪个模式进行摄像的来自用户的指示(步骤S30)。

在选择了通常摄像模式的情况下，将根据来自用户的指示设定的区域作为1个视场，进行用于取得超分辨率图像的摄像(步骤S70)。

图13是示出宽视场荧光成像模式中的处理流程的一个例子的流程图。在图12的步骤S30中选择了宽视场荧光成像模式的情况下，进行图13的一连串的处理(图12的步骤S40)。

宽视场荧光成像模式是通过进行多个视场摄像而实现在通常的显微镜中搭载的缩放功能的功能。如图12所示，在宽视场荧光成像模式中，控制装置200受理用户决定的视场数的输入(步骤S41)。作为视场数，例如能够设定10×10、5×5、2×2、1等。视场数越增加，可摄像的范围越扩大。

在受理到来自用户的摄像开始指示的输入时(步骤S42)，摄像控制部4一边通过使载置台11a移动来使视场移动到设定的各位置，一边通过控制摄像部10b来对荧光图像进行摄像(步骤S43)。即，摄像控制部4一边使摄像部10b的摄像位置移动一边对预定的数量的荧光图像进行摄像。显示控制部3使用各视场中的预定的数量的荧光图像，生成宽视场的荧光图像。

图14是示出视场的移动方法的一个例子的图。在图14的(a)以及(b)中，示出使设定为5×5的视场移动的情况的例子。也可以如图14的(a)所示，使视场在横向上移动。也可以如图14的(b)所示，使视场在纵向上移动。视场的移动顺序不限定于这些例子而任意。例如，也可以使视场圆状地移动，还可以使各视场分散地移动。

在摄像结束后，显示控制部3使将各视场的预览图像接在一起的宽视场的荧光图像显示于显示部21(步骤S44)。

图15是示出显示多个视场的预览图像的画面的一个例子的图。如图15所示，宽视场的荧光图像显示于弹出区域310。在图15中，示出视场是5×5的情况的例子。也可以在各视场的荧光图像310a中，显示序号。该序号的显示也可以能够切换显示和非显示。通过从用户受理指定了各视场的荧光图像310a的信息，显示控制部3将该荧光图像310a放大显示。例如，通过用户双击而该荧光图像310a被放大显示。此外，也可以使宽视场的荧光图像显示于弹出区域310以及第1显示区域31这两方。或者，也可以使宽视场的荧光图像仅显示于第1显示区域31。

在步骤S45中，处理部201受理在宽视场的荧光图像上进行用于构筑超分辨率图像的摄像(以下简称为超分辨率摄像)的视场的指定。通过受理视场的指定，指定通过超分辨率摄像来摄像的区域。具体而言，显示控制部3使用于受理视场的指定的输入的GUI显示于显示部21。在该GUI中，包括荧光图像310a。例如，在步骤S45中，用户通过点击与多个视场中的进行超分辨率摄像的视场对应的荧光图像310a，能够指定期望的视场。此外，也可以是在步骤S45中受理不作为超分辨率图像构筑的对象的视场的指定的结构。

在从用户受理到表示进行超分辨率摄像的区域的信息之后，受理到摄像开始指示时(步骤S46)，摄像控制部4一边使视场移动到设定的各位置，一边通过控制摄像部10b来进行超分辨率摄像(步骤S47)。

显示控制部3将通过超分辨率摄像得到的图像保存到存储部202。显示控制部3也可以使该图像显示于例如弹出区域310(步骤S48)。

这样，通过仅关于多个视场中的适合于超分辨率图像的构筑的视场进行超分辨率摄像，能够降低摄像时间。另外，还能够降低之后的超分辨率图像构筑的处理时间。

图16是示出多个视场摄像模式中的处理流程的一个例子的流程图。在图12的步骤S30中选择了多个视场摄像模式的情况下，进行图16的一连串的处理(图12的步骤S50)。

多个视场摄像模式是用于关于预先指定的范围连续地执行各视场中的用于平铺用图像的摄像和超分辨率摄像的模式。用户通过设定使载置台11a移动的次数、间隔、移动方向和超分辨率摄像的执行条件等，能够自动执行多个视场中的摄像。

如图16所示，在多个视场摄像模式中，首先，用户设定与视场有关的条件(步骤S51)。摄像控制部4受理表示设定的条件的信息。在该条件中，包括载置台11a的移动方向以及移动次数(视场数)、后述荧光强度阈值等。关于载置台11a的移动方向，将图14所示的例子作为其一个例子举出。

在受理到来自用户的摄像开始指示的输入时(步骤S52)，摄像控制部4一边通过使载置台11a移动来使视场移动到设定的各位置，一边通过控制摄像部10b来对荧光图像进行摄像(步骤S53)。

此时，摄像控制部4比较摄像的荧光图像中的荧光强度的最大值和荧光强度阈值(步骤S54)。例如，摄像控制部4也可以通过关于预定的数量的荧光图像的各个求出荧光强度的最大值，并对求出的最大值进行平均，从而计算与荧光强度阈值比较的最大值。在荧光图像中的荧光强度的最大值大于荧光强度阈值的情况下(在步骤S54中“是”)，摄像控制部4针对该视场执行超分辨率摄像(步骤S55)。即，摄像控制部4一边使摄像部10b的摄像视场移动一边在各视场中检测荧光强度，在检测到大于预定的阈值的荧光强度的摄像视场中，对用于构筑超分辨率图像的多个图像进行摄像。在超分辨率摄像完成后，摄像控制部4使成为摄像对象的视场移动到接下来的视场(步骤S56)。然后，摄像控制部4判定成为摄像对象的视场是否为最后的视场(步骤S58)。

另一方面，在荧光图像中的荧光强度的最大值是荧光强度阈值以下的情况下(在步骤S54中“否”)，摄像控制部4不针对该视场执行超分辨率摄像，而移动到接下来的视场(步骤S57)。

在由用户关于这样设定的所有视场判定超分辨率摄像的适当与否之后(在步骤S58中“是”)，显示控制部3将通过超分辨率摄像得到的图像保存到存储部202。显示控制部3也可以使该图像显示于例如弹出区域310(步骤S59)。

这样，通过仅关于多个视场中的、荧光图像中的荧光强度的最大值大于荧光强度阈值的视场，进行超分辨率摄像，从而能够降低摄像时间。另外，还能够降低之后的超分辨率图像构筑的处理时间。

此外，用户也可以通过在通常模式中确认预览图像，判断是否将该试样作为超分辨率摄像的对象之后，执行宽视场荧光成像模式或者多个视场摄像模式、或者其两方。由此，能够更高效地确定作为超分辨率摄像的对象的试样以及视场。

〔附记事项〕

本发明不限定于上述各实施方式，能够在权利要求所示的范围内进行各种变更，将在不同的实施方式中分别公开的技术手段适当地组合而得到的实施方式也包含于本发明的技术范围内。

Claims (29)

1.一种显微镜系统的控制方法，该显微镜系统具备：

摄像部；以及

显示部，具有第1显示区域及第2显示区域，

其中，所述控制方法包括：

将由所述摄像部依次摄像的多个第1图像依次显示于所述第1显示区域的工序；

将根据从依次摄像的多个所述第1图像抽出的信息生成的第2图像显示于所述第2显示区域的工序；以及

通过所述摄像部对用于构筑超分辨率图像的多个第3图像依次进行摄像的工序，

其中，所述第2图像是在构筑超分辨率图像之前生成的预览图像，所述第3图像是成为构筑超分辨率图像的对象的图像。

2.根据权利要求1所述的显微镜系统的控制方法，其中，还包括：

针对多个所述第1图像进行第1处理，生成所述第2图像的工序；以及

针对多个所述第3图像进行与所述第1处理不同的第2处理，进行所述超分辨率图像的构筑的工序。

3.根据权利要求2所述的显微镜系统的控制方法，其中，

在所述第2处理中，进行通过模板匹配从多个所述第1图像抽出亮点的处理，

在所述第1处理中，不进行所述模板匹配。

4.根据权利要求3所述的显微镜系统的控制方法，其中，

在所述第2处理中，针对抽出的所述亮点，通过基于点像分布函数的拟合，确定所述亮点的中心位置，

在所述第1处理中，不进行利用基于所述点像分布函数的拟合进行的亮点的中心位置的确定。

5.根据权利要求2至4中的任意一项所述的显微镜系统的控制方法，其中，

在所述第2处理中，进行针对摄像中的载置台漂移的校正，

在所述第1处理中，不进行针对所述载置台漂移的校正。

6.根据权利要求2至4中的任意一项所述的显微镜系统的控制方法，其中，

所述第2图像是简易地模拟超分辨率图像而得到的预览图像。

7.根据权利要求1至4中的任意一项所述的显微镜系统的控制方法，其中，

还包括在将所述第2图像显示于所述第2显示区域之后，受理变更第1摄像条件的输入的工序。

8.根据权利要求7所述的显微镜系统的控制方法，其中，

在受理变更所述第1摄像条件的输入之后，使用该变更后的第1摄像条件进行所述第1图像的摄像。

9.根据权利要求1至4中的任意一项所述的显微镜系统的控制方法，其中，

还包括在将所述第2图像显示于所述第2显示区域之后，受理为了构筑超分辨率图像而进行第3图像的摄像的指示的工序。

10.根据权利要求9所述的显微镜系统的控制方法，其中，

还包括在受理到所述指示之后，受理在所述第3图像的摄像中与第1摄像条件一起使用的第2摄像条件的输入的工序。

11.根据权利要求10所述的显微镜系统的控制方法，其中，

所述第1摄像条件包括摄像的试样的范围、曝光时间、用于摄像的光源的种类。

12.根据权利要求10所述的显微镜系统的控制方法，其中，

所述第2摄像条件包括多个所述第3图像的数量。

13.根据权利要求1至4中的任意一项所述的显微镜系统的控制方法，其中，

所述第1图像是荧光图像，

从所述第1图像抽出的信息是与所述第1图像的亮点有关的信息。

14.根据权利要求10所述的显微镜系统的控制方法，其中，

所述第1或者第2摄像条件包括摄像的试样的范围、曝光时间、用于摄像的光源的种类或者摄像的第3图像的数量。

15.根据权利要求9所述的显微镜系统的控制方法，其中，

多个所述第3图像是对试样连续地进行摄像而得到的连续图像。

16.根据权利要求9所述的显微镜系统的控制方法，其中，

还包括受理指定所述第3图像中的成为构筑对象的区域的信息以及确定多个所述第3图像中的成为构筑对象的图像的信息中的至少一方的输入作为用于构筑所述超分辨率图像的处理条件的工序。

17.根据权利要求9所述的显微镜系统的控制方法，其中，还包括：

将摄像的多个所述第3图像的至少一部分或者通过合成多个所述第3图像而得到的合成图像显示于所述显示部的工序；

使用多个所述第3图像的至少一部分来构筑超分辨率图像的工序；以及

将构筑的所述超分辨率图像显示于所述显示部的工序。

18.根据权利要求1至4中的任意一项所述的显微镜系统的控制方法，其中，

还包括一边使所述摄像部摄像的试样的范围变化一边取得多个第1图像的工序。

19.根据权利要求18所述的显微镜系统的控制方法，其中，

还包括使将一边使摄像的试样的范围变化一边在多个摄像位置摄像的多个荧光图像接在一起而得到的宽视场的荧光图像显示于所述显示部的工序。

20.根据权利要求9所述的显微镜系统的控制方法，其中，

所述第3图像是荧光图像，

一边使所述摄像部的摄像位置变化一边在各摄像位置检测荧光强度，在检测到大于预定的阈值的荧光强度的摄像位置对多个所述第3图像进行摄像。

21.一种显微镜系统，具备：

摄像部；以及

显示部，具有第1显示区域及第2显示区域，

其中，

所述显示部将由所述摄像部依次摄像的多个第1图像依次显示于所述第1显示区域，将根据从依次摄像的多个所述第1图像抽出的信息生成的第2图像显示于所述第2显示区域，

所述摄像部对用于构筑超分辨率图像的多个第3图像依次进行摄像，

其中，所述第2图像是在构筑超分辨率图像之前生成的预览图像，所述第3图像是成为构筑超分辨率图像的对象的图像。

22.根据权利要求21所述的显微镜系统，其中，

还具备控制装置，

所述控制装置针对多个所述第1图像进行第1处理，生成所述第2图像，针对多个所述第3图像进行与所述第1处理不同的第2处理，进行所述超分辨率图像的构筑。

23.根据权利要求22所述的显微镜系统，其中，

所述控制装置在所述第2处理中，进行通过模板匹配从多个所述第1图像抽出亮点的处理，在所述第1处理中，不进行所述模板匹配。

24.根据权利要求23所述的显微镜系统，其中，

所述控制装置在所述第2处理中，针对抽出的所述亮点，通过基于点像分布函数的拟合，确定所述亮点的中心位置，在所述第1处理中，不进行利用基于所述点像分布函数的拟合进行的亮点的中心位置的确定。

25.根据权利要求22至24中的任意一项所述的显微镜系统，其中，

所述控制装置在所述第2处理中，进行针对摄像中的载置台漂移的校正，在所述第1处理中，不进行针对所述载置台漂移的校正。

26.根据权利要求22至24中的任意一项所述的显微镜系统，其中，

所述第2图像是简易地模拟超分辨率图像而得到的预览图像。

27.一种计算机可读取的记录介质，记录有在显微镜系统中使用的计算机用的程序，该程序被处理器执行时实现如下工序：

将由摄像部依次摄像的多个第1图像依次显示于显示部的第1显示区域的工序；

将根据从依次摄像的多个所述第1图像抽出的信息生成的第2图像显示于所述显示部的第2显示区域的工序；以及

通过所述摄像部对用于构筑超分辨率图像的多个第3图像依次进行摄像的工序，

其中，所述第2图像是在构筑超分辨率图像之前生成的预览图像，所述第3图像是成为构筑超分辨率图像的对象的图像。

28.一种显微镜系统的控制方法，该显微镜系统具备摄像部以及显示部，其中，所述控制方法包括：

将由所述摄像部依次摄像的多个第1图像依次显示于所述显示部的工序；

将根据从依次摄像的多个所述第1图像抽出的信息生成的第2图像显示于所述显示部的工序；以及

将根据由所述摄像部依次摄像的多个第3图像构筑的超分辨率图像显示于所述显示部的工序，

其中，所述第2图像是在构筑超分辨率图像之前生成的预览图像，所述第3图像是成为构筑超分辨率图像的对象的图像。

29.一种显微镜系统，具备摄像部以及显示部，其中，

所述显示部具备第1显示区域以及第2显示区域，

所述显示部将由所述摄像部依次摄像的多个第1图像依次显示于所述第1显示区域，将根据从依次摄像的多个所述第1图像抽出的信息生成的第2图像显示于所述第2显示区域，显示根据由所述摄像部依次摄像的多个第3图像构筑的超分辨率图像，

其中，所述第2图像是在构筑超分辨率图像之前生成的预览图像，所述第3图像是成为构筑超分辨率图像的对象的图像。

Images