CN102449527B - 图像处理装置、图像处理方法和显微镜 - Google Patents

Abstract

本发明涉及能够将TIRF图像和共焦图像简单且正确地重合的图像处理装置、程序和显微镜。基准点检测部(111)，从利用全反射显微镜取得的与试料的预定面相关的TIRF图像以及利用共焦显微镜取得的与试料的上述预定面相关的共焦图像中，作为基准点分别检测3点以上的、作为试料的上述预定面的相同位置的像而相互对应的像。坐标变换系数计算部(112)，计算用于使TIRF图像中的基准点的坐标系和共焦图像中的基准点的坐标系相互变换的坐标变换系数。重合部(113)利用该坐标变换系数，使TIRF图像和共焦图像重合。本发明例如可以应用于对显微镜的观察图像进行图像处理的图像处理装置。

Description

图像处理装置、图像处理方法和显微镜

技术领域

本发明涉及一种图像处理装置、图像处理方法、程序和显微镜，尤其是涉及适用于使由全反射显微镜拍摄的图像和由共焦显微镜拍摄的图像重合的情况的图像处理装置、图像处理方法、程序和显微镜。

背景技术

以往，提出了如下的显微镜（例如参照专利文献1）：通过切换光学部件而能够用于全反射显微镜（TIRF(Total Internal Reflection Fluorescence)显微镜、全反射照明荧光显微镜）和共焦显微镜双方。

在先技术文献 

专利文献

专利文献1：JP特开2004-85811号公报

发明内容

发明要解决的问题

然而，利用由全反射显微镜得到的图像（以下称为TIRF图像）和由共焦显微镜得到的图像（以下称为共焦图像）双方来确认试料的现象时，例如有时会使两个图像重合来判断出现在两个图像中的物体是否相同。但是，在全反射显微镜和共焦显微镜中由于试料的图像取得方法（对试料的照明方法）不同，因此在TIRF图像和共焦图像中观察范围（试料的深度方向）、图像的尺寸等也不同。因此，为了使两个图像重合，需要进行图像的放大、缩小、旋转、平行移动、翻转等校正。

但是，在现有的显微镜中，用户必须一边目视确认一边进行图像 的校正，来使TIRF图像和共焦图像重合。

本发明正是鉴于这种状况而完成，能够使例如TIRF图像和共焦图像这样用不同观察方法的显微镜分别取得的图像简单且正确地重合。

用于解决问题的手段

本发明的第一方式的图像处理装置包括：基准点检测单元，作为基准点分别检测3点以上的、包含在第一辉点的组合和第二辉点的组合的对中的辉点，所述第一辉点的组合由从利用第一显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应；和计算单元，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。

本发明的第一方式的图像处理方法，包括以下步骤：作为基准点分别检测3点以上的、包含在第一辉点的组合和第二辉点的组合的对中的辉点，所述第一辉点的组合由从利用第一显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应；计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。

本发明的第一方式的程序，用于使计算机执行包括以下步骤的处理：作为基准点分别检测3点以上的、包含在第一辉点的组合和第二 辉点的组合的对中的辉点，所述第一辉点的组合由从利用第一显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应；计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。

在本发明的第一方式中，作为基准点分别检测3点以上的、包含在第一辉点的组合和第二辉点的组合的对中的辉点，所述第一辉点的组合由从利用第一显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。

本发明的第二方式的显微镜，能够作为第一显微镜和第二显微镜使用，其包括：基准点检测单元，作为基准点分别检测3点以上的、包含在第一辉点的组合和第二辉点的组合的对中的辉点，所述第一辉点的组合由从作为上述第一显微镜使用时取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从作为上述第二显微镜使用时取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应；和计算单元，根据所检测出的上述基准点，计算用于使上述第一图像中的第一坐标系和上述第二图像中的第二坐标系相互变换的变换系数。

在本发明的第二方式中，作为基准点分别检测3点以上的、包含在第一辉点的组合和第二辉点的组合的对中的辉点，所述第一辉点的组合由从作为上述第一显微镜使用时取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从作为上述第二显微镜使用时取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应；计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。

本发明的第三方式的图像处理装置，包括：基准点检测单元，将第一辉点的组合和第二辉点的组合的对中、以包含于各组合中的三个辉点为顶点的三角形基本相似的对所包含的辉点，分别检测为作为上述试料的上述预定面内的相同位置的辉点而相互对应的基准点，所述第一辉点的组合由从利用全反射显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的三个辉点构成，所述第二辉点的组合由从利用共焦显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的三个辉点构成；计算单元，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数；和重合单元，利用上述变换系数，使上述第一图像和上述第二图像重合，或者，利用上述变换系数，使利用上述共焦显微镜取得的与上述试料的厚度方向的截面相关的图像和上述第一图像重合。

本发明的第三方式的图像处理方法，包括以下步骤：将第一辉点的组合和第二辉点的组合的对中、以包含于各组合中的三个辉点为顶点的三角形基本相似的对所包含的辉点，分别检测为作为上述试料的上述预定面内的相同位置的辉点而相互对应的基准点，所述第一辉点 的组合由从利用全反射显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的三个辉点构成，所述第二辉点的组合由从利用共焦显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的三个辉点构成；计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数；利用上述变换系数，使上述第一图像和上述第二图像重合，或者，利用上述变换系数，使利用上述共焦显微镜取得的与上述试料的厚度方向的截面相关的图像和上述第一图像重合。

在本发明的第三方式的图像处理方法中，将第一辉点的组合和第二辉点的组合的对中、以包含于各组合中的三个辉点为顶点的三角形基本相似的对所包含的辉点，分别检测为作为上述试料的上述预定面内的相同位置的辉点而相互对应的基准点，所述第一辉点的组合由从利用全反射显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的三个辉点构成，所述第二辉点的组合由从利用共焦显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的三个辉点构成；计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数；利用上述变换系数，使上述第一图像和上述第二图像重合，或者，利用上述变换系数，使利用上述共焦显微镜取得的与上述试料的厚度方向的截面相关的图像和上述第一图像重合。

发明效果

通过本发明的第一至第三方式，能够使得由全反射显微镜拍摄的图像的坐标系和由共焦显微镜拍摄的图像的坐标系相互变换。结果，能够使由全反射显微镜拍摄的图像和由共焦显微镜拍摄的图像简单且正确地重合。

附图说明

图1是表示将应用了本发明的显微镜系统用作共焦显微镜时的构 成的图。

图2是表示将应用了本发明的显微镜系统用作全反射显微镜时的构成的图。

图3是表示由显微镜系统的计算机实现的图像处理部的构成例的框图。

图4是用于说明由显微镜系统执行的坐标变换系数计算处理的流程图。

图5是表示采样试料的例子的图。

图6是用于说明由显微镜系统执行的重合处理的第一实施方式的流程图。

图7是用于说明TIRF图像的摄影位置的图。

图8是表示TIRF图像的一例的图。

图9是用于说明共焦图像的摄影位置的图。

图10是用于说明共焦图像的一例的图。

图11是表示使TIRF图像和共焦图像重合而成的图像的一例的图。

图12是用于说明由显微镜系统执行的重合处理的第二实施方式的流程图。

图13是用于说明共焦图像的摄影位置的图。

图14是表示共焦图像的一例的图。

图15是表示TIRF图像的二值化图像的一例的图。

图16是表示TIRF图像的辉点的位置的图。

图17是表示共焦图像的二值化图像的一例的图。

图18是表示共焦图像的辉点的位置的图。

图19是用于说明TIRF图像和共焦图像的辉点的位置的不同的图。

图20是表示TIRF图像的亮度的分布的例子的图。

图21是表示共焦图像的亮度的分布的例子的图。

符号说明

1：显微镜系统；2：保护玻璃；3：试料；11：显微镜；12：图像生成电路；13：摄像装置；14：图像生成电路；15：计算机；16：显 示装置；101：图像处理部；111：基准点检测部；112：坐标变换系数计算部；113：重合部。

具体实施方式

以下参照附图说明本发明的实施方式。

图1和图2表示应用了本发明的显微镜系统的一个实施方式。显微镜系统1包括显微镜11、图像生成电路12、摄像装置13、图像生成电路14、计算机15和显示装置16。

显微镜11通过改变透镜支撑部件35和光学元件支撑部件36的设定位置，而可以用作共焦显微镜或全反射显微镜。

具体地说，透镜支撑部件35例如由转塔（rotary turret）等构成，被配置成能够绕旋转轴35a旋转。此外，透镜支撑部件35包括第二中继透镜系统51和第三中继透镜系统52。

另一方面，光学元件支撑部件36例如由转塔等构成，被配置成能够绕旋转轴36a旋转。此外，光学元件支撑部件36包括一体地设有分束器61和照明光截止滤波器62的光路分割光学元件36b。

如图1所示，设定成将透镜支撑部件35的第二中继透镜系统51插入到显微镜11的光轴上、未将光学元件支撑部件36的光路分割光学元件36b插入到显微镜11的光轴上时，可以将显微镜11用作共焦显微镜。另一方面，如图2所示，设定成将透镜支撑部件35的第三中继透镜系统52和光学元件支撑部件36的光路分割光学元件36b插入到显微镜11的光轴上时，可以将显微镜11用作全反射显微镜。

首先，参照图1对将显微镜11用作共焦显微镜的情况进行说明。

从激光照明光源31射出的照明光（以下称为共焦光）透过分束器32而入射到二维扫描器33。从二维扫描器33射出的共焦光经由第一中继透镜系统34和第二中继系统51而入射到物镜37，并聚光到放置于保护玻璃2上的试料3。

此时，控制电路41根据从计算机15提供的控制信号，控制设于二维扫描器33的、光偏转方向彼此垂直的2个扫描器，从而在控制扫描范围、扫描速度的同时，使共焦光在试料3的二维平面内扫描。

来自试料3的光（荧光）在物镜37聚光，经过与共焦光相同的光路，由分束器32反射到成像透镜38的方向，并经由成像透镜38和针孔39而成像到光电倍增器40。光电倍增器40检测所成像的光的强度，并将表示所检测出的光的强度的光检测信号提供到图像生成电路12。

图像生成电路12根据从计算机15提供的控制信号，进行根据二维扫描器33的扫描速度而对每个像素排列来自光电倍增器40的光检测信号的图像处理，生成作为共焦显微镜的观察图像的共焦图像。图像生成电路12将所生成的共焦图像提供到计算机15，显示装置16按照计算机15的控制来显示共焦图像。

接下来，参照图2对将显微镜11用作全反射显微镜的情况进行说明。

从激光照明光源31射出的照明光（以下称为TIRF光）透过分束器32而入射到二维扫描器33。从二维扫描器33射出的TIRF光入射到第一中继透镜系统34，并经由构成第三中继透镜系统52的中继透镜系统52a和中继透镜系统52b而在物镜37的入瞳面（像侧焦点面）I的附近聚光。TIRF光透过物镜37，从而成为大致平行光，并照射到试料3。

此时，控制电路41根据从计算机15提供的控制信号来控制二维扫描器33的扫描动作，从而调整TIRF光入射到物镜37的入瞳面I的位置。并且，随着TIRF光的入射位置从入瞳面I的中心向周边移动，TIRF光向试料3的入射角度增大，若入射角度超过预定角度，则TIRF光在试料3和保护玻璃2的边界面S处被全反射。处于该全反射状态时，在边界面S的附近产生瞬逝光，仅试料3的边界面S附近的极薄的范围被瞬逝光照射。

并且，由瞬逝光激发的自试料3的光（荧光）通过物镜37聚光，由分束器61反射到照明光截止滤波器62的方向，并经由照明光截止滤波器62、成像透镜42而成像到摄像装置（例如CCD相机等）13。并且，通过摄像装置13拍摄作为全反射显微镜的观察图像的TIRF图像。由摄像装置13拍摄的TIRF图像在图像生成电路14中被处理，并提供到计算机15，显示装置16根据计算机15的控制来显示TIRF图像。

此外，如下文所述，计算机15具有使得将显微镜11用作全反射显微镜时得到的TIRF图像和将显微镜11用作共焦显微镜时得到的共焦图像自动重合的功能。

图3表示通过计算机15执行预定的控制程序而实现的功能之一的图像处理部101的构成例。图像处理部101具有使TIRF图像和共焦图像自动重合的功能。

具体地说，基准点检测部111在从图像生成电路14提供的TIRF图像和从图像生成电路12提供的共焦图像中，检测3点以上的与试料3的相同位置对应的基准点。基准点检测部111将检测出的基准点在各图像的坐标系中的坐标通知给坐标变换系数计算部112。

坐标变换系数计算部112根据由基准点检测部111检测出的基准点，计算用于对TIRF图像的坐标系和共焦图像的坐标系相互变换的坐 标变换系数。坐标变换系数计算部112将所计算出的坐标变换系数通知给重合部113。

重合部113按照由用户经由计算机15的操作部（未图示）输入的指令，利用由坐标变换系数计算部112计算出的坐标变换系数，进行从图像生成电路14提供的TIRF图像和从图像生成电路12提供的共焦图像的重合。并且，重合部113将所重合的图像向后段（例如计算机15的显示控制装置）输出。此外，重合部113根据需要向基准点检测部111和坐标变换系数计算部112指令坐标变换系数的计算，并且将TIRF图像和共焦图像提供到基准点检测部111。

接下来，参照图4的流程图对由显微镜系统1执行的坐标变换系数计算处理进行说明。

在步骤S1中，显微镜系统1获得采样试料201的TIRF图像。具体地说，首先，用户将图5所示的采样试料201作为试料3的替代而放置到显微镜11的载物台上的保护玻璃2上，并设定成将显微镜11用作全反射显微镜的状态（图2的状态）。

采样试料201通过在照射了预定波长的光时发出荧光的试剂而在点M1至M3（以下称为标记M1至M3）这三点被染色。另外，标记M1至M3的位置被设定成由标记M1至M3所形成的三角形的各边长和各点的角度分别不同，以能够明确地区分标记M1至M3的位置。

显微镜系统1在使激发标记M1至M3的波长的TIRF光在保护玻璃2和采样试料201的边界面S处全反射的状态下，由摄像装置13拍摄采样试料201。摄像装置13经由图像生成电路14将由摄影结果所获得的采样试料201的TIRF图像提供到基准点检测部111。

在步骤S2中，显微镜系统1获得采样试料201的共焦图像。具体 地说，首先，用户在采样试料201放置于显微镜11的载物台上的保护玻璃2上的状态下，设定成将显微镜11用作共焦显微镜的状态（图1的状态）。显微镜系统1使激发标记M1至M3的波长的共焦光在保护玻璃2和采样试料201的边界面S上扫描（扫描与TIRF光相同的面）的同时，通过光电倍增器40检测来自采样试料201的光的强度。光电倍增器40将表示检测出的光的强度的光检测信号提供给图像生成电路12，图像生成电路12基于光检测信号生成采样试料201的共焦图像。图像生成电路12将生成的共焦图像提供到基准点检测部111。

在步骤S3中，基准点检测部111检测TIRF图像中的标记M1至M3的坐标。具体地说，基准点检测部111在TIRF图像中，检测出由标记M1至M3发出的荧光所产生的辉点区域，求出检测出的辉点区域的重心在TIRF图像的坐标系中的坐标。另外，基准点检测部111通过将以TIRF图像的各辉点区域的重心为顶点的三角形与以标记M1至M3为顶点的已知三角形进行比较，而使各辉点区域的重心的坐标分别与标记M1至M3对应。基准点检测部111将TIRF图像中的对应的标记M1至M3的坐标通知给坐标变换系数计算部112。

在步骤S4中，按照与步骤S3同样的处理，基准点检测部111检测共焦图像中的标记M1至M3的坐标，将共焦图像中的对应的标记M1至M3的坐标通知给坐标变换系数计算部112。

在步骤S5中，坐标变换系数计算部112计算TIRF图像的坐标系与共焦图像的坐标系之间的坐标变换系数。

拍摄了采样试料201的相同面的TIRF图像和共焦图像的关系成为二次变换（放大、缩小、旋转、平行移动、翻转）的关系。其中，图像的翻转可以通过目视而进行简单地判断、校正，通过摄影光学系统的构成而预先获知是否发生，因此，若将其从图像处理部101的处理对象排除，则TIRF图像的坐标系和共焦图像的坐标系可以通过赫尔默 特变换而相互变换。

在此，考虑采用赫尔默特变换而将坐标系A中的坐标（X，Y）变换成坐标系B中的坐标（x，y）的情况。此时，坐标（X，Y）和坐标（x，y）的关系通过下面的式（1）和式（2）来表示。

x＝X·cosθ+Y·sinθ+c…（1）

y＝-X·sinθ+Y·cosθ+d…（2）

θ表示将坐标系A的坐标轴与坐标系B的坐标轴匹配时的坐标轴的旋转角度，系数c和系数d表示将坐标系A的坐标轴与坐标系B的坐标轴匹配时的原点在x轴方向和y轴方向的平行移动量。在此，设a=cosθ，b=sinθ，通过式（1）和式（2）来表现，则成为下面的式（3）。

【公式1】

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{cccc}X& Y& 1& 0\\ Y& -X& 0& 1\end{array}\right)\left(\begin{array}{c}a\\ b\\ c\\ d\end{array}\right)...\left(3\right)$

因此，若设TIRF图像的坐标系中的标记M1至M3的坐标为（X₁，Y₁）至（X₃，Y₃），共焦图像的坐标系中的标记M1至M3的坐标为（x₁，y₁）至（x₃，y₃），则坐标（X₁，Y₁）至（X₃，Y₃）和坐标（x₁，y₁）至（x₃，y₃）之间的关系式用下面的式（4）来表示。

【公式2】

$\left(\begin{array}{cccc}{x}_1& y_1& 1& 0\\ x_2& y_2& 1& 0\\ x_3& y_3& 1& 0\\ y_1& -x_1& 0& 1\\ y_2& -x_2& 0& 1\\ y_3& -x_3& 0& 1\end{array}\right)\left(\begin{array}{c}a\\ b\\ c\\ d\end{array}\right)=\left(\begin{array}{c}{X}_1\\ X_2\\ X_3\\ Y_1\\ Y_2\\ Y_3\end{array}\right)+\left(\begin{array}{c}{\mathrm{vx}}_1\\ {\mathrm{vx}}_2\\ {\mathrm{vx}}_3\\ {\mathrm{vy}}_1\\ {\mathrm{vy}}_2\\ {\mathrm{vy}}_3\end{array}\right)...\left(4\right)$

vx₁至vy₃表示误差。

使误差vx₁至vy₃为最小的系数a至d能够采用最小二乘法通过下面的式（5）至（8）来求出。

【公式3】

$a=\frac{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{x}_i\·\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{X}_i\·\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{y}_i\·\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{Y}_i-3\underset{i=1}{\overset{3}{\mathrm{\Σ}}}(x_i{X}_i-y_i{Y}_i)}{{\left(\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{x}_i\right)}^2+{\left(\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{y}_i\right)}^2-3\underset{i=1}{\overset{3}{\mathrm{\Σ}}}(x_i^2-y_i^2)}...\left(5\right)$

$b=\frac{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{y}_i\·\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{X}_i\·\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{x}_i\·\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{Y}_i-3\underset{i=1}{\overset{3}{\mathrm{\Σ}}}(y_i{X}_i-x_i{Y}_i)}{{\left(\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{x}_i\right)}^2+{\left(\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{y}_i\right)}^2-3\underset{i=1}{\overset{3}{\mathrm{\Σ}}}(x_i^2-y_i^2)}...\left(6\right)$

$c=\frac{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{X}_i-a\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{x}_i-b\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{y}_i}{3}...\left(7\right)$

$d=\frac{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{Y}_i-a\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{y}_i-b\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{x}_i}{3}...\left(8\right)$

这样，坐标变换系数计算部112将标记M1至M3用作基准点，计算用于相互变换TIRF图像的坐标系和共焦图像的坐标系的坐标变换系数a至d，将坐标变换系数a至d提供给重合部113。之后，结束坐 标变换系数计算处理。

可以将用于坐标变换系数的计算的标记设定为四点以上。

接下来参照图6的流程图对由显微镜系统1执行的重合处理进行说明。

在步骤S21中，显微镜系统1获得试料3的TIRF图像。具体地说，首先，用户将想要观察的试料3放置到显微镜11的载物台上的保护玻璃2上，并设定成将显微镜11用作全反射显微镜的状态（图2的状态）。显微镜系统1在使TIRF光在图7所示的试料3和保护玻璃2（在图7中未图示）的边界面S处全反射的状态下，由摄像装置13拍摄试料3。由此，仅在边界面S附近的极薄的范围照射光，在背景光少的状态下拍摄试料3。图7的纵轴表示试料3的深度方向（=显微镜11的光轴方向）。摄像装置13将试料3的TIRF图像经由图像生成电路14提供给重合部113。

图8表示试料3的TIRF图像的一例。TIRF图像211内的白辉点被试剂染色，包括被TIRF光激发而发出荧光的部分。

在步骤S22中，显微镜系统1获得试料3的共焦图像。具体地说，首先，用户在想要观察的试料3放置于显微镜11的载物台上的保护玻璃2上的状态下，设定成将显微镜11用作共焦显微镜的状态（图1的状态）。显微镜系统1使共焦光在例如图9的试料3的厚度方向（=显微镜11的光轴方向）的位置Z1处的平面（与显微镜11的光轴垂直的截面）上扫描。显微镜系统1与共焦光的扫描相应地利用光电倍增器40检测来自试料3的光的强度，通过图像生成电路12生成试料3在位置Z1处的截面的共焦图像。同样地，显微镜系统1生成例如试料3在位置Z2至Z6处的各截面的共焦图像。图像生成电路12将生成的共焦图像提供到重合部113。

图10表示试料3的共焦图像的一例。共焦图像211内的白辉点被试剂染色，包括被共焦光激发而发出荧光的部分。

在步骤S23中，重合部113使TIRF图像和共焦图像重合。具体地说，用户操作计算机15的操作部（未图示），选择TIRF图像和所希望的共焦图像，操作部将该信息通知给重合部113。重合部113采用由坐标变换系数计算部112计算的坐标变换系数，产生由用户选择的共焦图像的坐标系变换成了TIRF图像的坐标系。另外，重合部113生成由用户选择的TIRF图像与变换了坐标系的共焦图像重合了的图像。显示装置16基于计算机15的控制来显示重合的图像。之后，结束重合处理。

图11表示图8的TIRF图像211和图10的共焦图像221重合了的图像。

重合的TIRF图像和共焦图像的张数没有特别的限定，例如，可以是重合各一张TIRF图像和共焦图像，也可以使重合了试料3的厚度方向的各截面的共焦图像的三维图像与TIRF图像重合。

如上所述，能够简单且正确地重合TIRF图像和共焦图像。

接下来参照图12的流程图对由显微镜系统1执行的重合处理的第二实施方式进行说明。该重合处理的第二实施方式不使用采样试料201就能够进行TIRF图像和共焦图像的重合。

在步骤S41中，与图6的步骤S21的处理同样地获得试料3的TIRF图像。获得的TIRF图像被提供给重合部113。

在步骤S42中，与图6的步骤S22的处理同样地获得试料3的共 焦图像。此时，如图13所示，不仅获得试料3在位置Z1至Z6处的各截面的共焦图像，也获得保护玻璃2和试料3之间的边界面S处的共焦图像。获得的共焦图像被提供给重合部113。

图14的共焦图像301表示试料3的边界面S处的共焦图像的一例。

在步骤S43中，重合部113判断坐标变换系数的计算是否必要。在判断为需要坐标变换系数的计算时，处理进入到步骤S44。

作为判断需要坐标变换系数的计算的条件，考虑例如由用户指令坐标变换系数的计算的情况，或者进行了显微镜1的光学系统的零件（例如物镜37）的更换或设定的变更的情况，或者尚未进行坐标变换系数的计算的情况，或者改变了试料3的情况等。

在步骤S44中，基准点检测部111提取TIRF图像的辉点。具体地说，重合部113将TIRF图像和边界面S处的共焦图像提供给基准点检测部111，并且将坐标变换系数指令给基准点检测部111和坐标变换系数计算部112。

基准点检测部111采用预定的阈值将TIRF图像二值化。即，对于TIRF图像的各像素，基准点检测部111生成将亮度为预定的阈值以上的像素的像素值设定为最大值（白）而将亮度不足预定的阈值的像素的像素值设定为0（黑）的二值化图像。例如，通过将图8的TIRF图像211二值化而获得图15的二值化图像311。

下面将二值化图像的像素中、像素值设定为最大值的像素称为白色像素，将像素值设定为0的像素称为黑色像素。

然后，基准点检测部111在TIRF图像的二值化图像中，将预定数量（例如2）以上的白色像素在纵、横或斜向上彼此相邻的区域作为辉 点区域提取。并且，基准点检测部111求出各辉点区域的重心（以下简称为“辉点”）在TIRF图像的坐标系中的坐标。

图16表示从图15的二值化图像311检测出的辉点Pt1至Pt16的位置。

在步骤S45中，基准点检测部111列出TIRF图像的各3点辉点的组合。例如，在图16的二值化图像311的情况下，列出（辉点Pt1、辉点Pt2、辉点Pt3）、（辉点Pt1、辉点Pt2、辉点Pt4）、…、（辉点Pt14、辉点Pt15、辉点Pt16）的、由三个辉点构成的560组的组合。

在步骤S46中，基准点检测部111计算所列出的TIRF图像的辉点的各组合的3点间的角度。例如，在由二值化图像311的辉点Pt1、辉点Pt2、辉点Pt3构成的组合的情况下，计算以辉点Pt1、辉点Pt2、辉点Pt3为顶点的三角形的各顶点的角度。并且，对所列出的所有辉点的组合，进行该三角形的各顶点的角度的计算。

在步骤S47中，通过与步骤S44同样的处理来提取共焦图像的辉点，并求出所提取出的各辉点在共焦图像的坐标系中的坐标。另外，图17表示将图14的共焦图像301二值化的二值化图像321。此外，图18表示从二值化图像321提取出的辉点Pc1至Pc7的位置。

在步骤S48中，通过与步骤S45同样的处理，列出共焦图像的各3点辉点的组合。

在步骤S49中，通过与步骤S46同样的处理，计算所列出的共焦图像的辉点的各组合的3点间的角度。

在此，即使是对相同试料3的边界面S拍摄而得到的图像，在TIRF图像和共焦图像中由于照明光的照射范围不同，因此所提取的辉点也 未必一致。即，在拍摄TIRF图像时仅对试料3的边界面S附近的极浅的范围照射TIRF光，而在拍摄共焦图像时共焦光照射到比TIRF光深的位置。

具体地说，图19表示试料3的纵向截面，点P1至P4表示被试剂染色的位置。例如，向试料3的边界面S照射TIRF光时，TIRF光照射到距离边界面S的深度为D1的范围，照射范围内的点P1至P3被激发而产生荧光。另一方面，使共焦光聚光到试料3的边界面S时，照射发散到距离边界面S的深度为D2的范围的共焦光，照射范围内的点P1至P4被激发而产生荧光。因此，在TIRF图像中作为辉点提取点P1至P3这3点，而在共焦图像中作为辉点提取点P1至P4（与针孔39大致共轭的区域），所提取的辉点不一致。

此外，图20表示拍摄试料3的边界面S得到的TIRF图像的亮度分布的例子，图21表示拍摄试料3的边界面S得到的共焦图像的亮度分布的例子。另外，图20和图21的横轴表示亮度，纵轴表示像素数。比较图20和图21可知，在共焦图像和TIRF图像中亮度分布不同，因此两个图像间所提取的辉点产生差异。

因此，在之后说明的步骤S50至S52的处理中，进行从TIRF图像提取出的辉点和从共焦图像提取出的辉点的对应，而决定用于计算坐标变换系数的基准点。

具体地说，在步骤S50中，基准点检测部111提取TIRF图像和共焦图像中3点间的角度一致的辉点的组合的对。即，基准点检测部111对于所有的由TIRF图像的各3点辉点的组合中的一个和共焦图像的各3点辉点的组合中的一个构成的对，比较3点间的角度，提取角度之差处于预定范围内的对。

例如，考虑由TIRF图像的辉点A至C的组合和共焦图像的辉点 P至R的组合构成的对。此时，以辉点A至C为顶点的三角形ABC和以辉点P至R为顶点的三角形PQR各自对应的角度之差为预定范围内（例如3度以内）时，换言之，三角形ABC和三角形PQR基本相似时，将辉点A至C和辉点P至R的对作为3点间的角度一致的辉点组合的对提取，角度之差超过预定范围时，不将辉点A至C和辉点P至R的对作为3点间的角度一致的辉点组合的对提取。

在步骤S51中，基准点检测部111根据3点间的长度的比率对3点间的角度一致的辉点组合的对进行分类。具体地说，基准点检测部111对于在步骤S50中提取出的辉点组合的各对，计算一个组合中的辉点的3点间的长度和另一组合中的辉点的3点间的长度间的比率。

例如考虑如下的情况：提取出TIRF图像的辉点A至C的组合和共焦图像的辉点P至R的组合的对，在以辉点A至C为顶点的三角形ABC和以辉点P至R为顶点的三角形PQR中，角度a≈角度p、角度b≈角度q、角度c≈角度r。此时，三角形ABC和三角形PQR基本相似，因此边AB的长度/边PQ的长度≈边BC的长度/边QR的长度≈边CA的长度/边RP的长度≈比率α，该比率α被作为3点间的长度的比率求出。

基准点检测部111对所提取出的所有的对计算该比率α。并且，基准点检测部111根据比率α对各对进行分类。即，基准点检测部111将比率α的值以预定的间隔分为多个范围，并将比率α进入相同的值的范围内的对汇总为1组。从而，以三个辉点为顶点的三角形的大小比率接近的辉点组合的对被汇总为1组。

在步骤S52中，基准点检测部111将属于对数最多的组的辉点设定为基准点。即，基准点检测部111将由根据比率α分类的辉点组合的对构成的组中、属于对的数量最多的组的辉点设定为基准点。

例如，辉点的组合的对被分类到组1和组2，TIRF图像的辉点A、B、C和共焦图像的辉点P、Q、R的对属于组1，TIRF图像的辉点A、B、D和共焦图像的辉点P、Q、S的对以及TIRF图像的辉点B、D、F和共焦图像的辉点Q、S、T的对属于组2时，属于对数多的组2的TIRF图像的辉点A、B、D、F以及共焦图像的辉点P、Q、S、T被设定为基准点。

通过该步骤S50至S52的处理，将在TIRF图像和共焦图像中与试料3的相同位置对应的辉点检测为基准点，而防止了将仅存在于TIRF图像或共焦图像中的一方的辉点检测为基准点。

在步骤S53中，与图4的步骤S5的处理同样，根据所设定的基准点来计算TIRF图像的坐标系和共焦图像的坐标系之间的坐标变换系数。之后，处理进入步骤S54。

另一方面，在步骤S43中，若判断为不需要计算坐标变换系数，则跳过步骤S44至S53的处理，处理进入步骤S54。

在步骤S54中，与图6的步骤S23的处理同样，将TIRF图像和共焦图像重合并显示到显示装置16。

这样一来，可以不使用采样试料201，而根据拍摄实际的试料3得到的图像来计算坐标变换系数，并使TIRF图像和共焦图像重合。因此，可以省略试料的更换等的工时，可以更简单地使TIRF图像和共焦图像重合。

另外，在图12的流程图中，也可以不进行步骤S43的判断处理，而每次都计算坐标变换系数。此外，在步骤S50至S52的处理中，从各图像各检测出4点基准点的情况下，也可以仅使用其中的各3点来计算坐标变换系数。

在以上的说明中，对于进行利用相同显微镜11拍摄的TIRF图像和共焦图像的重合的处理进行了说明，但本发明也可以应用于使利用不同显微镜拍摄相同试料得到的TIRF图像和共焦图像重合的情况。

此外，在以上的说明中，示例了将共焦图像的坐标系变换为TIRF图像的坐标系并使图像重合的情况，但也可以相反地将TIRF图像的坐标系变换成共焦图像的坐标系并使图像重合。或者，也可以将TIRF图像的坐标系和共焦图像的坐标系变换为与两个坐标系不同的第三坐标系，并使图像重合。

此外，在以上的说明中，对于共焦图像和TIRF图像的重合处理进行了说明，但也可以进行共焦图像和荧光观察图像（通过一般的光学显微镜取得）、超分辨率图像（通过超分辨率显微镜取得）以及相位差观察图像（通过相位差显微镜取得）中的任一个的重合处理。此外，也可以是TIRF图像和荧光观察图像、超分辨率图像、相位差图像中的任一个的重合处理。

进而，并非必须将图像处理部101的功能搭载到计算机15，例如也可以搭载到显微镜11。

上述一系列的处理可以通过硬件执行，也可以通过软件执行。通过软件执行一系列的处理时，例如将构成该软件的程序安装到计算机15。在此，计算机15包括组装到专用硬件中的计算机、能够通过安装各种程序来执行各种功能的例如通用的个人计算机等。

计算机15执行的程序例如可以记录到作为软件包媒体（package media）等的可移动媒体中来提供。此外，程序可以经由局域网、因特网、数字卫星广播等有线或无线的传输介质来提供。进而，程序可以预先安装到计算机15的存储器等中。

另外，计算机15执行的程序可以是按照本说明书中说明的顺序以时间序列进行处理的程序，也可以是并列或者在进行了调用时等需要的时刻进行处理的程序。

此外，在本说明书中，系统的表述是指由多个装置、单元等构成的整体装置。

进而，本发明的实施方式不限于上述实施方式，在不脱离本发明的主旨的范围内可以进行各种变更。

Claims (15)

1.一种图像处理装置，包括：

基准点检测单元，作为基准点分别检测3点以上的、包含在第一辉点的组合和第二辉点的组合的对中的辉点，所述第一辉点的组合由从利用第一显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应；和

计算单元，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数，

上述第一显微镜为全反射显微镜，上述第二显微镜为共焦显微镜，

上述预定面为使上述全反射显微镜中的照明光在上述试料和保护玻璃的界面中全反射的面。

2.根据权利要求1所述的图像处理装置，其中，

上述基准点检测单元，将分别由三个辉点构成的上述第一辉点的组合和上述第二辉点的组合的对中、以包含于各组合中的三个辉点为顶点的三角形基本相似的对所包含的辉点，检测为上述基准点。

3.根据权利要求1或2所述的图像处理装置，其中，

上述基准点检测单元利用第1二值化图像和第2二值化图像来提取上述辉点，其中，所述第1二值化图像通过利用预定的阈值将上述第一图像二值化而生成，所述第2二值化图像通过利用预定的阈值将上述第二图像二值化而生成。

4.根据权利要求1或2所述的图像处理装置，其中，

上述计算单元对通过赫尔默特变换使上述第一坐标系和上述第二坐标系相互变换时的上述变换系数进行计算。

5.根据权利要求1或2所述的图像处理装置，其中，

还包含重合单元，其利用上述变换系数，使利用上述共焦显微镜取得的与上述试料的厚度方向的截面相关的图像和上述第一图像重合。

6.根据权利要求1或2所述的图像处理装置，其中，

还包括重合单元，其利用上述变换系数使上述第一图像和上述第二图像重合。

7.一种图像处理装置，包括：

基准点检测单元，作为基准点分别检测3点以上的、包含在第一辉点的组合和第二辉点的组合的对中的辉点，所述第一辉点的组合由从利用第一显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应；和

计算单元，对使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系变换为与上述第一坐标系及上述第2坐标系不同的第三坐标系时的变换系数进行计算，

上述第一显微镜为全反射显微镜，上述第二显微镜为共焦显微镜，

上述预定面为使上述全反射显微镜中的照明光在上述试料和保护玻璃的界面中全反射的面。

8.根据权利要求7所述的图像处理装置，其中，

上述基准点检测单元，将分别由三个辉点构成的上述第一辉点的组合和上述第二辉点的组合的对中、以包含于各组合中的三个辉点为顶点的三角形基本相似的对所包含的辉点，检测为上述基准点。

9.根据权利要求7或8所述的图像处理装置，其中，

上述基准点检测单元利用第1二值化图像和第2二值化图像来提取上述辉点，其中，所述第1二值化图像通过利用预定的阈值将上述第一图像二值化而生成，所述第2二值化图像通过利用预定的阈值将上述第二图像二值化而生成。

10.根据权利要求7或8所述的图像处理装置，其中，

还包含重合单元，其利用上述变换系数，使利用上述共焦显微镜取得的与上述试料的厚度方向的截面相关的图像和上述第一图像重合。

11.根据权利要求7或8所述的图像处理装置，其中，

还包括重合单元，其利用上述变换系数使上述第一图像和上述第二图像重合。

12.一种图像处理方法，包括以下步骤：

作为基准点分别检测3点以上的、包含在第一辉点的组合和第二辉点的组合的对中的辉点，所述第一辉点的组合由从利用第一显微镜取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应；

计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数，

上述第一显微镜为全反射显微镜，上述第二显微镜为共焦显微镜，

上述预定面为使上述全反射显微镜中的照明光在上述试料和保护玻璃的界面中全反射的面。

13.一种显微镜，能够作为第一显微镜和第二显微镜使用，其包括：

基准点检测单元，作为基准点分别检测3点以上的、包含在第一辉点的组合和第二辉点的组合的对中的辉点，所述第一辉点的组合由从作为上述第一显微镜使用时取得的与试料的预定面相关的第一图像中的多个辉点中选择的多个辉点构成，所述第二辉点的组合由从作为上述第二显微镜使用时取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的多个辉点构成，在上述对中第一辉点的组合和第二辉点的组合作为上述试料的上述预定面内的相同位置的辉点的组合而相互对应；和

计算单元，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数，

上述第一显微镜为全反射显微镜，上述第二显微镜为共焦显微镜，

上述预定面为使上述全反射显微镜中的照明光在上述试料和保护玻璃的界面中全反射的面。

14.一种图像处理装置，包括：

基准点检测单元，将第一辉点的组合和第二辉点的组合的对中、以包含于各组合中的三个辉点为顶点的三角形基本相似的对所包含的辉点，分别检测为作为试料的预定面内的相同位置的辉点而相互对应的基准点，所述第一辉点的组合由从利用全反射显微镜取得的与上述试料的上述预定面相关的第一图像中的多个辉点中选择的三个辉点构成，所述第二辉点的组合由从利用共焦显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的三个辉点构成；

计算单元，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数；和

重合单元，利用上述变换系数，使上述第一图像和上述第二图像重合，或者，利用上述变换系数，使利用上述共焦显微镜取得的与上述试料的厚度方向的截面相关的图像和上述第一图像重合，

上述预定面为使上述全反射显微镜中的照明光在上述试料和保护玻璃的界面中全反射的面。

15.一种图像处理方法，包括以下步骤：

将第一辉点的组合和第二辉点的组合的对中、以包含于各组合中的三个辉点为顶点的三角形基本相似的对所包含的辉点，分别检测为作为试料的预定面内的相同位置的辉点而相互对应的基准点，所述第一辉点的组合由从利用全反射显微镜取得的与上述试料的上述预定面相关的第一图像中的多个辉点中选择的三个辉点构成，所述第二辉点的组合由从利用共焦显微镜取得的与上述试料的上述预定面相关的第二图像中的多个辉点中选择的三个辉点构成；

计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数；

利用上述变换系数，使上述第一图像和上述第二图像重合，或者，利用上述变换系数，使利用上述共焦显微镜取得的与上述试料的厚度方向的截面相关的图像和上述第一图像重合，

上述预定面为使上述全反射显微镜中的照明光在上述试料和保护玻璃的界面中全反射的面。