CN102566035A - 图像处理方法、图像处理设备和图像处理程序 - Google Patents

Abstract

本发明公开一种图像处理方法、图像处理设备和图像处理程序。图像处理方法包括通过图像比较部分将作为第一观察对象的低倍率图像的第一低倍率图像和作为第二观察对象的第二低倍率图像彼此进行比较，由此获得第一低倍率图像中的第一观察对象的位置与第二低倍率图像中的第二观察对象的位置之间的差异，第二观察对象与第一观察对象类似；并且通过图像显示部分在显示装置上根据差异连动地显示作为第一观察对象的高倍率图像的第一高倍率图像以及作为第二观察对象的高倍率图像的第二高倍率图像。

Description

图像处理方法、图像处理设备和图像处理程序

技术领域

本发明涉及能连动地显示显微镜图像的图像处理方法、图像处理设备和图像处理程序。

背景技术

在病理诊断的技术领域等中，公知一种方法，其对生物体组织(样本材料)进行染色，并用显微镜对这样染色的生物体组织进行观察，由此诊断病变的有无。在此情况下，频繁地执行用不同的染色剂对一个样本材料的薄片中彼此靠近的部分进行染色。例如，存在这样的情况：对于样本材料的一个部分执行苏木精-伊红(HE)染色，并且对于示呈现出可疑的着色反应的样本材料，对样本材料的另一部分执行荧光着色，由此细微地观察另一切片等。

如果用不同的着色剂染色的切片的显微镜图像能在显示装置上彼此相邻地显示，那么能观察到相同区域不同染色的情况，这对于使用者是方便的。然而，为了获得这样的情况，需要在显示装置上显示与不同的图像中的切片对应的区域。

例如，在日本专利公开No.2010-145366(参照[0026]段和图3)中公开的细胞图像分析器中，以细胞的轮廓作为基准通过图像处理能检测其中细胞存在于所拍摄的图像中的区域。如果使用这种检测方法，可以获得关于拍摄图像中的样本材料的区域的位置信息。此外，将不同图像中的样本材料的区域的位置进行比较，并彼此对准，可以得到能显示在显示装置上的切片的相应区域的图像。

发明内容

然而，当类似于细胞的轮廓的特征结构存在于图像中时能应用在日本专利公开No.2010-145366中公开的检测方法。例如，在以上所述的染色观察中，显微镜的成像范围受到限制，并因而在一些情况下诸如切片的轮廓的特征结构不出现在图像拍摄区域中，因为尤其是，荧光着色的着色剂一般比较贵。在此情况下，不能在图像中获得关于样本材料的位置信息，并且因而，不能在显示装置上显示不同图像的相应区域。

为了解决以上所述的问题，已经进行了本发明，并且因而期望提供图像处理方法、图像处理设备和图像处理程序，利用它们能彼此连动地显示具有类似结构的观察对象的显微镜图像。

为了实现以上所述期望，根据本发明的实施例，提供一种图像处理方法，包括：通过图像比较部分将作为第一观察对象的低倍率图像的第一低倍率图像和作为第二观察对象的低倍率图像的第二低倍率图像彼此进行比较，由此获得第一低倍率图像中的第一观察对象的位置与第二低倍率图像中的第二观察对象的位置之间的差异，第二观察对象与第一观察对象类似；并且通过图像显示部分在显示装置上根据差异连动地显示作为第一观察对象的高倍率图像的第一高倍率图像以及作为第二观察对象的高倍率图像的第二高倍率图像

由于第一低倍率图像是通过以低倍率拍摄第一观察对象的图像而获得的图像，所以视野范围在第一低倍率图像中比在第一高倍率图像要大。此外，由于第二低倍率图像也是通过以低倍率拍摄第二观察对象的图像而获得的图像，视野范围在第二低倍率图像中比在第二高倍率图像中要大。由于此原因，没有包含在第一高倍率图像中的第一观察对象的区域在一些情况下包含在第一低倍率图像中。或者，在一些情况下，未包含在第二高倍率图像中的第二观察对象的区域包含在第二低倍率图像中。因而，将第一低倍率图像和第二低倍率图像彼此比较，导致通过使用与未包含在该高倍率图像中的区域的信息相关将第一高倍率图像和第二高倍率图像彼此对准，并且因而，第一高倍率图像和第二高倍率图像能彼此连动地显示。

为了获得以上所述期望，根据本发明的另一实施例，提供一种图像处理方法，包括：通过第一区域检测部分在以低倍率拍摄第一观察对象的图像而获得的第一低倍率图像中，检测第一观察对象所存在的区域来作为第一区域；通过第二区域检测部分在以低倍率拍摄第二观察对象的图像而获得的第二低倍率图像中，检测第二观察对象所存在的区域来作为第二区域，第二观察对象与第一观察对象类似；通过图像比较部分将第一低倍率图像与第二低倍率图像彼此比较，由此获得第一低倍率图像中的第一观察对象的位置与第二低倍率图像中的第二观察对象的位置之间的差异；并且通过图像显示部分在显示装置上根据差异连动地显示通过以高倍率拍摄第一区域的图像而获得的第一高分辨率图像以及通过以高倍率拍摄第二区域的图像而获得的第二高分辨率图像。

第一高倍率图像是通过以高倍率拍摄其中第一观察对象存在于第一低倍率图像中的第一区域的图像而获得的图像。此外，第二高倍率图像是通过以高倍率拍摄其中第二观察对象存在于第二低倍率图像中的第二区域的图像而获得的图像。然而，例如，当观察对象位于标本的盖玻片之外时，存在第一观察对象的整个图像不包含在第一高倍率图像中或者第二观察对象的整个图像不包含在第二高倍率图像中的情况。然而，根据本发明实施例，各自具有更宽视野范围的第一低倍率图像和第二低倍率图像被用在第一高倍率图像和第二高倍率图像之间的对准中，使得即使在此情况下，第一高倍率图像和第二高倍率图像仍能彼此对准，并且因而，第一高倍率图像和第二高倍率图像能彼此连动地显示。

为了获得以上所述期望，根据本发明的另一实施例，提供一种图像处理设备，包括：第一区域检测部分，在通过以低倍率拍摄第一观察对象的图像而获得的第一低倍率图像中，第一区域检测部分检测第一观察对象所存在的区域来作为第一区域；第二区域检测部分，在通过以低倍率拍摄第二观察对象的图像而获得的第二低倍率图像中，第二区域检测部分检测第二观察对象所存在的区域来作为第二区域，第二观察对象与第一观察对象类似；图像比较部分，其将第一低倍率图像与第二低倍率图像彼此进行比较，由此获得第一低倍率图像中的第一观察对象的位置与第二低倍率图像中的第二观察对象的位置之间的差异；以及图像显示部分，其使显示装置在显示装置上根据差异连动地显示通过以高倍率拍摄第一区域的图像而获得的第一高倍率图像以及通过以高倍率拍摄第二区域的图像而获得的第二高倍率图像。

为了获得以上所述期望，根据本发明的另一实施例，提供一种图像处理程序，其发挥功能以包括：第一区域检测部分，在通过以低倍率拍摄第一观察对象的图像而获得的第一低倍率图像中，第一区域检测部分检测第一观察对象所存在的区域来作为第一区域；第二区域检测部分，在通过以低倍率拍摄第二观察对象的图像而获得的第二低倍率图像中，第二区域检测部分检测第二观察对象所存在的区域来作为第二区域，第二观察对象与第一观察对象类似；图像比较部分，其将第一低倍率图像与第二低倍率图像彼此进行比较，由此获得第一低倍率图像中的第一观察对象的位置与第二低倍率图像中的第二观察对象的位置之间的差异；以及图像显示部分，其使显示装置在显示装置上根据差异连动地显示通过以高倍率拍摄第一区域的图像而获得的第一高倍率图像以及通过以高倍率拍摄第二区域的图像而获得的第二高倍率图像。

如上所阐述，根据本发明的实施例，可以提供图像处理方法、图像处理设备和图像处理程序，利用它们能彼此连动地显示具有类似结构的观察对象的显微镜图像。

附图说明

图1是示出包括根据本发明的实施例的图像处理设备的显微镜系统的构造和结构的示意图；

图2是示出图1所示的显微镜系统的功能构造的框图；

图3是示出图1所示的显微镜系统对第一观察对象的操作的流程图；

图4是示出图1所示的显微镜系统对第二观察对象的操作的流程图；

图5是示出用于比较图1所示的显微镜系统中第一观察对象的图像和第二观察对象的图像的操作的流程图；

图6示出了由图1所示的显微镜系统拍摄的第一低倍率图像的示例；

图7A和图7B各是各示出由图1所示的显微镜系统从第一低倍率图像检测到的样本材料区域的示意图；

图8是概念性地示出由图1所示的显微镜系统在第一低倍率图像中设定的显微镜图像拍摄区域的视图；

图9是示出由图1所示的显微镜系统拍摄的第一高倍率图像的示例的视图；

图10是示出由图1所示的显微镜系统拍摄的第二低倍率图像的示例的视图；

图11A和11B各是各示出由图1所示的显微镜系统从第二低倍率图像检测到的样本材料区域的视图；

图12是概念性地示出由图1所示的显微镜系统在第二低倍率图像中设定的显微镜图像拍摄区域的视图；

图13是示出由图1所示的显微镜系统拍摄的第二高倍率图像的示例的视图；

图14A至14C各是示出由图1所示的显微镜系统进行的第一低倍率图像和第二低倍率图像之间的比较的情况的概念图；

图15是示出由图1所示的显微镜系统在显示装置上显示的第一高倍率图像和第二高倍率图像的示例的视图；以及

图16A和图16B分别是示出由图1所示的显微镜系统观察的标本的示意图。

具体实施方式

以下将参照附图详细描述本发明的实施例。

显微镜系统的构造和结构

图1是示出包括根据本发明的实施例的图像处理设备的显微镜系统的构造和结构的示意图。

如图1所示，显微镜系统1包括显微镜2、显微镜控制单元3、图像处理设备4和显示装置5。显微镜控制单元3是用于控制显微镜2的各个部分的附属电子单元，并且图像处理设备4是信息处理设备。显示装置5由阴极射线管(CRT)、液晶显示装置等构成。显微镜系统1的构造和结构仅仅是例举，因而显微镜系统1能采用不同的构造和结构。

显微镜2是各部分根据从显微镜控制单元3发送的控制信号而操作的光学显微镜。因而，一般的显微镜能用作显微镜2。具体地，显微镜2能包括高倍率成像装置21、高倍率镜筒22、台子23、台驱动部分24、低倍率成像装置25和低倍率镜筒26。布置在台子23上的标本P在图1中示出。

高倍率成像装置21是包括诸如电荷耦合器件图像传感器(CCD)或者互补金属氧化物半导体(CMOS)的图像拍摄元件的数字成像装置。因而，用于显微镜图像拍摄的成像装置能用作高倍率成像装置21。高倍率成像装置21设置在高倍率镜筒22中，并能通过高倍率镜筒22的光学系统而拍摄标本P的显微镜图像。高倍率成像装置21连接到显微镜控制单元3，并接收用于成像时机和曝光量的控制。高倍率成像装置21将产生的图像数据通过显微镜控制单元3输出到图像处理设备4。

低倍率成像装置25是包括诸如CCD或者CMOS的图像拍摄元件的数字成像装置。低倍率成像装置25设置在低倍率镜筒26中，并能通过低倍率镜筒26的光学系统拍摄标本P的整个图像。其中像素数量例如是24兆(24M)像素的低倍率成像装置能用作低倍率成像装置25。低倍率成像装置25连接到显微镜控制单元3，并接收用于成像时机和曝光量的控制。低倍率成像装置25将产生的图像数据通过显微镜控制单元3输出到图像处理设备4。

高倍率镜筒22将高倍率物镜和用于这些高倍率物镜的位置调节机构内置在其中。此外，高倍率镜筒22能以预定的倍率(例如，以诸如20倍或者40倍的倍率)放大标本P的图像。高倍率镜筒22连接到显微镜控制单元3，并接收用于焦点深度调节(自动对焦)等的控制。

低倍率镜筒26将低倍率物镜或者缩小光学系统和用于这些低倍率物镜或者缩小光学系统的位置调节机构内置在其中。此外，低倍率镜筒26能以预定的倍率(例如，以诸如0.5倍、等倍或者0.2倍的倍率)放大或者缩小标本P的图像。此外，低倍率镜筒26连接到显微镜控制单元3，并接收用于焦点深度调节(自动对焦)等的控制。

注意，在图1中，高倍率镜筒22和高倍率成像装置21以及低倍率镜筒26和低倍率成像装置25彼此分开地设置。然而，高倍率镜筒22和高倍率成像装置21以及低倍率镜筒26和低倍率成像装置25还能分别以一个镜筒和一个成像装置的形式构造。在此情况下，更换设置在镜筒中的物镜能在高倍率和低倍率之间进行切换。

台子23支撑标本P，并且能在与低倍率镜筒26和高倍率镜筒22的光学系统垂直的方向上(在光学系统的光轴的方向上)以及在与其水平的方向上(在与光轴方向垂直的方向上)移动。台子23设置有透射窗，用于透射从照明用的光源(未示出)发射的光。标本P设置在透射窗上。此外，台子23能将标本P移动到高倍率镜筒22和低倍率镜筒26的成像区域。或者，也可以通过移动高倍率镜筒22和低倍率镜筒26两者来获得标本P的低倍率图像和高倍率图像。

台驱动部分24将诸如步进电动机的驱动机构内置在其中，并沿着竖直方向和水平方向移动台子23。台驱动部分24连接到显微镜控制单元3，并接收用于移动方向和移动量的控制。

显微镜2以如上所述的方式配置并构造。注意，尽管将其中通过显微镜控制单元3自动地执行用于焦点深度的调节、成像等的显微镜设定为显微镜2，但是本发明决不限于此，并因而还能采用受使用者手动控制的显微镜。

显微镜控制单元3由诸如微处理器的电子单元组成，并以如上所述的方式控制显微镜2的各个部分。显微镜控制单元3连接到图像处理设备4，并将来自图像处理设备4的输出反映到显微镜2的控制中。

图像处理设备4对从低倍率成像装置25或者从高倍率成像装置21供应来的图像数据进行后述的处理，并在显示装置5上显示观察用的数据。图2示出图像处理设备4的功能构造的框图。

如图2所示，图像处理设备4包括第一区域检测部分41、第二区域检测部分42、图像比较部分43和图像显示部分44。第一区域检测部分41和第二区域检测部分42两者连接到显微镜控制单元3。图像比较部分43连接到第一区域检测部分41和第二区域检测部分42的每一者。图像显示部分44连接到图像比较部分43，并还连接到显微镜控制单元3。图像处理设备4的第一区域检测部分41、第二区域检测部分42、图像比较部分43和图像显示部分44根据处理器、存储器、程序等的操作而发挥作用，并且其细节将在下面描述。

显示装置5是诸如CRT或者液晶显示装置的显示装置，并在其上以图像的形式显示来自图像处理设备4的图像显示部分44的输出。

显微镜系统1以如上所述的方式构造。注意，图像处理设备4可以不与具体型号的显微镜2和显微镜控制单元3一起构成显微镜系统1，并因而能附加地引入到任意显微镜系统。

对于观察对象

在实施例中，“第一观察对象”和“第二观察对象”各设定为观察对象。第一观察对象和第二观察对象彼此类似。第一观察对象和第二观察对象之间的类似性表示在第一观察对象和第二观察对象中，能确认轮廓和组织结构的关联性。具体地，可以假定通过利用某种染色方法(诸如，苏木精-伊红(HE)染色法)对某生物体组织的切片进行染色而获得第一观察对象，并且通过利用不同的染色方法(诸如，4′，6-二脒基-2-苯基吲哚(DAPI)染色法)对相同的切片进行染色而获得第二观察对象。此外，在通过对某生物体组织切片而产生的多个切片中，彼此相邻或者靠近的切片能分别形成第一观察对象和第二观察对象。

在病理诊断中执行的染色观察中，经常执行对通过将一个病理组织切成多个切片而产生的其中一个切片进行一种染色，而其他切片作为备份存储，并且当在这样染色的切片中观察到异常时，对其中的一个备份切片进行另一种染色，然后对其进行详细观察。在此情况下，前者的切片能作为第一观察对象，而后者的切片能作为第二观察对象。

如上所述，第一观察对象和第二观察对象彼此类似。因而，第一观察对象和第二观察对象在显示装置上彼此连动地显示，造成第一观察对象和第二观察对象的相应的组织结构能彼此比较。注意，执行彼此连动地显示观察对象意味着在两个图像中类似地执行放大、缩小、移动等。

此处，对于彼此连动地显示第一观察对象的显微镜图像和第二观察对象的显微镜图像，必须登记两个显微镜图像。登记是使得提取两个显微镜图像中的特征结构，并将其设定为相应的结构。例如，在两个显微镜图像中都显示的观察对象的轮廓线等频繁地使用在登记中。

在一些情况下，能被登记的结构可能不包含在第一观察对象的显微镜图像和第二观察对象的显微镜图像的两者或一者中。例如，在图16A所示的标本的情况下，盖玻片C1的尺寸比布置在滑动玻璃S1上的观察对象T1大。在此情况下，观察对象T1的轮廓线被包括在标本的显微镜图像中。另一方面，在图16B所示的标本的情况下，盖玻片C2的尺寸小于布置在滑动玻璃S2上的观察对象T2。由于显微镜成像对于不存在盖玻片的区域离焦，所以在此标本的显微镜图像中不包含观察对象T2的轮廓线。因而，在图16B所示的标本的情况下，不能执行利用观察对象的轮廓的登记。

在实施例中，即使当在图16B所示的显微镜图像中不包含观察对象的轮廓时，也能执行登记。在以下描述中，假定第一观察对象的轮廓由盖玻片覆盖，并且第二观察对象的轮廓没有被盖玻片覆盖。此外，设定第一观察对象的标本作为标本P1，并且设定第二观察对象的标本作为标本P2。

显微镜系统的操作

以下将描述显微镜系统1的操作。

将在第一至第三操作中描述显微镜系统1的操作。第一操作是对第一观察对象的操作，并且第二操作是对第二观察对象的操作。第三操作是用于将第一观察对象和第二观察对象彼此比较的操作。

对第一操作对象的操作

现在描述显微镜系统1对第一观察对象的操作进行描述。图3是示出显微镜系统1对第一观察对象的操作的流程图。注意，标本P1在之前布置在台子23上。

当使用者输入开始指令时，低倍率成像装置25拍摄标本P1的“整个图像”(St101)。整个图像是其中整个标本P1被容纳在低倍率成像装置25的视野内的图像。显微镜控制单元3以获得使用者指定的倍率(诸如2倍、等倍或者0.5倍的倍率)并以这样的指定的倍率获得焦点的方式向低倍率镜筒26输出控制信号。随后，响应于从显微镜控制单元3输出的控制信号，低倍率成像装置25拍摄标本P1的图像。整个图像设定为“第一低倍率图像”。

图6示出了第一低倍率图像的示例。图6所示的图像是通过拍摄作为第一观察对象的、利用HE染色法染色的猪腰部的切片的图像而获得的图像。尽管图6所示的第一低倍率图像是单色图像，但是是通过将拍摄的彩色图像进行转换而获得单色图像。关于第一低倍率图像的数据通过显微镜控制单元3输出到图像处理设备4的第一区域检测部分41。此外，由于关于第一低倍率图像的数据被用在随后的步骤中，关于第一低倍率图像的数据被保存在图像处理设备4中，而没有被消除。

接着，第一区域检测部分41在第一低倍率图像中检测“样本材料区域”(St102)。样本材料区域是其中存在第一观察对象(在此情况下是猪腰部的切片)的区域。图7A和7B分别是示出这样检测到的样本材料的示意图。图7A示出了在其中样本材料区域的轮廓叠加在低倍率图像上的状态下样本材料区域的轮廓，并且图7B示出了样本材料区域和第一低倍率图像的周围边缘的轮廓。在图7A和图7B中，样本材料区域的轮廓示出为区域A1。

在随后的步骤中，显微镜系统1以高倍率拍摄样本材料区域的图像。然而，由于以高倍率拍摄不存在观察对象的区域的图像变得浪费，所以在步骤St102的处理中，检测其中存在要以高倍率拍摄其图像的观察对象的区域。利用图像的对比度(视觉特征，诸如亮度、颜色)进行的处理(诸如基于阈值处理和标签处理进行的区域提取或者使用数字过滤器的边缘检测)能用于样本材料区域的检测。

接着，图像处理设备4在第一低倍率图像中设定“显微镜成像范围”(St103)。图8是概念性地示出显微镜成像范围的视图。样本材料区域(区域A1)和设定在样本材料上的显微镜成像范围(示出为范围R)均示出在图8中。

显微镜成像范围是与高倍率成像装置21通过设定到预定放大倍率的高倍率镜筒22的视野范围对应的范围。图像处理设备4与由使用者输入的放大的倍率对应地确定显微镜成像范围的尺寸。当整个样本材料区域不包括在一个显微镜成像范围时，如图8所示，图像处理设备4配置多个显微镜成像范围。注意，图像处理设备4以图8所示的周围部分彼此叠加的方式配置显微镜成像范围。此处理方便在下文所述的显微镜图像连结步骤中执行。

接着，图像处理设备4计算“台子的位置的坐标”，作为用于将如上所述的每个显微镜成像范围容纳在高倍率成像装置21的视野内的台子23的位置的坐标(St104)。具体地，图像处理设备4计算第一低倍率图像的中央位置的坐标与一个显微镜成像范围的中央位置的坐标之间的差异。此外，图像处理设备4将该差异应用到在拍摄第一低倍率图像时台子23的位置的坐标(关于其的数据从显微镜控制单元3提供)，并将得到的坐标设定为与关心的显微镜成像范围相关的台子23的位置的坐标。图像处理设备4将与显微镜成像范围分别对应的台子23的位置的坐标的数据输出到显微镜控制单元3。此外，当设定多个显微镜成像范围时，图像处理设备4判定最有效的成像顺序(即，台子23的驱动距离变得最短的成像顺序)，并将关于成像顺序的数据输出到显微镜控制单元3。

接着，显微镜控制单元3通过使用台驱动部分24来移动台子23的位置(St105)。根据在St204的处理中提供的关于台子23的位置的坐标的数据，显微镜控制单元3以任何一个显微镜成像范围与高倍率成像装置21的视野一致的方式控制状态驱动部分24。

接着，高倍率成像装置21拍摄标本P1的“显微镜图像”(St105)。显微镜图像是标本P1的显微镜放大图像。显微镜控制单元3以获得由使用者指定的放大倍率并以这样指定的放大倍率获得焦点的方式将控制信号输出到高倍率镜筒22。高倍率成像装置21将关于显微镜图像的数据输出到图像处理设备4。

当设定多个显微镜成像范围时，显微镜控制单元3通过使用台驱动部分24再次移动台子23的位置，并使高倍率成像装置21拍摄标本P1的下一个显微镜成像范围的图像。显微镜控制单元3重复地执行台子23的位置的移动(St105)以及由高倍率成像装置21进行的显微镜图像的成像(St106)两者，直到拍摄所有显微镜成像范围的图像。

当拍摄彼此相邻的多个显微镜图像时，图像处理设备4将各个显微镜图像彼此连结(St107)。具体地，图像处理设备4在两张相邻的显微镜图像的叠加范围中提取多个特征点，并能以特征点彼此一致的方式结合这些图像。结果，即使当连续的样本材料的尺寸比一个显微镜成像范围大时，也可以获得所关心的样本材料区域的连续显微镜图像。这样产生的标本P1的、通过连结获得的显微镜图像设定为“第一高倍率图像”。

图9是第一高倍率图像的示意图。如图9所示，第一高倍率图像通过仅仅以高倍率拍摄搁在标本P1上的样本材料区域的图像来获得。

接着，图像处理设备4将第一高倍率图像分成图像片(St108)。图像处理设备4将第一高倍率图像分成多个正方形分区(例如，256个正方形分区)。执行此处理的目的是在显示装置5上显示第一高倍率图像的情况下节省存储器等的存储容量，并使处理第一高倍率图像容易。图像处理设备4分别将关于第一高倍率图像中的图像片的预定位置信息添加到图像片的头部。

用于图3所示的第一观察对象的显微镜系统1的操作如上所述。随后，显微镜系统1的操作进行到用于图4所示的第二观察对象的操作。注意，以下所示的用于第一观察对象的显微镜系统1的操作和用于第二观察对象的显微镜系统1的操作的顺序可以相反。

对第二观察对象的操作

现在将关于用于第二观察对象的显微镜系统1的操作给出描述。图4是示出用于第二观察对象的显微镜系统1的操作的流程图。注意，假定标本P2之前布置在台子23上。

当使用者输入开始指令时，低倍率成像装置25拍摄标本P2的“整个图像”(St201)。整个图像是其中整个标本P2容纳在低倍率成像装置25的视野内的图像。显微镜控制单元3以获得使用者指定的倍率(诸如2倍、等倍或者0.5倍的倍率)并以这样指定的倍率获得焦点的方式将控制信号输出到低倍率镜筒26。随后，响应于从显微镜控制单元3输出的控制信号，低倍率成像装置25拍摄标本P2的图像。整个图像设定为“第二低倍率图像”。

图10示出了第二低倍率图像的示例。图10所示的图像是通过拍摄作为第二观察对象的、利用DAPI染色法染色的猪腰部的切片的图像而获得的图像。尽管图10所示的第二低倍率图像是单色图像，但是是通过将拍摄的彩色图像进行转换获得该单色图像。关于第二低倍率图像的数据通过显微镜控制单元3输出到图像处理设备4的第二区域检测部分42。此外，由于关于第二低倍率图像的数据被用在随后的步骤中，关于第二低倍率图像的数据被保存在图像处理设备4中，而没有被消除。

接着，第二区域检测部分42在第二低倍率图像中检测“样本材料区域”(St202)。样本材料区域是存在第二观察对象(即，在此情况下是猪腰部的切片)的区域。图11A和11B分别是示出这样检测到的样本材料区域的示意图。图11A示出在样本材料区域的轮廓叠加在低倍率图像上的状态下样本材料区域的轮廓，并且图11B示出样本材料区域的轮廓和第二低倍率图像的周围边缘。在图11A和11B中，样本材料区域的轮廓示出为区域A2。

在随后的步骤中，显微镜系统1以高倍率拍摄样本材料区域的图像。然而，由于以高倍率拍摄不存在观察对象的区域的图像变得浪费，所以在步骤St202的处理中，检测其中存在要以高倍率拍摄其图像的观察对象的区域。利用图像的对比度(视觉特征，诸如亮度、颜色)进行的处理(诸如基于阈值处理和标签处理进行的区域提取或者使用数字过滤器的边缘检测)能用于样本材料区域的检测。

接着，图像处理设备4在第二低倍率图像中设定“显微镜成像范围”(St203)。图12是概念性地示出显微镜成像范围的视图。样本材料区域(区域A2)和设定在样本材料上的显微镜成像范围(示出为范围R)均示出在图12中。

显微镜成像范围是与高倍率成像装置21通过设定到预定放大倍率的高倍率镜筒22的视野范围对应的范围。图像处理设备4与由使用者输入的放大的倍率对应地确定显微镜成像范围的尺寸。当整个样本材料区域不包括在一个显微镜成像范围时，如图12所示，图像处理设备4配置多个显微镜成像范围。注意，图像处理设备4以图12所示的周围边缘部分彼此叠加的方式配置显微镜成像范围。此处理方便在下文所述的显微镜图像连结步骤中执行。

接着，图像处理设备4计算“台子的位置的坐标”，作为用于将如上所述的每个显微镜成像范围容纳在高倍率成像装置21的视野内的台子23的位置的坐标(St204)。具体地，图像处理设备4计算第二低倍率图像的中央位置的坐标与一个显微镜成像范围的中央位置的坐标之间的差异。此外，图像处理设备4将得到的差异应用到当拍摄第二低倍率图像时台子23的位置的坐标(关于其的数据从显微镜控制单元3提供)，并将得到的坐标设定为与所关心的显微镜成像范围相关的台子23的位置的坐标。图像处理设备4分别将与显微镜成像范围分别对应的台子23的位置的坐标的数据输出到显微镜控制单元3。此外，当在图像处理设备4中设定多个显微镜成像范围时，图像处理设备4判定最有效的成像顺序(即，台子23的驱动距离变得最短的成像顺序)，并将关于成像顺序的数据输出到显微镜控制单元3。

接着，显微镜控制单元3通过使用台驱动部分24来移动台子23的位置(St205)。根据在St104的处理中提供的关于台子23的位置的坐标的数据，显微镜控制单元3以任何一个显微镜成像范围与高倍率成像装置21的视野一致的方式控制状态驱动部分24。

接着，高倍率成像装置21拍摄标本P2的“显微镜图像”(St205)。显微镜图像是标本P2的显微镜放大图像。显微镜控制单元3以获得由使用者指定的放大倍率并以这样指定的放大倍率获得焦点的方式将控制信号输出到高倍率镜筒22。高倍率成像装置21将关于显微镜图像的数据输出到图像处理设备4。

当在图像处理设备4中设定多个显微镜成像范围时，显微镜控制单元3通过使用台驱动部分24再次移动台子23的位置，并使高倍率成像装置21拍摄标本P2的下一个显微镜成像范围的图像。显微镜控制单元3重复地执行台子23的位置的移动(St205)以及由高倍率成像装置21进行的显微镜图像的成像(St206)两者，直到拍摄所有显微镜成像范围的图像。

当拍摄彼此相邻的多个显微镜图像时，图像处理设备4将各个显微镜图像彼此连结(St207)。具体地，图像处理设备4在两张相邻的显微镜图像的叠加范围中提取多个特征点，并能以这样提取的特征点彼此一致的方式结合这些图像。结果，即使当连续的样本材料的尺寸比一个显微镜成像范围大时，也可以获得所关心的连续样本材料区域的连续显微镜图像。这样产生的标本P2的通过连结获得的显微镜图像设定为“第二高倍率图像”。

图13是第二高倍率图像的示意图。此处，图13所示的第二高倍率图像是第二观察对象的一部分。原因是因为如上所述，在标本P2中，盖玻片仅仅覆盖第二观察对象的中央部分，其造成不存在盖玻片的区域的图像在显微镜2中离焦，因而不能被拍摄。由于第二观察对象的轮廓的图像不包含在图13所示的第二高倍率图像中，不能使用第一高倍率图像和轮廓执行对准。下文将描述对准的细节。

接着，图像处理设备4将第二高倍率图像分成图像片(St208)。图像处理设备4将第二高倍率图像分成多个正方形分区(例如，256个正方形分区)。执行此处理的目的是在显示装置5上显示第二高倍率图像的情况下节省存储器等的存储容量，并使处理第二高倍率图像容易。图像处理设备4分别将关于第二高倍率图像中的图像片的预定位置信息添加到图像片的头部。

用于图4所示的第一观察对象的显微镜系统1的操作如上所述。随后，显微镜系统1的操作进行到用于比较第一观察对象的图像和图5所示的第二观察对象的图像的操作。注意，以下所示的用于第一观察对象的显微镜系统1的操作和用于第二观察对象的显微镜系统1的操作的顺序可以相反。

用于比较第一观察对象的图像和第二观察对象的图像的操作

现在将给出用于在显微镜系统1中将第一观察对象的图像和第二观察对象的图像彼此比较的操作的描述。图5是示出用于在显微镜系统1中将第一观察对象的图像和第二观察对象的图像彼此比较的操作的流程图。

图像处理设备4的图像比较部分43将第一低倍率图像和第二低倍率图像彼此比较(St301)。图14A至14C分别是示出由图像比较部分43进行第一低倍率图像和第二低倍率图像的比较的情况的概念图。如图14A至14C所示，图像比较部分43在第一低倍率图像和第二低倍率图像中通过使用观察对象存在的区域之间的对比度差异分别提取第一低倍率图像和第二低倍率图像中的观察对象的轮廓。图14A示出了从第一低倍率图像提取的观察对象的轮廓L1，并且图14B示出了从第二低倍率图像提取的观察对象的轮廓L2。如图14C所示，图像处理设备4以第一低倍率图像和第二低倍率图像的周围边缘彼此一致的方式将第一低倍率图像中的观察对象的轮廓L1和第二低倍率图像中的观察对象的轮廓L2彼此叠加。

接着，图像比较部分43计算第一低倍率图像和第二低倍率图像之间的相对位置(St302)。相对位置是指第一低倍率图像中的第一观察对象的位置和第二低倍率图像中第二观察对象的位置之间的差异。具体地，图像比较部分43计算第一低倍率图像和第二低倍率图像之间轮廓上的一个点或者多个点的位置坐标的差异。例如，以其中第一低倍率图像和第二低倍率图像之间在x方向上转移多少毫米、第一高倍率图像和第二高倍率图像之间在y方向上转移多少毫米和在第一高倍率图像和第二高倍率图像之间旋转多少度的形式计算相对位置。此外，在一些情况下可以添加诸如存在扭转的图像失真的信息。

接着，图像比较部分43计算第一高倍率图像和第二高倍率图像之间的相对位置(St303)。相对位置是指第一高倍率图像中的第一观察对象的位置与第二高倍率图像中的第二观察对象的位置之间的差异。如上所述，第一低倍率图像中的第一高倍率图像的范围和第二低倍率图像中的第二高倍率图像的范围两者变得清楚。由于此原因，图像比较部分43能从第一低倍率图像和第二低倍率图像之间的相对位置获得第一高倍率图像和第二高倍率图像之间的相对位置。

接着，图像比较部分43将关于第一高倍率图像和第二高倍率图像的相对位置的信息添加到图像片(St304)。对于第一高倍率图像的每个图像片，图像比较部分43描述用来指定相对位置最靠近图像片中相应一者的第二高倍率图像的图像片的信息。此外，对于第二高倍率图像的每个图像片，图像比较部分43描述用来指定相对位置最靠近图像片中相应一者的第一高倍率图像的图像片的信息。

接着，图像显示部分44在显示装置5上彼此连动地显示第一高倍率图像和第二高倍率图像(St305)。图15是示出第一高倍率图像和第二高倍率图像两者显示在显示装置5上的示例的视图。在图15中，第一高倍率图像示出为图像G1，并且第二高倍率图像示出为图像G2。如图15所示，图像显示部分44在显示装置5上显示第一高倍率图像的图像片和第二高倍率图像的图像片中互相对应的图像片。当使用者输入用于对第一高倍率图像或者第二高倍率图像的放大、缩小、移动等的操纵时，图像显示部分44在显示装置5上显示反映了该操纵的第一高倍率图像和第二高倍率图像两者的图像片。就是说，图像显示部分44在显示装置5上彼此连动地显示第一高倍率图像和第二高倍率图像。

以如上所述的方式，包括实施例的图像处理设备4的显微镜系统1能在显示装置5上彼此连动地显示第一高倍率图像和第二高倍率图像。结果，使用者能容易地比较第一观察对象和第二观察对象的相应结构的显微镜图像。尤其是，即使当观察对象的轮廓的图像既不包含在第一高倍率图像也不包括在第二高倍率图像中时，显微镜系统1能在显示装置5上彼此连动地显示第一高倍率图像和第二高倍率图像。

本发明决不限于以上所述的实施例，并且因而在不脱离主题的情况下能进行各种变化。

尽管在以上所述实施例中整个图像被以相同的倍率等拍摄来作为第一低倍率图像，但是第一低倍率图像决不限于此。例如，通过将作为显微镜图像的第一高倍率图像的压缩编码而获得的图像也可以被设定为第一低倍率图像。

本发明包含在日本专利局中于2010年12月3日提交的日本优先权专利申请JP2010-270284的主题相关的主题，其全部内容通过引用而结合于此。

Claims (6)

1.一种图像处理方法，其包括：

通过图像比较部分将作为第一观察对象的低倍率图像的第一低倍率图像和作为第二观察对象的低倍率图像的第二低倍率图像彼此进行比较，由此获得所述第一低倍率图像中的所述第一观察对象的位置与所述第二低倍率图像中的所述第二观察对象的位置之间的差异，所述第二观察对象与所述第一观察对象类似；并且

通过图像显示部分在显示装置上根据所述差异连动地显示作为所述第一观察对象的高倍率图像的第一高倍率图像以及作为所述第二观察对象的高倍率图像的第二高倍率图像。

2.一种图像处理方法，包括以下步骤：

通过第一区域检测部分在以低倍率拍摄所述第一观察对象的图像而获得的第一低倍率图像中，检测第一观察对象所存在的区域来作为第一区域；

通过第二区域检测部分在以低倍率拍摄第二观察对象的图像而获得的第二低倍率图像中，检测第二观察对象所存在的区域来作为第二区域，所述第二观察对象与所述第一观察对象类似；

通过图像比较部分将所述第一低倍率图像与所述第二低倍率图像彼此比较，由此获得所述第一低倍率图像中的所述第一观察对象的位置与所述第二低倍率图像中的所述第二观察对象的位置之间的差异；并且

通过图像显示部分在显示装置上根据所述差异连动地显示通过以高倍率拍摄所述第一区域的图像而获得的第一高分辨率图像以及通过以高倍率拍摄所述第二区域的图像而获得的第二高分辨率图像。

3.根据权利要求2所述的图像处理方法，其中，在通过所述图像比较部分获得所述差异的步骤中，所述图像比较部分获得所述第一低倍率图像中的所述第一观察对象的轮廓以及所述第二低倍率图像中的所述第二观察对象的轮廓，并获得所述第一低倍率图像中的所述第一观察对象的轮廓的位置与所述第二低倍率观察图像中第二观察对象的轮廓的位置之间的差异。

4.根据权利要求3所述的图像处理方法，其中，在通过所述图像比较部分获得所述差异的步骤中，所述图像比较部分从所述第一低倍率图像的对比度获得所述第一观察对象的轮廓，并从所述第二低倍率图像的对比度获得所述第二观察对象的轮廓。

5.一种图像处理设备，包括：

第一区域检测部分，在通过以低倍率拍摄第一观察对象的图像而获得的第一低倍率图像中，所述第一区域检测部分检测第一观察对象所存在的区域来作为第一区域；

第二区域检测部分，在通过以低倍率拍摄第二观察对象的图像而获得的第二低倍率图像中，所述第二区域检测部分检测第二观察对象所存在的区域来作为第二区域，所述第二观察对象与所述第一观察对象类似；

图像比较部分，其将所述第一低倍率图像与所述第二低倍率图像彼此进行比较，由此获得所述第一低倍率图像中的所述第一观察对象的位置与所述第二低倍率图像中的所述第二观察对象的位置之间的差异；以及

图像显示部分，其使显示装置在显示装置上根据所述差异连动地显示通过以高倍率拍摄所述第一区域的图像而获得的第一高倍率图像以及通过以高倍率拍摄所述第二区域的图像而获得的第二高倍率图像。

6.一种图像处理程序，其发挥功能以包括：

第一区域检测部分，在通过以低倍率拍摄第一观察对象的图像而获得的第一低倍率图像中，所述第一区域检测部分检测第一观察对象所存在的区域来作为第一区域；

第二区域检测部分，在通过以低倍率拍摄第二观察对象的图像而获得的第二低倍率图像中，所述第二区域检测部分检测第二观察对象所存在的区域来作为第二区域，所述第二观察对象与所述第一观察对象类似；

图像比较部分，其将所述第一低倍率图像与所述第二低倍率图像彼此进行比较，由此获得所述第一低倍率图像中的所述第一观察对象的位置与所述第二低倍率图像中的所述第二观察对象的位置之间的差异；以及

图像显示部分，其使显示装置在显示装置上根据所述差异连动地显示通过以高倍率拍摄所述第一区域的图像而获得的第一高倍率图像以及通过以高倍率拍摄所述第二区域的图像而获得的第二高倍率图像。

Images