CN102331622A - 信息处理系统、显微镜控制装置及其操作方法 - Google Patents
信息处理系统、显微镜控制装置及其操作方法 Download PDFInfo
- Publication number
- CN102331622A CN102331622A CN2011101873340A CN201110187334A CN102331622A CN 102331622 A CN102331622 A CN 102331622A CN 2011101873340 A CN2011101873340 A CN 2011101873340A CN 201110187334 A CN201110187334 A CN 201110187334A CN 102331622 A CN102331622 A CN 102331622A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- microsope
- focal position
- subregion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明披露了信息处理系统、显微镜控制装置及其操作方法。在一个示例性实施方式中,显微镜控制装置包括控制器,该控制器被配置成存储具有不同深度位置的多个图像。在一个示例性实施方式中,显微镜控制装置将多个图像分成多个子区域。在一个示例性实施方式中,对于每个子区域,显微镜控制装置生成对应于深度位置的聚焦位置信息。
Description
相关申请的交叉引用
本申请要求于2010年7月12日向日本专利局提交的日本专利申请第JP 2010-157803号以及于2010年12月27日向日本专利局提交的日本专利申请第JP 2010-289776号,其全部内容结合于此作为参考。
技术领域
本发明提供了能够在观察显微镜图像时减少与聚焦调节有关的工作量并且提高观察者方便性的显微镜控制装置、图像显示装置、图像管理服务器、聚焦位置信息生成方法、图像显示方法、图像管理方法和显微镜图像管理系统。
背景技术
提出了以下技术:使用用于观察样本(诸如细胞组织切片)的显微镜,将通过显微镜观察到的样本图像存储成数字图像,并且通过在因特网或内联网上提供的其他设备查看所存储的数字图像(例如,参见日本未审专利申请公开第2003-222801号)。该技术的应用能够促进所谓的远程病理学的发展,在所述远程病理学中,远方的医生使用网络进行病理诊断。
因此,在生成样本(诸如细胞组织)的数字图像的显微镜中,使用放大光学系统将样本放大并且将放大的图像投影到图像传感器以捕获数字图像。此时,由于显微镜视场的景深非常窄,大约为1μm左右,所以存在多次捕获图像(其中,聚焦位置在样本的深度方向上偏离)的必要,以捕获具有一定厚度的整个样本的图像。此外,即使当样本的厚度相对小时,可能存在由于细胞组织的波动或不规则而导致在一个被放大的图像中局部的最佳聚焦位置彼此不同的情况,并且可能存在需要多次捕获图像数据(其中,聚焦位置在深度方向上偏离)的情况。
此外,数字图像的观察者操作用来观察数字图像的终端中的输入装置(例如,鼠标)并观察先前捕获的数字图像的数据。此时,操作者在观察目标样本的数字图像的同时通过操作输入装置以三维方式,例如从右到左、上和下以及在深度方向上改变观察的位置时就如同观察者正在通过显微镜观察载玻片。这里,当在深度方向上观察多次捕获的样本图像时,操作者操作鼠标滚轮等,并且可以自行执行聚焦调节。
然而,如上所述,由于在待观察的样本中存在厚度或波动,用于观察数字图像的终端的操作者不得不在他们每次改变观察位置时进行聚焦调节。然而,存在这种调节带给观察者很多麻烦的问题。
发明内容
在一个示例性实施方式中,显微镜控制装置包括控制器,所述控制器被配置成:(a)存储具有不同深度位置的多个图像;(b)将多个图像分成多个子区域;和(c)对于每个子区域,生成对应于深度位置的聚焦位置信息。
在一个示例性实施方式中,对于每个子区域,聚焦位置信息表示:(a)所述子区域;和(b)处于聚焦状态的多个图像中的一个。
在一个示例性实施方式中,多个图像包括第一图像和第二图像。在一个示例性实施方式中,控制器被配置成:(i)将第一图像分成具有第一多个位置的第一数目的子区域;和(ii)将第二图像分成具有第二多个位置的第二数目的子区域。在一个示例性实施方式中,所述第一多个位置对应于第二多个位置。
在一个示例性实施方式中,针对相对于所关注的子区域的多个图像中的每一个,控制器被配置成:(a)计算对比度的评估值;和(b)使用计算的评估值确定多个图像中的哪一个处于聚焦状态。
在一个示例性实施方式中,控制器被配置成生成颜色分布图和查找表中的至少一种作为聚焦位置信息。
在一个示例性实施方式中,控制器被配置成利用生成的聚焦位置信息,生成整个区域聚焦图像,在所述整个区域聚焦图像中对应于聚焦图像的整个平面表面处于聚焦状态。
在一个示例性实施方式中,从显微镜得到多个图像。
在一个示例性实施方式中,信息处理设备包括显微镜控制装置,所述显微镜控制装置包括控制器,所述控制器被配置成:(a)存储具有不同深度位置的多个图像;(b)将多个图像分成多个子区域;以及(c)对于每个子区域,生成对应于深度位置的聚焦位置信息。
在一个示例性实施方式中,信息处理设备是显微镜。
在一个示例性实施方式中,信息处理系统包括显示装置、信息管理服务器、显微镜和显微镜控制装置。在一个示例性实施方式中,所述显微镜控制装置包括控制器,所述控制器被配置成:(a)存储具有不同深度位置的多个图像;(b)将多个图像分成多个子区域;和(c)对于每个子区域,生成对应于深度位置的聚焦位置信息。
在一个示例性实施方式中,控制器被配置成:(a)使显示装置显示可选择的第一图标;和(b)响应所选的第一图标的选择,使显示装置显示整个聚焦图像。
在一个示例性实施方式中,控制器被配置成:(a)使显示装置显示多个图像中的一个;和(b)使用户能够选择显示图像中的子区域中的一个;(c)对于所选择的子区域,使显示装置显示表示所选择的子区域的深度位置的信息。
在一个示例性实施方式中,操作包括控制器的显微镜控制装置的方法包括(a)使控制器存储具有不同深度位置的多个图像;(b)使控制器将多个图像分成多个子区域;和(c)对于每个子区域,使控制器生成对应于深度位置的聚焦位置信息。
在一个示例性实施方式中,非临时性计算机可读介质存储指令,所述指令被构造使信息处理设备执行以下步骤:(a)存储具有不同深度位置的多个图像;(b)将多个图像分成多个子区域;和(c)对于每个子区域,生成对应于深度位置的聚焦位置信息。
如上所述,根据本发明的示例性实施方式,由于对于样本的显微镜图像生成了表示显微镜图像的局部聚焦位置的聚焦位置信息,所以,可以在观察显微镜图像时降低与聚焦调节有关的工作量,并且提高观察者方便性。
本文披露了其它的特征和优点,并且在下文中的具体实施方式和附图中是显而易见的。
附图说明
图1是示出了根据本发明的第一示例性实施方式的显微镜图像管理系统的结构的示意图。
图2是示出根据示例性实施方式的显微镜和显微镜控制装置的整体结构的示意图。
图3是示出了根据示例性实施方式的显微镜控制装置的整体控制部的结构的框图。
图4是示出了显微镜图像的示意图。
图5是示出了显微镜图像的示意图。
图6是示出了根据示例性实施方式的包括在整体控制部中的图像处理部的结构的框图。
图7是示出了根据示例性实施方式的子区域的示意图。
图8是示出了根据示例性实施方式的检测聚焦位置的方法的示意图。
图9是示出了聚焦位置的分布的示意图。
图10是示出了聚焦位置的分布的示意图。
图11是示出了根据示例性实施方式的聚焦位置信息的实例的示意图。
图12是示出了根据示例性实施方式的生成全聚焦图像(all-in-focusimage)的方法的示意图。
图13是示出了根据示例性实施方式的全聚焦图像的示意图。
图14是示出了根据示例性实施方式的图像显示装置的结构的框图。
图15是示出了根据示例性实施方式的图像显示装置的显示画面的示例的示意图。
图16是示出了根据示例性实施方式的生成聚焦位置信息的方法的流程的流程图。
图17是示出了根据示例性实施方式的图像显示方法的流程的流程图。
图18是示出了根据本发明第二示例性实施方式的图像管理服务器的结构的框图。
图19是示出了根据示例性实施方式的图像显示装置的结构的框图。
图20是示出了根据示例性实施方式的显微镜图像的显示画面的实例的示意图。
图21是示出了根据示例性实施方式的显微镜图像的显示画面的实例的示意图。
图22是示出了根据示例性实施方式的显微镜图像的显示画面的实例的示意图。
图23是示出了根据示例性实施方式的显微镜图像的显示画面的实例的示意图。
图24是示出了根据示例性实施方式的显微镜图像的显示画面的实例的示意图。
图25是示出了根据示例性实施方式的显微镜图像的显示画面的实例的示意图。
图26是示出了根据示例性实施方式的显微镜图像的显示画面的实例的示意图。
图27是示出了根据示例性实施方式的显微镜图像的显示画面的实例的示意图。
图28是示出了根据示例性实施方式的显微镜图像的显示控制处理的流程实例的流程图。
图29是示出了根据示例性实施方式的显微镜图像的显示控制处理的流程实例的流程图。
图30A是示出了根据示例性实施方式的显微镜图像的显示控制处理的流程实例的流程图。
图30B是示出了根据示例性实施方式的显微镜图像的显示控制处理的流程实例的流程图。
图31是示出了根据示例性实施方式的显微镜图像的显示控制处理的流程实例的流程图。
图32是示出了根据本发明的示例性实施方式的显微镜控制装置的硬件结构的框图。
具体实施方式
在下文中,将参照附图详细描述本发明的优选示例性实施方式。在该说明书和附图中,将相同的参考数字和标号分配给具有基本相同的功能结构的部件并且因此将不再重复对这些部件的描述。
按照下面的顺序进行描述。
(1)第一示例性实施方式
(1-1)关于显微镜图像管理系统的结构
(1-2)关于显微镜的整体结构
(1-3)关于显微镜控制装置的整体结构
(1-4)关于总体控制部的结构
(1-5)关于图像显示装置的结构
(1-6)关于显示画面的实例
(1-7)关于生成聚焦位置信息的方法的流程
(1-8)关于图像显示方法的流程
(2)第二示例性实施方式
(2-1)关于图像管理服务器的结构
(2-2)关于图像显示装置的结构
(2-3)关于显微镜图像的显示画面和显示控制处理的实例
(2-4)关于显微镜图像的显示控制方法的流程
(3)关于根据本发明的示例性实施方式的显微镜控制装置和图像显示装置的硬件结构
在下面的内容中,作为由显微镜捕获的样本,将对包括诸如血液的结缔组织、上皮组织或这两种组织等的涂片细胞或组织部分的生物样本(细胞组织样本)的实例进行描述,但并不限于此。
(第一示例性实施方式)
<关于显微镜图像管理系统的结构>
首先,将参照图1描述根据本发明第一示例性实施方式的显微镜图像管理系统1的结构。图1是示出了根据示例性实施方式的显微镜图像管理系统1的结构的示意图。
如图1所示,根据示例性实施方式的显微镜图像管理系统1包括显微镜10、显微镜控制装置20、图像管理服务器30和图像显示装置40。显微镜控制装置20、图像管理服务器30和图像显示装置40通过网络3彼此连接。
网络3是允许根据示例性实施方式的显微镜控制装置20、图像管理服务器30和图像显示装置40以双向通信的方式彼此连接的通信网络。网络3包括,例如,公用网(诸如因特网、电话网络、卫星通信网络和多路通信信道)或租用专线通信网(诸如WANs(广域网)、LANs(局域网)、IP-VPNs(互联网协议-虚拟专用网)、以太网(注册商标)和无线LANs),有线/无线网络都可以。此外,网络3可以是专门为根据示例性实施方式的显微镜图像管理系统1设置的通信网络。
显微镜10以预定的照明光(illumination light)照射置于显微镜10的镜台上的样本(例如,生物样本),并且捕获透过该样本的光,或从样本发出的光等。下面将进一步详细描述根据示例性实施方式的显微镜10的整体结构。
通过显微镜控制装置20控制显微镜10,并经由显微镜控制装置20将由显微镜10捕获的样本图像存储在图像管理服务器30中。
显微镜控制装置20是控制用来捕获样本图像的显微镜10的装置。显微镜控制装置20控制显微镜10来捕获样本的数字图像,并且对得到的样本的数字图像数据进行预定的数字处理。此外,显微镜控制装置20将得到的样本的数字图像数据上载至图像管理服务器30。
图像管理服务器30是存储由显微镜10捕获的样本的数字图像数据并且管理这些数字图像数据的装置。当从显微镜控制装置20输出样本的数字图像数据时,图像管理服务器30将得到的样本的数字图像数据存储在预定的存储区域中以允许观察者使用图像数据。此外,当从由观察者操作的图像显示装置40(即,对应于观察器的装置)请求对某一样本的数字图像数据进行观察时,图像管理服务器30将对应样本的数字图像数据提供至图像显示装置40。
图像显示装置40是由想要观察样本的数字图像数据的人员操作的终端(即,对应于观察器的装置)。希望观察数字图像数据的人员参考存储在图像管理服务器30内的数字图像数据列表以指定他或她想要观察的数字图像数据,并请求图像管理服务器30提供指定的数字图像数据。当从图像管理服务器30提供数字图像数据时,对应于提供的数字图像数据的图像显示在图像显示装置40的显示器等上,从而希望进行观察的人员能够观察图像。
下面将进一步描述根据示例性实施方式的显微镜控制装置20和图像管理服务器30的详细结构。
在图1中,尽管示出了属于系统1的显微镜10、显微镜控制装置20和图像管理服务器30都以一个存在的情况,但是属于显微镜图像管理系统1的显微镜10、显微镜控制装置20和图像管理服务器30的数目并不限于图1中的实例,而是可以存在多个。
<关于显微镜的整体结构>
接下来,将参照图2描述根据示例性实施方式的显微镜10的整体结构。图2是示出了根据示例性实施方式的显微镜10和显微镜控制装置20的整体结构的示意图。
[整体结构]
如图2中所示,根据示例性实施方式的显微镜10包括缩略图像捕获部110和放大图像捕获部120,其中,缩略图像捕获部110捕获其上设置了生物样本SPL的整个标本PRT的图像(在下文中,该图像也被称为缩略图像),放大图像捕获部120捕获其中生物样本SPL以预定放大倍率被放大的图像(在下文中,该图像也被称为放大图像)。
标本PRT通过预定的固定方法将包括诸如血液的结缔组织、上皮组织或这两种组织等的涂片细胞或组织部的生物样本SPL固定至玻璃载玻片。根据需要,可以对组织部分或涂片细胞进行各种类型的染色。染色不仅包括以HE(苏木精-曙红)染色、吉姆沙染色(Giemsa stain)或巴氏染色(Papanicolaou stain)等为代表的普通染色,还包括荧光染色,例如FISH(荧光原位杂交)或酶抗体法。
此外,可以将列出了用于说明对应生物样本SPL的辅助信息(例如,样本采集人的名字、采集的日期和时间、染色的类型等)的标签粘附至标本PRT上。
根据示例性实施方式的显微镜10设置有上述标本PRT放置在其上的镜台130,并且进一步设置有用于在各个方向上移动镜台130的镜台驱动机构135。通过该镜台驱动机构135可以在平行于镜台表面的方向(X轴和Y轴方向)上以及在垂直于镜台表面的方向(Z轴方向)上自由地移动镜台130。
此外,根据示例性实施方式的显微镜10可以设置有将包括样本SPL的标本PRT传送至镜台130的样本传送装置141。通过设置这样的传送装置141,其图像将被捕获的样本被自动安装在镜台130上,从而允许自动地替换样本SPL。
[缩略图像捕获部]
如图2中所示,缩略图像捕获部110主要包括光源111、物镜112和图像捕获元件113。
光源111设置在与镜台130的标本配置表面相对的表面侧处。光源111可以通过在照射进行了普通染色的生物样本SPL的光(在下文中,称为亮视场照明光,或也被简单地称为照明光)和照射进行了特殊染色的生物样本SPL的光(在下文中,也被称为暗视场照明光)之间切换来发光。此外,光源111可以仅发出亮视场照明光或暗视场照明光中的一种。在这种情况下,光源111设置有包括发出亮视场照明光的光源和发出暗视场照明光的光源的两种类型的光源。
此外,缩略图像捕获部110可以单独设置有标签光源(未示出),该标签光源发出用于捕获列出在粘附至标本PRT的标签上的辅助信息的图像的光。
具有预定放大倍率的物镜112设置在镜台130的标本配置表面侧,将标本配置表面中的缩略图像捕获部110的基准位置的法线用作光轴SRA。透过设置在镜台130上的标本PRT的光被该物镜112会聚,并且在设置在物镜112的后面(即,照明光的传播方向)的图像捕获元件113上形成图像。
包括放置在镜台130的标本配置表面上的整个标本PRT的图像捕获范围中的光(换言之,透过整个标本PRT的光)在图像捕获元件113上形成图像。在该图像捕获元件113上形成的图像成为缩略图像,该缩略图像是通过捕获整个标本PRT的图像得到的显微镜图像。
[放大图像捕获部]
如图2中所示,放大图像捕获部120主要包括光源121、聚光透镜122、物镜123和图像捕获元件124。
光源121用来发出亮视场照明光,并且设置在与镜台130的标本配置表面相对的表面侧处。此外,发出暗视场照明光的光源(未示出)设置在与光源121的位置不同的位置处(例如,标本配置表面侧)。
聚光透镜122是会聚从光源121发出的亮视场照明光或从用于暗视场照明的光源发出的暗视场照明光,并且将上述光导向镜台130上的标本PRT的透镜。该聚光透镜122设置在光源121和镜台130之间,将标本配置表面中的放大图像捕获部120的基准位置的法线用作光轴ERA。
具有预定放大倍率的物镜123设置在镜台130的标本配置表面侧,将标本配置表面中的放大图像捕获部120的基准位置的法线用作光轴ERA。在放大图像捕获部120中,适当地更换该物镜123,使得可以以各种放大倍率放大生物样本SPL以捕获其图像。透过设置在镜台130上的标本PRT的光被物镜123会聚,并且在设置在物镜123的后面(即,照明光的传播方向)的图像捕获元件124上形成图像。
根据图像捕获元件124的像素尺寸和物镜123的放大倍率,在包括在镜台130的标本配置表面上的预定的水平宽度和垂直宽度的图像捕获范围内的图像形成在图像捕获元件124上。因为生物样本SPL的一部分被物镜123放大,所以上述的图像捕获范围变得比图像捕获元件113的图像捕获范围足够窄。
这里,如图2中所示,将缩略图像捕获部110和放大图像捕获部120设置为使得作为各自基准位置的法线的光轴SRA和光轴ERA在Y轴方向上彼此相距距离D。将该距离D设置成使得保持放大图像捕获部120的物镜123的镜筒(未示出)的像不形成在图像捕获元件113的图像捕获范围内并且小型化该镜筒的近距离。
分别为缩略图像捕获部110和放大图像捕获部120设置的图像捕获元件可以是一维图像捕获元件,并且可以是二维图像捕获元件。
<关于显微镜控制装置的整体结构>
如图2所示,根据示例性实施方式,将用于控制显微镜的各个部位的显微镜控制装置20连接至显微镜10。如图2中所示,显微镜控制装置20主要包括总体控制部201、照明控制部203、镜台驱动控制部205、缩略图像捕获控制部207、放大图像捕获控制部209和存储部211。
这里,照明控制部203是控制包括在显微镜10内的各种光源(例如,光源111和光源121)的处理部,而镜台驱动控制部205是控制镜台驱动机构135的处理部。此外,缩略图像捕获控制部207是控制用于捕获缩略图像的图像捕获元件113的处理部,而放大图像捕获控制部209是控制用于捕获生物样本SPL的放大图像的图像捕获元件124的处理部。这些控制部通过各种数据信道连接至进行控制的各个部位。
此外,根据示例性实施方式的显微镜控制装置20单独地设置有执行整个显微镜的控制的控制部(总体控制部201),并且通过各种数据信道连接至上述的各种控制部。
通过CPU(中央处理器)、GPU(图形处理单元)、ROM(只读存储器)、RAM(随机存取存储器)、存储单元、通信单元、计算电路等来实现这些控制部。
存储部211是包括在根据示例性实施方式的显微镜控制装置20中的存储单元的实例。将各种用于控制根据示例性实施方式的显微镜10的设置信息、各种数据库、查找表(例如负荷预测表)等存储在存储部211中。此外,可以将各种历史数据(例如,显微镜10中的样本的图像捕获历史)记录在存储部211中。此外,当根据示例性实施方式的显微镜控制装置20执行各种处理时,在处理过程中需要存储的各种参数或处理,或各种数据库或程序等被适当地记录在存储部211中。
在存储部211中,包括在显微镜控制装置20中的每个处理部可以自由地进行读/写。
在下文中,将简单地描述除了总体控制部201之外的上述控制部的功能。此外,下面将进一步详细地描述总体控制部201。
[照明控制部]
照明控制部203是控制包括在根据示例性实施方式的显微镜10中的各种光源的处理部。当从总体控制部201输出表示照射生物样本SPL的方法的信息时,照明控制部203根据表示所获取的照明方法的信息进行对应光源的照明控制。
例如,关注照明控制部203控制为缩略图像捕获部110设置的光源111的情况。在这种情况下,照明控制部203参考表示照明方法的信息确定是执行得到亮视场图像的模式(在下文中,也被称为亮视场模式)还是得到暗视场图像的模式(在下文中,也被称为暗视场模式)。此后,照明控制部203根据各种模式对光源111设置各种参数,并且使得从光源111发出适用于每种模式的照明光。从而,从光源111发出的照明光通过镜台130的开口照射整个生物样本SPL。由照明控制部203设置的参数可以包括,例如,照明光的强度或光源类型的选择等。
此外,关注照明控制部203控制为放大图像捕获部120设置的光源121的情况。在这种情况下,照明控制部203参考表示照明方法的信息确定是执行亮视场模式还是暗视场模式。此后,照明控制部203根据每种模式对光源121设置各种参数,并且使得从光源121发出适用于每种模式的照明光。从而,从光源121发出的照明光通过镜台130的开口照射整个生物样本SPL。由照明控制部203设置的参数可以包括,例如,照明光的强度或光源类型的选择等。
作为亮视场模式中的照明光,优选使地用可见光。此外,作为暗视场模式中的照明光,优选使用包括能够激发特殊染色中所使用的荧光标记的波长的光。在暗视场模式中,去除了荧光标记的背景部分。
[镜台驱动控制部]
镜台驱动控制部205是控制用于驱动为根据示例性实施方式的显微镜10设置的镜台的镜台驱动机构135的处理部。当从总体控制部201输出表示捕获生物样本SPL的图像的方法的信息时,镜台驱动控制部205根据表示获得的图像捕获方法的信息来控制镜台驱动机构135。
例如,关注通过根据示例性实施方式的显微镜10捕获缩略图像的情况。当从总体控制部201输出关于捕获生物样本SPL的缩略图像的含义的信息时,镜台驱动控制部205在镜台表面方向(X-Y轴方向)上移动镜台130,使得整个标本PRT进入图像捕获元件113的图像捕获范围。此外,镜台驱动控制部205在Z轴方向上移动镜台130,以使物镜112在整个标本PRT上聚焦。
此外,关注通过根据示例性实施方式的显微镜10捕获放大图像的情况。当从总体控制部201输出关于捕获生物样本SPL的放大图像的含义的信息时,镜台驱动控制部205通过驱动镜台驱动机构135在镜台表面方向上移动镜台130,从而使生物样本SPL从光源111和物镜112之间位于聚光透镜122和物镜123之间。
此外,镜台驱动控制部205在镜台表面方向(X-Y轴方向)上移动镜台130使得生物样本的预定的位置位于在图像捕获元件124上形成的图像捕获范围内。
此外,镜台驱动控制部205通过驱动镜台驱动机构135在垂直于镜台表面的方向(Z轴方向和组织部的深度方向)上移动镜台130以使得物镜123在位于预定的图像捕获范围内的生物样本SPL的位置上聚焦。
[缩略图像捕获控制部]
缩略图像捕获控制部207是控制为缩略图像捕获部110设置的图像捕获元件113的处理部。缩略图像捕获控制部207根据图像捕获元件113中的亮视场模式或暗视场模式来设置参数。此外,当得到从图像捕获元件113输出的对应于在图像捕获元件113的图像形成表面上形成的图像的输出信号时,缩略图像捕获控制部207将得到的输出信号用作对应于缩略图像的输出信号。当得到对应于缩略图像的输出信号时,缩略图像捕获控制部207向总体控制部201输出对应于得到的信号的数据(RAW数据)。由缩略图像捕获控制部207设置的参数可以包括,例如,曝光的开始定时和结束定时等。
[放大图像捕获控制部]
放大图像捕获控制部209是控制为放大图像捕获部120设置的图像捕获元件124的处理部。放大图像捕获控制部209根据图像捕获元件124中的亮视场模式或暗视场模式设置参数。此外,当得到从图像捕获元件124输出的对应于在图像捕获元件124的图像形成表面上形成的图像的输出信号时,放大图像捕获控制部209将得到的输出信号用作对应于放大图像的输出信号。当得到对应于放大图像的输出信号时,放大图像捕获控制部209向总体控制部201输出对应于得到的信号的数据(RAW数据)。由放大图像捕获控制部209设置的参数可以包括,例如,曝光的开始定时和结束定时等。
[总体控制部]
总体控制部201是控制包括上述各种控制部的整个显微镜的处理部。总体控制部201从显微镜10得到关于由显微镜10捕获的缩略图像和放大图像的数据,以展开这些数据或进行预定的数字处理。此后,总体控制部201将包括缩略图像和放大图像的显微镜图像数据通过网络3上载至图像管理服务器30。从而,可通过图像显示装置40(其为连接至网络3的用户设备)观察由显微镜10捕获的样本的显微镜图像。
<关于总体控制部的结构>
接下来,将参照图3详细描述根据示例性实施方式的总体控制部201的结构。图3是示出了根据示例性实施方式的总体控制部201的结构的框图。
如图3中所示,根据示例性实施方式的总体控制部201主要包括总体驱动控制部221、显微镜图像获取部223、图像处理部225、显微镜图像输出部227和通信控制部229。
例如,通过CPU、ROM、RAM等实现总体驱动控制部221。总体驱动控制部221是总体控制用于控制显微镜10的每个位置的控制部(照明控制部203、镜台驱动控制部205、缩略图像捕获控制部207和放大图像捕获控制部209)的驱动控制部。总体驱动控制部221对显微镜10的每个部位设置各种类型的信息(例如,各种类型的设置参数等),或从显微镜10的每个部位获取各种类型的信息。
细胞组织样本的载玻片是其中具有几微米左右的厚度的薄切片组织被固定至载玻片的部件。当使用具有1μm左右的视场深度的显微镜10对该载玻片数字成像时,总体驱动控制部221在组织的厚度方向(在下文中,称为Z方向)上驱动镜台130,并且捕获观察位置在深度方向上变化的多个数字图像。在这种情况下,由于一些因素,例如细胞组织的厚度的不均匀,或将细胞组织放置在玻璃上时的波动和组织部分自身的波动,导致对于图像的每个区域,在一个捕获的图像中,在聚焦状态(为最适合)下深度方向上的位置发生变化。随着在数字化时使用的传感器(图像捕获元件)尺寸的越来越大,这也变得越来越显著。
总体驱动控制部221进行显微镜10的驱动控制以便在选择图像捕获范围(其中,在Z轴方向上捕获了多个放大的图像)时包括所有区域的最佳聚焦位置的深度,从而在捕获的显微镜图像的所有区域处以聚焦的状态提供清晰的图像。
即,如图4所示,当放大图像捕获部120捕获放置在标本PRT上的细胞组织样本SPL的区域AR(X0≤X≤X3,Y0≤Y≤Y1)的图像时,在每个位置处的样本的高度(Z方向上的高度)通常是不同的。因此,当捕获具有厚度D的样本SPL的图像时,在每次将深度方向上的位置偏移Δd的同时,总体驱动控制部221为深度方向上的每个位置捕获数字图像MI。因此,关于某个样本的放大图像包括具有不同深度位置的多个数字图像组。从而,可以捕获所有区域的包括最佳聚焦位置的深度的多个数字图像MI。这里,移动宽度Δd优选地考虑显微镜10的视场的景深等来确定,并且例如可以被设置成0.2μm左右。
例如,当在显微镜10处执行扫描自动聚焦(AF)时,优选的是,不是仅对图像的一些区域设置检测窗口,而且对各个区域都设置单独的检测窗口,并且为每个窗口确定聚焦点。因此,可以更准确地捕获包括最佳聚焦位置的深度的多个数字图像MI。此外,例如,当在显微镜10处执行相差型AF时,可以作为散焦平面(换句话说,波动的形状)获取整个放大图像的最佳聚焦位置。
例如,通过CPU、ROM、RAM、通信单元等来实现显微镜图像获取部223。显微镜图像获取部223通过每个图像捕获控制部来获取对应于由缩略图像捕获部110捕获的缩略图像的数据和对应于由放大图像捕获部120捕获的放大图像的数据。
当通过每个图像捕获控制部获取对应于缩略图像的数据(缩略图像数据)和对应于放大图像的数据(放大图像数据)时,显微镜图像获取部223将这些获取的图像数据输出至后述的图像处理部225。
显微镜图像获取部223可以将这些获取的图像数据(显微镜图像数据)与关于日期和时间的获取信息等相关联地存储在存储部211等中。
例如,通过CPU、GPU、ROM、RAM等实现图像处理部225。图像处理部225对从显微镜图像获取部223输出的显微镜图像(具体地,缩略图像和放大图像)进行预定的图像处理。图像处理部225将执行了预定的图像处理的包括缩略图像和放大图像的显微镜图像以及各种类型的元数据输出至后述的显微镜图像输出部227。
下面将进一步详细描述图像处理部225的详细结构。
例如,通过CPU、ROM、RAM等实现显微镜图像输出部227。显微镜图像输出部227通过后述的通信控制部229将从图像处理部225输出的显微镜图像和各种类型的信息(例如关于显微镜图像的临时元数据)输出至图像管理服务器30。从而,通过图像管理服务器30管理由显微镜10捕获的样本的显微镜图像(数字显微镜图像)。
例如,通过CPU、ROM、RAM、通信单元等实现通信控制部229。通信控制部229控制通过网络3在显微镜控制装置20和设置在显微镜控制装置20外部的图像管理服务器30之间执行的通信。
[关于图像处理部的结构]
接下来,将参照图6详细描述根据示例性实施方式的图像处理部225的结构。图6是示出了根据示例性实施方式的图像处理部225的结构的框图。
如图6中所示,图像处理部225还包括数字处理部231、区域分割部233、聚焦位置检测部235、聚焦位置信息生成部237和全聚焦图像生成部239。
例如,通过CPU、GPU、ROM、RAM等实现数字处理部231。当获取从显微镜图像获取部223输出的缩略图像数据或放大图像数据(更具体地,这些图像的RAW数据)时,数字处理部231对这些RAW数据执行展开处理(development processing)。此外,数字处理部231执行图像数据的展开处理,以及用于将包括在这些图像中的多个图像连接在一起的处理(拼接处理)。
此外,根据需要,数字处理部231还可以执行所获得的数字图像数据的转换处理(代码转换)等。数字图像的转换处理可以包括将数字图像压缩生成JPEG图像等,或将被压缩成JPEG图像等的数据转换成具有不同格式(例如,GIF格式等)的压缩图像的处理。此外,数字图像的转换处理进一步包括压缩图像数据被解压一次并且接着进行诸如边缘强化的处理、以再次进行压缩或改变压缩图像的压缩率的处理等。
数字处理部231将通过这种方式得到的显微镜图像(缩略图像和放大图像)输出至后述的显微镜图像输出部227以及区域分割部233和全聚焦图像生成部239。此外,数字处理部231可以将得到的显微镜图像存储在存储部211中。
例如,通过CPU、GPU、ROM、RAM等实现区域分割部233。例如,如图7所示,当获取对应于样本的放大图像的数据时,区域分割部233相对于具有不同深度位置的包括在放大图像中的多个数字图像MI中的每一个,将对应于数字图像MI的平面区域分割成多个子区域501。这里,在包括在放大图像中的多个数字图像MI之间,子区域501的尺寸彼此一致。由于包括在某一放大图像中的多个数字图像MI彼此间具有相同的尺寸,所以将这些数字图像MI分成相同数目的子区域,从而允许数字图像MI之间的子区域的位置相互匹配。
在图7中,可以根据数字图像MI的尺寸(像素的数目)适当地确定每个子区域501的尺寸。例如,当数字图像MI的尺寸为4064×6104像素左右时,可以将子区域501的尺寸设置成,例如,具有30×20左右的尺寸。
此外,优选地,区域分割部233对包括在数字图像MI中的每个子区域501给出对应的数字图像MI内的唯一的识别信息(例如,识别号等)。在这种情况下,给出识别信息的方法在数字图像MI之间是一致的。通过这种方式,在每个数字图像MI中给出相同的识别信息的子区域501表示数字图像MI之间相同的区域,容易进行数字图像MI之间的子区域的比较。
当将对应于每个数字图像MI的平面区域分成多个子区域501时,区域分割部233将其划分结果输出至后述的聚焦位置检测部235。
在示例性实施方式中,尽管通过实例的形式描述了区域分割部233将平面区域分割成矩形子区域的情况,但子区域的形状并不限于此,可以是任何能够无空隙地填充平面区域的形状。
例如,通过CPU、GPU、ROM、RAM等实现聚焦位置检测部235。聚焦位置检测部235相对于由区域分割部233划分的每个子区域根据包括在显微镜图像内的多个数字图像MI来检测处于聚焦状态的数字图像。
在下面的内容中,显微镜图像意在包括具有不同深度位置的N个数字图像MI。此外,从位于物镜侧的一个开始按顺序对这N个数字图像MI给出用来指定数字图像MI的深度位置的数字(即,识别信息)。
聚焦位置检测部235通过如下的方式来检测每个子区域的处于聚焦状态的数字图像,例如,第p(1≤p≤N)个数字图像相对于某一个子区域处于聚焦状态,而第q(1≤q≤N)个数字图像相对于某一个子区域处于聚焦状态。
这里,考虑N个数字图像的对比度,聚焦位置检测部235计算对比度的评估值,并基于计算的评估值来检测每个子区域的处于聚焦状态的数字图像。
图8是示出了将具有4064×6104像素的区域(对应于数字图像的区域)分成具有30×20像素的子区域的情况的示意图。在图8中,样本的显微镜图像包括40(N=40)个数字图像MI。在这样的情况下,聚焦位置检测部235相对于所关注的子区域计算每个数字图像MI的对比度评估值。此外,聚焦位置检测部235将对比度的评估值变为最大值的数字图像设定为处于聚焦状态的数字图像。在图8中所示的实例中,因为对比度的评估值在对应于从物镜侧编号的第27张的数字图像中变成最大值,所以,聚焦位置检测部235将第27个数字图像确定为所关注的子区域中的处于聚焦状态的数字图像。
尽管可以将任意值用作用来评估对比度的评估值,但例如可以将数字图像的亮度值的离散量用作对比度的评估值。在这种情况下,聚焦位置检测部235相对于各数字图像的各子区域计算数字图像的亮度值的平均值,并基于下面的表达式101计算亮度值的离散量的和V。
这里,在上面的表达式101中,参数n是包括在子区域中的像素的数目,Yj是包括在子区域中的第j个像素的亮度值,以及YAVE表示所关注的子区域的亮度值的平均值。
聚焦位置检测部235从N(在图8的实例中是40)个数字图像中提取给出所计算的亮度值的离散量和的最大值的数字图像,并且将提取的数字图像设置为所关注的子区域中处于聚焦状态的数字图像。
图9和10示出了通过这种方式检测的处于聚焦状态的数字图像的分布。在图9中所示的结果是通过彩色阴影表现深度位置之间的差异的二维图,而图10中所示的结果三维表现了深度位置之间的差异。从图9和10中的结果可以清楚地看到,即使在一个细胞组织样本中,处于聚焦状态的数字图像的深度位置不是恒定的。此外,通过参考如图9中所示的显示处于聚焦状态的数字图像的深度位置的改变的图表,能够阐明聚焦状态存在于位于从哪一张到哪一张的数字图像中。通过使用这样的结果,还能够执行另外的图像处理,例如在压缩图像时增加压缩率,例如,对散焦图像或散焦部分执行另外的处理。
聚焦位置检测部235将通过该方式检测的处于聚焦状态的数字图像的检测结果输出至后述的聚焦位置信息生成部237。此外,聚焦位置检测部235可以将处于聚焦状态的数字图像的检测结果记录在存储部211等中。
当在作为样本的细胞组织部中开孔时,可能出现难于指定处于聚焦状态的数字图像的情况。在这样的情况下,聚焦位置检测部235关注位于所关注的子区域的外围处的子区域(例如,外围的八个子区域)的聚焦状态,并且将在这些外围的子区域中处于聚焦状态的数字图像设置成在所关注的子区域中处于聚焦状态的数字图像。这是因为考虑到位于所关注的子区域的附近处的子区域在与所关注的子区域的深度位置相同的深度位置处聚焦可能性很高。
此外,取决于样本,可能发生被确定为处于聚焦状态的数字图像存在多个的情况。在这样的情况下,聚焦位置检测部235可以直接使用所得到的多个检测结果,并且也可以仅使用所述检测结果中的任意一个。
此外,可能存在由于染色处理作为样本的细胞组织表现出特定的颜色(色调)的情况。在这样的情况下,聚焦位置检测部235还可以使用细胞的期望的颜色信息替代亮度值的离散量作为处于聚焦状态的数字图像的评估值。例如,当对细胞组织进行苏木精-曙红(Hematoxilin-Eosin,HE)染色时,细胞质被染为红色,而细胞核被染为蓝色。因此,在关注细胞核的情况下使用关于蓝色成分的颜色信息,而在关注细胞质的情况下使用关于红色成分的颜色信息,从而允许相对于所关注的组织更有效地检测聚焦状态位置。在这种情况下,例如,将修改(诸如没有关注的具有颜色信息的未使用的像素值)添加至上述表达式101,从而允许计算评估值。
例如,通过CPU、ROM、RAM等实现聚焦位置信息生成部237。聚焦位置信息生成部237基于聚焦位置检测部235的检测结果生成聚焦位置信息,通过所述聚焦位置信息对每个子区域关联用于指定处于聚焦状态的数字图像的特定信息。
当聚焦位置信息是其中用于指定子区域的识别信息和用于指定处于聚焦状态的数字图像的特定信息彼此关联的信息时,其格式不重要,但聚焦位置信息生成部237生成,例如,如图11中所示的聚焦位置信息。图11中所示的聚焦位置信息通过查找表表示,在该查找表中,用于指定子区域的识别号(ID)和分配给在对应的子区域中处于聚焦状态的数字图像的数字彼此关联。用于识别子区域的识别信息可以是如图11中所示的分配给子区域的识别号,并且可以是表示在对应于数字图像的平面区域中的子区域的位置的坐标。
此外,聚焦位置信息生成部237可以生成如图9中所示的色彩分布图的图像信息替代如图11中所示的查找表来作为聚焦位置信息。
聚焦位置信息生成部237将生成的聚焦位置信息输出至显微镜图像输出部227以及后述的全聚焦图像生成部239。此外,聚焦位置信息生成部237可以将生成的聚焦位置信息存储在存储部211等中。
例如,通过CPU、GPU、ROM、RAM等实现全聚焦图像生成部239。全聚焦图像生成部239利用从数字处理部231输出的显微镜图像(数字图像)和从聚焦位置信息生成部237输出的聚焦位置信息生成全聚焦图像。全聚焦图像是其中对应于数字图像的整个平面处于聚焦状态的显微镜图像(数字图像)。
全聚焦图像生成部239首先参考聚焦位置信息提取每个子区域的处于聚焦状态的数字图像(更具体地,对应于处于聚焦状态的数字图像的所关注的子区域的部分)。其后,全聚焦图像生成部239将提取的处于聚焦状态的数字图像连接在一起以生成全聚焦图像。
图12是示出了生成全聚焦图像的方法的要点的示意图。全聚焦图像生成部239参考从聚焦位置信息生成部237输出的聚焦位置信息以相对于每个子区域指定哪个数字图像处于聚焦状态。在图12中所示的实例中,全聚焦图像生成部239指定从物镜侧开始的第20个数字图像相对于子区域ID=1的子区域处于聚焦状态。相似地,全聚焦图像生成部239相对于所有子区域指定哪个数字图像处于聚焦状态。
接着,全聚焦图像生成部239相对于ID=1的子区域提取对应于第20个数字图像的ID=1的子区域的部分,并且相对于ID=2的子区域提取对应于第18个数字图像的ID=2的子区域的部分。相似地,全聚焦图像生成部239相对于所有子区域从对应的数字图像中提取用于生成全聚焦图像的图像数据。通过将这些提取的数字图像连接在一起来生成全聚焦图像。
将参照图13描述通过这种方式生成的全聚焦图像和普通聚焦图像之间的不同。
聚焦图像是作为整个图像具有高聚焦度的图像。其显微镜图像将被捕获的样本具有有限的厚度,并且对于样本的每个位置,在聚焦状态下具有不同的深度位置,如上面所述。由于这个原因,如图13中的上半部分所示,即使当普通聚焦图像中的子区域A处于聚焦状态时,子区域B和子区域C不一定处于聚焦状态。
另一方面,全聚焦图像生成部239生成的全聚焦图像是其中所有的子区域都被聚焦的图像。由于这个原因,如图13中的下半部分所示,包括子区域A、子区域B和子区域C的全聚焦图像的所有子区域都处于聚焦状态。因此,显微镜图像的观察者可以观察到其中样本的显微镜图像的所有平面区域都处于聚焦状态的图像而无需进行图像的聚焦调节。从而,能够显著地给观察者带来方便。
显微镜图像输出部227将通过这种方式生成的聚焦位置信息与显微镜图像的数据关联。此外,显微镜图像输出部227不仅将聚焦位置信息与显微镜图像的数据关联,而且可以将聚焦位置信息记录在数据内的预定的位置中(例如,图像数据的报头内部等)。此外,当全聚焦图像生成部239生成全聚焦图像时,显微镜图像输出部227进一步将关于这样的全聚焦图像的数据与显微镜图像数据关联。
根据示例性实施方式的显微镜图像数据很大,因此优选地使用一些压缩格式来存储。在这样的情况下,当根据示例性实施方式的聚焦位置信息不存在时,在显示显微镜图像时图像显示装置40在所有的深度方向上对逐个选择的图像的数目译码,并计算关于其总数的最佳聚焦点。然而,在进行这样的处理的过程中,认为与图像显示装置40的CPU或内存资源相关的负荷变大。以这种方式,通过使用根据示例性实施方式的聚焦位置信息,可以降低在图像显示装置40中显示显微镜图像时图像显示装置40的负荷。当不需要考虑图像显示装置40的负荷时,在显微镜图像的数字化的时间点处,不必要生成聚焦位置信息以及通过与图像数据的内部或图像数据关联而存储聚焦位置信息。
如上所述,示出了根据示例性实施方式的显微镜控制装置20的功能的实例。上述的每个部件都可以使用通用元件或电路来构造,并且可以通过具有各部件的功能的专用硬件构造。此外,每个部件的功能都可以通过CPU等执行。因此,在任何时候实施示例性实施方式时,能够根据技术水平适当地改变所用的结构。
可以编出并在个人计算机等中运行用于实现根据上述的示例性实施方式的显微镜控制装置20的各功能的计算机程序。此外,还可以设置将该计算机程序存储在其内并且能够被计算机读取的记录介质。所述记录介质例如为磁盘、光盘、磁光盘、闪存等。此外,上述的计算机程序例如可以通过网络分发而不使用记录介质。
<关于图像显示装置的结构>
接下来,将参照图14详细描述根据示例性实施方式的图像显示装置40的结构。图14是示出了根据示例性实施方式的图像显示装置40的结构的框图。
如图14中所示,根据示例性实施方式的图像显示装置40主要包括用户操作信息获取部401、显微镜图像获取部403、显示控制部405、显示图像选择部407、通信控制部409和存储部411。
例如,通过CPU、ROM、RAM、输入单元等实现用户操作信息获取部401。用户操作信息获取部401获取从输入装置(例如键盘、鼠标、触摸面板)输出的对应于用户在对应的输入装置上执行的用户操作的输出信号,并且生成表示用户所执行的操作(用户操作)的用户操作信息。用户操作信息获取部401将生成的用户操作信息输出至后述的显微镜图像获取部403、显示控制部405和显示图像选择部407。此外,用户操作信息获取部401可以将生成的用户操作信息存储在后述的存储部411内以用作历史信息。
这里,由用户对输入装置(例如键盘、鼠标和触摸面板)进行的操作的实例可以包括,例如显微镜图像的选择处理或对于某一显微镜图像的显示区域的改变处理等。此外,由用户进行的用户操作并不限于此,并且可以将由用户进行的用户操作适当地转换成表示相应的用户操作的用户操作信息,并且将其输出至每个处理部。
例如,通过CPU、ROM、RAM等实现显微镜图像获取部403。显微镜图像获取部403根据从用户操作信息获取部401输出的表示显微镜图像列表获取开始的用户操作信息从图像管理服务器30获取由图像管理服务器30管理的显微镜图像的列表。此外,当通过用户操作选择某一样本的显微镜图像时,显微镜图像获取部403将用于所选的显微镜图像的传输请求传送至图像管理服务器30。
当显微镜图像获取部403获取从图像管理服务器30输出的包括多个数字图像的显微镜图像的数据时,将获取的显微镜图像数据输出至后述的显示控制部405。此外,显微镜图像获取部403可以将获取的显微镜图像数据存储在存储部411中。
例如,通过CPU、ROM、RAM等实现显示控制部405。显示控制部405控制在显示装置(例如包括在根据示例性实施方式的图像显示装置40中的显示器)上显示的显示画面。此外,显示控制部405至少根据从用户操作信息获取部401输出的用户操作信息和从所述的显示图像选择部407输出的选择图像信息中的任何一个来改变显示在显示画面上的内容。
具体地,当从显微镜图像获取部403输出关于显微镜图像的列表的信息时,显示控制部405基于输出的信息将能够被用户观察到的显微镜图像的列表显示在显示画面上。此外,当将用于开始显微镜图像的显示的信息作为用户操作信息输出时,显示控制部405基于从所述的显示图像选择部407输出的选择图像信息在显示画面上显示由对应的选择图像信息所指定的样本的放大图像。此外,当将用于改变在显示画面上显示的显示区域的信息作为用户操作信息输出时,在显示画面内上下左右(在平面内)移动放大的图像,通过缩放和平移(panning)等放大和缩小放大的图像,或者移动放大的图像以在深度方向上改变聚焦位置。
此时,显示控制部405指定在显示画面上显示的数字图像的位置(区域),并且将关于在显示画面上显示的区域的信息输出至显微镜图像获取部403和显示图像选择部407。此外,显示控制部405通过位置指定物(诸如光标)指定显示的位置(显示画面中的位置),并且将关于该显示位置的信息输出至显示图像选择部407。从而,显微镜图像获取部403和显示图像选择部407可以掌握关于在图像显示装置40内的显示画面上显示的内容的各种信息(在下文中,也称为显示内容信息)。
显示控制部405可以使用存储在存储部411等中的各种信息作为在图像显示装置40的显示画面上显示的内容。
例如,通过CPU、GPU、ROM、RAM等实现显示图像选择部407。显示图像选择部407基于从用户操作信息获取部401输出的用户操作信息和从显示控制部405输出的各种显示内容信息,选择在显示画面上显示指定图像时所使用的数字图像。
具体地,当从用户操作信息获取部401输出用于开始显微镜图像的显示的用户操作信息时,显示图像选择部407可以选择全聚焦图像作为最初在显示画面上显示的样本的放大图像。此时,当用于进行显示的样本的显微镜图像中预先生成的全聚焦图像存在时,显示图像选择部407生成表示使用生成的全聚焦图像的含义的选择图像信息,并且将生成的选择图像信息输出至显示控制部405。这里,选择图像信息为表示由显示图像选择部407进行的图像的选择处理的选择结果的信息。此外,当全聚焦图像不存在时,显示图像选择部407可以使用与显微镜控制装置20的全聚焦图像生成部239相同的方法来生成全聚焦图像。
当从用户操作信息获取部401输出用于开始显微镜图像的显示的用户操作信息时,显示图像选择部407可以选择数字图像使得对应于其上显示样本的放大图像的显示区域中心部分附近的子区域处于聚焦状态。当在显示画面上显示某一个图像时,用户通常首先观看中心部分。由于该原因,通过选择被构造成其上显示放大图像的显示区域的大致中心部分处于聚焦状态的数字图像,样本的放大图像的观察者可省去执行诸如聚焦调节的操作,从而方便了用户。
在这样的情况下,显示图像选择部407从显示控制部405获取关于在其上显示样本的放大图像的区域的尺寸的显示内容信息,并且指定对应于数字图像的表面区域的哪一部分对应于位于该显示区域的中心部分附近处的子区域。其后,显示图像选择部407参考与显微镜图像关联的聚焦位置信息来选择其中指定的子区域(位于显示区域的中心部分附近处的子区域)处于聚焦状态的数字图像。接着,显示图像选择部407将表示所选的数字图像的信息输出至显示控制部405作为选择图像信息。
当从用户操作信息获取部401输出用于开始显微镜图像的显示的用户操作信息时,显示图像选择部407可以选择数字图像使得对应于位置指定物存在的位置处的子区域处于聚焦状态。
在这样的情况下,显示图像选择部407从显示控制部405获取表示位置指定物存在的位置的显示内容信息,并且指定哪一个子区域对应于位置指定物存在的位置。其后,显示图像选择部407参考与显微镜图像关联的聚焦位置信息来选择其中指定的子区域处于聚焦状态的数字图像。接着,显示图像选择部407将表示选择数字图像的信息输出至显示控制部405作为选择图像信息。
可适当地启动/终止上述初始显示图像的三种选择处理。即,可以通过使用图像显示装置40的默认动作设置功能等来指定将哪个数字图像显示为初始显示画面。此外,在初始显示画面中使用的数字图像并不限于上述的数字图像。
此外,当将用于改变在显示画面上显示的显示区域的信息作为用户操作信息输出时,显示图像选择部407根据用户操作选择用在显示中的数字图像。从而,通过显示图像选择部407选择样本的放大图像的观察者想要得到的数字图像。
通过这种方式,在图像显示装置40中,用户通过鼠标的滚轮操作等选择位于任何深度位置的数字图像,从而允许进行与显微镜的聚焦的手动操作相同的操作。然而,如上所述,在数字图像数据的各个深度位置的图像中,聚焦状态随着图像的显示区域改变,并且只要观察位置移动,用户就要进行聚焦的手动调节。因此,显示图像选择部407从聚焦位置信息中自动选择深度方向的显示位置,从而例如利用聚焦位置信息使对应于显示图像的中心的区域或位置指定物(诸如光标)停止的区域的聚焦状态成为最佳状态。从而,在根据示例性实施方式的图像显示装置40中,可以在用户想要观察的区域上进行像载玻镜台的自动聚焦那样的显示,从而用户省去了进行操作的麻烦。此外,通过使用所有的显示区域都处于最佳聚焦状态的全聚焦图像,用户可以通过不具有深度方向的一个数字图像来观察全部。
此外,还考虑用户观察样本的立体结构的改变(即,随着深度位置的改变的样本图像的改变)。在这样的情况下,由于执行了用户手动改变深度位置的操作,所以可以优选地启动/终止上述的自动最佳聚焦显示或全聚焦图像显示的功能。
例如,通过CPU、ROM、RAM、通信单元等实现通信控制部409。通信控制部409控制图像显示装置40和设置在图像显示装置40外部的图像管理服务器30之间通过网络3执行的通信。
存储部411是包括在根据示例性实施方式的图像显示装置40中的存储单元的实例。从图像管理服务器30获取的显微镜图像数据或包括与显微镜图像数据关联的聚焦位置信息的各种元信息等存储在存储部411中。此外,各种历史信息(例如,显微镜图像数据的获取历史)可以记录在存储部411中。此外,在处理过程中当根据示例性实施方式的图像显示装置40执行一些处理时有必要保存的各种参数或处理或各种数据库或程序等适当地记录在存储部411中。
如上所述,示出了根据示例性实施方式的图像显示装置40的功能的实例。上述的每个部件都可以使用通用元件或电路构造,并且可以通过具有每个部件的功能的专用硬件构造。此外,每个部件的功能都可以通过CPU等执行。因此,无论何时执行示例性实施方式,都可以根据技术水平来适当地改变所用的结构。
可以编出并在个人计算机等中运行用于实现根据上述的示例性实施方式的图像显示装置40的各功能的计算机程序。此外,还可以设置将这样的计算机程序存储在其内并且能够被计算机读取的记录介质。所述记录介质例如为磁盘、光盘、磁光盘、闪存等。此外,上述的计算机程序例如可以通过网络分配而不使用记录介质。
<关于显示画面的实例>
下面,将参照图15简单地描述在根据示例性实施方式的图像显示装置40的显示器等上显示的显示画面的实例。图15是示出了根据示例性实施方式的图像显示装置的显示画面的实例的示意图。
如图15所示,显示画面601(例如,图像显示装置40的显示器)设置有其上显示某一样本的放大图像的放大图像显示区域603。此外,显示画面601可以设置有子信息显示区域605,在该子信息显示区域上,例如,显示了表示如图11中所示的聚焦位置信息或如图9中所示的聚焦位置的聚焦图(in-focus map image)等。通过提供子信息显示区域605,用户能够准确的掌握样本的哪个厚度附近对应于所关注的放大图像的部分的聚焦位置。此外,可以将适当的编辑添加至在子信息显示区域605上显示的显示内容。例如,当对于某一个子区域存在多个处于聚焦状态的深度位置时,可以添加诸如改变子区域的边缘颜色的编辑以表明存在处于聚焦状态的多个深度位置。此外,当其中存在多个聚焦位置的子区域存在时,可以在子信息显示区域605上显示每个聚焦位置组合的全聚焦图像。
当图像显示装置40的用户操作输入装置(例如鼠标、键盘和触摸面板)来进行用于在显示画面601上显示样本的放大图像的操作时,预定的初始显示图像显示在放大图像显示区域603上。如上所述,该初始显示图像可以是全聚焦图像,或者可以是其中放大图像显示区域603的大致的中心部分处于聚焦状态的数字图像。在图15所示的实例中,示出了光标607(其为位置指定物的实例)存在于子区域AR1中的情况。在这种情况下,显示图像选择部407基于从显示控制部405输出的显示内容信息指定子区域AR1的位置,然后参考聚焦位置信息选择其中子区域AR1处于聚焦状态的数字图像作为初始显示图像。结果,其中子区域AR1处于聚焦状态的数字图像显示在放大图像显示区域603上。
图15中所示的显示画面仅仅是一个实例,而显示在显示装置(例如根据示例性实施方式的图像显示装置40的显示器)上的显示画面并不限于图15中所示的实例。
<关于生成聚焦位置信息的方法的流程>
下面,将参照图16描述在根据示例性实施方式的显微镜控制装置20中执行的生成聚焦位置信息的方法的流程。图16是示出了根据示例性实施方式的生成聚焦位置信息的方法的流程的流程图。
显微镜控制装置20的显微镜图像获取部223首先从显微镜10获取由显微镜10捕获的样本的显微镜图像(步骤S101)。如上所述,该显微镜图像包括沿着样本的厚度方向(深度方向)捕获的多个数字图像。显微镜控制装置20的显微镜图像获取部223将包括多个数字图像的显微镜图像的数据输出至图像处理部225的数字处理部231。
数字处理部231对包括多个输出数字图像的显微镜图像执行预定的数字处理,例如,图像数据的展开处理、拼接处理和压缩处理(步骤S103)。然后,数字处理部231在数字处理后将显微镜图像输出至显微镜图像输出部227,区域分割部233和全聚焦图像生成部239。
接下来,区域分割部233将对应于数字图像的平面区域(图像区域)分成多个子区域(步骤S105),并将表示划分结果的信息输出至聚焦位置检测部235。
接着,聚焦位置检测部235指定每个子区域的处于聚焦状态的数字图像,从而指定聚焦的图像的深度位置(步骤S107)。聚焦位置检测部235将处于聚焦状态的数字图像的检测结果输出至聚焦位置信息生成部237。
接着,聚焦位置信息生成部237基于从聚焦位置检测部235输出的处于聚焦状态的数字图像的检测结果生成聚焦位置信息(步骤S109)。其后,聚焦位置信息生成部237将得到的聚焦位置信息输出至显微镜图像输出部227和全聚焦图像生成部239。
接着,全聚焦图像生成部239利用从数字处理部231输出的数字图像和从聚焦位置信息生成部237输出的聚焦位置信息生成全聚焦图像(步骤S111)。其后,全聚焦图像生成部239将生成的全聚焦图像输出至显微镜图像输出部227。
接着,显微镜图像输出部227将从数字处理部231输出的显微镜图像、从聚焦位置信息生成部237输出的聚焦位置信息以及从全聚焦图像生成部239输出的全聚焦图像彼此关联。其后,显微镜图像输出部227将显微镜图像的数据和聚焦位置信息的数据以及全聚焦图像的数据一起输出至设置在显微镜控制装置20的外部的服务器(例如,图像管理服务器30)(步骤S113)。
执行这样的处理使得生成对应于显微镜图像的聚焦位置信息,并且将其与显微镜图像的数据一起上载至图像管理服务器30。
<关于图像显示方法的流程>
将参照图17描述在根据示例性实施方式的图像显示装置40中进行的图像显示方法的流程。图17是示出了根据示例性实施方式的图像显示方法的流程的流程图。
在下面的描述之前,图像显示装置40的显微镜图像获取部403从图像管理服务器30获取由服务器管理的显微镜图像的列表,并且显微镜图像的观察者选择想要观察的样本的放大图像。
首先,基于表示显微镜图像的选择结果的用户操作信息,图像显示装置40的显微镜图像获取部403从图像管理服务器30获取用户选择的显微镜图像的数据和聚焦位置信息(步骤201)。其后,显微镜图像获取部403将获取的显微镜图像和聚焦位置信息存储在存储部411等中。此外,显微镜图像获取部403可以将获取的显微镜图像和聚焦位置信息等直接输出至显示控制部405和显示图像选择部407。
其后,图像显示装置40参考用户操作信息确定是否执行了结束显微镜图像的观察的操作(步骤S203)。当生成表示结束操作的用户操作信息时,图像显示装置40结束显微镜图像的显示处理。
另一方面,当没有生成表示结束操作的用户操作信息时,显示图像选择部407基于从用户操作信息获取部401输出的用户操作信息和从显示控制部405输出的显示内容信息选择数字图像(步骤S205)。具体地,显示图像选择部407基于用户操作信息选择全聚焦图像,或基于聚焦位置信息选择其显示画面的中心附近的部分或光标等停止的部分处于聚焦状态的数字图像。显示图像选择部407将表示选择结果的输出信息输出至显示控制部405。
显示控制部405基于从显示图像选择部407输出的表示选择结果的信息获取选择的数字图像,并且执行用于显示所获取的数字图像的显示控制(步骤S207)。
执行这样的处理使得在显示装置(例如,图像显示装置40的显示器)上以合适的聚焦状态显示用户选择的样本的放大图像。
(第二示例性实施方式)
在下面描述的本发明的第二示例性实施方式中,将详细描述在具有如图1中所示的结果的显微镜图像管理系统1中,相互配合的图像管理服务器30和图像处理装置40之间进行的显微镜图像的显示控制处理。
以下描述的第二示例性实施方式与第一示例性实施方式不同。将描述当改变在显示画面上显示的显微镜图像的深度位置时,图像处理装置40要求图像管理服务器30提供在每次显示中使用的显微镜图像的情况。然而,通过图像处理装置40获取显微镜图像的方法并不限于以下实例,而是可以根据图像处理装置40的性能或可使用的通信网络的通信资源等适当地进行设置。
<关于图像管理服务器的结构>
首先,参照图18简单地描述根据示例性实施方式的图像管理服务器30的结构的实例。图18是示出了根据示例性实施方式的图像管理服务器30的结构的实例的框图。
如图18中所示,根据示例性实施方式的图像管理服务器30主要包括显微镜图像管理部301、显微镜图像提供部303、聚焦位置信息更新部305、通信控制部307和存储部309。
例如,通过CPU、ROM、RAM等实现显微镜图像管理部301。显微镜图像管理部301管理显微镜图像数据组,该显微镜图像数据组包括:显微镜图像,包括沿着样本的厚度方向捕获的多个数字图像;聚焦位置信息,对于形成与数字图像相对应的平面的多个子区域中的每一个来指定在对应的子区域中处于聚焦状态的数字图像的特定信息与所述聚焦位置信息关联;以及全聚焦图像,其中对应于数字图像的平面处于聚焦状态。例如,通过显微镜图像管理系统1内的显微镜控制装置20生成这些显微镜图像数据组。
当从显微镜控制装置20提供上述显微镜图像数据组时,显微镜图像管理部301对提供的显微镜图像数据组给出唯一的识别信息(例如,ID号等)并且将该唯一的识别信息存储在后述的存储部309的预定的区域中。此外,显微镜图像管理部301能够生成数据库以在显微镜图像的管理中使用该数据库,在该数据库中,列出了存储在存储部309中的显微镜图像数据组的识别信息或关于显微镜图像的临时元数据等的信息。
例如,通过CPU、ROM、RAM等实现显微镜图像提供部303。显微镜图像提供部303响应从图像显示装置40输出的显微镜图像的请求从所管理的显微镜图像数据组中选择要求的显微镜图像数据组,并将选择的显微镜图像数据组提供给图像显示装置40。
这里,当从图像显示装置40请求其在全聚焦图像的预定区域中的样本的厚度方向上的位置发生改变的数字图像时,如下面详细描述的,显微镜图像提供部303将位于样本的厚度方向上的位置处的至少预定区域的请求数字图像提供给图像显示装置40。
此外,当在多个子区域上延伸形成预定的区域中的数字图像时,如上面所具体描述的,显微镜图像提供部303将对于每个子区域其样本的厚度方向上的位置发生改变的数字图像提供给图像显示装置40。
下面将再次详细描述在显微镜图像提供部303中执行的用于提供显微镜图像的处理。
例如,通过CPU、ROM、RAM等实现聚焦位置信息更新部305。当通过对图像显示装置40执行的观察者的操作来改变全聚焦图像的预定区域中的聚焦位置时,聚焦位置信息更新部305至少更新对应于改变的全聚焦图像的全聚焦位置信息。此外,聚焦位置信息更新部305还可进一步利用更新后的全聚焦位置信息更新自身的全聚焦图像和存储在存储部309中的显微镜图像。
这里,下面将进一步具体描述在聚焦位置信息更新部305中进行的全聚焦位置信息和全聚焦图像的更新。
例如,通过CPU、ROM、RAM、通信单元等实现通信控制部307。通信控制部307控制图像管理服务器30和显微镜控制装置20或设置在图像管理服务器30外部的图像显示装置40之间的通过网络3执行的通信。
存储部309是包括在根据示例性实施方式的图像管理服务器30内的存储单元的实例。从显微镜控制装置20提供的、由图像管理服务器30管理的显微镜图像数据组或关于所管理的显微镜图像数据组的各种数据等存储在存储部309中。此外,各种历史信息(例如显微镜图像数据的注册历史、更新历史和删除历史)可以记录在存储部309上。此外,当根据示例性实施方式的图像管理服务器30执行一些处理时,在处理过程中需要保存的各种参数或处理等可以适当地记录在存储部309中。
如上面所述,示出了根据示例性实施方式的图像管理服务器30的功能的实例。上述的每个部件都可以使用通用元件或电路构造,并且可以通过具有各部件的功能的专用硬件构造。此外,每个部件的功能都可通过CPU等执行。因此,无论何时执行示例性实施方式,都可以根据技术水平来适当地改变所用的结构。
可以编出并在个人计算机等中运行用于实现根据上述的示例性实施方式的图像管理服务器30的各功能的计算机程序。此外,还可以设置将这样的计算机程序存储在其内并且能够被计算机读取的记录介质。所述记录介质例如为磁盘、光盘、磁光盘、闪存等。此外,上述的计算机程序例如可以通过网络分配而不使用记录介质。
<关于图像显示装置的结构>
接下来,将参照图19简单地描述根据示例性实施方式的图像显示装置40的结构。图19是示出了根据示例性实施方式的图像显示装置40的结构的实例的框图。
例如,如图19中所示,根据示例性实施方式的图像显示装置40主要包括用户操作信息获取部401、显微镜图像获取部403、显示控制部405、显示图像选择部407、通信控制部409、存储部411和聚焦位置信息更新请求部451。
例如,通过CPU、ROM、RAM、输入装置等实现用户操作信息获取部401。用户操作信息获取部401获取从输入单元(例如键盘、鼠标、触摸面板)输出的对应于用户对对应的输入装置执行的用户操作的输出信号,并且生成表示由用户执行的操作(用户操作)的用户操作信息。用户操作信息获取部401将生成的用户操作信息输出至后述的显微镜图像获取部403、显示控制部405、显示图像选择部407和聚焦位置信息更新请求部451。此外,用户操作信息获取部401可以将生成的用户操作信息存储在后述的存储部411中以用作历史信息。
此处,对输入装置(例如键盘、鼠标和触摸面板)执行的操作的实例可以包括,例如,显微镜图像的选择处理、相对于某一显微镜图像的显示区域的改变处理、全聚焦图像中深度位置的调节处理等。此外,由用户进行的用户操作并不限于此,并且由用户进行的用户操作可以适当地转换成表示相应的用户操作的用户操作信息,并被输出至各处理部。
例如,通过CPU、ROM、RAM等实现显微镜图像获取部403。显微镜图像获取部403根据从用户操作信息获取部401输出的表示显微镜图像列表获取开始的用户操作信息从图像管理服务器30获取由图像管理服务器30管理的显微镜图像的列表。此外,当通过用户操作选择某一样本的显微镜图像时,显微镜图像获取部403将用于所选的显微镜图像的传输请求传送至图像管理服务器30。
当显微镜图像获取部403获取从图像管理服务器30提供的数字图像(显微镜图像)的数据时,所获取的显微镜图像数据被输出至后述的显示控制部405。此外,显微镜图像获取部403可以将显微镜图像的获取的数据存储在存储部411中。
例如,可通过CPU、ROM、RAM等实现显示控制部405。显示控制部405控制在显示装置(例如,包括在根据示例性实施方式的图像显示装置40中的显示器)上显示的显示画面。此外,显示控制部405至少根据从用户操作信息获取部401输出的用户操作信息和从后述的显示图像选择部407输出的选择图像信息中的任何一个改变显示画面上显示的内容。
具体地,当从显微镜图像获取部403输出关于显微镜图像的列表的信息时,显示控制部405根据输出的信息将能够被用户观察到的显微镜图像的列表显示在显示画面上。此外,当将用于开始显微镜图像的显示的信息作为用户操作信息输出时,显示控制部405基于从后述的显示图像选择部407输出的选择图像信息在显示画面上显示由对应的选择图像信息所指定的样本的放大图像。此外,当将用于改变在显示画面上显示的显示区域的信息作为用户操作信息输出时,在显示画面内上下左右(在平面内)移动放大的图像,通过缩放和平移等放大和缩小放大的图像,或者移动放大的图像以在沿深度方向上改变聚焦位置。
此外,根据示例性实施方式的显示控制部405在显示画面上显示所显示的数字图像(显微镜图像)的深度位置(沿着样本的厚度方向的位置)。
此时,显示控制部405指定在显示画面上显示的数字图像的位置(区域),并且将有关在显示画面上显示的区域的信息输出至显微镜图像获取部403和显示图像选择部407。此外,显示控制部405指定通过位置指定物(例如,光标)显示的位置(显示画面中的位置),或由位置指定物等选择的区域(显示画面中的区域),并且将关于该显示位置的信息输出至显示图像选择部407。从而,显微镜图像获取部403和显示图像选择部407可以掌握关于在图像显示装置40内的显示画面上显示的内容的各种信息(在下文中,也称为显示内容信息)。
此外,当通过位置指定物等选择在显示画面上显示的各种对象(例如,用于进行各种处理的图标,滑动条等),或执行各种操作(例如拖拽),显示控制部405可以根据用户操作信息指定选择或操作哪些对象。
显示控制部405可使用存储在存储部411等中的各种信息作为在图像显示装置40中的显示画面上显示的内容。
例如,通过CPU、GPU、ROM、RAM等实现显示图像选择部407。显示图像选择部407根据从用户操作信息获取部401输出的用户操作信息和从显示控制部405输出的各种显示内容信息,选择在显示画面上显示所指定的样本时所用的数据图像。
具体地,当从用户操作信息获取部401输出用于开始显微镜图像的显示的用户操作信息时,显示图像选择部407可以选择全聚焦图像作为最初在显示画面上显示的样本的放大图像。此时,当用于进行显示的样本的显微镜图像中预先生成的全聚焦图像存在时,显示图像选择部407生成表示使用生成的全聚焦图像的含义的选择图像信息,并且将生成的选择图像信息输出至显示控制部405。这里,选择图像信息为表示由显示图像选择部407进行的图像的选择处理的选择结果的信息。
当从用户操作信息获取部401输出用于开始显微镜图像的显示的用户操作信息时,显示图像选择部407可以选择数字图像使得对应于其上显示样本的放大图像的显示区域中心部分附近的子区域处于聚焦状态。当在显示画面上显示某一个图像时,用户通常首先观看中心部分。由于该原因,通过选择被构造成其上显示放大图像的显示区域的大致中心部分处于聚焦状态的数字图像,样本的放大图像的观察者可省去执行诸如聚焦调节的操作,并且方便了用户。
在这样的情况下,显示图像选择部407从显示控制部405获取关于在其上显示样本的放大图像的区域的尺寸的显示内容信息,并且指定对应于数字图像的表面区域的哪一部分对应于位于该显示区域的中心部分附近处的子区域。其后,显示图像选择部407参考与显微镜图像关联的聚焦位置信息来选择其中指定的子区域(位于显示区域的中心部分附近处的子区域)处于聚焦状态的数字图像。接着,显示图像选择部407将表示所选的数字图像的信息输出至显示控制部405作为选择图像信息。
当从用户操作信息获取部401输出用于开始显微镜图像的显示的用户操作信息时,显示图像选择部407可以选择数字图像使得对应于位置指定物存在的位置处的子区域处于聚焦状态。
在这样的情况下,显示图像选择部407从显示控制部405获取表示位置指定物存在的位置的显示内容信息,并且指定哪一个子区域对应于位置指定物存在的位置。其后,显示图像选择部407参考与显微镜图像关联的聚焦位置信息来选择其中指定的子区域处于聚焦状态的数字图像。接着,显示图像选择部407将表示选择数字图像的信息输出至显示控制部405作为选择的图像信息。
可适当地启动/终止上述初始显示图像的三种选择处理。即,可以通过使用图像显示装置40的默认动作设置功能等来指定将哪个数字图像显示为初始显示画面。此外,在初始显示画面中使用的数字图像并不限于上述的数字图像。
此外,当将用于改变在显示画面上显示的显示区域的信息作为用户操作信息输出时,显示图像选择部407根据用户操作选择用在显示中的数字图像。从而,通过显示图像选择部407选择样本的放大图像的观察者想要得到的数字图像。
此外,当在显示画面上显示全聚焦图像并通过用户操作解除全聚焦图像的显示时,显示图像选择部407还可以选择其中全聚焦图像的预定区域处于聚焦状态的数字图像作为解除后在显示画面上显示的显微镜图像。
通过这种方式,在图像显示装置40中,用户通过鼠标的滚轮操作等选择位于任何深度位置的数字图像,从而允许进行与显微镜的聚焦的手动操作相同的操作。然而,如上面所述,在数字图像数据的各个深度位置的图像中,聚焦状态随着图像的显示区域改变,并且只要观察位置移动,用户就要进行聚焦的手动调节。因此,显示图像选择部407从聚焦位置信息中自动选择深度方向的显示位置,从而例如利用聚焦位置信息使对应于显示图像的中心的区域或位置指定物(诸如光标)停止的区域的聚焦状态成为最佳状态。从而,在根据示例性实施方式的图像显示装置40中,可以在用户想要观察的区域上进行像载玻镜台的自动聚焦那样的显示,从而用户省去了进行操作的麻烦。此外,通过使用其中所有的显示区域都处于最佳聚焦状态的全聚焦图像,用户可以通过不具有深度方向的一个数字图像来观察全部。
此外,还考虑用户观察样本的立体结构的改变(即,随着深度位置的改变的样本图像的改变)。在这样的情况下,由于执行了用户手动改变深度位置的操作,所以可以优选地启动/终止上述的自动最佳聚焦显示或全聚焦图像显示的功能。
例如,通过CPU、ROM、RAM、通信单元等实现通信控制部409。通信控制部409控制图像显示装置40和设置在图像显示装置40外部的图像管理服务器30之间通过网络3执行的通信。
存储部411是包括在根据示例性实施方式的图像显示装置40中的存储单元的实例。从图像管理服务器30获取的显微镜图像数据组或与显微镜图像数据关联的各种元信息等存储在存储部411中。此外,各种历史信息(例如,显微镜图像数据的获取历史)可以记录在存储部411中。此外,在处理过程中当根据示例性实施方式的图像显示装置40执行一些处理时有必要保存的各种参数或处理或各种数据库或程序等适当地记录在存储部411中。
例如,通过CPU、ROM、RAM等实现聚焦位置信息更新请求部451。当根据用户操作沿着样本的厚度方向(即,样本的深度方向)改变全聚焦图像的预定区域中的聚焦位置时,聚焦位置信息更新请求部451请求图像管理服务器更新对应于预定区域的聚焦位置信息。
在改变全聚焦图像的预定区域中的聚焦位置的所有情况中,聚焦位置信息更新请求部451可以请求图像管理服务器30更新聚焦位置信息。此外,当执行用来请求更新聚焦位置信息的用户操作时,聚焦位置信息更新请求部451可以请求图像管理服务器30更新聚焦位置信息。即,在某些条件下,可以适当地设置如何将用于聚焦位置信息的更新请求传送至图像管理服务器30。
如上所述,示出了根据示例性实施方式的图像显示装置40的功能的实例。上述的每个部件都可以使用通用元件或电路构造,并且可以通过具有每个部件的功能的专用硬件构造。此外,每个部件的功能都可以通过CPU等执行。因此,无论何时执行示例性实施方式,都可以根据技术水平来适当地改变所用的结构。
可以编出并在个人计算机等中运行用于实现根据上述的示例性实施方式的图像显示装置40的各功能的计算机程序。此外,还可以设置将这样的计算机程序存储在其内并且能够被计算机读取的记录介质。所述记录介质是例如为磁盘、光盘、磁光盘、闪存等。此外,上述的计算机程序例如可以通过网络分配而不使用记录介质。
<关于显微镜图像的显示画面和显示控制处理的示例>
接下来,将参照图20到图27详细描述在图像显示装置40的显示部上显示的显示画面的实例,以及当图像管理服务器30和图像处理装置40相互配合时执行的显微镜图像的显示控制处理的实例。图20到图27是示出了根据示例性实施方式的显微镜图像的显示画面的实例的示意图。
图20是示出了显示画面601中放大图像显示区域603的实例的示意图。如图20所示,由用户选择的显微镜图像显示在放大图像显示区域603上,但除了显微镜图像之外,各种操作对象(例如,操作图标或操作工具栏)也显示在放大图像显示区域603上。例如,如图20所示,除了作为位置指定物的实例的光标607外,在放大图像显示区域603上还显示了全聚焦图像显示图标611、深度信息显示区域613或深度位置调节滑动条615等。
这里,全聚焦图像显示图标611是用于将显示模式切换至全聚焦图像显示模式的图标,通过该全聚焦模式全聚焦图像显示在放大图像显示区域603上。当通过用户操作选择全聚焦图像显示图标611时,显示图像选择部407选择全聚焦图像作为显示在放大图像显示区域603上的数字图像,并且请求显微镜图像获取部403获取所关注的样本的全聚焦图像。显微镜图像获取部403通过通信控制部409将全聚焦图像的规定请求信息传送至图像管理服务器30。当获取到从图像显示装置40传送的全聚焦图像的规定请求信息时,图像管理服务器30的显微镜图像提供部303通过通信控制部307将所请求的全聚焦图像提供至图像显示装置40。图像显示装置40的显示控制部405执行所提供的全聚焦图像的显示控制,并且将该全聚焦图像显示至放大图像显示区域603。
此外,在深度信息显示区域613上显示关于光标607存在的位置或其中光标607所选择的区域等处于聚焦状态的深度位置(即,沿着样本的厚度方向的位置)的信息。例如,如图21中所示,可以使用从物镜侧开始的片的数目(例如第x片)(或从镜台侧开始的第y片)作为单位来显示该深度位置,并且可以将该深度位置显示为百分比,例如从物镜侧开始p%的位置。图像显示装置40的用户通过参考该深度信息显示区域613,可以轻松地掌握光标607存在的位置或深度位置(例如光标607选择的区域)在何处。
深度位置调节滑动条615是用于调节所显示的数字图像(显微镜图像)的深度位置的操作对象。该对象的操作可以允许调节在放大图像显示区域603上显示的数字图像的深度位置。此外,如后所述,在当在放大图像显示区域603上显示全聚焦图像时操作深度位置调节滑动条615的情况下,可以调节光标607存在的位置,或深度位置,例如由光标607选择的区域。
当操作深度位置调节滑动条615时,在深度信息显示区域613上显示的内容也会响应于该操作而改变。此外,显示控制部405可以随着深度位置的改变而改变在放大图像显示区域603上显示的光标607的尺寸。例如,在深度位置从目前的显示位置向更深侧改变的情况下,显示控制部405可以减小光标607的尺寸,而在深度位置从目前的显示位置向前侧改变的情况下,可以增大光标607的尺寸。通过执行这种处理用户可以直观地掌握深度位置的改变。
此外,如图21中所示,在选择全聚焦图像显示图标611的状态下,放大图像显示区域603被切换至全聚焦图像显示模式。此时,考虑用户操作光标从而选择全聚焦图像中的某一区域的情况。这里,由用户操作选择的区域被称为选择区域621。此时,选择区域621的深度位置信息显示在深度信息显示区域613上。在这样的情况下,当通过用户操作来操作深度位置调节滑动条615时,如图21中所示,在选择区域621的范围内显示其深度位置被改变的显微镜图像(数字图像)。
在这样的情况下,图像显示装置40的显示控制部405首先指定限定了由用户操作而选择的选择区域621的范围的坐标,并且将关于指定的坐标的信息输出至显示图像选择部407。此外,在图像选择部407中,从用户操作信息获取部401输出关于调节滑动条615的深度位置的操作量的信息。图像选择部407根据关于指定的坐标的信息和关于调节滑动条615的深度位置的操作量的信息生成选择图像信息,并且根据选择图像信息请求显微镜图像获取部403以获取数字图像。显微镜图像获取部403通过通信控制部409将在选择区域621上显示的数字图像的提供请求信息(provisionrequest information)传送给图像管理服务器30。
当通过通信控制部307获取从图像显示装置40传送的数字图像的提供请求信息时,图像管理服务器30的显微镜图像提供部303根据关于滑动条615的操作量的信息和包括范围621的子区域的聚焦位置信息来确定用户希望的深度位置。其后,图像管理服务器30的显微镜图像提供部303将请求的数字图像提供给图像显示装置40。图像显示装置40的显示控制部405执行所提供的数字图像的显示控制,并且将所获取的数字图像显示至放大图像显示区域603的选择区域621。从而,在选择范围621内显示了其深度位置被调节的数字图像。
这里,如图22中所示,显示控制部405可单独地在选择区域621内(例如,在选择区域621的上部)显示深度位置调节滑动条615。从而,可以减少用户的光标607的移动量,并且用户可以相对于每个选择区域621轻松地执行深度位置的调节。此外,用户可以通过参考独立显示的深度位置调节滑动条615轻松地掌握每个选择区域的深度位置。
此外,如图23中所示,显示控制部405可以在放大图像显示区域603上显示用于将显示模式切换至深度位置调节模式(用于调节全聚焦图像的深度位置)的深度位置调节图标623。显示控制部405可以在放大图像显示区域603上一直显示该深度位置调节图标623,并且当在放大图像显示区域603上显示全聚焦图像时可以显示该深度位置调节图标。
当通过用户操作选择深度位置调节图标623并且显示模式改变为深度位置调节模式时,选择区域621内的深度位置根据用户操作而被调节。用于调节深度位置的用户操作并受到不具体限制,并且例如,可以包括滚轮鼠标的滚轮操作,或在选择区域621内的左端附近或右端附近的点击操作等,如图23中的斜线所示。这里,在根据滚轮操作调节深度位置的情况下,例如,当向前侧操作滚轮时可以执行沿浅的方向的深度位置调节的处理,而当对滚轮执行相反的操作时执行沿深的方向的深度位置的调节。此外,在选择区域621内通过点击操作来调节深度位置的情况下,例如,当在其左端附近点击时可以执行沿浅的方向的深度位置的调节,而当在其右端附近点击时可以执行沿深的方向的深度位置的调节。
当通过这些用户操作进行深度位置的调节处理时,用户操作信息获取部401生成表示深度位置的改变方向和改变量的信息(例如,滚轮的操作方向和操作量,点击位置和点击的频率)作为用户操作信息。用户操作信息获取部401将生成的用户信息输出至显示图像选择部407。显示图像选择部407基于从显示控制部405提供的表示选择区域621的坐标信息和所提供的用户操作信息来生成选择图像信息,并请求显微镜图像获取部403基于选择图像信息获取数字图像。显微镜图像获取部403通过通信控制部409将在选择区域621上显示的数字图像的规定请求信息传送至图像管理服务器30。
当通过通信控制部307获取从图像显示装置40传送的数字图像的规定请求信息时,图像管理服务器30的显微镜图像提供部303根据关于滑动条615的操作量的信息和包括这样的范围621的子区域的聚焦位置信息确定用户希望的深度位置。其后,图像管理服务器30的显微镜图像提供部303将所请求的数字图像提供给图像显示装置40。图像显示装置40的显示控制部405执行所提供的数字图像的显示控制,并且在放大图像显示区域603的选择区域621上显示所获取的数字图像。从而,在选择范围621内显示了其深度位置被调节的数字图像。
此外,如图24中所示,再次选择之前选择的全聚焦图像显示图标611,从而解除全聚焦图像显示模式。当全聚焦图像显示被解除时,显示控制部405例如在放大图像显示区域603上显示光标607存在的位置或其中由光标607选择区域等处于聚焦状态的数字图像。此外,当光标607存在的位置或由光标607选择的选择区域621的深度位置被用户操作校正时,显示控制部405在放大图像显示区域603上显示校正后的深度位置中的数字图像。对于再次选择之前选择的深度位置调节图标623的情况进行相同的处理,如图23中所示。
这里,如图25所示,当进行全聚焦图像的深度位置的调节时,可能存在由用户操作选择的选择区域621在全聚焦图像的多个子区域上延伸存在的情况。在这样的情况下,对每个子区域中的重叠选择区域621的部分执行深度位置的调节处理。
此外,当执行全聚焦图像的深度位置调节处理并通过深度位置的改变量从当前聚焦位置改变所用图像时,可能存在对应于这样的位置(聚焦位置±深度位置的改变量)的放大图像(数字图像)不存在的情况。在这样的情况下,利用现存的放大图像中的最好的图像(即,具有最接近于聚焦位置±深度位置的改变量的深度位置的图像)来进行全聚焦图像的调节。
下面参照图26和27具体描述在选择区域621在多个子区域上延伸存在的情况下全聚焦图像的深度位置调节处理。
在下面的实例中,关注某一样本的显微镜图像包括四个数字图像并且由用户操作选择的选择区域621在四个子区域上延伸存在的情况。这里,如图26中所示,在聚焦位置信息中列出了选择区域621的右上部分所属的子区域的聚焦位置位于第一片的含义,并且在聚焦位置信息中列出了选择区域621的左上部分所属的子区域的聚焦位置位于第二片的含义。相似地,在聚焦位置信息中列出了选择区域621的左下部分所属的子区域的聚焦位置位于第三片的含义,以及在聚焦位置信息中列出了选择区域621的右下部分所属的子区域的聚焦位置位于第四片的含义。
在这样的情况下,考虑具有在向下的方向上(例如,深度位置加深的方向上)对一片执行选择区域621的深度位置的校正的目的的用户操作的情况。从图像显示装置40将这样的用户操作信息传送至图像管理服务器30,并且在图像管理服务器30的显微镜图像提供部303中执行提供给图像显示装置40的显微镜图像(数字图像)的选择。
在图27所示的情况下,选择区域的右上部分对应于校正之间的第一片的图像,但通过用户的调节的过程中使用第二片的图像。相似地,选择区域的左上部分对应于校正之前的第二片的图像,但通过用户的调节的过程中使用第三片的图像。选择区域的左下部分对应于校正之前的第三片的图像,但通过用户的调节的过程中使用第四片的图像。这里,选择区域的右下部分对应于校正之前的第四片的图像,但通过用户的调节过程中使用第五片的图像。然而,由于只存在包含在显微镜图像中的四个数字图像,所以不可能使用第五片的图像。因此,显微镜图像提供部303选择使用在选择区域的右下部分中的第四片图像本身。
将以这种方式选择的多个数字图像从图像管理服务器30提供至图像显示装置40,并且在图像显示装置40中显示其选择区域621的深度位置被调节的图像。
当执行如上所述的全聚焦图像的深度位置调节处理时,显示控制部405可以在显示画面上显示用于确定是否执行聚焦位置信息更新的显示,或用于确定是否执行其上的全聚焦图像的更新的显示。
当通过用户操作选择执行聚焦位置信息的更新的含义时,将这样的用户操作输出至聚焦位置信息更新请求部451。聚焦位置信息更新请求部451接收这样的用户操作信息,并通过通信控制部409请求图像管理服务器30更新聚焦位置信息。此外,甚至对于执行全聚焦图像的更新的情况,聚焦位置信息更新请求部451通过通信控制部409请求图像管理服务器30更新全聚焦图像。
当通过通信控制部307获取聚焦位置信息的更新请求时,图像管理服务器30的聚焦位置信息更新部305更新样本的所请求的聚焦位置信息,并且将更新后的聚焦位置信息再次存储在存储部309中。考虑样本的数字图像的聚焦位置随着参照显微镜图像的用户改变的情况。由于该原因,聚焦位置信息更新部305可对于每个用户进行聚焦位置信息的更新。
此外,当请求全聚焦图像的更新时,图像管理服务器30的聚焦位置信息更新部305基于更新后的聚焦位置信息执行全聚焦图像的更新。此外,甚至当在执行聚焦位置信息的更新处理时不存在全聚焦图像的更新请求,聚焦位置信息更新部305也可以执行全聚焦图像的更新处理。
<关于显微镜图像的显示控制方法的流程>
下面,将参照图28~图31简单地描述当图像管理服务器30和图像处理装置40相互配合时执行的显微镜图像的显示控制处理的流程的实例。图28~图31是示出了根据示例性实施方式的显微镜图像的显示控制处理的流程的实例的流程图。
在下面的描述之前,观察了其显微镜图像的样本由用户操作指定,并且提供了在放大图像显示区域603上显示的放大图像(数字图像)和全聚焦图像的图像数据。
[深度位置信息的显示控制处理]
首先,将描述图28中所示的与深度位置信息的显示控制处理有关的流程。图像显示装置40的用户操作信息获取部401进行用户操作的准备,图像显示装置40确定是否执行了全聚焦图像的显示操作(步骤S301)。当执行了全聚焦图像的显示操作时,显示控制部405使用全聚焦图像的图像数据在放大图像显示区域603上显示全聚焦图像(步骤S303)。
然后,显示控制部405指定在预定的区域上显示的图像的坐标(例如,通过光标607显示的位置,或通过光标607选择的选择区域)(步骤S305),并且将坐标输出至显示图像选择部407。显示图像选择部407生成包括指定坐标的选择图像信息以请求图像获取部403获取深度位置信息,并且图像获取部403利用选择图像信息请求图像管理服务器30提供深度位置信息(步骤S307)。
图像管理服务器30的显微镜图像提供部303利用包含在用来提供存储在存储部309中的深度位置信息和聚焦位置信息的请求中的关于坐标的信息(坐标信息),来获取关于所请求的坐标中的深度位置的信息(步骤S309)。其后,显微镜图像提供部303将获取的深度位置信息提供给图像显示装置40(步骤S311)。
当图像显示装置40的显微镜图像获取部403获取从图像管理服务器30提供的深度位置信息时,获取的深度位置信息被输出至显示控制部405。显示控制部405基于所获得的深度位置信息在显示画面的深度信息显示区域613上显示深度位置信息(步骤S313)。
其后,图像显示装置40确定显示在预定区域中显示的图像是否改变(步骤S315),当图像改变时,图像显示装置40执行步骤S305。
[全聚焦图像的深度位置调节处理]
接着,将参照图29描述全聚焦图像的深度位置调节处理的流程。图像显示装置40的用户操作信息获取部401执行用户操作的准备,并且图像显示装置40确定是否执行了全聚焦图像的显示操作(步骤S321)。当执行了全聚焦图像的显示操作时,显示控制部405使用全聚焦图像的图像数据在放大图像显示区域603上显示全聚焦图像(步骤S323)。
其后,显示控制部405执行在预定的区域上显示的图像的坐标(例如,通过光标607显示的位置,或通过光标607选择的区域)(步骤S325)。
另一方面,用户操作信息获取部401执行用户操作的准备,并且图像显示装置40确定是否由用户执行了深度调节操作(步骤S327)。当通过用户执行了深度调节操作时,显示图像选择部407基于用户操作信息指定所指定的深度位置,并且将深度位置存储为深度位置信息(步骤S329)。然后,显示图像选择部407生成包括指定的坐标的选择图像信息并且存储深度位置信息以请求显微镜图像获取部403获取显微镜图像,并且显微镜图像获取部403利用选择图像信息请求图像管理服务器30提供显微镜图像(步骤S331)。
图像管理服务器30的显微镜图像提供部303利用包括在用于请求提供显微镜图像的请求中的关于坐标(坐标信息)和深度位置信息的信息获取所请求的坐标和深度位置中的显微镜图像(步骤S333)。其后,显微镜图像提供部303将获取的显微镜图像提供给图像显示装置40(步骤S335)。
当图像显示装置40的显微镜图像获取部403获取从图像管理服务器30提供的显微镜图像时,获取的显微镜图像被输出至显示控制部405。显示控制部405利用获得的显微镜图像的数据在显示画面的放大图像显示区域603上显示显微镜图像(步骤S337)。
其后,图像显示装置40确定是否执行了另外的深度调节操作(步骤S339),执行了这样的操作时,图像显示装置40执行步骤329。此外,当未执行另外的深度调节操作时,图像显示装置40确定是否执行全聚焦图像的深度更新操作(步骤S341)。当未执行这样的更新操作时,图像显示装置40进行步骤339。
此外,当执行更新操作时,图像显示装置40的聚焦位置信息更新请求部451将存储的深度位置信息传送至图像管理服务器(步骤S343)。图像管理服务器30的聚焦位置信息更新部305基于获取的深度位置信息更新管理的聚焦位置信息(步骤S345)。
这里,当选择区域621在多个子区域上延伸存在时,执行图30A和图30B中所示的流程的处理。
甚至在这样的情况下,图像显示装置40的用户操作信息获取部401执行用户操作的准备,并且图像显示装置40确定是否执行全聚焦图像的显示操作(步骤S351)。当执行全聚焦图像的显示操作时,显示控制部405使用全聚焦图像的图像数据在放大图像显示区域603上显示全聚焦图像(步骤S353)。
其后,显示控制部405指定在预定的区域上显示的图像的坐标(例如,通过光标607显示的位置,或通过光标607选择的区域)(步骤S355)。
另一方面,用户操作信息获取部401执行用户操作的准备,并且图像显示装置40确定是否由用户执行了深度调节操作(步骤S357)。当由用户执行了深度调节操作时,显示图像选择部407基于用户操作信息指定所述指定的深度位置,并且将该深度位置存储为深度位置信息(步骤S359)。其后,显示图像选择部407生成包括指定的坐标和基于存储的深度位置信息所计算的深度位置的改变量的选择图像信息以请求显微镜图像获取部403获取显微镜图像,并且显微镜图像获取部403利用选择图像信息请求图像管理服务器30提供显微镜图像(步骤S361)。
图像管理服务器30的显微镜图像提供部303利用包括用于提供显微镜图像的请求的关于坐标(坐标信息)和深度位置的改变量的信息以及所管理的聚焦位置信息,获取每个子区域的所请求的坐标和深度位置中的显微镜图像(步骤S363)。其后,显微镜图像提供部303将多个获取的显微镜图像提供给图像显示装置40(步骤S365)。
当图像显示装置40的显微镜图像获取部403获取从图像管理服务器30提供的显微镜图像时,获取的显微镜图像被输出至显示控制部405。显示控制部405利用获得的显微镜图像的数据在显示画面的放大图像显示区域603上显示显微镜图像(步骤S367)。
其后,图像显示装置40确定是否执行了另外的深度调节操作(步骤S369),并且当执行了这样的操作时,图像显示装置40执行步骤359。当未执行另外的深度调节操作时,图像显示装置40确定是否执行全聚焦图像的深度更新操作(步骤S371)。当未执行这样的更新操作时,图像显示装置40执行步骤369。
此外,当执行了深度更新操作时,图像显示装置40的聚焦位置信息更新请求部451将存储的深度位置信息或深度位置的改变量传送至图像管理服务器(步骤S373)。图像管理服务器30的聚焦位置信息更新部305基于获取的深度位置信息更新管理的聚焦位置信息(步骤S375)。
[全聚焦图像的显示解除处理]
下面,将参照图31描述全聚焦图像的显示解除处理的流程。图像显示装置40的用户操作信息获取部401执行用户操作的准备,并且图像显示装置40确定是否执行全聚焦图像的显示操作(步骤S381)。当执行全聚焦图像的显示操作时,显示控制部405使用全聚焦图像的图像数据在放大图像显示区域603上显示全聚焦图像(步骤S383)。
另一方面,用户操作信息获取部401执行用户操作的准备,并且图像显示装置40确定是否由用户执行了全聚焦图像的显示解除操作(步骤S385)。当未执行这样的操作时,图像显示装置40执行步骤383。
另一方面,当执行了全聚焦图像的显示解除操作时,显示图像选择部407利用存储的深度位置信息生成选择图像信息,并且请求显微镜图像获取部403获取显微镜图像。显微镜图像获取部403利用生成的选择图像信息请求图像管理服务器30提供显微镜图像(步骤S387)。
图像管理服务器30的显微镜图像提供部303利用包括在用于要求提供显微镜图像的请求中的关于坐标的信息(坐标信息)和深度位置信息获取请求的坐标和深度位置中的显微镜图像(步骤S389)。然后,显微镜图像提供部303将获取的显微镜图像提供给图像显示装置40(步骤S391)。
当图像显示装置40的显微镜图像获取部403获取从图像管理服务器30提供的显微镜图像时,获取的显微镜图像被输出至显示控制部405。显示控制部405利用获得的显微镜图像的数据在显示画面的放大图像显示区域603上显示显微镜图像(步骤S393)。
如上所述,在根据示例性实施方式的图像管理服务器30和图像显示装置40之间执行了显微镜图像的显示控制处理。甚至当用户通过执行这样的处理观察全聚焦图像时,也可以掌握任意区域的深度位置信息,并且可以容易地掌握样本的厚度。此外,在根据示例性实施方式的图像管理服务器30和图像显示装置40中,因为可以由用户调节全聚焦图像的聚焦位置,所以可以提高全聚焦图像的精确度。
<关于硬件结构>
下面,将参照图32详细描述根据本申请的示例性实施方式的显微镜控制装置20的硬件结构。图32是示出了根据本发明示例性实施方式的显微镜控制装置20的硬件结构的框图。
显微镜控制装置20主要包括CPU901、ROM903、RAM905和GPU(图表处理单元)906。此外,显微镜控制装置20进一步包括主机总线907、桥接器(bridge)909、外部总线911、接口913、输入单元915、输出单元917、存储单元919、驱动921、连接端口923和通信单元925。
CPU901用作运算操作处理单元和控制单元,并且根据存储在ROM903、RAM905、存储单元919或移动记录介质927中的各种程序控制显微镜控制装置20内的全部或部分操作。ROM903存储由CPU901使用的程序或操作参数等。RAM905主要存储在由执行CPU901使用的程序的过程中适当地被改变的程序或操作参数。此外,GPU906用作执行关于在显微镜控制装置20内执行的各种图像处理的可操作处理的控制单元和运算操作处理单元。GPU906根据存储在ROM903、RAM905、存储单元919或移动记录介质927中的各种程序控制显微镜控制装置20内的全部或部分图像处理操作。这些部件通过由内部总线(例如CPU总线)构成的主机总线907彼此相连。
主机总线907通过桥接器909连接至外部总线911,例如PCI(外围部件互连/接口)。
输入装置915例如为由用户操作的诸如鼠标、键盘、触摸面板、按键、开关和操作杆的可操作单元。此外,输入装置915例如可以是其中使用了红外线或其它无线电波的远程控制装置(称为遥控),并且可以是响应于显微镜控制装置20的操作的外部连接装置929,例如手机或PDA。此外,输入装置915例如基于通过用户使用上述操作单元而输入的信息来生成输入信号,并且包括输出至CPU901的输入控制电路等。显微镜控制装置20的用户可以将各种数据输入至显微镜控制装置20或通过操作该输入装置915指示处理操作。
输出装置917包括能够可见或可听到地将获取的信息告知用户的单元。这样的单元包括显示装置,例如CRT显示装置、液晶装置、等离子显示装置、EL显示装置和灯管,诸如扬声器和耳机的声音输出单元、打印机、手机、传真机等。输出装置917,例如输出通过显微镜控制装置20执行的各种处理得到的结果。具体地,显示装置利用文本或图像显示通过显微镜控制装置20进行的各种处理得到的结果。另一方面,声音输出单元将包括复制的声音数据或声学数据的声学信号转换成模拟信号并且将它们输出。
存储单元919是作为显微镜控制装置20的存储部的实例的数据存储单元。存储单元919包括,例如磁存储装置(诸如HDD(硬盘驱动))、半导体存储装置、光学存储装置、磁光存储装置等。存储装置919存储由CPU901执行的程序或各种数据、从外部获取的各种数据等。
驱动921是记录介质的读出器/写入器,并且位于显微镜控制装置20的内部或外部。驱动921读出记录在安装至驱动的可移动记录介质927(例如磁盘、光盘、磁光盘或半导体存储器)中的信息,并且将信息输出至RAM905。此外,驱动921还可将记录写入安装至驱动的可移动记录介质927(例如磁盘、光盘、磁光盘或半导体存储器)中。可移动记录介质927例如为DVD介质、HD-DVD介质、蓝光介质等。此外,可移动记录介质927可以是压缩闪存(CF)(注册商标)、闪存、SD(安全数字)存储卡等。此外,可移动记录介质927例如可以是其中安装了非接触IC芯片的IC(集成电路)卡、电子设备等。
连接端口923是用于直接将装置连接至显微镜控制装置20的端口。连接端口923的实例包括USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的另外的实例包括RS-232端口、声光终端(optical audio terminal)、HDMI(高清多媒体接口)端口等。通过将外部连接装置929连接到该连接端口923,显微镜控制装置20直接从外部连接装置929获取各种数据,或向外部连接装置929提供各种数据。
通信单元925例如为包括用于连接至通信网络931的通信装置等的通信接口。通信单元925例如为有线或无线LAN(局域网)、蓝牙(注册商标)、用于WUSB的通信卡(无线USB)等。此外,通信单元925可以是光通信路由器、ADSL(非同步数字用户专线)路由器、各种通信调制解调器等。通信单元925例如可以基于根据预定的协议(例如TCP/IP)在互联网或其它的通信设备与通信单元之间传送和接收信号等。此外,连接至通信单元925的通信网路931包括有线或无线连接至其上的网络等,并且例如可以是互联网、家庭LAN、红外通信、无线电通信、各种专用通信、卫星通信等。
如上所述,已经示出了能够实现根据本发明的示例性实施方式的显微镜控制装置20的功能的硬件结构的实例。上述的每个部件都可使用通用元件构造,并且可通过具有各部件的功能的专用硬件构造。因此,无论何时执行示例性实施方式,都可以根据技术水平来改变所适用的硬件结构。
此外,根据示例性实施方式的图像管理服务器30和图像显示装置40具有与根据示例性实施方式的显微镜控制装置20相同的硬件结构,从而省略其详细的描述。
如上所述,在根据本发明示例性实施方式的显微镜控制装置20中,相对于在深度方向上连续捕获的样本的记录的图像(显微镜图像)生成作为表示局部聚焦位置的信息的聚焦位置信息。当利用这样的聚焦位置信息在显示画面上显示样本的放大图像时,由于低负载,图像显示装置40可显示每个位置或任意位置都处于最佳聚焦状态的样本放大图像。
如上所述,尽管已经参照附图详细描述了本发明优选的示例性实施方式,但本发明并不限于这样的实例。本技术领域的技术人员应当理解的是,在所附权利要求书及其等同替换的范围内,根据设计要求和其它因素可以进行各种变形、组合、子组合以及修改。
例如,在上述的示例性实施方式中,尽管已经描述了通过显微镜控制装置20执行根据本发明示例性实施方式的聚焦位置信息生成处理的情况,但本申请并不限于这样的实例。例如,根据本发明示例性实施方式的聚焦位置信息生成处理可以通过图像管理服务器来执行,并且当显微镜自身存在足够的资源时可以通过显微镜自身来执行。例如,在图像管理服务器中执行聚焦位置信息生成处理,从而甚至可以相对于由与根据本发明示例性实施方式的显微镜不同的显微镜所捕获的显微镜图像生成聚焦位置信息。此外,可在作为用于观察显微镜图像的终端的图像显示装置中执行根据本发明示例性实施方式的聚焦位置信息生成处理。
应当理解的是,对本领域的技术人员来说,对这里所描述的本发明的优选实施方式的各种修改和变形是显而易见的。可以在不脱离本发明的精神和范围并且不缩小其期望的优点的情况下进行这样的修改和变形。因此,所附权利要求意在涵盖这样的修改和变形。
Claims (14)
1.一种显微镜控制装置,包括:
控制器,所述控制器被配置成:
(a)存储具有不同深度位置的多个图像;
(b)将所述多个图像划分成多个子区域;以及
(c)对于每个子区域,生成对应于深度位置的聚焦位置信息。
2.根据权利要求1所述的显微镜控制装置,其中,对于每个子区域,所述聚焦位置信息表示:(a)所述子区域;和(b)所述多个图像中的处于聚焦状态的一个。
3.根据权利要求1所述的显微镜控制装置,其中,
(a)所述多个图像包括第一图像和第二图像;
(b)所述控制器被配置成:
(i)将所述第一图像划分成具有第一多个位置的第一数目的子区域;和
(ii)将所述第二图像划分成具有第二多个位置的第二数目的多个子区域;以及
(c)所述第一多个位置对应于所述第二多个位置。
4.根据权利要求1所述的显微镜控制装置,其中,所述控制器被配置成,关于所关注的子区域对所述多个图像中的每一个:
(a)计算对比度的评估值;以及
(b)使用所计算的评估值确定所述多个图像中的哪一个处于聚焦状态。
5.根据权利要求1所述的显微镜控制装置,其中,所述控制器被配置成生成颜色分布图和查找表中的至少一种作为所述聚焦位置信息。
6.根据权利要求1所述的显微镜控制装置,其中,所述控制器被配置为利用所生成的聚焦位置信息生成整个区域聚焦图像,在所述整个区域聚焦图像中,与所述聚焦图像相对应的整个平面表面处于聚焦状态。
7.根据权利要求1所述的显微镜控制装置,其中,从显微镜获取所述多个图像。
8.一种信息处理设备,包括:
显微镜控制装置,所述显微镜控制装置包括控制器,所述控制器被配置成:
(a)存储具有不同深度位置的多个图像;
(b)将所述多个图像划分成多个子区域;以及
(c)对于每个子区域,生成对应于深度位置的聚焦位置信息。
9.根据权利要求8所述的信息处理设备,其中,所述信息处理设备是显微镜。
10.一种信息处理系统,包括:
显示装置;
信息管理服务器;
显微镜;以及
显微镜控制装置,所述显微镜控制装置包括控制器,所述控制器被配置成:
(a)存储具有不同深度位置的多个图像;
(b)将所述多个图像划分成多个子区域;以及
(c)对于每个子区域,生成对应于深度位置的聚焦位置信息。
11.根据权利要求10所述的信息处理系统,其中,所述控制器被配置成:
(a)使所述显示装置显示可被选择的第一图标;以及
(b)响应于对所述可被选择的第一图标的选择,使所述显示装置显示整个聚焦图像。
12.根据权利要求10所述的信息处理系统,其中,所述控制器被配置成:
(a)使所述显示装置显示所述多个图像中的一个;以及
(b)使得用户能够选择所述显示图像的所述子区域中的一个;
(c)对于所选择的子区域,使所述显示装置显示表示所选择的子区域的深度位置的信息。
13.一种显微镜控制装置的操作方法,所述方法包括:
(a)使控制器存储具有不同深度位置的多个图像;
(b)使所述控制器将所述多个图像划分成多个子区域;以及
(c)对于每个子区域,使所述控制器生成对应于深度位置的聚焦位置信息。
14.一种非临时性计算机可读介质,所述计算机可读存储介质存储了被构造为使信息处理装置执行以下步骤的指令:
(a)存储具有不同深度位置的多个图像;
(b)将所述多个图像划分成多个子区域;以及
(c)对于每个子区域,生成对应于深度位置的聚焦位置信息。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010157803 | 2010-07-12 | ||
JP2010-157803 | 2010-07-12 | ||
JP2010-289776 | 2010-12-27 | ||
JP2010289776A JP5655557B2 (ja) | 2010-07-12 | 2010-12-27 | 顕微鏡制御装置、画像表示装置、画像管理サーバ、合焦位置情報生成方法、画像表示方法、画像管理方法及び顕微鏡画像管理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102331622A true CN102331622A (zh) | 2012-01-25 |
Family
ID=44583951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011101873340A Pending CN102331622A (zh) | 2010-07-12 | 2011-07-05 | 信息处理系统、显微镜控制装置及其操作方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9134524B2 (zh) |
EP (2) | EP2407811B1 (zh) |
JP (1) | JP5655557B2 (zh) |
CN (1) | CN102331622A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164840A (zh) * | 2013-02-08 | 2013-06-19 | 宁波江丰生物信息技术有限公司 | 数字切片图像存储方法及装置、电子图书显示方法及装置 |
CN104853086A (zh) * | 2014-02-17 | 2015-08-19 | 佳能株式会社 | 成像系统、成像装置和图像处理装置 |
CN109995998A (zh) * | 2019-01-03 | 2019-07-09 | 中国科学院生物物理研究所 | 一种适用于扫描/透射电子显微镜成像的自动聚焦方法 |
CN110727096A (zh) * | 2019-10-29 | 2020-01-24 | 北京临近空间飞行器系统工程研究所 | 一种显微镜对焦方法、装置及显微镜设备 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070106317A1 (en) | 2005-11-09 | 2007-05-10 | Shelton Frederick E Iv | Hydraulically and electrically actuated articulation joints for surgical instruments |
EP2732432B1 (en) * | 2011-07-13 | 2020-01-08 | Koninklijke Philips N.V. | Method for automatically adjusting a focal plane of a digital pathology image |
JP5220172B2 (ja) * | 2011-08-22 | 2013-06-26 | キヤノン株式会社 | 画像取得装置、画像取得システム、および対物光学系 |
JP2014056078A (ja) * | 2012-09-12 | 2014-03-27 | Canon Inc | 画像取得装置、画像取得システム及び顕微鏡装置 |
WO2014141647A1 (ja) | 2013-03-13 | 2014-09-18 | ソニー株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
US9829696B2 (en) * | 2013-05-01 | 2017-11-28 | Bio-Rad Laboratories, Inc. | Adjustable digital microscope display |
JP6173032B2 (ja) * | 2013-05-16 | 2017-08-02 | オリンパス株式会社 | 顕微鏡システム |
EP2999988A4 (en) | 2013-05-23 | 2017-01-11 | S.D. Sight Diagnostics Ltd. | Method and system for imaging a cell sample |
JP2015082095A (ja) * | 2013-10-24 | 2015-04-27 | 株式会社キーエンス | 画像処理装置、顕微鏡システム、画像処理方法およびプログラム |
AU2013273789A1 (en) * | 2013-12-20 | 2015-07-09 | Canon Kabushiki Kaisha | Thickness estimation for Microscopy |
JP2015125177A (ja) * | 2013-12-25 | 2015-07-06 | ソニー株式会社 | 顕微鏡システムおよびその画像データ転送方法 |
JP6171970B2 (ja) | 2014-02-10 | 2017-08-02 | ソニー株式会社 | レーザ走査型顕微鏡装置および制御方法 |
CN107077732B (zh) * | 2014-08-27 | 2020-11-24 | 思迪赛特诊断有限公司 | 用于对数字显微镜计算聚焦变化的系统及方法 |
WO2016120441A2 (en) * | 2015-01-30 | 2016-08-04 | Ventana Medical Systems, Inc. | Quality metrics for automatic evaluation of dual ish images |
US9939623B2 (en) * | 2015-10-19 | 2018-04-10 | Molecular Devices, Llc | Microscope system with transillumination-based autofocusing for photoluminescence imaging |
WO2017098587A1 (ja) * | 2015-12-08 | 2017-06-15 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
JP2017168003A (ja) * | 2016-03-18 | 2017-09-21 | オリンパス株式会社 | 顕微鏡画像閲覧システム |
US10663711B2 (en) | 2017-01-04 | 2020-05-26 | Corista, LLC | Virtual slide stage (VSS) method for viewing whole slide images |
JP7015144B2 (ja) * | 2017-10-25 | 2022-02-02 | オリンパス株式会社 | 画像処理装置および顕微鏡システム |
EP3514602A1 (de) * | 2018-01-23 | 2019-07-24 | Universitatea Stefan cel Mare Suceava - Romania | Mikroskopobjektiv mit automatischer fokussierung |
JP7458328B2 (ja) | 2018-05-21 | 2024-03-29 | コリスタ・エルエルシー | マルチ分解能登録を介したマルチサンプル全体スライド画像処理 |
JP7181001B2 (ja) * | 2018-05-24 | 2022-11-30 | 日本電子株式会社 | 生物組織画像処理システム及び機械学習方法 |
JP7181000B2 (ja) * | 2018-05-24 | 2022-11-30 | 日本電子株式会社 | 生物組織画像処理装置及び方法 |
US11921285B2 (en) | 2019-04-19 | 2024-03-05 | Arizona Board Of Regents On Behalf Of The University Of Arizona | On-chip signal processing method and pixel-array signal |
WO2020215050A1 (en) * | 2019-04-19 | 2020-10-22 | Arizona Board Of Regents On Behalf Of The University Of Arizona | All-in-focus imager and associated method |
US20220357278A1 (en) * | 2021-05-06 | 2022-11-10 | The Regents Of The University Of California | Adjustable sliding platform for cell culture plate imaging |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11287618A (ja) * | 1998-04-01 | 1999-10-19 | Ntn Corp | 画像処理装置 |
JP2006258444A (ja) * | 2005-03-15 | 2006-09-28 | Opcell Co Ltd | 物体表面形状測定装置 |
US20060239534A1 (en) * | 2005-04-20 | 2006-10-26 | Sysmex Corporation | Image creating apparatus and image creating method |
US20080266440A1 (en) * | 2007-04-30 | 2008-10-30 | General Electric Company | Predictive autofocusing |
WO2009096422A1 (ja) * | 2008-01-28 | 2009-08-06 | Nikon Corporation | 3次元形状測定装置および方法、並びに、プログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0915506A (ja) * | 1995-04-28 | 1997-01-17 | Hitachi Ltd | 画像処理方法および装置 |
US6031930A (en) | 1996-08-23 | 2000-02-29 | Bacus Research Laboratories, Inc. | Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing |
US6272235B1 (en) | 1997-03-03 | 2001-08-07 | Bacus Research Laboratories, Inc. | Method and apparatus for creating a virtual microscope slide |
US6396941B1 (en) | 1996-08-23 | 2002-05-28 | Bacus Research Laboratories, Inc. | Method and apparatus for internet, intranet, and local viewing of virtual microscope slides |
US6404906B2 (en) | 1997-03-03 | 2002-06-11 | Bacus Research Laboratories,Inc. | Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope |
JP2003222801A (ja) | 2002-01-29 | 2003-08-08 | Olympus Optical Co Ltd | 顕微鏡画像撮影装置 |
AU2003217694A1 (en) * | 2002-02-22 | 2003-09-09 | Bacus Research Laboratories, Inc. | Focusable virtual microscopy apparatus and method |
JP4563755B2 (ja) * | 2003-09-16 | 2010-10-13 | シスメックス株式会社 | 標本画像の表示方法、標本画像表示用プログラム、そのプログラムを記録した記録媒体および標本画像表示用端末装置 |
US7456377B2 (en) * | 2004-08-31 | 2008-11-25 | Carl Zeiss Microimaging Ais, Inc. | System and method for creating magnified images of a microscope slide |
US20090231362A1 (en) * | 2005-01-18 | 2009-09-17 | National University Corporation Gunma University | Method of Reproducing Microscope Observation, Device of Reproducing Microscope Observation, Program for Reproducing Microscope Observation, and Recording Media Thereof |
WO2006081362A2 (en) * | 2005-01-27 | 2006-08-03 | Aperio Technologies, Inc | Systems and methods for viewing three dimensional virtual slides |
US7417213B2 (en) * | 2005-06-22 | 2008-08-26 | Tripath Imaging, Inc. | Apparatus and method for rapid microscopic image focusing having a movable objective |
US7814479B2 (en) | 2005-12-14 | 2010-10-12 | International Business Machines Corporation | Simultaneous download to multiple targets |
JP5495551B2 (ja) | 2008-12-26 | 2014-05-21 | オリンパス株式会社 | 固体撮像装置 |
US8310531B2 (en) * | 2009-08-03 | 2012-11-13 | Genetix Corporation | Methods and apparatuses for processing fluorescence images |
-
2010
- 2010-12-27 JP JP2010289776A patent/JP5655557B2/ja active Active
-
2011
- 2011-06-20 EP EP11170580.2A patent/EP2407811B1/en active Active
- 2011-06-20 EP EP20170990.4A patent/EP3709067B1/en active Active
- 2011-07-01 US US13/175,327 patent/US9134524B2/en active Active
- 2011-07-05 CN CN2011101873340A patent/CN102331622A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11287618A (ja) * | 1998-04-01 | 1999-10-19 | Ntn Corp | 画像処理装置 |
JP2006258444A (ja) * | 2005-03-15 | 2006-09-28 | Opcell Co Ltd | 物体表面形状測定装置 |
US20060239534A1 (en) * | 2005-04-20 | 2006-10-26 | Sysmex Corporation | Image creating apparatus and image creating method |
US20080266440A1 (en) * | 2007-04-30 | 2008-10-30 | General Electric Company | Predictive autofocusing |
WO2009096422A1 (ja) * | 2008-01-28 | 2009-08-06 | Nikon Corporation | 3次元形状測定装置および方法、並びに、プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164840A (zh) * | 2013-02-08 | 2013-06-19 | 宁波江丰生物信息技术有限公司 | 数字切片图像存储方法及装置、电子图书显示方法及装置 |
CN104853086A (zh) * | 2014-02-17 | 2015-08-19 | 佳能株式会社 | 成像系统、成像装置和图像处理装置 |
CN109995998A (zh) * | 2019-01-03 | 2019-07-09 | 中国科学院生物物理研究所 | 一种适用于扫描/透射电子显微镜成像的自动聚焦方法 |
CN109995998B (zh) * | 2019-01-03 | 2020-06-12 | 中国科学院生物物理研究所 | 一种适用于扫描/透射电子显微镜成像的自动聚焦方法 |
CN110727096A (zh) * | 2019-10-29 | 2020-01-24 | 北京临近空间飞行器系统工程研究所 | 一种显微镜对焦方法、装置及显微镜设备 |
CN110727096B (zh) * | 2019-10-29 | 2022-03-18 | 北京临近空间飞行器系统工程研究所 | 一种显微镜对焦方法、装置及显微镜设备 |
Also Published As
Publication number | Publication date |
---|---|
US20120007977A1 (en) | 2012-01-12 |
EP2407811A1 (en) | 2012-01-18 |
EP3709067A1 (en) | 2020-09-16 |
JP2012037861A (ja) | 2012-02-23 |
US9134524B2 (en) | 2015-09-15 |
EP3709067B1 (en) | 2023-10-04 |
JP5655557B2 (ja) | 2015-01-21 |
EP2407811B1 (en) | 2020-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102331622A (zh) | 信息处理系统、显微镜控制装置及其操作方法 | |
Yazdanfar et al. | Simple and robust image-based autofocusing for digital microscopy | |
JP4542386B2 (ja) | 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム | |
Heddleston et al. | A guide to accurate reporting in digital image acquisition–can anyone replicate your microscopy data? | |
US20120327211A1 (en) | Diagnostic information distribution device and pathology diagnosis system | |
Stirman et al. | A multispectral optical illumination system with precise spatiotemporal control for the manipulation of optogenetic reagents | |
Bahlmann et al. | Multifocal multiphoton microscopy (MMM) at a frame rate beyond 600 Hz | |
CN102313981A (zh) | 显微镜控制装置、图像管理服务器及系统、图像处理方法 | |
Huisken | Slicing embryos gently with laser light sheets | |
US8982454B2 (en) | Microscope and filter inserting method | |
CN102375228A (zh) | 显微镜控制装置及光学失真校正方法 | |
CN109416465A (zh) | 用于图像捕获和显示的系统、方法和设备 | |
Romer et al. | Using a modified standard microscope to generate virtual slides | |
CN112992336A (zh) | 一种病理智能诊断系统 | |
Bürglin | A two‐channel four‐dimensional image recording and viewing system with automatic drift correction | |
Jones-Hall et al. | Implementing digital pathology into veterinary academics and research | |
Johnson et al. | 4D microscopy of yeast | |
Dwivedi et al. | The advent of digital pathology: a depth review | |
Nap et al. | A travel report of the implementation of virtual whole slide images in routine surgical pathology | |
Price et al. | Introduction and historical perspective | |
Zucker et al. | Evaluation and purchase of confocal microscopes: numerous factors to consider | |
CN205027669U (zh) | 荧光显微设备和荧光显微分析系统 | |
WO2024053633A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラム | |
US20220137804A1 (en) | Management system, management method, and computer-readable medium | |
US20090040325A1 (en) | Methods for remote imaging and systems thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120125 |