CN102313981A - 显微镜控制装置、图像管理服务器及系统、图像处理方法 - Google Patents

显微镜控制装置、图像管理服务器及系统、图像处理方法 Download PDF

Info

Publication number
CN102313981A
CN102313981A CN201110173663XA CN201110173663A CN102313981A CN 102313981 A CN102313981 A CN 102313981A CN 201110173663X A CN201110173663X A CN 201110173663XA CN 201110173663 A CN201110173663 A CN 201110173663A CN 102313981 A CN102313981 A CN 102313981A
Authority
CN
China
Prior art keywords
image
digital
unit
enlarged image
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110173663XA
Other languages
English (en)
Inventor
山根健治
田上直树
胁田能宏
梶本雅人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102313981A publication Critical patent/CN102313981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload

Abstract

本发明公开了显微镜控制装置、图像管理服务器及系统、图像处理方法。显微镜控制装置，包括：驱动控制单元，控制捕获预定样本的数字放大图像的显微镜的驱动，并将相应的数字放大图像输出到外部的服务器；数字加工处理单元，对捕获的数字放大图像执行数字加工处理；负荷计算单元，计算数字放大图像的捕获处理所需的负荷；以及数字加工判定单元，基于由负荷计算单元算得的负荷值和从服务器获得的相应服务器的负荷值，判定是否由数字加工处理单元执行预定数字加工处理。

Description

显微镜控制装置、图像管理服务器及系统、图像处理方法
技术领域
本公开涉及显微镜控制装置、图像管理服务器、图像处理方法、程序、以及图像管理系统。
背景技术
近年来，已经考虑了将使用显微镜观察的样本的图像数字化并可以将数字化的样本图像显示在显示装置上来观察的技术(例如，参考日本未审查专利申请公开第2009-63658号)。
如果数字化的样本图像可以临时存储在存在于网络上的服务器中，并且可以经由服务器阅览所存储的图像，则可以促进其中远距离地点处的医生使用网络执行病理诊断的所谓的远程病理学的发展。
在这种数字显微镜系统中，为了经由服务器读取捕获的图像，执行如下步骤：控制显微镜以从CCD或CMOS传感器获得信号(拍摄)作为数字数据、将获得的图像数据处理并压缩成诸如JPEG的数据以及将数据上传到服务器。希望阅览显微镜图像的人员对用于阅览显微镜图像的终端(下文中，称为阅读器)进行操作以访问服务器，并获得期望阅览的显微镜图像。
发明内容
这里，在数字显微镜系统中对显微镜执行的控制根据成像的样本(对象)而变得不同，并且施加到控制显微镜的显微镜控制装置的负荷频繁变化，其中显微镜控制装置通过控制诸如用于样本成像的曝光时间或自动对焦的控制算法来控制显微镜。
因此，在限定了对与样本图像对应的数字数据执行预定数字加工处理的装置的情况下(例如，数字加工处理固定地在服务器中执行，或者固定地在显微镜控制装置中执行)，存在整个处理系统效率低下的问题。为此，数字加工处理在整个系统中延迟，并消耗时间直到在作为终端的阅读器上阅览捕获的样本图像。
期望提供能够减小由数字加工处理引起的延迟并能够更迅速地阅览通过显微镜捕获的样本图像的显微镜控制装置、图像管理服务器、图像处理方法、程序以及图像管理系统。
根据本公开的实施方式，提供了一种显微镜控制装置，包括：驱动控制单元，对捕获预定样本的数字放大图像的显微镜的驱动进行控制，并将相应数字放大图像输出到外部的服务器；数字加工处理单元，对捕获的数字放大图像执行数字加工处理；负荷计算单元，计算数字放大图像的捕获处理所需的负荷；以及数字加工判定单元，基于由负荷计算单元算得的负荷值和从服务器获得的相应服务器的负荷值，判定是否由数字加工处理单元执行预定数字加工处理。
负荷计算单元可以基于从驱动控制单元获得的用于数字放大图像的捕获条件和预先设置的负荷值预测表中的至少一个，计算数字放大图像的捕获处理所需的负荷值。
数字加工处理单元可以对捕获的数字放大图像执行转换处理作为数字加工处理。
预定样本的数字放大图像可以包括多个数字图像，并且数字加工处理单元可以改变多个数字图像的排列使得多个数字图像以彼此基本相同的距离置于服务器的存储区域中，作为数字加工处理。
如果负荷计算单元算得的负荷值低于服务器的负荷值，则数字加工判定单元可以请求数字加工处理单元执行预定数字加工处理，并且驱动控制单元可以将已经过预定数字加工处理的数字放大图像的数据与指示已经过预定数字加工处理的标识信息一起输出到服务器。
如果负荷计算单元算得的负荷值高于服务器的负荷值，则数字加工判定单元可以判定将由服务器执行预定数字加工处理。另外，驱动控制单元可以将尚未经过预定数字加工处理的数字放大图像的数据与指示尚未执行预定数字加工处理的标识信息一起输出到服务器。
根据本公开另一的实施方式，提供了一种图像管理服务器，包括：图像数据存储处理单元，获得由显微镜捕获的预定样本的数字放大图像的数据，并将获得的数据存储在预定存储区域中；图像数据提供处理单元，将存储在预定存储区域中的数字放大图像的数据提供给外部装置；以及数字加工处理单元，如果由图像数据存储处理单元获得的数字放大图像的数据附有指示尚未执行预定数字加工处理的标识信息，则对具有该标识信息的数字放大图像数据执行预定数字加工处理。
另外，图像管理服务器可以进一步包括负荷计算单元，对用于存储数字放大图像的数据的数据存储处理、用于提供存储的数字放大图像的数据的数据提供处理以及执行预定数字加工处理所需的负荷总和进行计算，并将算得的负荷总和输出到控制显微镜的显微镜控制装置。
数字加工处理单元可以对捕获的数字放大图像执行转换处理作为数字加工处理。
预定样本的数字放大图像可以包括多个数字图像，并且数字加工处理单元可以改变多个数字图像的排列使得多个数字图像以彼此基本相同的距离置于服务器的存储区域中，作为数字加工处理。
根据本公开的又一实施方式，提供了一种图像处理方法，包括：计算显微镜对与预定样本对应的数字放大图像进行捕获处理所需的负荷；获取存储与预定样本对应的数字放大图像的服务器的负荷；以及基于算得的负荷值和从服务器获得的相应服务器的负荷值，判定是否对数字放大图像执行预定数字加工处理。
根据本公开的又一实施方式，提供了一种图像处理方法，包括：获取由显微镜捕获的预定样本的数字放大图像的数据；判定获得的数字放大图像的数据是否附有指示尚未执行预定数字加工处理的标识信息；对具有指示尚未执行预定数字加工处理的标识信息的数字放大图像执行预定数字加工处理；以及将已经过预定数字加工处理的数字放大图像的数据存储在预定存储区域中。
根据又一实施方式，提供了一种使对捕获预定样本的数字放大图像的显微镜进行控制的计算机实现如下功能的程序：控制显微镜的驱动并将捕获的数字放大图像输出到外部的服务器；对捕获的数字放大图像执行预定数字加工处理；计算数字放大图像的捕获处理所需的负荷；以及基于由负荷计算功能算得的负荷值和从服务器获得的相应服务器的负荷值，判定是否执行预定数字加工处理。
根据又一实施方式，提供了一种使计算机能够实现如下功能的程序：获得由显微镜捕获的预定样本的数字放大图像的数据，并将获得的数据存储在预定存储区域中；将存储在预定存储区域中的数字放大图像的数据提供给外部装置；以及如果通过图像数据存储处理单元获得的数字放大图像的数据附有指示尚未执行预定数字加工处理的标识信息时，对具有该标识信息的数字放大图像执行预定数字加工处理。
根据本公开的又一实施方式，提供了一种包括显微镜控制装置和图像管理服务器的图像管理系统。
如上所述，根据本公开，能够减小由数字加工处理造成的延迟，并能够快速地阅览由显微镜捕获的样本图像。
附图说明
图1是示出根据本公开第一实施方式的显微镜图像管理系统的构造的示意图。
图2是示出根据相同实施方式的显微镜和显微镜控制装置的构造的示意图。
图3是示出包含在根据相同实施方式的显微镜控制装置中的整体控制单元的框图。
图4是示出根据相同实施方式的负荷值的预测方法的示例的示意图。
图5是示出根据相同实施方式的负荷值的预测方法的示例的示意图。
图6是示出根据相同实施方式的负荷值的预测方法的示例的示意图。
图7A和图7B是示出平铺单元格图像的存储顺序的示意图。
图8是示出根据相同实施方式的平铺单元格图像的示意图。
图9是示出根据相同实施方式的显微镜图像数据的数据结构的示例的示意图。
图10是示出根据相同实施方式的显微镜图像数据的数据结构的示例的示意图。
图11A和图11B是示出根据相同实施方式的数字加工处理的示例的示意图。
图12是示出根据相同实施方式的显微镜图像数据的数据结构的示例的示意图。
图13是示出根据相同实施方式的图像管理服务器的框图。
图14是示出根据相同实施方式的图像处理方法的流程的流程图。
图15是示出根据相同实施方式的图像处理方法的流程的流程图。
图16是示出根据相同实施方式的图像处理方法的流程的流程图。
图17是示出根据相同实施方式的图像处理方法的流程的流程图。
图18是示出根据相同实施方式的图像处理方法的流程的流程图。
图19是示出根据相同实施方式的图像处理方法的流程的流程图。
图20是示出根据相同实施方式的用于改变平铺单元格图像的存储顺序的处理的流程的流程图；
图21是示出根据本公开实施方式的显微镜控制装置的硬件构造的框图。
具体实施方式
下文中，将参照附图详细描述本公开的优选实施方式。另外，在说明书和附图中，具有实质相同功能和构造的组成元件被赋予相同的参考标号，并且将省略其重复描述。
将以如下顺序进行描述。
(1)第一实施方式
(1-1)显微镜图像管理系统的构造
(1-2)显微镜的整体构造
(1-3)显微镜控制装置的整体构造
(1-4)整体控制单元的构造
(1-5)上传数据的格式
(1-6)图像管理服务器的构造
(1-7)图像处理方法
(1-8)用于改变平铺单元格图像的存储顺序的处理
(2)根据本公开实施方式的显微镜控制装置和图像管理服务器的硬件构造
(3)结论
下文中，对于通过显微镜成像的样本，将包括诸如以血液为例的结缔组织、上皮组织或者这两类组织的组织切片或者涂片细胞的生物样本作为示例来描述，然而本公开并不局限于此。
第一实施方式：显微镜图像管理系统的构造
首先，将参照图1描述根据本公开第一实施方式的显微镜图像管理系统1的构造。图1是示出根据该实施方式的显微镜图像管理系统1的构造的示意图。
如图1所示，根据该实施方式的显微镜图像管理系统1包括：显微镜10、显微镜控制装置20、图像管理服务器30以及图像显示装置40。显微镜控制装置20、图像管理服务器30以及图像显示装置40经由网络3相互连接。
网络3是能够将根据该实施方式的显微镜控制装置20、图像管理服务器30以及图像显示装置40相互连接从而能够以双向方式进行通信的通信网络。网络3包括例如诸如因特网、电话网、卫星通信网或广播线的公共网络，或者诸如WAN(广域网)、LAN(局域网)、IP-VPN(网际协议-虚拟专用网络)、以太网(注册商标)或无线LAN的专用网络，并且包括有线或无线网络。另外，网络3可以是专用于根据本实施方式的显微镜图像管理系统1的通信网络。
显微镜10以预定照明光照射放置在相应显微镜10的镜台上的样本(例如，生物样本)，并使用透过样本的光对样本进行成像，或者使用从样本发射的光对样本进行成像。以下将再次详细地描述根据该实施方式的显微镜10的整体构造。
显微镜控制装置20控制显微镜10以将其驱动，并且显微镜10捕获的样本图像经由显微镜控制装置20而存储在图像管理服务器30中。
显微镜控制装置20控制对样本进行成像的显微镜10的驱动。显微镜控制装置20控制显微镜10捕获样本的数字图像，并对所获得的获得样本的数字图像数据执行预定数字加工处理。另外，显微镜控制装置20将所获得的样本的数字图像数据上传到图像管理服务器30。以下将进一步描述显微镜控制装置20的详细构造。
图像管理服务器30是存储已通过显微镜10成像的样本的数字图像数据并管理该数字图像数据的装置。当从显微镜控制装置20输出样本的数字图像数据时，图像管理服务器30将所获得的样本的数字图像数据存储在预定存储区域中，使得阅览者可以使用它。此外，当阅览者从由阅览者操作的图像显示装置40(即，对应于阅读器(viewer)的装置)请求阅览样本的数字图像数据时，图像管理服务器30将相应样本的数字图像数据提供给图像显示装置40。
根据该实施方式的图像管理服务器30可以可选地对通过显微镜10成像的样本的数字图像数据执行预定数字加工处理。如下面详细描述的，根据该实施方式的显微镜图像管理系统1根据显微镜控制装置20和图像管理服务器30的负荷环境，动态地改变用于对数字图像数据执行预定数字加工处理的装置。
以下将再次详细描述根据该实施方式的图像管理服务器30的详细构造。
图像显示装置40是由希望阅览样本的数字图像数据的阅览者操作的终端(即，对应于阅读器的装置)。希望阅览数字图像数据的阅览者参考存储在图像管理服务器30中的数字图像数据的列表等、指定希望阅览的数字图像数据并请求图像管理服务器30提供所指定的数字图像数据。当从图像管理服务器30提供了数字图像数据时，阅览者可以通过将与所提供的数字图像数据对应的图像显示在图像显示装置40的显示器等上来阅览数字图像数据。
在图1中，尽管示出了包括在系统1中的显微镜10、显微镜控制装置20以及图像管理服务器30分别单独存在的情况，但是包括在显微镜图像管理系统1中的显微镜10、显微镜控制装置20以及图像管理服务器30的数量不限于图1中所示的示例，而是可以分别具有多个。
显微镜的整体构造
接下来，将参照图2描述根据该实施方式的显微镜10的整体构造。图2是示出了根据本实施方式的显微镜10和显微镜控制装置20的整体构造的示意图。
整体构造
如图2中所示，根据本实施方式的显微镜10包括：缩略图像捕获单元110，用于对其上放置有生物样本SPL的标本PRT的整个图像(下文中，该图像还被称为缩略图像)进行捕获；以及放大图像捕获单元120，用于对以预定放大倍率放大的生物样本SPL的图像(下文中，该图像还被称为放大图像)进行捕获。
以预定的固定方法将包括诸如以血液为例的缔结组织、上皮组织、或者这两种组织的切片组织或者涂片细胞的生物样本SPL的标本PRT固定到显微镜载玻片。组织切片或涂片细胞根据需要经过染色处理。染色剂不仅包括诸如(苏木精-伊红)染色剂、吉姆萨染色剂、或巴氏染色剂的一般染色剂，而且还包括诸如FISH(荧光原位杂交)或酶标签抗体方法的荧光染色剂。
此外，可以将对用于指定相应生物样本SPL的附加信息(例如，采样人员的姓名、样本采集的日期、染色剂种类等)进行描述的标签贴到标本PRT。
根据该实施方式的显微镜10设置有其上放置有上述标本PRT的载物台130以及用于使载物台130在各个方向移动的载物台驱动机构135。通过载物台驱动机构135，载物台130可以在与载物台表面平行的方向(X轴方向和Y轴方向)以及在与载物台表面垂直的方向(Z轴方向)自由地移动。
根据该实施方式的显微镜10可以设置有用于将含有样本SPL的标本PRT传送到载物台130的样本传送装置141。样本传送装置141可以自动将预定要成像的样本放置在载物台130上，并自动地更换样本SPL。
缩略图像捕获单元
如图2所示，缩略图像捕获单元110主要包括光源111、物镜112以及成像元件113。
光源111设置在载物台130的标本配置面侧的相对侧。光源111可以在对经过一般染色的生物样本SPL进行照射的光(下文中，还称为明视野照明光，或者单照明光)与对经过特殊染色的生物样本SPL进行照射的光(下文中，还称为暗视野照明光)之间改变，以进行照射。另外，光源111可以照射明视野照明光或暗视野照明光。在该情况下，设置两个光源来作为光源111，即，用于照射明视野照明光的光源和用于照射暗视野照明光的光源。
在缩略图像捕获单元110中，可以分离地设置标签光源(未示出)，该标签光源照射用于对贴到标本PRT的标签中所描述的附加信息进行成像的光。
具有预定放大倍率的物镜112具有缩略图像捕获单元110在标本配置面中的基准位置的法线作为光轴SRA，并安装在载物台130的标本配置表侧。穿过放置在载物台130上的标本PRT的光通过物镜112被会聚，并能够使图像形成在设置于物镜112后侧(即，照明光的传播方向)的成像元件113上。
成像元件113在其上形成有与成像范围内的光对应的图像，该成像范围包括放置在载物台130的标本配置面上的整个标本PRT(换句话说，光穿过整个标本PRT)。形成在成像元件113上的图像是缩略图像，该缩略图像是含有整个标本PRT的显微镜图像。
放大图像捕获单元
如图2所示，放大图像捕获单元120主要包括光源121、聚光透镜122、物镜123以及成像元件124。
光源121照射明视野照明光，并设置在载物台130的标本配置面侧的相对侧。另外，在不同于光源121位置的位置(例如，标本配置面侧)处设置有用于照射暗视野照明光的光源(未示出)。
聚光透镜122使从光源121提供的明视野照明光或从用于暗视野照明光的光源提供的暗视野照明光聚集，并将该光导向载物台130上的标本PRT。聚光透镜122具有放大图像捕获单元120在标本配置面中的基准位置的法线作为光轴ERA，并安装在光源121和载物台130之间。
具有预定放大倍率的物镜123具有放大图像捕获单元120在标本配置面中的基准位置的法线作为光轴ERA，并安装在载物台130的标本配置面侧。通过适当地交换(exchange)物镜123，放大图像捕获单元120能够对通过各种放大倍率放大的生物样本SPL进行成像。穿过放置在载物台130上的标本PRT的光被物镜123聚集，并使图像能够形成在设置在物镜123的后侧(即，照明光的传播方向)的成像元件124上。
根据成像元件124的像素大小和物镜123的放大倍率，在成像元件124上形成成像范围内的图像，该成像范围包括载物台130的标本配置面上的预定纵向宽度和横向宽度。此外，由于生物样本SPL的一部分被物镜123放大，因此上述成像范围足够窄于成像元件124的成像范围。
这里，如图2所示，缩略图像捕获单元110和放大图像捕获单元120配置为就分别是基准位置的法线的光轴SRA和光轴ERA而言，在Y轴方向彼此隔开距离D。距离D被设定为很小，使得保持放大图像捕获单元120的物镜123的显微镜筒(未示出)不包括在成像元件124的成像范围中，并进一步用于小型化。
设置在缩略图像捕获单元110和放大图像捕获单元120中的每一个中的成像元件可以是一维成像元件或二维成像元件。
显微镜控制装置的整体构造
如图2中所示，根据该实施方式的显微镜10连接至用于控制显微镜的各个部分的显微镜控制装置20。如图2所示，显微镜控制装置20主要包括整体控制单元201、照明控制单元203、载物台驱动控制单元205、缩略图像捕获控制单元207、放大图像捕获控制单元209以及存储单元211。
这里，照明控制单元203是对包括设置在显微镜10中的光源111和光源121的各种光源进行控制的处理单元，并且载物台驱动控制单元205是控制载物台驱动机构135的处理单元。另外，缩略图像捕获控制单元207是对用于捕获缩略图像的成像元件113进行控制的处理单元，并且放大图像捕获控制单元209是对用于捕获生物样本SPL的放大图像的成像元件124控制的处理单元。这些控制单元经由各种数据通信路径连接至被控制的部分。
在根据该实施方式的显微镜控制装置20中，控制整个显微镜的控制单元(整体控制单元201)独立地设置，并经由各种数据通信路径连接至上述控制单元。
控制单元通过CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)、存储装置、通信装置、运算电路等来实现。
存储单元211是设置在根据该实施方式的显微镜控制装置20中的存储装置的示例。存储单元211存储用于控制根据该实施方式的显微镜10的各种设定信息、各种数据库、诸如负荷预测表的查找表等。此外，存储单元211存储诸如显微镜10中的样本的成像历史的各种历史信息。另外，存储单元211将根据本实施方式的显微镜控制装置20执行特定处理或者处理的中间过程时所需要保存的各种参数、或者各种数据库或程序记录。
设置在显微镜控制装置20中的各处理单元可以自由地执行对存储单元211的读取和在存储单元211中的写入。
下文中，将简要描述整体控制单元201除外的上述控制单元的功能。将在下面再次详细描述整体控制单元201。
照明控制单元
照明控制单元203是对设置在根据本实施方式的显微镜10中的各种光源进行控制的处理单元。当从整体控制单元201输出表示生物样本SPL的照明方法的信息时，照明控制单元203基于所获得的表示照明方法的信息来对相应的光源的照射进行控制。
例如，注意照明控制单元203对包含在缩略图像捕获单元110中的光源111进行控制的情况。在该情况下，照明控制单元203通过参照表示照明方法的信息，判定是执行用于获得明视野图像的模式(下文中，称为“明视野模式”)还是执行用于获得暗视野图像的模式(下文中，称为“暗视野模式”)。之后，照明控制单元203根据光源111中的各模式来设定参数，并使光源111能够照射适于每个模式的照明光。从而，从光源111提供的照明光经由载物台130的开口照射到整个生物样本SPL。另外，例如，可以选择照明光的强度或者光源的种类来作为由照明控制单元203设定的参数。
另外，注意照明控制单元203对包含在放大图像捕获单元120中的光源121进行控制的情况。在该情况下，照明控制单元203通过参照表示照明方法的信息，判定是执行明视野模式还是执行暗视野模式。之后，照明控制单元203根据光源121中的各模式来设定参数，并使光源121能够照射适于每个模式的照明光。从而，从光源121提供的照明光经由载物台130的开口而照射到整个生物样本SPL。另外，可以选择照明光的强度或者光源的种类来作为通过照明控制单元203设定的参数。
明视野模式下的照明光优选为可见光。另外，暗视野模式下的照明光优选为包括能够激发特殊染色所使用的荧光标记的波长的光。在暗视野模式下，关掉荧光标记的背景。
载物台驱动控制单元
载物台驱动控制单元205是对用于驱动设置在根据本实施方式的显微镜10中的载物台的载物台驱动机构135进行控制的处理单元。当从整体控制单元201输出表示生物样本SPL的成像方法的信息时，载物台驱动控制单元205基于所获得的表示成像方法的信息来控制载物台驱动机构135。
例如，注意根据本实施方式的显微镜10捕获缩略图像的情况。当从整体控制单元201输出表示捕获生物样本SPL的缩略图像的信息时，载物台驱动控制单元205使载物台130在载物台表面方向(X-Y轴方向)上移动，使得整个标本PRT包括在成像元件113的成像范围内。此外，载物台驱动控制单元205使载物台130在Z轴方向上移动，使得物镜112聚焦在整个标本PRT上。
另外，注意根据本实施方式的显微镜10捕获放大图像的情况。当从整体控制单元201输出表示捕获生物样本SPL的放大图像的信息时，载物台驱动控制单元205控制载物台驱动机构135的驱动并使载物台130在载物台表面方向移动，使得生物样本SPL从位于光源111和物镜112之间移动到位于聚光透镜122和物镜123之间。
载物台驱动控制单元205使载物台130在载物台表面方向(X-Y轴方向)移动，使得生物样本的预定部位位于成像元件124的成像范围内。
另外，载物台驱动控制单元205控制载物台驱动机构135的驱动，并使载物台130在垂直于载物台表面的方向(Z轴方向，组织切片的深度方向)移动，使得物镜123聚焦在生物样本SPL的位于预定成像范围内的部位上。
缩略图像捕获控制单元
缩略图像捕获控制单元207是对设置在缩略图像捕获单元110中的成像元件113进行控制的处理单元。缩略图像捕获控制单元207根据成像元件113中的明视野模式或暗视野模式来设定参数。另外，当获得从成像元件113输出并与形成在成像元件113的图像形成面上的图像对应的输出信号时，缩略图像捕获控制单元207将所获得的输出信号识别为对应于缩略图像的输出信号。缩略图像捕获控制单元207获得对应于缩略图像的输出信号，并将对应于所获得的信号的数据(原始数据)输出到整体控制单元201。由缩略图像捕获控制单元207设定的参数的示例包括曝光的开始时间和结束时间等。
放大图像捕获控制单元
放大图像捕获控制单元209是对放大图像捕获单元120中设置的成像元件124进行控制的处理单元。放大图像捕获控制单元209根据成像元件124中的明视野模式或暗视野模式来设定参数。另外，当获得从成像元件124输出并与形成在成像元件124的图像形成面上的图像对应的输出信号时，放大图像捕获控制单元209将所获得的输出信号识别为对应于放大图像的输出信号。放大图像捕获控制单元209获得对应于放大图像的输出信号，并将对应于所获得的信号的数据(原始数据)输出到整体控制单元201。由放大图像捕获控制单元209设定的参数的示例包括曝光的开始时间和结束时间等。
整体控制单元的构造
整体控制单元201是对包括上述控制单元的整个显微镜进行控制的处理单元。下文中，将参照图3对设置在根据该实施方式的显微镜控制装置20中的整体控制单元201的构造进行详细描述。图3是示出了根据该实施方式的整体控制单元201的构造的框图。
如图3所示，根据该实施方式的整体控制单元201主要包括：整体驱动控制单元251、数字加工判定单元253、负荷计算单元255、数字加工处理单元257以及通信控制单元259。
整体驱动控制单元251通过例如CPU、ROM、RAM等来实现。整体驱动控制单元251是对用于控制根据该实施方式的显微镜10的各个部分的控制单元(照明控制单元203、载物台驱动控制单元205、缩略图像捕获控制单元207以及放大图像捕获控制单元209)进行集中控制的驱动控制单元。整体驱动控制单元251设定显微镜10的各个部分中的各种信息(例如，各种设定参数)，或者从显微镜10的各个部分获得各种信息。另外，整体驱动控制单元251获得从缩略图像捕获控制单元207输出的对应于缩略图像的数据(下文中，称为“缩略图像数据”)，或者从放大图像捕获控制单元209输出的对应于放大图像的数据(下文中，称为“放大图像数据”)。
当对显微镜10的各个部分的驱动进行控制时，整体驱动控制单元251可以参照存储在存储单元211中的各种数据库或历史信息。另外，整体驱动控制单元251可以将所获得的缩略图像数据或放大图像数据临时存储在存储单元211中。
当从显微镜10获得缩略图像数据或放大图像数据时，整体驱动控制单元251与下面描述的数字加工判定单元253、负荷计算单元255、数字加工处理单元257等一起对图像数据执行各种处理。
整体驱动控制单元251将成像样本的数字图像数据(缩略图像数据或放大图像数据)或与成像样本相关的各种元数据经由随后描述的通信控制单元259上传到图像管理服务器30。
当将放大图像数据上传到图像管理服务器30时，整体驱动控制单元251使放大图像数据与表示是否已经对放大图像数据执行稍后所述的预定数字加工处理的标识信息相关联。
数字加工判定单元253通过例如CPU、ROM、RAM等来实现。数字加工判定单元253基于通过随后描述的负荷计算单元255算出的负荷值和从图像管理服务器30获得的服务器的负荷值，判定是否由随后描述的数字加工处理单元257执行预定数字加工处理。
更具体地，在整体驱动控制单元251开始控制放大图像的捕获时，数字加工判定单元253从整体驱动控制单元251获得成像条件，并将所获得的成像条件输出到负荷计算单元255。另外，随同输出所获得的成像条件，数字加工判定单元253请求负荷计算单元255计算捕获放大图像所需的负荷值(更具体地，对放大图像的捕获处理进行控制所需的负荷值)。
另外，数字加工判定单元253经由整体驱动控制单元251和通信控制单元259向图像管理服务器30询问相应服务器的负荷值。
之后，数字加工判定单元253将从负荷计算单元255获得的显微镜控制装置20的负荷值与从图像管理服务器30获得的服务器的负荷值进行比较，并判定是否由显微镜控制装置20执行数字加工处理。
更具体地，如果由负荷计算单元255算出的负荷值低于服务器的负荷值，则数字加工判定单元253请求数字加工处理单元257执行预定数字加工处理。另外，如果由负荷计算单元255算出的负荷值高于服务器的负荷值，则数字加工判定单元253判定通过图像管理服务器30执行预定数字加工处理。
当数字加工处理的判定结果被确定时，数字加工判定单元253将所获得的判定结果输出到整体驱动控制单元251。整体驱动控制单元251根据从数字加工判定单元253输出的判定结果，使表示是否已经执行数字加工处理的表示信息与要被上传到图像管理服务器30的放大图像数据相关联。另外，如果数字加工处理要通过显微镜控制装置20来执行，则数字加工判定单元253请求数字加工处理单元257执行数字加工处理。
负荷计算单元255通过例如CPU、ROM、RAM等来实现。负荷计算单元255是对捕获放大图像(更具体地，控制放大图像的捕获)所需的负荷进行计算的处理单元。
当负荷计算单元255从数字加工判定单元253接收到对负荷值进行计算的请求时，负荷计算单元从整体驱动控制单元251获得放大图像的成像条件。放大图像的成像条件的示例包括曝光时间、光量、成像区域、自动对焦的控制或不控制等。另外，成像条件可以包括成像模式的种类(例如，明视野成像模式、暗视野成像模式等)。
在用于样本成像的曝光期间，存在显微镜控制装置20处于低负荷状态的多种情况。另外，在捕获样本的荧光图像的情况下(即，样本在暗视野照明下成像)，曝光时间长于样本在通常明视野照明下成像的情况。因此，当曝光时间相对较长时，显微镜控制装置20的负荷会较低。
在光量较大的情况下，用于从具有良好S/N比的成像元件获得输出信号的曝光时间会相对较短。为此，在光量相对大的情况下，显微镜控制装置20的负荷会较高。
此外，在成像区域相对大的情况下，显微镜控制装置20的负荷会较高，这是因为更多的区域被成像。可以从放大图像之前捕获的缩略图像的尺寸确定成像区域的面积。
在执行显微镜的自动对焦的情况下，显微镜控制装置20控制显微镜10的光学系统，使得样本位于聚焦焦点处。因此，在该情况下，显微镜控制装置20的负荷会较高。
基于这些结果，负荷计算单元255对使用放大图像的成像条件控制放大图像的捕获所需的负荷进行计算。
这里，用于计算显微镜控制装置20的负荷值的方法不被特定地限制，而是可以使用任意方法。例如，负荷计算单元255可以通过参照存储在存储单元211中的历史信息(使成像条件与相应成像条件中的实际负荷值相关联的历史信息)从成像条件算出负荷值。在预先确定了成像条件和负荷值之间的相关函数之后，负荷计算单元255可以使用相关函数来计算负荷值。
另外，负荷计算单元255可以使用存储在存储单元211中的负荷预测表，随同放大图像的捕获来预测负荷值。下文中，将参照图4至图6简要描述使用负荷预测表来预测负荷值的方法。图4至图6是示出了根据该实施方式的负荷值的预测方法的示例的示意图。
根据该实施方式的显微镜10生成通过缩略图像捕获单元110对包括特定样本的整个标本成像所获得的缩略图像和通过放大图像捕获单元120对样本细节成像所获得的放大图像。整体驱动控制单元251通过参照样本的缩略图像检测标本中样本(受检体)的位置，并将样本在标本中所处的区域确定为用于捕获放大图像的区域。整体驱动控制单元251基于显微镜10的放大倍率将用于捕获放大图像的区域分成多个子区域，并将各个子区域成像。从而，关于一个样本的放大图像包括通过将多个子区域成像所获得的图像(下文中，称为“子区域图像”)。
图4示出了通过使用构成关于特定样本的放大图像的子区域图像的数量以及存储在存储单元211中的负荷预测表，来预测显微镜控制装置20的负荷值的示例。如图4所示，在负荷预测表中，待捕获的多个子区域图像与对应于待捕获图像数量的负荷值相关联。因此，负荷计算单元255从整体驱动控制单元251获得子区域图像的数量作为成像条件，并基于获得的多个子区域图像预测负荷值。
图4示出了存在于带有标签的标本PRT中的样本SPL被分成九个子区域的示例。在该情况下，负荷计算单元255通过参照基于子区域图像的数量的负荷预测表，预测负荷值为1.00。
另外，整体驱动控制单元251使一个子区域图像由多个平铺单元格图像构成。因此，关于特定样本的放大图像包括多个子区域图像，并且每个子区域图像包括多个平铺单元格图像。因此，负荷计算单元255可以基于构成放大图像的平铺单元格图像的数量而不是构成放大图像的子区域图像的数量来预测显微镜控制装置20的负荷值。
图5示出了使用构成关于特定样本的放大图像的平铺单元格图像的数量和存储在存储单元211中的负荷预测表来预测显微镜控制装置20的负荷值的示例。如图5所示，在负荷预测表中，待捕获的平铺单元格图像的数量与对应于待捕获的图像数量的负荷值相关联。因此，负荷计算单元255从整体驱动控制单元251获得平铺单元格图像的数量作为成像条件，并基于获得的平铺单元格图像的数量预测负荷值。
图5示出了存在于带有标签的标本PRT中的样本SPL被分成九个子区域，并且每个子区域被分成九个平铺单元格图像(JPEG图像)的示例。结果，在图5所示的示例中，一个放大图像由八十一个平铺单元格图像构成。在该情况下，负荷计算单元255通过参照基于平铺单元格图像的数量的负荷预测表，预测负荷值为9.00。
在包括样本SPL的标本PRT中，存在使用字符串或条形码来描述关于样本属性(样本的供应源或样本名称)或样本的成像方法的标签的多种情况。因此，可以使用标签中列出的各种信息(下文中，称为“标签信息”)以及预先准备的对应于标签信息的负荷预测表来预测显微镜控制装置20的负荷值。这里，用于预测负荷值的标签信息包括载玻片的成像方法(例如，暗视野成像模式、明视野成像模式等)等。
图6示出了使用这种标签信息预测负荷值的情况。当捕获缩略图像时，随同缩略图像的捕获整体驱动控制单元251读取标签信息，并识别标签信息所描述的内容。负荷计算单元255从整体驱动控制单元251获得标签信息的识别结果，并基于所获得的标签信息的识别结果从负荷预测表预测负荷值。在图6所示的示例中，负荷计算单元255从整体驱动控制单元251获得标签信息描述为“A”的信息，并从负荷预测表预测负荷值为0.01。
负荷计算单元255使用如上所述的负荷预测方法预测显微镜控制装置20的负荷值。另外，图4至图6中所示的情况仅仅是示例，并且负荷计算单元255所使用的负荷预测方法不局限于上述情况。
另外，负荷计算单元255可以使用上述负荷预测方法中的一种来预测显微镜控制装置20的负荷值，或者可以同时使用多种负荷预测方法来预测显微镜控制装置20的负荷值。因此，存储单元211可以存储单个负荷预测表或者可以存储多个负荷预测表。
在同时使用多种负荷预测方法来预测负荷值的情况下，可以对通过各负荷预测方法获得的负荷值执行运算处理(例如，平均值的计算处理)。进一步地，通过多种负荷预测方法获得的负荷值的最大负荷值(即，表示最高负荷的值)可以作为显微镜控制装置20的负荷值。
负荷计算单元255通过执行如上所述的负荷值计算处理和负荷值预测处理中的至少一个来计算显微镜控制装置20的负荷值。
这里，在执行负荷值计算处理和负荷值预测处理两者的情况下，可以通过用户操作等来适当地确定负荷计算单元255使用哪个负荷值。负荷计算单元255可以使用算出的负荷值和预测的负荷值的平均值作为显微镜控制装置20的负荷值，或者可以使用最大负荷值(即，表示最高负荷的值)作为显微镜控制装置20的负荷值。
这里，显微镜控制装置20的负荷值可以表示为显微镜控制装置20的负荷平均，或者在使用各种磁盘装置作为存储装置的情况下可以表示为磁盘工作时间。此外，显微镜控制装置20的负荷值可以表示为特定处理单元的空闲时间。另外，表示负荷值的值不限于此，而是可以使用除此之外的值来表示显微镜控制装置20的负荷值。
如上所述，为了将显微镜控制装置20的负荷值与图像管理服务器30的负荷值进行比较，显微镜控制装置20和图像管理服务器30优选地就哪个值表示负荷值达成一致。
当确定用作显微镜控制装置20的负荷值的值时，负荷计算单元255将该值输出到数字加工判定单元253。
另外，负荷计算单元255中的负荷值计算处理可以在成像之前定期地执行，或者以预定周期定期地执行。
数字加工处理单元257通过例如CPU、GPU、ROM、RAM等来实现。当整体驱动控制单元251获得缩略图像数据或放大图像数据(更具体地，图像的原始数据)时，数字加工处理单元257对原始数据执行显影处理，并将构成图像的多个图像相互连接(拼接处理)。
另外，当数字加工判定单元253作出预定数字加工处理的请求时，数字加工处理单元257对已经经过显影处理或拼接处理的图像数据执行预定数字加工处理。
这里，通过数字加工处理单元257执行的预定数字加工处理可以包括数字图像数据的转换处理(转码)、数字图像的排列变化处理等。
数字图像的转换处理可以包括：用于通过数字图像的压缩生成JPEG图像等的处理、用于将压缩成JPEG图像等的数据转换成具有不同格式的压缩图像的处理(例如，GIF格式等)。另外，数字图像的转换处理包括：在压缩的图像数据被一次解压缩并然后经过诸如边缘强调的处理之后执行二次压缩的处理、改变压缩图像的压缩率的处理等。为了抑制显微镜控制装置20的负荷，这些数字加工处理优选地通过例如包括安装在显微镜控制装置20中的GPU、ROM、RAM等的图形卡等来执行。
接下来，将参照图7A和图7B简要描述数字图像的排列变化处理。图7A和图7B是示出根据该实施方式的数字加工处理的示例(数字图像的排列变化处理)的示意图。
如上所述，一个样本包括多个平铺单元格图像。如果阅览者想要阅览对应于样本图像的特定部位的图像，样本的数字图像的阅览者获得与该希望阅览的部位相对应的平铺单元格图像的数据，并使得该数据显示在作为终端的图像显示装置40的显示屏上。另外，如果数字图像的阅览者想要改变希望阅览的部位，则阅览者通过将当前阅览的平铺单元格图像改变成与改变之后的部位相对应的平铺单元格图像来改变显示屏的状态。因此，为了快速执行图像显示装置40的显示变化，优选地，将平铺单元格图像改变成另一平铺单元格图像所需的时间对于构造样本图像的各个平铺单元格图像基本上是相等的。
因此，数字加工处理单元257改变平铺单元格图像的存储顺序，使得多个数字图像(平铺单元格图像)以彼此基本相同的距离置于图像管理服务器30的存储区域中。
具体地，数字加工处理单元257对每个平铺单元格图像执行希尔伯特变换，并根据希尔伯特变换的结果改变平铺单元格图像在存储区域中的存储顺序(更具体地，以希尔伯特曲线的顺序)。
下文中，将参照图7A至图10详细描述用于改变平铺单元格图像的存储顺序的处理(排列变化处理)。图7A和图7B是示出了平铺单元格图像的存储顺序的示意图。图8是示出根据该实施方式的平铺单元格图像的示意图。图9和图10是示出根据该实施方式的显微镜图像数据的数据结构的示例的示意图。
如上所述，关于特定样本的显微镜图像包括多个平铺单元格图像。根据该实施方式的显微镜图像管理系统1将该多个平铺单元格图像作为一个块(lump)中的样本的显微镜图像来管理。当阅览这样的显微镜图像时，通过从一个块中被管理的多个平铺单元格图像中获得用于显示的平铺单元格图像来形成显示画面。
如图7A所示，假设构成显微镜图像的多个平铺单元格图像从左上角到右下角在列方向上被依次存储，并且获得存在于显微镜图像的基本中央部分的三十二个平铺单元格图像。在该情况下，在获得了位于最顶行的八个平铺单元格图像之后，有必要通过跳过与不用于显示的平铺单元格图像对应的存储区域，直到获得位于从上面第二行的左端的平铺单元格图像来进行阅览。以此方式，在对应于显示区域的平铺单元格图像配置为彼此隔开的情况下，用于获得要使用的平铺单元格图像的寻找时间增加。
寻找时间增加的问题还出现在平铺单元格图像在行方向上依次存储的情况以及如图7A所示的平铺单元格图像在列方向上依次存储的情况。
因此，根据该实施方式的数字加工处理单元257计算作为覆盖包含有构成显微镜图像的多个平铺单元格图像的区域的空间填充曲线之一的希尔伯特曲线。数字加工处理单元257使用的希尔伯特曲线的计算方法不被特定地限制，而是可以使用任何公知的算法(计算方法)。由于希尔伯特曲线的计算，构成显微镜图像的多个平铺单元格图像位于希尔伯特曲线的任意点。因此，数字加工处理单元257以希尔伯特曲线上呈现的顺序将构成显微镜图像的多个平铺单元格图像存储。
以希尔伯特曲线的顺序存储平铺单元格图像，因此，如图7B所示，在平面上定位为彼此靠近的平铺单元格图像群也以希尔伯特曲线上呈现的顺序定位为彼此靠近。因此，如图7B所示，即使在获得位于显微镜图像的基本中央部分的平铺单元格图像的情况下，也可以减少用于获得平铺单元格图像的寻找时间。
为了以希尔伯特曲线的顺序存储平铺单元格图像，优选地，将平铺单元格图像在显微镜图像上的位置(平铺单元格图像在平面中的位置)和存储顺序之间的相关性明确。因此，如图8所示，根据该实施方式的数字加工处理单元257为构成显微镜图像的多个平铺单元格图像分配每个平铺单元格图像固有的标识信息(下文中，也称为平铺单元格ID)。只要平铺单元格ID一对一的与平铺单元格图像在显微镜图像中的位置相对应，则平铺单元格ID的分配可以使用任何方法。数字加工处理单元257分配平铺单元格ID，例如，使得可以从显微镜图像中的平铺单元格位置的坐标(m，n)来计算相应平铺单元格图像的平铺单元格ID。
在图8示出的示例中，数字加工处理单元257向位于显微镜图像的左上角的平铺单元格图像分配为0的平铺单元格ID，并且向每个平铺单元格图像分配平铺单元格ID，使得平铺单元格ID每向右方向行进就增加一。此时，如果显微镜图像横向存在的平铺单元格图像的数量为W，并且显微镜图像的左上角的坐标为原点(0，0)，则存在于由(m，n)表示的位置处的平铺单元格图像的平铺单元格ID具有使用如下式子101算出的值。
平铺单元格ID＝n×W+m(式子101)
此外，例如，如图9所示，数字加工处理单元257另外地记录表示显微镜图像数据的数据结构中的一部分(例如，在报头和每个平铺单元格图像数据之间)中的平铺单元格图像排列的表(平铺单元格图像排列表)。
如图9所示，在平铺单元格图像排列表中，按顺序从平铺单元格ID＝0描述平铺单元格图像文件的开头的偏移和与一个平铺单元格对应的图像数据长度(例如，压缩数据长度)。虽然用于描述平铺单元格图像偏移和平铺单元格图像数据长度的区域可被适宜地设定，但是它们可以分别设定为例如4字节。
首先，数字加工处理单元257对所获得的显微镜图像的希尔伯特曲线进行计算，并为构成相应显微镜图像的多个平铺单元格图像分配平铺单元格ID。此外，如图10的左部分所示，数字加工处理单元257以从平铺单元格ID＝0(输入文件)的升序将构成显微镜图像的所有平铺单元格图像数据临时存储在预定存储区域中。
之后，数字加工处理单元257通过执行使用希尔伯特曲线改变平铺单元格图像的存储顺序的处理，改变平铺单元格图像的存储顺序。从而，包括平铺单元格图像的显微镜图像被存储为以彼此之间基本相同的距离置于存储区域中。
图11A示出了一个载玻片(样本)被成像并被压缩成九个平铺单元格图像的情况。在图11A中，为了便于描述，样本图像从载玻片的左上部被顺次压缩成平铺单元格图像(JPEG图像)。这里，赋予每个平铺单元格图像的标号表示可以可解码为一个JPEG图像的单位。九个JPEG图像(平铺单元格图像)存储在一个块中，因此被对待为与一个载玻片对应的数据集合。
数字加工处理单元257以编号顺序将平铺单元格图像临时存储在显微镜控制装置20的存储区域(例如，存储单元211)中。另外，如图11B所示，数字加工处理单元257对所存储的JPEG图像执行希尔伯特变换，并以希尔伯特曲线的顺序改变排列，使得各个平铺单元格图像数据片以彼此之间基本相同的距离置于存储区域中。数字加工处理单元257将其排列以此方式改变后的平铺单元格图像数据的集合输出到整体驱动控制单元251。整体驱动控制单元251经由通信控制单元259将排列被改变的平铺单元格图像数据组上传到图像管理服务器30。
通信控制单元259通过例如CPU、ROM、RAM、通信装置等来实现。通信控制单元259控制显微镜控制装置20与显微镜控制装置20外部的装置之间经由网络3执行的通信。
以上，已经描述了根据该实施方式的显微镜控制装置20的功能的示例。上述构成要素中的每一个都可以使用一般部件或电路构成，或者可以通过专用于每个构成要素的功能的硬件构成。各个构成要素的所有功能可以通过CPU等来执行。因此，可以根据实践该实施方式时的技术水平适当地修改所使用的构造。
另外，可以在个人计算机等中创建并安装用于实现上述根据该实施方式的显微镜控制装置20的各个功能的计算机程序。此外，可以提供其中存储有计算机程序并可通过计算机读取的记录介质。记录介质包括例如磁盘、光盘、磁光盘、闪存等。计算机程序可以经由例如网络输送，而不需要使用记录介质。
上传数据的格式
接下来，将参照图12简要描述从显微镜控制装置20上传到图像管理服务器30的显微镜图像的数据格式。图12是示出显微镜图像数据的数据结构的示例的示意图。
从显微镜控制装置20上传到图像管理服务器30的数据格式具有如图12中所示的结构。图12中示出的数字串表示比特流。显微镜图像数据包括图12所示的报头和数据体。另外，报头的开头1比特描述表示上述预定数字加工处理是否已经执行的标识信息。换句话说，如果在报头的开头1比特中记载为数据“0”，则表示没有对显微镜图像数据执行预定数字加工处理。另外，如果在报头的开头1比特中记载为数据“1”时，则表示已经对显微镜图像数据执行预定数字加工处理。
通过使用采用这种数据格式的显微镜图像数据，作为上传数据的目的地的图像管理服务器30能够容易地判定是否已经对显微镜图像数据执行预定数字加工处理。
图像管理服务器的构造
接下来，将参照图13详细描述根据该实施方式的图像管理服务器30的构造。图13是示出根据该实施方式的图像管理服务器30的构造的框图。
如图13所示，根据该实施方式的图像管理服务器30主要包括例如：负荷计算单元301、图像数据存储处理单元303、数字加工处理单元305、图像数据提供处理单元307、通信控制单元309以及存储单元311。
负荷计算单元301通过例如CPU、ROM、RAM等来实现。负荷计算单元301计算用于存储放大图像数据的数据存储处理、用于将所存储的放大图像数据提供给图像显示装置40的数据提供处理以及预定数字加工处理所需的负荷的和，并将算得的负荷的和输出到显微镜控制装置20。
更具体地，当随后描述的通信控制单元309接收到来自显微镜控制装置20的关于图像管理服务器30的负荷状态的询问时，其将相应的询问传输到负荷计算单元301。当负荷计算单元301接收到来自显微镜控制装置20的关于负荷状态的询问时，其询问随后描述的图像数据存储处理单元303、数字加工处理单元305以及图像数据提供处理单元307的负荷状态。
接收到询问的图像数据存储处理单元303、数字加工处理单元305以及图像数据提供处理单元307通过利用上述方法，基于伴随每个处理的条件计算负荷值、使用负荷预测表等预测负荷值来获得负荷值，并将获得的负荷值输出到负荷计算单元301。
负荷计算单元301基于从图像数据存储处理单元303、数字加工处理单元305以及图像数据提供处理单元307获得的负荷值，计算图像管理服务器30的负荷值。整个图像管理服务器30的负荷值的计算方法不被特定地限制，而是例如通过各个处理单元获得的负荷的和可以用作整个图像管理服务器30的负荷值。
当负荷计算单元301计算整个图像管理服务器30的负荷值时，其经由通信控制单元309将所算得的负荷值输出到显微镜控制装置20。
图像数据存储处理单元303通过例如CPU、ROM、RAM等来实现。图像数据存储处理单元303获得经由通信控制单元309从显微镜控制装置20传输的显微镜图像数据，并将所获得的数据存储在随后描述的存储单元311的预定存储区域中。此时，图像数据存储处理单元303对从显微镜控制装置20获得的显微镜图像数据的放大图像数据的报头进行检查，并判定是否已经执行预定数字加工处理。作为放大图像数据的报头的检查结果，如果没有执行预定数字加工处理，则图像数据存储处理单元303请求随后描述的数字加工处理单元305执行预定数字加工处理。
数字加工处理单元305通过例如CPU、GPU、ROM、RAM等来实现。如果从显微镜控制装置20获得的放大图像数据尚未经过预定数字加工处理，则数字加工处理单元305对放大图像数据执行预定数字加工处理。通过数字加工处理单元305执行的预定数字加工处理可以包括数字图像数据的转换处理(转码)、数字图像的排列变化处理等。
该预定数字加工处理与通过根据该实施方式的显微镜控制装置20的数字加工处理单元257执行的数字加工处理相同，因此将省略其详细描述。
当完成预定数字加工处理时，数字加工处理单元305将已经过数字加工处理的放大图像数据输出到图像数据存储处理单元303。
图像数据提供处理单元307通过例如CPU、ROM、RAM等来实现。响应于来自图像显示装置40的请求，图像数据提供处理单元307将存储在预定存储区域中的显微镜图像数据(缩略图像数据和放大图像数据)提供给图像显示装置40。
图像数据提供处理单元307将例如存储在图像管理服务器30中的显微镜图像数据的列表提供给图像显示装置40。当用户参考显示列表的图像显示装置40的显示屏，并选择用户想要阅览的显微镜图像数据时，表示所选择的显微镜图像数据的信息被传输到图像管理服务器30的图像数据提供处理单元307。
当通过图像显示装置40选择显微镜图像数据时，图像数据提供处理单元307从诸如存储单元311的预定存储区域获得所选择的显微镜图像数据，并经由通信控制单元309将所获得的数据提供给作出请求的图像显示装置40。
通信控制单元309通过例如CPU、ROM、RAM、通信装置等来实现。通信控制单元309控制图像管理服务器30、显微镜控制装置20以及图像显示装置40之间经由网络3执行的通信。
存储单元311是设置在根据该实施方式的图像管理服务器30中的存储装置的示例。存储单元311存储显微镜图像数据，用于控制根据该实施方式的显微镜10的各种设定信息、各种数据库、诸如负荷预测表的查找表等。另外，存储单元311可以存储诸如显微镜图像数据的存储历史和显微镜图像数据的提供历史的各种历史信息。另外，存储单元311适当地记录根据该实施方式的图像管理服务器30执行特定处理或者处理的中间过程时需要保存的各种参数、或者各种数据库或程序。
以上，已经描述了根据该实施方式的图像管理服务器30的功能的示例。上述构成要素中的每一个都可以使用一般部件或电路构成，或者可以由专用于每个构成要素的功能的硬件构成。各个构成要素的所有功能可以通过CPU等来执行。因此，可以根据实践该实施方式时的技术水平适当地修改所使用的构造。
另外，可以在个人计算机等中创建并安装用于实现上述根据该实施方式的图像管理服务器30的各个功能的计算机程序。此外，可以提供其中存储有计算机程序并可通过计算机读取的记录介质。记录介质包括例如磁盘、光盘、磁光盘、闪存等。计算机程序可以经由例如网络输送，而不需要使用记录介质。
图像处理方法
接下来，将参照图14至图19简要描述通过根据该实施方式的显微镜图像管理系统1执行的图像处理方法的流程。图14至图19是示出根据该实施方式的图像处理方法的流程的流程图。
显微镜控制装置中的图像处理方法
首先，将参照图14和图15简要描述显微镜控制装置20中的图像处理方法的流程。
整体流程
将参照图14描述显微镜控制装置20中的图像处理方法的整体流程。
首先，显微镜控制装置20的整体驱动控制单元251设定样本的成像条件(步骤S101)，并将成像条件通知照明控制单元203、载物台驱动控制单元205、缩略图像捕获控制单元207、放大图像捕获控制单元209等。另外，整体驱动控制单元251还将所设定的成像条件通知数字加工判定单元253。
数字加工判定单元253基于接收的成像条件以及从图像管理服务器30获得的图像管理服务器30的负荷值，判定是否由显微镜控制装置20执行数字加工处理(步骤S103)。
另一方面，显微镜10基于接收的成像条件捕获样本的缩略图像和放大图像。当通过显微镜10进行的图像捕获完成时，整体驱动控制单元251获得与所捕获的缩略图像对应的数据(原始数据)和与所捕获的放大图像对应的数据(原始数据)(步骤S105)。
响应于来自整体驱动控制单元251的请求，数字加工处理单元257对与缩略图像对应的原始数据和与放大图像对应的原始数据执行显影处理(步骤S017)。
此外，基于通过数字加工判定单元253执行的判定结果，整体驱动控制单元251检查是否由显微镜控制装置20执行数字加工处理(步骤S109)。如果通过数字加工判定单元253执行的判定结果表示由显微镜控制装置20执行数字加工处理，则整体驱动控制单元251控制数字加工处理单元257以执行预定数字加工处理(步骤S111)。当完成预定数字加工处理时，数字加工处理单元257将已经过数字加工处理的图像数据输出到整体驱动控制单元251。
另一方面，如果通过数字加工判定单元253执行的判定结果表示不通过显微镜控制装置20执行数字加工处理，则整体驱动控制单元251执行随后描述的步骤S113中的处理。
整体驱动控制单元251将由缩略图像数据和放大图像数据构成的显微镜图像数据传输到图像管理服务器30(步骤S113)。此时，整体驱动控制单元251将表示是否已经通过显微镜控制装置20执行了数字加工处理的标识信息添加到放大图像数据的报头。从而，获得显微镜图像数据的图像管理服务器30可以容易地判定是否已经对所获得的放大图像数据执行了预定数字加工处理。
数字加工判定处理的流程
将参照图15描述数字加工判定处理的流程。当数字加工判定单元253从整体驱动控制单元251获得成像条件时(步骤S121)，其将所获得的成像条件通知负荷计算单元255。
负荷计算单元255通过利用所接收到的成像条件对表示成像处理(更具体地，对成像处理的控制)所需的负荷的负荷值进行计算(步骤S123)。另外，数字加工判定单元253通过利用存储在存储单元211中的负荷预测表预测负荷值(步骤S125)。
基于通过用户或用户的操作预先设定的设定信息，负荷计算单元255判定是否使用负荷预测值(使用负荷预测表算得的负荷值)(步骤S127)。如果使用负荷预测值，则负荷计算单元255使用负荷预测值作为显微镜控制装置20的负荷值(步骤S129)。此外，如果不使用负荷预测值，则负荷计算单元255使用算得的负荷值作为显微镜控制装置20的负荷值(步骤S131)。之后，负荷计算单元255将算得的负荷值和负荷预测值输出到数字加工判定单元253。
数字加工判定单元253经由整体驱动控制单元251和通信控制单元259请求图像管理服务器30提供相应服务器的负荷值。从而，负荷计算单元255获得图像管理服务器30的负荷值(步骤S133)。
接下来，数字加工判定单元253判定自身负荷值(显微镜控制装置20的负荷值)是否超过图像管理服务器30的负荷值(步骤S135)。如果自身负荷值等于或小于图像管理服务器30的负荷值，则数字加工判定单元253判定将通过自身的装置执行数字加工处理(步骤S137)。另一方面，如果自身负荷值超过图像管理服务器30的负荷值，则数字加工判定单元253判定将通过图像管理服务器30执行数字加工处理(步骤S139)。
图像管理服务器中的图像处理方法
首先，将参照图16和图17简要描述图像管理服务器30中的图像处理方法的流程。
负荷计算处理
将参照图16描述图像管理服务器30中的负荷计算处理的流程。当显微镜控制装置20作出提供负荷值的请求时，首先，图像管理服务器30的负荷计算单元301请求图像数据提供处理单元307提供关于提供图像数据的负荷，并从图像数据提供处理单元307获得图像数据提供处理所需的负荷值(步骤S201)。另外，负荷计算单元301请求数字加工处理单元305提供数字加工处理所需的负荷，并从数字加工处理单元305获得数字加工处理所需的负荷值(步骤S203)。进一步地，负荷计算单元301请求图像数据存储处理单元303提供关于存储图像数据的负荷，并从图像数据存储处理单元303获得关于存储图像数据的负荷值(步骤S205)。
负荷计算单元301从各个处理单元获得负荷值的顺序不局限于上述顺序，而是可以以任意顺序执行负荷值的获得，并且可以同时从各个处理单元获得负荷值。
之后，负荷计算单元301利用从各个处理单元获得的负荷值计算图像管理服务器30的负荷值(步骤S207)。接着，负荷计算单元301将算得的负荷值输出到显微镜控制装置20(步骤S209)。
图像数据存储处理
接下来，将参照图17描述图像数据存储处理的流程。当图像数据存储处理单元303获得来自显微镜控制装置20的显微镜图像数据时(步骤S211)，其参考放大图像数据的报头并判定是否已经对所获得的数据执行了数字加工处理(步骤S213)。
如果尚未执行数字加工处理，则图像数据存储处理单元303请求数字加工处理单元305执行预定数字加工处理。数字加工处理单元305对所获得的放大图像数据执行预定数字加工处理(步骤S215)。
如果已经执行了数字加工处理，则图像数据存储处理单元303将所获得的显微镜图像数据存储在预定存储区域(步骤S217)。
显微镜图像管理系统中的处理流程的示例
接下来，将参照图18和图19描述显微镜图像管理系统1中的处理流程的示例。
首先参照图18。显微镜控制装置20的整体驱动控制单元251设定特定样本的成像条件(步骤S301)，设定显微镜10中的成像条件，并将成像条件通知数字加工判定单元253。
显微镜10基于所接收到的成像条件开始对样本进行成像(步骤S303)。
另一方面，显微镜控制装置20的负荷计算单元255基于接收到的成像条件计算自身装置的负荷(步骤S305)，并将算得的负荷输出到数字加工判定单元253。数字加工判定单元253询问图像管理服务器30的负荷(步骤S307)。图像管理服务器30的负荷计算单元301计算图像管理服务器30的负荷，并响应来自显微镜控制装置20的请求(步骤S309)。
之后，数字加工判定单元253使用算得的负荷值和从图像管理服务器30获得的负荷值判定是否要执行数字加工处理(步骤S311)。这里，假设自身装置的负荷具有以预定单位(例如，负荷平均)为2.0的值，并且图像管理服务器30的负荷具有以相同单位为1.0的值。在该情况下，数字加工判定单元253判定图像管理服务器30的负荷相对低，并判定将通过图像管理服务器30执行数字加工处理。
另一方面，当显微镜10完成样本的成像时，其将所获得的成像数据输出到显微镜控制装置20(步骤S313)。整体驱动控制单元251请求数字加工处理单元257对所获得的成像数据执行显影处理，并且数字加工处理单元257对成像数据执行显影处理(步骤S315)。之后，整体驱动控制单元251将表示尚未对成像数据执行数字加工处理的标识信息添加，并将成像数据上传到图像管理服务器30(步骤S317)。
当获得成像数据时，图像管理服务器30的图像数据存储处理单元303参照放大图像数据的报头，并确定尚未执行数字加工处理。然后，图像管理服务器30的数字加工处理单元305对所获得的图像数据执行预定数字加工处理(步骤S319)。之后，图像数据存储处理单元303将已经过数字加工处理的数据存储在预定存储区域中(步骤S321)。
接下来参照图19。显微镜控制装置20的整体驱动控制单元251设定特定样本的成像条件(步骤S331)，设定显微镜10中的成像条件，并将成像条件通知数字加工判定单元253。
显微镜10基于接收到的成像条件开始对样本进行成像(步骤S333)。
另一方面，显微镜控制装置20的负荷计算单元255基于接收到的成像条件计算自身装置的负荷(步骤S305)，并将算得的负荷输出到数字加工判定单元253。数字加工判定单元253询问图像管理服务器30的负荷(步骤S337)。图像管理服务器30的负荷计算单元301计算图像管理服务器30的负荷，并响应来自显微镜控制装置20的请求(步骤S339)。
之后，数字加工判定单元253使用算得的负荷值和从图像管理服务器30获得的负荷值判定是否要执行数字加工处理(步骤S341)。这里，假设自身装置的负荷具有以预定单位(例如，负荷平均)为1.0的值，并且图像管理服务器30的负荷具有以相同单位为2.0的值。在该情况下，数字加工判定单元253判定自身装置的负荷相对低，并确定数字加工处理将由显微镜控制装置20执行。
另一方面，当显微镜10完成样本的成像时，其将所获得的成像数据输出到显微镜控制装置20(步骤S343)。整体驱动控制单元251请求数字加工处理单元257对所获得的成像数据执行显影处理，并且数字加工处理单元257对成像数据执行显影处理(步骤S345)。
数字加工处理单元257对放大图像数据执行预定数字加工处理(步骤S347)。接着，整体驱动控制单元251添加指示已经对成像数据执行了数字加工处理的标识信息，并将成像数据上传到图像管理服务器30(步骤S349)。
当获得成像数据时，图像管理服务器30的图像数据存储处理单元303参照放大图像数据的报头，并确定已经执行了数字加工处理。然后，图像数据存储处理单元303将已经经过数字加工处理的数据存储在预定存储区域中(步骤S351)。
另外，在图18和图19中，尽管为了方便，将负荷的获得示为与成像处理同步，但并不局限于该示例，负荷的获得可以与成像处理不同步。
改变平铺单元格图像的存储顺序的处理
接下来，将参照图20简要描述作为数字加工处理示例的用于改变平铺单元格图像的存储顺序的处理流程。图20是示出根据该实施方式的用于改变平铺单元格图像的存储顺序的处理的流程的流程图。
下文中，虽然描述了显微镜控制装置20的数字加工处理单元257执行用于改变平铺单元格图像的存储顺序的处理的情况，但是在图像管理服务器30中执行用于改变平铺单元格图像的存储顺序的处理的情况下，也通过相同的流程执行该处理。
在下面的描述之前，假设数字加工处理单元257赋予构成显微镜图像的多个平铺单元格图像中的每一个一平铺单元格ID，然后根据平铺单元格ID生成平铺单元格图像排列表，并生成如图10所示的输入文件。另外，假设数字加工处理单元257对构成所关注显微镜图像的平铺单元格图像执行希尔伯特曲线的计算处理。
首先，对于平铺单元格图像的存储顺序被改变的显微镜图像数据，数字加工处理单元257将所读取的平铺单元格图像的位置(m，n)设定为初始读取位置(即，由(0，0)表示的位置)(步骤S401)。
然后，基于设定的平铺单元格位置(m，n)，数字加工处理单元257计算对应于该位置的平铺单元格图像的平铺单元格ID(平铺单元格ID在图中用A表示)(步骤S403)。数字加工处理单元257使用例如上述式子101来计算平铺单元格ID。
然后，数字加工处理单元257参照输入文件中的平铺单元格图像排列表，并获得与算得的平铺单元格ID对应的图像偏移和图像尺寸(步骤S405)。
数字加工处理单元257基于所获得的图像偏移和图像尺寸参照显微镜图像数据，并读取相应的平铺单元格图像数据(步骤S407)。然后，数字加工处理单元257将所读取的平铺单元格图像的图像数据写入输出文件的末尾中(步骤S409)。之后，数字加工处理单元257在输出文件内部的平铺单元格图像排列表中设定与所关注的平铺单元格ID对应的图像偏移和图像尺寸(步骤S411)。从而，在输出文件的适当位置记录了平铺单元格图像数据，并且用于读取平铺单元格图像的参数被记载在在平铺单元格图像排列表中。
然后，数字加工处理单元257按算得的希尔伯特曲线的顺序设定下一平铺单元格图像的读取位置(步骤S413)。换句话说，数字加工处理单元257指定希尔伯特曲线上与所关注的平铺单元格图像相邻的平铺单元格图像，并将与该平铺单元格图像对应的位置设定为下一读取位置。
之后，数字加工处理单元257判定读取位置是否移动到显微镜图像的末端(步骤S415)。如果读取位置没有移动到显微镜图像的末端，则流程返回到数字加工处理单元257执行该处理的步骤S403。另外，如果读取位置移动到显微镜图像的末端，则数字加工处理单元257结束用于改变数据的存储顺序的处理。
沿上述流程执行该处理，从而由多个平铺单元格图像形成的显微镜图像数据以希尔伯特曲线的顺序存储为以彼此之间基本相同的距离置于存储区域中。
硬件构造
将参照图21详细描述根据该实施方式的显微镜控制装置20的硬件构造。图21是示出根据该实施方式的显微镜控制装置20的硬件构造的框图。
显微镜控制装置20主要包括CPU 901、ROM 903、RAM 905以及GPU(图形处理单元)906。另外，显微镜控制装置20还包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923以及通信装置925。
CPU 901用作算术处理单元和控制装置，并根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质927中的各种程序控制显微镜控制装置20的全部操作或者其部分。ROM 903存储由CPU 901使用的程序或操作参数。RAM 905主要存储由CPU 901使用的程序、执行程序时可适当改变的参数等。另外，GPU 906用作算术处理单元和执行关于显微镜控制装置20中执行的各种图像处理的算术处理的控制装置。GPU 906根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质927中的各种程序控制显微镜控制装置20中的图像处理的全部操作或者其部分。它们经由由诸如CPU总线的内部总线形成的主机总线907彼此连接。
主机总线907经由桥接器909连接至诸如PCI(外围组件互连/接口)总线的外部总线911。
输入装置915是被用户操作的操作装置，例如以鼠标、键盘、触摸屏、按钮、开关、以及操纵杆为例。另外，输入装置915可以是例如使用红外线或其它电波的远程控制装置(所谓的远程控制器)，或者可以是支持显微镜控制装置20的操作的诸如移动电话或PDA的外部连接装置929。此外，输入装置915由例如基于用户使用操作装置输入的信息生成输入信号并将输入信号输出到CPU 901的输入控制电路等构成。用户可以通过操作输入装置915向显微镜控制装置20输入各种数据，或者指示显微镜控制装置20执行处理。
输出装置917包括能够以可见或可听的方式将所获得的信息通知用户的装置。这些装置包括诸如CRT显示装置、液晶显示器、等离子显示面板、EL显示器以及灯的显示装置；诸如扬声器和耳机的音频输出装置；打印机装置；移动电话；传真等。输出装置917输出例如通过显微镜控制装置20执行的各种处理所获得的结果。具体地，显示装置将通过显微镜控制装置20执行的各种处理所获得的结果显示为文本或图像。另一方面，音频输出装置将包括再生音频数据、声音数据等的音频信号转换成模拟信号以输出。
存储装置919是用于存储数据的装置，其形成为显微镜控制装置20的存储单元的示例。存储装置919包括例如诸如HDD(硬盘驱动器)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等。存储装置919存储由CPU 901执行的程序或各种数据、从外部装置获得的各种数据等。
驱动器921是用于记录介质的读取器和写入器，并内置在显微镜控制装置20中或安装在显微镜控制装置20的外部。驱动器921将记录在所安装的诸如磁盘、光盘、磁光盘、或半导体存储器的可移动记录介质927中的信息读取，并将读取的信息输出到RAM 905。另外，驱动器921可以在所安装的诸如磁盘、光盘、磁光盘、或半导体存储器的可移动记录介质927中写入信息。可移动记录介质927包括例如DVD介质、HD-DVD介质、蓝光介质等。另外，可移动记录介质927可以是紧凑式闪存(CF，注册商标)、闪存、SD(安全数字)存储卡等。此外，可移动记录介质927可以是例如IC(集成电路)卡、其上安装有非接触IC卡的电子设备等。
连接端口923用于将装置直接连接到显微镜控制装置20。连接端口923的示例包括USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其他示例包括RS-232C端口、光纤音频终端、HDMI(高分辨率多媒体接口)端口等。外部连接装置929连接至连接端口923，从而显微镜控制装置20直接从外部连接装置929获得各种数据，或将各种数据提供给外部连接装置929。
通信装置925是例如由用于连接到通信网络931的通信装置等构成的通信接口。通信装置925可以是例如用于有线或无线LAN(局域网)的通信卡等、蓝牙(注册商标)、WUSB(无线USB)。另外，通信装置925可以是用于光通信的路由器、用于ADSL(非对称数字用户线)的路由器、用于各种通信的调制解调器等。基于诸如以TCP/IP为例的预定协议，通信装置925可以将信号传输到例如因特网或其他通信装置或者从因特网或其他通信装置接收信号。另外，连接至通信装置925的通信网络931由以有线或无线方式连接的网络等形成，并可以是例如因特网、家庭LAN、红外线通信、无线电波通信、各种专用通信、卫星通信等。
以上，已经描述了能够实现根据该实施方式的显微镜控制装置20的功能的硬件构造的示例。上述构成要素中的每一个都可以使用一般部件构成，或者可以由专用于每个构成要素的功能的硬件构成。因此，可以根据实践该实施方式时的技术水平适当地修改所使用的硬件构造。
根据该实施方式的图像管理服务器30具有与根据该实施方式的显微镜控制装置20相同的硬件构造，因此将省略其描述。
结论
如上所述，在根据本公开的实施方式的显微镜控制装置和图像管理服务器中，可以根据显微镜控制装置和图像管理服务器的负荷选择对显微镜图像执行数字加工处理的装置。从而，数字加工处理由具有相对低负荷的装置执行，因此可以更直接地在作为终端的图像显示装置上阅览所捕获的显微镜图像。另外，可以有效地执行负荷分担，因此能够快速地捕获样本的图像。
本公开包含于2010年7月1日向日本专利局提交的日本优先权专利申请JP 2010-151391公开的相关主题，其全部内容结合于此作为参考。
本领域的技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合以及替换，只要它们在所附权利要求书或其等同物的范围内。

Claims (15)

1.一种显微镜控制装置，包括：
驱动控制单元，对捕获预定样本的数字放大图像的显微镜的驱动进行控制，并将相应数字放大图像输出到外部的服务器；
数字加工处理单元，对捕获的所述数字放大图像执行预定数字加工处理；
负荷计算单元，计算所述数字放大图像的捕获处理所需的负荷；以及
数字加工判定单元，基于由所述负荷计算单元算得的负荷值和从所述服务器获得的相应服务器的负荷值，判定是否由所述数字加工处理单元执行所述预定数字加工处理。
2.根据权利要求1所述的显微镜控制装置，其中，所述负荷计算单元基于从所述驱动控制单元获得的用于所述数字放大图像的捕获条件和预先设置的负荷值预测表中的至少一个，计算所述数字放大图像的捕获处理所需的负荷值。
3.根据权利要求2所述的显微镜控制装置，其中，所述数字加工处理单元对捕获的所述数字放大图像执行转换处理作为所述数字加工处理。
4.根据权利要求2所述的显微镜控制装置，其中，所述预定样本的所述数字放大图像包括多个数字图像，以及
其中，所述数字加工处理单元改变所述多个数字图像的排列使得所述多个数字图像以彼此基本相同的距离置于所述服务器的存储区域中，作为所述数字加工处理。
5.根据权利要求1所述的显微镜控制装置，其中，当所述负荷计算单元算得的负荷值低于所述服务器的负荷值时，所述数字加工判定单元请求所述数字加工处理单元执行所述预定数字加工处理，以及
其中，所述驱动控制单元将经过所述预定数字加工处理的所述数字放大图像的数据与指示已经执行了所述预定数字加工处理的标识信息一起输出到所述服务器。
6.根据权利要求1所述的显微镜控制装置，其中，当所述负荷计算单元算得的所述负荷值高于所述服务器的负荷值时，所述数字加工判定单元判定将由所述服务器执行所述预定数字加工处理，
其中，所述驱动控制单元将尚未经过所述预定数字加工处理的所述数字放大图像的数据与指示尚未执行所述预定数字加工处理的标识信息一起输出到所述服务器。
7.一种图像管理服务器，包括：
图像数据存储处理单元，获取由显微镜捕获的预定样本的数字放大图像的数据，并将获得的数据存储在预定存储区域中；
图像数据提供处理单元，将存储在所述预定存储区域中的所述数字放大图像的数据提供给外部装置；以及
数字加工处理单元，当由所述图像数据存储处理单元获得的所述数字放大图像的数据附有指示尚未执行预定数字加工处理的标识信息时，对具有所述标识信息的所述数字放大图像执行所述预定数字加工处理。
8.根据权利要求7所述的图像管理服务器，进一步包括负荷计算单元，对用于存储所述数字放大图像的数据的数据存储处理、用于提供存储的所述数字放大图像的数据的数据提供处理以及执行所述预定数字加工处理所需的负荷总和进行计算，并将算得的负荷总和输出到控制所述显微镜的显微镜控制装置。
9.根据权利要求7所述的图像管理服务器，其中，所述数字加工处理单元对捕获的所述数字放大图像执行转换处理作为所述数字加工处理。
10.根据权利要求7所述的图像管理服务器，其中，所述预定样本的所述数字放大图像包括多个数字图像，以及
其中，所述数字加工处理单元改变所述多个数字图像的排列使得所述多个数字图像以彼此基本相同的距离置于所述服务器的存储区域中，作为所述数字加工处理。
11.一种图像处理方法，包括：
计算通过显微镜对与预定样本对应的数字放大图像进行捕获处理所需的负荷；
获取将与所述预定样本对应的所述数字放大图像存储的服务器的负荷值；以及
基于算得的负荷值和从所述服务器获得的相应服务器的所述负荷值，判定是否对所述数字放大图像执行预定数字加工处理。
12.一种图像处理方法，包括：
获得由显微镜捕获的预定样本的数字放大图像的数据；
判定获得的所述数字放大图像的数据是否附有指示尚未执行预定数字加工处理的标识信息；
对具有指示尚未执行所述预定数字加工处理的所述标识信息的所述数字放大图像，执行所述预定数字加工处理；以及
在预定存储区域中存储已经过所述预定数字加工处理的所述数字放大图像的数据。
13.一种程序，用于使对捕获预定样本的数字放大图像的显微镜进行控制的计算机实现以下功能：
控制所述显微镜的驱动并将捕获的所述数字放大图像输出到外部的服务器；
对捕获的所述数字放大图像执行预定数字加工处理；
计算所述数字放大图像的捕获处理所需的负荷；以及
基于由所述负荷计算功能算得的负荷值和从所述服务器获得的相应服务器的负荷值，判定是否执行所述预定数字加工处理。
14.一种使计算机实现以下功能的程序：
获得由显微镜捕获的预定样本的数字放大图像的数据，并将获得的数据存储在预定存储区域中；
将存储在所述预定存储区域中的所述数字放大图像的数据提供给外部装置；以及
当通过所述图像数据存储处理单元获得的所述数字放大图像的数据中附有指示尚未执行预定数字加工处理的标识信息时，对附有所述标识信息的所述数字放大图像执行所述预定数字加工处理。
15.一种图像管理系统，包括：
显微镜控制装置，包括：
驱动控制单元，控制捕获预定样本的数字放大图像的显微镜的驱动，并将相应数字放大图像输出到外部的图像管理服务器；
数字加工处理单元，对捕获的所述数字放大图像执行预定数字加工处理；
负荷计算单元，计算所述数字放大图像的捕获处理所需的负荷；以及
数字加工判定单元，基于由所述负荷计算单元算得的负荷值和从所述服务器获得的相应服务器的负荷值，判定是否由所述数字加工处理单元执行所述预定数字加工处理；以及
图像管理服务器，包括：
图像数据存储处理单元，获取由显微镜捕获的预定样本的数字放大图像的数据，并将获得的数据存储在预定存储区域中；
图像数据提供处理单元，将存储在所述预定存储区域中的所述数字放大图像的数据提供给外部装置；
数字加工处理单元，当由所述图像数据存储处理单元获得的所述数字放大图像数据附有指示尚未执行预定数字加工处理的标识信息时，对附有所述标识信息的所述数字放大图像执行所述预定数字加工处理，以及
负荷计算单元，计算用于存储所述数字放大图像的数据的数据存储处理、用于提供存储的所述数字放大图像的数据的数据提供处理以及执行所述预定数字加工处理所需的负荷总和，并将计算的负荷总和输出到控制所述显微镜控制装置。
CN201110173663XA 2010-07-01 2011-06-24 显微镜控制装置、图像管理服务器及系统、图像处理方法 Pending CN102313981A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010151391A JP5560966B2 (ja) 2010-07-01 2010-07-01 顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム
JP2010-151391 2010-07-01

Publications (1)

Publication Number Publication Date
CN102313981A true CN102313981A (zh) 2012-01-11

Family

ID=44583942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110173663XA Pending CN102313981A (zh) 2010-07-01 2011-06-24 显微镜控制装置、图像管理服务器及系统、图像处理方法

Country Status (4)

Country Link
US (1) US8947517B2 (zh)
EP (1) EP2402812B1 (zh)
JP (1) JP5560966B2 (zh)
CN (1) CN102313981A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073405A (zh) * 2016-12-06 2019-07-30 柯尼卡美能达株式会社 图像识别系统以及图像识别方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013113760A1 (de) * 2012-01-30 2013-08-08 Leica Microsystems Cms Gmbh Mikroskop mit kabelloser funkschnittstelle und mikroskopsystem
JP6019998B2 (ja) 2012-02-17 2016-11-02 ソニー株式会社 撮像装置、撮像制御プログラム及び撮像方法
TWI499309B (zh) * 2012-03-28 2015-09-01 Albert Chang 影像控制系統及其方法
JP2014066788A (ja) 2012-09-25 2014-04-17 Sony Corp 画面表示装置及び画面表示システム
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6494294B2 (ja) * 2014-05-15 2019-04-03 キヤノン株式会社 画像処理装置、及び撮像システム
US10460077B2 (en) * 2016-04-12 2019-10-29 GreatDef Corp. Securely collecting and processing medical imagery
JP2017143392A (ja) * 2016-02-09 2017-08-17 富士通株式会社 通信制御プログラム、通信制御方法および通信装置
JP7013677B2 (ja) * 2017-05-01 2022-02-01 ソニーグループ株式会社 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム
JP7015144B2 (ja) * 2017-10-25 2022-02-02 オリンパス株式会社 画像処理装置および顕微鏡システム
JP2022540190A (ja) * 2019-07-09 2022-09-14 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 自動迅速細胞診装置及び染色剤

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236805A1 (en) * 2000-11-23 2004-11-25 Goren Gordon Method and system for creating meaningful summaries from interrelated sets of information units
US20050270638A1 (en) * 2000-05-03 2005-12-08 Soenksen Dirk G Fully automatic rapid microscope slide scanner
US20060204236A1 (en) * 2005-02-16 2006-09-14 Nikon Corporation Intermittent photo-taking device and microscope system having the same device
US20080133271A1 (en) * 2006-11-30 2008-06-05 Fujifilm Corporation Job dispatcher for medical intelligent server architecture
US20080184254A1 (en) * 2007-01-25 2008-07-31 Bernard Guy S Systems, methods and apparatus for load balancing across computer nodes of heathcare imaging devices
US20080247004A1 (en) * 2007-04-03 2008-10-09 Michael Yeung System and method for workflow control of scanned document input
CN101345670A (zh) * 2007-07-10 2009-01-14 王剑 医患远程交互平台及远程交互方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US6404906B2 (en) 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6396941B1 (en) 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
AUPO798697A0 (en) * 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Data processing method and apparatus (ART51)
US6930709B1 (en) * 1997-12-04 2005-08-16 Pentax Of America, Inc. Integrated internet/intranet camera
JP2000125111A (ja) * 1998-10-20 2000-04-28 Fujitsu Ltd 画像圧縮方法、画像復元方法、画像圧縮装置、画像読取装置、画像圧縮プログラム記憶媒体、および画像復元プログラム記憶媒体
US7292251B1 (en) * 2000-10-06 2007-11-06 The Research Foundation Of State University Of New York Virtual telemicroscope
US6912695B2 (en) * 2001-09-13 2005-06-28 Pixia Corp. Data storage and retrieval system and method
US7711174B2 (en) * 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells
JP2006011696A (ja) * 2004-06-24 2006-01-12 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4667944B2 (ja) * 2005-04-20 2011-04-13 シスメックス株式会社 画像作成装置
JP4804161B2 (ja) * 2006-02-10 2011-11-02 キヤノン株式会社 画像処理装置、画像処理システム及び画像処理装置の制御方法
JP2009063658A (ja) 2007-09-04 2009-03-26 Nikon Corp 顕微鏡システム
US8284205B2 (en) * 2007-10-24 2012-10-09 Apple Inc. Methods and apparatuses for load balancing between multiple processing units
JP2009244561A (ja) * 2008-03-31 2009-10-22 Olympus Corp 顕微鏡撮影システム
JP5226504B2 (ja) 2008-12-25 2013-07-03 大建工業株式会社 温水床暖房パネルの施工構造

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270638A1 (en) * 2000-05-03 2005-12-08 Soenksen Dirk G Fully automatic rapid microscope slide scanner
US20040236805A1 (en) * 2000-11-23 2004-11-25 Goren Gordon Method and system for creating meaningful summaries from interrelated sets of information units
US20060204236A1 (en) * 2005-02-16 2006-09-14 Nikon Corporation Intermittent photo-taking device and microscope system having the same device
US20080133271A1 (en) * 2006-11-30 2008-06-05 Fujifilm Corporation Job dispatcher for medical intelligent server architecture
US20080184254A1 (en) * 2007-01-25 2008-07-31 Bernard Guy S Systems, methods and apparatus for load balancing across computer nodes of heathcare imaging devices
US20080247004A1 (en) * 2007-04-03 2008-10-09 Michael Yeung System and method for workflow control of scanned document input
CN101345670A (zh) * 2007-07-10 2009-01-14 王剑 医患远程交互平台及远程交互方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073405A (zh) * 2016-12-06 2019-07-30 柯尼卡美能达株式会社 图像识别系统以及图像识别方法
CN110073405B (zh) * 2016-12-06 2023-06-27 柯尼卡美能达株式会社 图像识别系统以及图像识别方法

Also Published As

Publication number Publication date
JP5560966B2 (ja) 2014-07-30
EP2402812A2 (en) 2012-01-04
EP2402812B1 (en) 2017-09-06
US20120002033A1 (en) 2012-01-05
EP2402812A3 (en) 2012-03-21
JP2012014013A (ja) 2012-01-19
US8947517B2 (en) 2015-02-03

Similar Documents

Publication Publication Date Title
CN102313981A (zh) 显微镜控制装置、图像管理服务器及系统、图像处理方法
JP5663979B2 (ja) 画像管理サーバ、画像表示装置、画像提供方法、画像取得方法、プログラム及び画像管理システム
Farahani et al. Whole slide imaging in pathology: advantages, limitations, and emerging perspectives
Huisman et al. Creation of a fully digital pathology slide archive by high-volume tissue slide scanning
JP6437947B2 (ja) 全自動迅速顕微鏡用スライドスキャナ
JP2022534155A (ja) デジタルパソロジー画像の関心領域のニューラルネットワークベースの特定方法
US20210018742A1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
CN105122114B (zh) 用于生物样本的分屏显示和用于捕捉其记录的系统和方法
Leong et al. Automated complete slide digitization: a medium for simultaneous viewing by multiple pathologists
CN102331622A (zh) 信息处理系统、显微镜控制装置及其操作方法
US20060159367A1 (en) System and method for creating variable quality images of a slide
US9176311B2 (en) Microscope control device and optical distortion correction method
US20100128961A1 (en) System and method for the automated analysis of cellular assays and tissues
CN1707245A (zh) 荧光显微镜，使用荧光显微镜系统的显示方法和计算机可读介质
US8982454B2 (en) Microscope and filter inserting method
JP2022506227A (ja) デジタル撮像システムおよび方法
EP2159726B1 (en) Client side multi-component image composition
Staniszewski Virtual microscopy, data management and image analysis in Aperio ScanScope system.
JP5648366B2 (ja) 顕微鏡制御装置及び領域判定方法
Nap et al. A travel report of the implementation of virtual whole slide images in routine surgical pathology
US11675490B2 (en) Management system, management method, and computer-readable medium
JP7158795B1 (ja) 顕微鏡システム及びデータ処理方法
Feit et al. Hypertext atlas of dermatopathology with expert system for epithelial tumors of the skin
JP2023092519A (ja) 手術用顕微鏡システムのためのシステム、方法およびコンピュータプログラムならびに対応する手術用顕微鏡システム
JP2016102715A (ja) 撮影装置およびその制御方法並びに撮影システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120111