CN104662463A - 图像处理装置、成像系统和图像处理系统 - Google Patents

Abstract

一种图像处理装置包括：图像获取单元，被配置为获取通过使用显微镜将对象的不同位置成像所获得的层图像；图像产生单元，用于从层图像产生多个观察图像。图像产生单元通过多次执行用于焦点层叠选自层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生观察图像。

Description

图像处理装置、成像系统和图像处理系统

技术领域

本发明涉及图像处理装置、成像系统和图像处理系统，特别涉及用于利用数字图像辅助对象观察的技术。

背景技术

近年来，作为当前用作病理诊断工具的光学显微镜的后继物，虚拟载片(virtual slide)系统在病理领域中吸引了关注。虚拟载片系统通过将放置在载片上的待观察样品成像并且将图像数字化而使得能够在显示器上执行病理诊断。利用虚拟载片系统将病理诊断图像数字化使得可以作为数字数据操纵样品的常规光学显微镜图像。预期这将带来各种优点，诸如更加迅速的远程诊断、通过数字图像向病人提供信息、共享罕见病例的数据、以及更加有效的教育和培训。

当使用虚拟载片系统时，为了实现与光学显微镜相当的性能，需要将放置在载片上的待观察样品的整个图像数字化。样品的整个图像的数字化使得可以通过使用在PC或工作站上运行的观察器软件来检查利用虚拟载片系统产生的数字数据。当由像素数量代表时，样品的数字化的整个图像一般将构成从几亿像素到几十亿像素的巨量数据。

尽管通过虚拟载片系统产生的数据量是巨大的，这也使得可以通过用观察器缩放图像来微观地(以放大的细节图)或宏观地(以总体的透视图)检查样品图像，这提供各种优点和便利。可初步获取所有必要信息，使得可如用户请求的那样瞬时显示任何分辨率和任何倍率的图像。

尽管虚拟载片系统提供各种优点和便利，它就使用时的便利性而言在一些方面仍不及常规光学显微镜观察。

这样的缺点中的一种在于深度方向(沿光学显微镜的光轴的方向或与载片的观察表面垂直的方向)上的观察。一般地，当医师用光学显微镜检查样品时，他/她在光轴方向上轻微移动显微镜台架(stage)以改变样品中的焦点位置，使得可把握组织或细胞的三维结构。当要用虚拟载片系统进行相同的操作时，在某个焦点位置处捕获图像，并然后必须在(例如，通过在光轴方向上偏移其上放置载片的台架)改变焦点位置之后捕获另一图像。

作为用于处理和显示通过在改变焦点位置的同时重复图像捕获所捕获的多个图像的方法，提出如下所述的技术。专利文献(PTL)1公开了如下系统：在该系统中，将不同焦点位置处的多个图像中的每一个分成多个区段(section)，并且对每个区段执行焦点层叠(focusstacking)，由此产生具有深的场深的深焦点图像。

引文列表

专利文献

PTL 1：日本专利申请公开No.2005-037902

发明内容

根据在PTL 1中描述的方法，可以获得在整个范围上聚焦且具有很少模糊的图像，并由此提供可仅通过一个图像把握对象的总体上的状况的优点。但是，虽然这样的深焦点图像对对象的总体上的粗略观察是有用的，但它不适合于对象的一部分的详细观察以及对象的三维结构的把握。这是由于，由于大量图像的焦点层叠，因此深度方向上的信息(关于前后关系的信息)已丢失。

本发明是鉴于这些问题而作出的，并且提供用于在使用数字图像观察对象时辅助对象的深度方向上的详细观察的技术。

本发明在其第一方面中提供一种图像处理装置，该图像处理装置包括：图像获取单元，被配置为获取通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及图像产生单元，被配置为从所述多个层图像产生多个观察图像，其中，图像产生单元通过多次执行用于焦点层叠选自所述多个层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生所述多个观察图像。

本发明在其第二方面中提供一种成像系统，该成像系统包括：成像装置，被配置为通过使用显微镜将对象的不同位置成像来产生多个层图像；以及根据权利要求1至12中任一项所述的图像处理装置，被配置为从成像装置获取所述多个层图像。

本发明在其第三方面中提供一种图像处理系统，该图像处理系统包括：服务器，用于存储通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及根据权利要求1至12中任一项所述的图像处理装置，被配置为从服务器获取多个原始图像。

本发明在其第四方面中提供一种存储于非暂态计算机可读介质上的计算机程序，所述程序导致计算机执行包括以下步骤的方法：获取通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及从所述多个层图像产生多个观察图像，其中，在产生观察图像的步骤中，通过多次执行用于焦点层叠选自所述多个层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生所述多个观察图像。

根据本发明，可在使用数字图像观察对象时在深度方向上详细观察对象。

从参照附图对示例性实施例的以下描述，本发明的进一步的特征将变得明显。

附图说明

图1是示出根据本发明第一实施例的成像系统中的装置的布局的总体图。

图2是根据第一实施例的成像装置的功能框图。

图3是示出焦点层叠的概念图。

图4是示出在固定焦点位置的情况下改变场深的处理的概念图。

图5是示出根据第一和第二实施例的图像处理的流程的流程图。

图6是示出根据第一实施例的合成处理的流程的流程图。

图7是示出根据第一实施例的显示处理的流程的流程图。

图8A至图8C是示出根据第一实施例的图像显示画面(screen)的例子的示图。

图9是示出根据第一实施例的设定画面的例子的示图。

图10是示出根据第二实施例的图像处理系统中的装置的布局的总体图。

图11是示出在固定焦点位置的情况下改变场深的处理的概念图。

图12是示出根据第二实施例的合成处理的流程的流程图。

图13是示出根据第二实施例的显示处理的流程的流程图。

图14是示出根据第二实施例的设定画面的例子的示图。

图15是示出根据第三实施例的图像获取的流程的流程图。

图16是示出根据第三实施例的图像处理的流程的流程图。

图17A和图17B是示出根据第三实施例的模式指定画面的例子的示图。

图18是示出根据第三实施例的以多显示模式显示图像的画面的例子的示图。

图19是示出根据其它实施例的合成处理的流程的流程图。

具体实施方式

将参照附图描述本发明的示例性实施例。

<第一实施例>

(系统配置)

图1是示出根据本发明第一实施例的成像系统中的装置的布局的总体图。

根据第一实施例的成像系统包括成像装置101、图像处理装置102和显示器件103，并且是具有获取和显示作为待成像对象的样品(对象)的二维图像的功能的系统。成像装置101和图像处理装置102利用专用或通用I/F线缆104相互连接。图像处理装置102和显示器件103利用通用I/F线缆105相互连接。

成像装置101是具有在光轴方向上在不同焦点位置处获取多个二维图像并且输出数字图像的功能的显微镜装置(虚拟载片装置)。利用诸如CCD或CMOS的固态成像器件进行二维图像的获取。作为替代方案，作为虚拟载片装置的替代，可通过数字照相机被附接于通常光学显微镜的目镜的数字显微镜装置形成成像装置101。

图像处理装置102是如下装置：其用于通过从由成像装置101获取的多个原始图像产生各自具有希望的焦点位置和场深的多个观察图像、并且在显示器件103上显示那些观察图像，来辅助用户进行显微镜观察。图像处理装置102的主要功能包括获取多个原始图像的图像获取功能、从这些原始图像产生观察图像的图像产生功能、以及在显示器件103上显示观察图像的图像显示功能。图像处理装置102由具有诸如CPU(中央处理单元)、RAM、储存器件、操作单元和I/F的硬件资源的通用计算机或工作站形成。储存器件是其中存储用于执行后面将描述的处理步骤的程序、数据、OS(操作系统)等的诸如硬盘驱动器的海量(mass)信息储存器件。通过CPU从储存器件下载RAM所需的程序和数据并且执行程序，实现上述的功能。操作单元由键盘或鼠标形成，并且被操作员使用来输入各种类型的指令。显示器件103是显示作为通过图像处理装置102进行的运算处理的结果的多个二维图像的监视器，并且由CRT、液晶显示器等形成。

虽然在图1所示的例子中成像系统由三个组件即成像装置101、图像处理装置102和显示器件103构成，但本发明不限于该配置。例如，图像处理装置可与显示器件一体化，或者图像处理装置的功能可被并入在成像装置中。并且，成像装置、图像处理装置和显示器件的功能可由单个装置实现。相反，图像处理装置等的功能可被分割，使得通过多个装置或器件来实现它们。

(成像装置的配置)

图2是示出成像装置101的功能配置的框图。

成像装置101示意性地包括照明单元201、台架202、台架控制单元205、成像光学系统207、成像单元210、显影处理单元216、预测量单元217、主控制系统218和外部接口219。

照明单元201是用于用均匀的光照射放置在台架202上的载片206的构件，并且包括光源、照明光学系统和光源的驱动控制系统。台架202由台架控制单元205驱动控制，并且可沿X、Y和Z三个轴移动。光轴方向应被定义为Z方向。载片206是待检查的组织切片或涂片细胞被施加在载片玻璃上并且与封装剂一起被封装在盖玻璃下的部件。

台架控制单元205包括驱动控制系统203和台架驱动机构204。驱动控制系统203根据从主控制系统218接收的指令执行台架202的驱动控制。台架202的移动方向和移动量等基于通过预测量单元217的测量所获得的关于样品的位置信息和厚度信息(距离信息)以及来自用户的指令被确定。台架驱动机构204根据来自驱动控制系统203的指令驱动台架202。

成像光学系统207是用于在成像传感器208上形成载片206中的样品的光学图像的透镜组。

成像单元210包括成像传感器208和模拟前端(AFE)209。成像传感器208是用于通过光电转换将二维光学图像转换成电物理量的一维或二维图像传感器，并且，例如，使用CCD或CMOS作为成像传感器208。当成像传感器208是一维传感器时，可通过在扫描方向上扫描图像获得二维图像。成像传感器208输出具有根据光强度的电压值的电信号。当希望彩色图像作为捕获图像时，可以使用具有附接于其的Bayer布置滤色器的单板图像传感器。

AFE 209是用于将从成像传感器208输出的模拟信号转换成数字信号的电路。AFE 209包括如后所述的H/V驱动器、CDS、放大器、AD转换器和定时产生器。H/V驱动器将用于驱动成像传感器208的垂直同步信号和水平同步信号转换成驱动传感器所需的电势。CDS(相关双采样)是用于从固定模式(fixed pattern)去除噪声的相关双采样电路。放大器是用于调整已通过CDS去除了其噪声的模拟信号的增益的模拟放大器。AD转换器将模拟信号转换成数字信号。当系统的最终级输出具有8位时，AD转换器考虑到在随后级中要进行的处理，将模拟信号转换成被量化为约10至16位的数字数据，并且输出该数字数据。转换的传感器输出数据被称为RAW数据。RAW数据在随后的显影处理单元216中经受显影处理。定时产生器产生用于调整成像传感器208的定时和随后的显影处理单元216的定时的信号。

当CCD被用作成像传感器208时，上述的AFE 209是必不可少的。但是，当使用能够数字输出的CMOS图像传感器作为成像传感器208时，传感器包含AFE 209的功能。虽然在图中没有示出，但提供了用于控制成像传感器208的成像控制单元。该成像控制单元不仅执行成像传感器208的操作的控制，而且执行诸如快门速度、帧速率和ROI(关注区域)的操作定时的控制。

显影处理单元216包括黑校正单元211、白平衡调整单元212、去马赛克处理单元213、滤波处理单元214和伽马校正单元215。黑校正单元211执行从RAW数据的每个像素减去在遮光期间获得的黑校正数据的处理。白平衡调整单元212执行通过根据来自照明单元201的光的色温调整RGB的每个颜色的增益来再现希望的白色的处理。具体而言，白平衡校正数据被加到黑校正后的RAW数据。在操纵单色图像时，不需要该白平衡调整处理。

去马赛克处理单元213执行从Bayer布置的RAW数据产生RGB的每个颜色的图像数据的处理。去马赛克处理单元213通过内插RAW数据中的周边像素(包含同一颜色的像素和其它颜色的像素)的值计算关注像素的RGB的每个颜色的值。去马赛克处理单元213还对有缺陷的像素执行校正处理(补充(complement)处理)。当成像传感器208不具有滤色器并且获得的图像是单色时，不需要去马赛克处理。

滤波处理单元214是用于执行包含于图像中的高频分量的抑制、噪声去除和分辨率感觉增强的数字滤波器。伽马校正单元215执行根据常用显示器件的灰度表示能力向图像添加逆特性(inverse)的处理，或者通过高亮度部分的灰度压缩或暗部分处理根据人视觉能力执行灰度转换。由于在本实施例中出于形态观察的目的获取图像，因此对图像执行适于随后的图像合成处理或显示处理的灰度转换。

显影处理功能一般包括用于将RGB信号转换成诸如YCC信号的亮度色差信号的颜色空间转换、以及用于压缩海量图像数据的处理。但是，在本实施例中，直接使用RGB数据且不执行数据压缩。

虽然在图中没有示出，但可以提供周边暗化校正的功能，以校正由于形成成像光学系统207的透镜组的效果所导致的成像区域内的周边中的光量的减少。作为替代方案，可以提供用于光学系统的各种校正处理功能，以校正可能在成像光学系统207中出现的各种像差，诸如用于校正图像形成时的位置偏移的畸变校正或用于对每个颜色校正图像的大小差异的倍率颜色像差校正。

预测量单元217是用于执行预测量作为计算载片206上的样品的位置信息、关于到希望的焦点位置的距离的信息、以及用于调整可归因于样品厚度的光量的参数的准备的单元。在主测量之前通过预测量单元217获取信息使得可以执行有效的成像。还基于通过预测量单元217产生的信息执行捕获多个图像时的开始成像位置和终止成像位置以及成像间隔的指定。

主控制系统218具有执行到此为止描述的单元的控制的功能。主控制系统218和显影处理单元216的功能由具有CPU、ROM和RAM的控制电路实现。具体而言，程序和数据存储于ROM中，并且，CPU使用RAM作为工作存储器来执行程序，由此实现主控制系统218和显影处理单元216的功能。ROM可由诸如EEPROM或闪存的器件形成，并且RAM可由诸如DDR3的DRAM器件形成。

外部接口219是用于将由显影处理单元216产生的RGB颜色图像传送到图像处理装置102的接口。成像装置101和图像处理装置102通过光学通信线缆相互连接。作为替代方案，可以使用诸如USB或Gigabit Ethernet(注册商标)的接口。

将简要描述主测量中的成像处理的流程。台架控制单元205基于通过预测量获得的信息在台架202上定位样品，使得针对成像定位样品。由照明单元201发射的光通过样品和成像光学系统207，由此在成像传感器208的成像表面上形成图像。来自成像传感器208的输出信号通过AFE 209被转换成数字图像(RAW数据)，并且该RAW数据通过显影处理单元216被转换成二维RGB图像。由此获得的二维图像被传送到图像处理装置102。

如上所述的配置和处理使得能够获取一定焦点位置处的样品的二维图像。可通过利用台架控制单元205在光轴方向(Z方向)上偏移焦点位置的同时重复成像处理，获得具有不同焦点位置的多个二维图像。通过主测量中的成像处理获得的具有不同焦点位置的图像组应被称为“Z层叠图像”，并且各个焦点位置处的形成Z层叠图像的二维图像应被称为“层图像”或“原始图像”。

虽然已关于使用单板方法来通过图像传感器获得彩色图像的例子描述了本实施例，但是，作为单板方法的替代，可以使用通过使用三个RGB图像传感器获得彩色图像的三板方法。作为替代方案，可以使用其中一起使用单图像传感器和三色光源并且在切换光源颜色的同时三次执行成像的三次成像方法。

(焦点层叠)

图3是焦点层叠的概念图。将参照图3示意性地描述焦点层叠处理。

图像501至507是通过在光轴方向(Z方向)上依次改变焦点位置的同时在三维不同的空间位置处将包含多个待观察项目的对象成像7次所获得的7个层图像。附图标记508至510指示包含于获取的图像501中的待观察项目。待观察项目508在图像503的焦点位置处对焦，但在图像501的焦点位置处失焦。因此，难以在图像501中把握待观察项目508的结构。待观察项目509在图像502的焦点位置处对焦，但在图像501的焦点位置处轻微失焦。因此，尽管不令人满意，但可以在图像501中把握待观察项目509的结构。待观察项目510在图像501的焦点位置处对焦，由此可在图像501中充分地把握其结构。

在图3中，涂黑的待观察项目指示对焦的待观察项目，白色的待观察项目指示轻微失焦的待观察项目，并且由虚线表示的待观察项目指示失焦的待观察项目。具体而言，待观察项目510、511、512、513、514、515和516分别在图像501、502、503、504、505、506和507中对焦。将在待观察项目510至516位于水平方向上的不同位置处的假定下进行图3所示的例子的描述。

图像517是通过切出在图像501至507中对焦的待观察项目510至516的各个区域并且合并这些区域所获得的图像。通过如上面描述的那样合并多个图像的聚焦区域，可以获得在整个图像中聚焦的焦点层叠图像。通过数字图像处理产生具有深的场深的图像的该处理也被称为焦点层叠或DOF(场深)扩展。

(在固定焦点的情况下改变场深的处理)

图4是示出用虚拟载片装置实现在固定焦点位置的情况下改变场深的观察模式的方法的概念图。将参照图4描述表征本实施例的焦点层叠处理的基本概念。

焦点位置601至607与图3中的图像501至507对应。焦点位置在光轴方向上从601到607以相同的节距(pitch)偏移。将描述以焦点位置604用作基准(固定)执行焦点层叠的例子。

附图标记608、617、619和621指示已执行焦点层叠处理之后的场深。在本例子中，各个层图像的场深处于由608指示的范围内。图像609是处于焦点位置604处的层图像，即，没有经受焦点层叠的图像。附图标记610至616分别指示在焦点位置601至607处最佳对焦的区域。在图像609中，区域613对焦，区域612和614轻微失焦，并且其它区域610、611、615和616完全失焦。

附图标记617指示比附图标记608大(深)的场深。作为对包含于场深617的范围中的三个层图像执行的焦点层叠处理的结果，获得合成图像618。在合成图像618中，存在比图像609中多的对焦区域(对焦范围)，即，区域612至614对焦。当要在合成处理中使用的层图像的数量如619和621所示的那样增加时，对焦区域(对焦范围)在与其对应的合成图像620和622中扩展。在合成图像620中，区域611至615的范围是对焦区域，并且，在合成图像622中，区域610至616的范围是对焦区域(对焦范围)。

如上所述的图像609、618、620和622在自动地或者通过用户操作来切换它们的同时被产生和显示，由此，可在焦点位置被固定(在本例子中，在604处)的情况下增大或减小场深的同时实现观察。虽然在图4所示的例子中场深从焦点位置垂直增大/减小相等程度，但也可以仅在焦点位置的上侧或下侧增大/减小场深，或者在焦点位置的上侧和下侧之间将场深增大/减小不同的程度。

(图像处理装置的操作)

将参照图5至9描述根据本实施例的图像处理装置102的操作。除非另外声明，否则通过执行程序的图像处理装置102的CPU实现以下描述的处理。

图5示出主处理的流程。一旦开始处理，图像处理装置102就在步骤S701中在显示器件103上显示范围指定画面。在范围指定画面中，水平方向(XY方向)上的范围被指定为要用于焦点层叠处理的目标范围。图8A示出范围指定画面的例子。在图像显示窗口1001中的区域1002中显示在某一焦点位置处捕获的整个层图像。用户能够通过拖动鼠标或者通过经由键盘输入值来指定目标范围1003在XY方向上的位置和尺寸。例如，可以假定用户可将在区域1002中显示的样品图像中的被确定为需要在深度方向(Z方向)上详细观察的部分指定为目标范围1003。如果应在深度方向上观察整个图像，那么应指定图像的整个范围。附图标记1004示出操作终止按钮。通过按压该按钮1004，关闭图像显示窗口1001。

一旦完成范围指定，图像处理装置102就在步骤S702中确定是否已在必要数量的焦点位置处捕获了层图像。如果否，那么图像处理装置102在步骤S703中向成像装置101传送包含成像开始位置和结束位置、成像节距等的成像参数，以请求其捕获图像。在步骤S704中，成像装置101根据成像参数在焦点位置处捕获图像，并且向图像处理装置102传送由此获得的层图像组。图像存储于图像处理装置102中的储存器件中。

随后，图像处理装置102从储存器件获取要经受焦点层叠处理的多个层图像(步骤S705)。图像处理装置102在显示器件103上显示焦点层叠设定画面，以允许用户指定诸如要用作基准位置的焦点位置和场深范围的参数(步骤S706)。

图9示出设定画面的例子。附图标记1101示出设定窗口。附图标记1102示出用于设定要用作焦点层叠处理中的基准位置的焦点位置的编辑框。附图标记1103示出用于设定基准位置上侧的合成范围的步数(number of steps)的编辑框。附图标记1104示出用于设定基准位置下侧的合成范围的步数的编辑框。在图9中示出其中上合成步数是2、下合成步数是1、基准位置处于6且焦点位置的总数是9的示例情况。在焦点层叠处理期间，通过设定的步值的整数倍来改变场深。具体而言，在图9所示的设定例子中，最小合成范围为从位置4到位置7，而最大合成范围为从位置2到位置8，并且产生两个焦点层叠图像。

附图标记1105示出用于图形显示基准位置和合成范围的区域。为了示出在1102中指定的基准位置，通过在宽度、长度、颜色等方面与指示图像(焦点位置)的其它线不同，仅强调指示基准位置的线1106。附图标记1107示出场深的最小范围(最小合成范围)，而附图标记1108示出场深的最大范围(最大合成范围)。

附图标记1109指示基准位置处的图像。在本例子中，只显示焦点位置6处的图像的存在于步骤S701中指定的目标范围中的部分图像。以这种方式显示部分图像1109允许用户在检查待观察项目是否包含于目标范围中以及每个待观察项目的模糊程度的同时指定用于焦点层叠处理的参数。附图标记1110示出合成处理开始按钮。

应当理解，图9仅示出设定画面的具体例子。只要可在其中至少指定基准位置和场深的变动范围，就可使用任何其它类型的设定画面。例如，作为编辑框的替代，可以使用下拉列表或组合框，使得可以选择基准位置和步值。可以采用其中通过用户在如1105所示的GUI上点击鼠标来指定基准位置和场深范围的方法。

一旦用户在输入了设定之后按压合成处理开始按钮1110，图像处理装置102就确立在设定窗口1101中设定的参数，并且开始步骤S707的合成处理。将在后面参照图6详细描述合成处理的流程。

在步骤S708中，图像处理装置102允许用户指定合成处理之后的图像显示方法。显示方法包括通过用户操作鼠标、键盘等来切换显示图像的方法(由用户切换)和以预定的时间间隔自动切换显示图像的方法(自动切换)，并且用户能够选择任一个。自动切换的情况下的切换时间间隔可以是预定的固定值，或者可通过使用来指定。在步骤S709中，图像处理装置102通过使用在步骤S708中设定的显示方法执行合成处理之后的图像的显示处理。将在后面参照图7详细描述该显示处理的流程。

虽然在图5所示的例子中在图像获取(步骤S705)之后执行焦点层叠处理的设定(步骤S706)，但是，例如，可在焦点层叠处理的范围指定(步骤S701)之后直接执行它。也可以与图5的处理流程独立地设定参数，使得图像处理装置102在必要的定时取回存储于储存器件中的参数。

(步骤S707：合成处理)

参照图6，将详细描述步骤S707的合成处理流程。

图像处理装置102在步骤S801中从要经受合成处理的图像组选择任意的图像。随后，图像处理装置102从储存器件取回选择的图像(步骤S802)，将图像分割成具有预定的尺寸的块(步骤S803)，并且计算指示每个块的对比度水平的值(步骤S804)。该对比度检测处理可具体地由如下方法例示：在该方法中，对每个块执行离散余弦变换以找到频率分量，获得频率分量中的高频分量的总和，并且采用该总和作为指示对比度水平的值。在步骤S805中，图像处理装置102确定是否已对包含于步骤S706中指定的最大合成范围中的所有图像执行了对比度检测处理。如果存在还没有对其执行对比度检测处理的任何图像，那么图像处理装置102选择这些图像作为下一个要处理的图像(步骤S806)，并且执行处理步骤S802至S804。如果在步骤S805中确定已对所有的图像进行了对比度检测处理，那么处理进行到步骤S807。

处理步骤S807至S811用于产生具有不同场深的多个合成图像。例如，在图9所示的例子中，产生具有场深1107和1108的两个合成图像。

在步骤S807中，图像处理装置102确定首先要对其执行合成处理的场深。图像处理装置102然后对每个块从包含于确定的场深中的多个图像之中选择具有最高对比度的图像(步骤S808)，并且通过合并(结合)对各个块选择的多个部分图像产生单个合成图像(步骤S809)。在步骤S810中，图像处理装置102确定是否已对所有的指定场深完成合成处理。如果存在还没有对其完成合成处理的任何场深，那么图像处理装置102对这些场深重复处理步骤S808和S809(步骤S810和S811)。

虽然已关于基于空间频率计算对比度水平的例子进行了以上的描述，但步骤S804中的处理不限于此。例如，可以使用边缘检测滤波器来检测边缘，并且可以使用获得的边缘分量作为对比度水平。作为替代方案，包含于块中的亮度的最大值和最小值被检测，并且最大值与最小值之间的差可被定义为对比度水平。可对对比度的检测采用各种其它已知方法。

(步骤S709：显示处理)

接下来，将参照图7描述步骤S709的显示处理流程的细节。

图像处理装置102在步骤S901中选择首先要显示的图像。例如，作为要首先显示的图像，可以选择具有最浅或最深的场深的图像。图像处理装置102在显示器件103上显示选择的图像(步骤S902)，并且取回上述的步骤S708中指定的显示方法的设定(步骤S903)。虽然在图7所示的例子中在步骤S902之后执行显示方法获取步骤S903，但是，为了获取显示方法，可例如在显示选择图像的步骤S902之前执行显示方法获取。

在步骤S904中，图像处理装置102确定指定的显示方法是用户切换(通过用户操作切换显示图像)还是自动切换。如果指定的显示方法是用户切换，那么处理进行到步骤S905，而如果它是自动切换，那么处理进行到步骤S911。

(1)用户切换

在步骤S905中，图像处理装置102确定是否已进行用户操作。如果确定还没有进行操作，那么图像处理装置102在步骤S905中进入待机状态。如果确定已进行操作，那么图像处理装置102确定是否已进行鼠标轮操作(步骤S906)。如果确定已进行轮操作，那么图像处理装置102确定操作是向上操作还是向下操作(步骤S907)。如果是向上操作，那么图像处理装置102将显示图像切换到具有下一更深场深的显示图像(步骤S908)。如果是向下操作，那么图像处理装置102将显示图像切换到具有下一更浅场深的显示图像(步骤S909)。虽然已关于响应于轮操作逐步切换场深的例子进行了描述，但也可以检测鼠标轮的每预定时间的旋转量，并且根据检测的旋转量改变场深的变动量。

如果在步骤S906中确定已进行鼠标轮操作以外的操作，那么图像处理装置102确定是否已进行终止操作(步骤S910)。如果图像处理装置102确定已进行终止操作，那么装置102进行到步骤905并且采取待机状态。

(2)自动切换

在用户切换的情况下，根据用户的操作切换显示图像。但是，在自动切换时，以预定时间间隔(由t表示)自动切换显示图像。

在步骤S911中，图像处理装置102确定自已显示当前选择图像(步骤S902)是否已经过预定时间t。如果确定还没有经过预定时间t，那么图像处理装置102在步骤S911中采取待机状态。如果确定已经过预定时间t，那么图像处理装置102在步骤S912中选择具有下一要显示的场深的图像。处理然后返回到步骤S902，并且显示图像被切换到另一个。该显示切换继续，直到用户执行终止操作(步骤S913)。

可通过各种方法确定图像选择次序(sequence)。例如，图像的选择可从具有最浅场深的图像开始，并且继续到具有依次更深的场深的图像。在这种情况下，当已显示具有最深场深的图像并且不再存在要选择的图像时，显示切换次序可循环回到首先已显示的具有最浅场深的图像。作为替代方案，当不再存在具有要选择的场深的图像时，切换次序可反转，使得在具有最深场深的图像与具有最浅场深的图像之间往复显示次序。并且，当不再存在具有要选择的场深的图像时，显示图像的切换可停止以建立待机状态，然后，例如根据由用户点击鼠标给出的指令从头开始相同的显示。并且，显示图像的切换可从具有最深场深的显示图像开始，并且继续到具有依次更浅的场深的显示图像。许多其它的显示方法是可适用的。

图8A至8C示出显示具有不同场深的图像的例子。根据本实施例，可通过使用用于范围指定的图像显示窗口1001切换显示图像。图8A示出具有最浅场深的图像、即图9中的基准位置6处的图像的例子。图8B示出具有次最浅场深的图像、即从焦点位置4至7处的四个图像产生的合成图像的例子。图8C示出具有第三最浅场深的图像、即从焦点位置2至8处的七个图像产生的合成图像的例子。可以看出，对焦的待观察项目的数量以图8A、图8B和图8C的次序增加。应当注意，只有已指定为范围的区域1003内的图像部分以场深的次序被切换，而其它部分作为基准位置6处的图像保持不变。

根据如上所述的配置，使得用户能够非常容易地执行在改变周边部分的状况的同时聚焦关注部分的观察。这使得用户能够不仅把握关注部分(例如，组织或细胞)的二维结构，而且把握其三维结构。并且，由于可以指定(变窄)其中变动场深的范围，因此即使对高分辨率和大尺寸图像也可执行迅速的处理。并且，可以在单个显示图像内一起显示具有深的场深的部分(区域1003)和具有浅的场深的部分(区域1003以外的部分)，由此使得可以实现组合三维观察与二维观察的特有观察方法，这对于常规的光学显微镜是不可能的。

<第二实施例>

将描述本发明的第二实施例。已关于用于实现在焦点位置保持固定的同时变动场深的观察方法的配置进行了第一实施例的描述。但是，在本第二实施例中，描述了用于实现在场深保持固定的同时变动焦点位置的观察方法的配置。

(系统配置)

图10是示出根据第二实施例的图像处理系统中的装置的布局的总体图。

根据本第二实施例的图像处理系统包括图像服务器1201、图像处理装置102和显示器件103。第二实施例与第一实施例的不同在于，虽然第一实施例中的图像处理装置102从成像装置101获取图像，但第二实施例中的图像处理装置102从图像服务器1201获取图像。图像服务器1201和图像处理装置102经由网络1202通过通用I/F LAN线缆1203相互连接。图像服务器1201是具有用于存储由虚拟载片装置捕获的层图像的海量储存器件的计算机。图像处理装置102和显示器件103与第一实施例的相同。

虽然在图10所示的例子中图像处理系统包括三个组件即图像服务器1201、图像处理装置102和显示器件103，但本发明的配置不限于此。例如，可以使用具有一体化显示器件的图像处理装置，或者可将图像处理装置的功能集成到图像服务器中。并且，图像服务器、图像处理装置和显示器件的功能可由单个装置实现。作为替代方案并且相反地，图像服务器和/或图像处理装置的功能可被分割，使得通过多个装置或器件实现它们。

(在固定场深的情况下改变焦点位置的处理)

图11是示出通过使用虚拟载片装置实现其中在场深保持固定的同时变动焦点位置(实际上，焦点层叠基准位置)的观察方法的方法的概念图。参照图11，将描述表征本实施例的焦点层叠处理的基本概念。

焦点位置1301至1307分别与图3中的图像501至507对应。焦点位置在光轴方向上以相同的节距从1301至1307偏移。将关于其中通过焦点层叠处理产生具有与三个图像对应的场深的合成图像的例子进行以下的描述。

图像1309是当基准位置被设定为1302且场深被设定为1308时通过焦点层叠处理产生的合成图像。在图像1309中，三个区域1313、1314和1315对焦。

图像1317是当基准位置被设定为1303且场深被设定为1316时通过焦点层叠处理产生的合成图像。图像1317具有与图像1309相同的场深，但在要用作基准的焦点位置方面与图像1309不同。结果，图像1317和图像1309在对焦的区域的位置方面相互不同。在图像1317中，图像1309中对焦的区域1315不再对焦，而图像1309中不对焦的区域1312对焦。

图像1319是当基准位置被设定为1304且场深被设定为1318时通过焦点层叠处理产生的合成图像。图像1321是当基准位置被设定为1305且场深被设定为1320时通过焦点层叠处理产生的合成图像。在图像1319中，区域1311至1313对焦，而在图像1321中，区域1310至1312对焦。

这些合成图像1309、1317、1319和1321在自动或者通过用户操作被切换的同时被产生和显示，这使得能够在改变焦点位置的同时以比原始图像深的场深进行观察。

显微镜装置典型地具有浅的场深，由此，即使图像在光轴方向上即使轻微偏离焦点位置，它也将失焦。因此，如果关注区域在深度方向上延伸一定的程度，那么观察变得困难。但是，当场深通过上述的发明方法被扩大到希望的深度时，仅仅单个显示图像就使得可以观察对焦的整个关注区域。并且，当在焦点位置在光轴方向上偏移的同时依次观看图像时，如果场深浅，那么即使通过焦点位置的轻微偏移，对象也将容易失焦，由此，易于丢失深度方向上相邻的图像之间的关联性。但是，根据上述的发明方法，合成图像的场深的范围相互重叠，由图像切换导致的焦点状态的变化变得缓和，这使得可以容易地把握深度方向上相邻的图像之间的关联性。并且，当场深的扩大限于希望的深度时，将在关注对象的周边保持模糊。如果在关注对象的周边保持模糊，那么它将给予用户深度感，并且允许用户在感觉到关注对象中的立体效果的同时观看图像。

图11示出其中在合成处理中使用的图像数量(包含于场深的范围中的图像数量)与对焦区域的数量相同且两个数量均为三个的例子。但是，这些数量一般不必匹配，并且对焦区域的数量从一个基准位置到另一基准位置变动。并且，虽然图11示出其中对焦区域被变动使得它们偏移到相邻区域的例子，但实际的结果不限于此。例如，对焦区域的状态根据对象状况、捕获图像时的焦点位置或要被设定的场深而不同。

(图像处理装置的操作)

将参照图12至14描述根据第二实施例的图像处理装置102的操作。主处理的流程与第一实施例中描述的图5的流程相同。但是，在本实施例中，图5的步骤S702中的确定被是否在图像服务器1201中存在捕获图像的确定替代。另外，步骤S704中存储图像的目的地被图像服务器1201替代。将详细描述与第一实施例的处理不同之处。

(S706：用于焦点层叠处理的设定)

图14示出根据第二实施例的用于设定焦点层叠处理的参数的设定画面的例子。

附图标记1601指示设定窗口。附图标记1602指示用于设定基准位置的上侧的上焦点层叠范围的编辑框。附图标记1603示出用于设定基准位置的下侧的下焦点层叠范围的编辑框。附图标记1604示出用于设定要被显示以用于验证的图像(1608至1610)的基准位置的编辑框。图14示出其中上焦点层叠范围是1、下层叠范围是2、并且用于图像验证的基准位置处于3的例子。在这种情况下，从包含基准位置处的图像的四个图像产生合成图像。

附图标记1605示出其中图形显示1602至1604中指定的内容的区域。通过使用宽度、长度和颜色与指示其它图像(焦点位置)的其它线不同的线1606来强调地显示用于图像验证的基准位置，使得容易地区分用于图像验证的基准位置。附图标记1607指示焦点位置3被用作基准时的场深范围。

被显示以用于验证的图像1608、1609和1610分别是处于焦点位置2、3和5处的图像。在图像中的每一个中显示在步骤S701中指定的范围内的区域。这些用于验证的图像的显示使得可以在检查整个关注对象是否对焦的同时指定合成范围。

应当注意，图14仅示出设定画面的具体例子，并且，只要可在其上指定合成范围，就可使用任何其它类型的设定画面。例如，作为编辑框的替代，设定画面可使得可通过下拉列表或组合框选择合成范围等。作为替代方案，可以使用其中通过用户点击鼠标在如1605所示的GUI上指定合成范围等的方法。

一旦在输入设定之后由用户按压合成处理开始按钮1611，图像处理装置102就确立在设定窗口1601中设定的参数，并且开始步骤S707的合成处理。

(步骤S707：合成处理)

图12示出图11所示的合成处理的流程，并且示出根据本实施例的步骤S707中的处理的详细内容。图12与示出根据第一实施例的合成处理的详细流程的图6对应。类似的项目被分配有类似的附图标记，并且将省略其描述。

以与第一实施例中相同的方式执行从步骤S801到步骤S806的处理步骤。在步骤S1401中，图像处理装置102确定首先对其执行合成处理的焦点位置(基准位置)，并且以与第一实施例中相同的方式产生合成图像(步骤S808和S809)。在步骤S1402中，图像处理装置102确定是否已对所有指定的焦点位置完成合成处理，并且，如果存在还没有对其执行合成处理的任何焦点位置，那么重复步骤S808和S809的处理步骤(步骤S1403)。

在以上的描述中，在步骤S1402中对所有的焦点位置执行合成处理。但是，当要对所有焦点位置执行合成处理时，可能出现其中合成处理所需的图像在最上或最下焦点位置处变得不足并且不能在指定场深范围中执行合成处理的情况。因此，设定可使得仅对指定场深范围的范围中可经受合成处理的焦点位置处的图像执行合成处理。作为替代方案，可以应用各种其它方法。例如，要对其执行合成处理的焦点位置的范围可由用户指定。

(步骤S709：显示处理)

图13示出根据第二实施例的图像显示处理的详细流程。图13与示出根据第一实施例的图像显示处理的详细流程的图7对应。类似的项目被分配有类似的附图标记，并且将省略其描述。

图像处理装置102在步骤S1501中选择要首先显示的图像。例如，选择其焦点位置最接近整个图像的焦点位置的图像或者其焦点位置最远离整个图像的焦点位置的图像作为要首先显示的图像。然后，以与第一实施例中相同的方式显示选择的图像，并且根据指定的显示方法执行用户切换或自动切换。在第一实施例中，当指定用户切换时，通过鼠标轮的向上/向下来扩大或减小场深。相反，在本第二实施例中，基准位置通过向上而向上偏移(步骤S1502)，并且基准位置通过向下而向下偏移(步骤S1503)。当指定自动切换时，在第一实施例中依次(逐渐)切换场深，而在第二实施例中依次向上或向下偏移基准位置(焦点位置)(步骤S1504)。处理的其它特征与第一实施例中的相同。

根据上述的配置，使得可以观察通过在多个焦点位置处以希望的场深执行焦点层叠获得的多个合成图像。用户被允许观察已扩大其场深范围的多个合成图像，由此，与直接观察多个原始图像(层图像)时相比，被允许更容易地把握样品在其深度方向(Z方向)上的结构。

<第三实施例>

将描述本发明的第三实施例。根据该实施例的图像处理装置102的特性之一在于，可通过选择性地执行在以上的实施例中描述的合成方法来获得合成图像。根据第三实施例的图像处理装置102的另一特性在于，在以上的实施例中描述的显示方法和要在后面描述的其它显示方法被选择性地执行。将关注这些点进行描述。

图15是示出根据本第三实施例的图像获取的流程的流程图。在步骤S1701中，图像处理装置102允许用户选择图像获取模式。可通过选择图像处理装置102中的本地储存器件、图像服务器1201和成像装置101中的任一个作为图像获取源来获取图像。

当选择本地储存器件(在步骤S1702中为是)时，图像处理装置102从其自身的储存器件获取必要的图像并且终止处理(步骤S1703)。当选择图像服务器1201(在步骤S1704中为是)时，图像处理装置102经由网络从图像服务器1201获取必要的图像并且终止处理(步骤S1705)。当选择成像装置101(在步骤S1704中为否)时，图像处理装置102向成像装置101传送成像参数和成像请求以导致其执行成像并且获取由此捕获的图像(步骤S1706)。

应当注意，图像获取方法不限于图15所示的图像获取方法。例如，图像获取源的选项可以为图像处理装置102、图像服务器1201和成像装置101中的两个。并且，图像获取源可选自包括通过专用线连接的储存器、诸如存储卡的记录介质、另一计算机和另一虚拟载片系统的更多选项。

将参照图16描述根据本实施例的处理的流程。与图5所示的上述处理流程的项目类似的项目被分配有类似的附图标记，并且将省略其描述。

以与以上实施例相同的方式执行步骤S701至S705的处理步骤。在步骤S1801中，图像处理装置102显示图17A所示的合成处理模式指定画面1901，并且允许用户选择合成处理模式。合成处理模式可选自在第一实施例中描述的固定焦点位置模式1902或在第二实施例中描述的固定场深模式1903。

在步骤S1802中，处理根据步骤S1801中的选择结果而分支，并且，当选择固定焦点位置模式时，处理进行到步骤S1803。图像处理装置102显示图9所示的设定画面，并且允许用户进行用于固定焦点位置模式的焦点层叠处理的设定(步骤S1803)。随后，图像处理装置102在固定焦点位置的情况下执行合成处理(步骤S1804)。相反，当选择固定场深模式时，图像处理装置102显示图14所示的设定画面，允许用户进行用于固定场深模式的焦点层叠处理的设定(步骤S1805)，并然后在固定场深的情况下执行合成处理(步骤S1806)。

接下来，在步骤S1807中，图像处理装置102显示图17B所示的显示模式指定画面2001，以允许用户指定显示模式。显示模式可选自单显示模式2002或多显示模式2003。

当选择单显示模式(在步骤S1808中为是)时，如图8A至8C所示，图像处理装置102在依次时分切换多个合成图像的同时逐个显示它们(步骤S1809)。当选择多显示模式(在步骤S1808中为否)时，图像处理装置102以多显示模式执行显示(步骤S1810)。

图18示出在步骤S1810中以多显示模式显示的画面的例子。在图像显示窗口2101中显示了空间排列的多个合成图像2102至2109。多显示模式中的显示方法不限于图18所示的例子。例如，方法可使得在图像显示窗口内排列地显示多个图像中的一些而不是所有的图像，并且通过鼠标滚动操作等依次切换显示图像。只要在多显示模式中在不同位置处同时显示至少两个或更多个图像使得用户可比较多个图像，就可采用任何其它方法。

可通过上述方法以外的方法选择合成处理模式。例如，图像处理装置102在程序启动时等显示图17A的画面以允许用户选择合成处理模式，并且在步骤S1802中取回已存储的所选择的合成处理模式。并且，作为提供如图17A所示的专用于模式选择的窗口的替代，可以在图9和图14所示的合成处理设定画面中提供用于选择合成处理模式的UI。

类似地，也可通过上述方法以外的方法选择显示模式。例如，图像处理装置102在程序启动时等显示图17B的画面以允许用户选择显示模式，并在步骤S1808中取回已存储的所选择的显示模式。并且，作为提供如图17B所示的专用于模式选择的窗口的替代，可以在图8和图18所示的图像显示画面中提供用于选择显示模式的UI。

虽然已关于其中可双方面改变合成处理模式和显示模式的例子描述了本实施例，但其不限于此。例如，这些模式可仅在一个方面上是可改变的。并且，关于合成处理模式的选择，可包括用于切换到其它图像处理模式的选项。类似地，关于显示模式的选择，可包括用于切换到其它显示模式的选项。例如，其它显示模式包括其中仅显示还没有经受焦点层叠处理的原始图像(层图像)的显示模式、以及其中已经受焦点层叠处理的图像和还没有经受焦点层叠处理的图像都被显示使得它们可被比较的显示模式。提供用于显示经受焦点层叠处理的图像和没有经受焦点层叠处理的图像以使得能够相互比较的显示模式使得可以把握已从另一图像切出并且通过焦点层叠处理合成的区域在其原始成像时的状况。这使得可以在比较处于其清楚状况中的图像和处于具有深度感的状况中的图像的同时观看图像。

上述的配置使得可以通过希望的方法合成在多个焦点位置处成像的图像。并且，它还使得可以通过希望的方法显示合成图像。结果，用户能够通过选择性地切换合成处理模式和显示模式来根据对象的成像结果获得最佳合成和显示结果。

<其它实施例>

描述的实施例仅代表本发明的具体例子，并且本发明的配置不限于这些具体例子。

例如，虽然在第一和第二实施例中用户切换和自动切换是可选择的选项，但显示方法可以仅仅是它们中的一个。并且，可将用户切换和自动切换组合在一起。并且，还可以在不指定范围的情况下对在图8A的1002处显示的整个区域执行合成处理，并且显示该合成处理后的区域的图像。并且，在被切换的同时要被显示的图像可不仅包含合成处理之后的图像，而且包含在各个焦点位置处捕获的合成处理之前的图像(层图像)。在这种情况下，被提供用于选择的选项可包含用于仅显示作为合成处理的结果获得的图像的模式、用于仅显示合成处理之前的图像的模式、以及用于显示包含作为合成处理的结果获得的图像和合成处理之前的图像的所有图像的模式。

虽然在上述的实施例中示出了其中指定诸如场深变动范围和基准位置的参数的处理流程，但是本发明不限于此。例如，可以存储预设的参数，使得当指定范围(1003)或启动程序时取回存储的参数。这消除了对显示图9或图14所示的设定画面的需要，并且使得能够仅通过在图8A所示的图像显示画面上的操作来观察希望的图像。

并且，虽然已关于其中在固定焦点位置和场深中的一个的同时变动另一个的处理的例子进行了第一和第二实施例的描述，但本发明不限于此。例如，也可以通过变动焦点位置和场深两者产生合成图像，使得这些合成图像可被切换显示。在这种情况下，可以选择三种模式，即，固定焦点/可变场深模式、固定场深/可变焦点模式、以及可变焦点/可变场深模式。

并且，在第一到第三实施例中描述的配置可相互组合。例如，可在第一实施例的系统配置中执行根据第二实施例的图像合成处理和图像显示处理，并且，相反，可在第二实施例的系统配置中执行根据第一实施例的图像合成处理和图像显示处理。

在第一到第三实施例中，为了产生多个观察图像，图像处理装置在改变选择的原始图像(层图像)的组合的同时多次执行用于产生一个观察图像的合成处理。但是，在实施例中的任一个中，图像处理装置可通过在改变用于合成处理的参数、而不改变选择的原始图像的组合的同时多次执行用于产生一个观察图像的合成处理，来产生多个观察图像。即，可通过改变用于合成处理的参数，来从原始图像的同一组合产生场深和/或焦点位置不同的多个观察图像。在本方法中，可对每个合成处理使用所有原始图像(例如，形成一个Z层叠图像的所有层图像)。图19示出合成处理的流程的例子。该流程示出图5中的步骤S707中的处理的详细内容。图像处理装置102确定要用于合成处理的原始图像(层图像)的组合，并且从储存器件读出它们的数据(步骤S1901)。接下来，图像处理装置102确定第一场深(步骤S1902)，并且确定与该场深对应的合成处理的参数(步骤S1903)。控制场深的参数的类型依赖于合成处理方法的类型，并且可以使用各种参数，诸如用于合成的系数(权重)、滤波器的特性、孔径光阑和视点。接下来，图像处理装置102使用在步骤S1903中确定的参数执行合成处理，并由此产生具有希望的场深的图像(步骤S1904)。通过改变场深的指定(步骤S1906)并且在改变参数的同时重复合成处理，产生场深不同的多个观察图像(步骤S1903至S1905)。

可对图19中的步骤S1904中的图像合成处理采用各种已知的场深控制技术。例如，如上面描述的那样，可使用用于从层图像中的每一个选择对焦区域并且组合它们以产生一个图像(观察图像)的第一方法(称为区块(patch)类型方法)。可以使用用于执行层图像和模糊函数(例如，Gaussian函数)的去卷积以由此产生希望的深度控制图像的滤波类型方法。滤波类型方法包括用于分别向层图像添加二维模糊函数并且执行去卷积的第二方法(称为二维滤波类型方法)、以及用于在所有的层图像之上直接执行希望的模糊函数的去卷积的第三方法(称为三维滤波类型方法)。在例如日本专利申请公开No.2007-128009中公开了与第三方法有关的技术。日本专利申请公开No.2007-128009公开了如下配置：用于通过向不同焦点位置中的多个图像施加用于匹配图像与三维卷积模型的坐标转换处理和用于改变三维频率空间上的模糊的三维滤波处理，来扩展场深。通过向图像合成处理(焦点层叠)应用这些场深控制技术，可从所有的原始图像或者从选自它们之中的原始图像的同一组合产生具有任意的场深的图像。可不仅对产生场深控制的图像，而且对产生焦点位置控制的图像，使用上述的第一到第三方法。通过组合根据上述实施例的各种技术获得的各种其它配置也落在本发明的范围内。

虽然在上述的实施例中通过鼠标轮操作来指示图像切换，但也可通过诸如跟踪板、跟踪球或操纵杆的指向设备的滚动操作来指示图像切换。并且，也可通过键盘的预定键(例如，垂直偏移键或页向上/向下键)给出指令。

也可通过读出并执行记录在存储设备上的程序以执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU的设备)、以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的程序以执行上述实施例的功能执行其步骤的方法，来实现本发明的各方面。出于这种目的，例如经由网络或从用作存储设备的各种类型的记录介质(例如，非暂态计算机可读介质)向计算机提供程序。因此，计算机(包含诸如CPU或MPU的设备)、方法、程序(包含程序代码和程序产品)、以及记录程序的非暂态计算机可读介质均包含于本发明的范围内。

虽然已参照示例性实施例描述了本发明，但要理解，本发明不限于公开的示例性实施例。以下的权利要求的范围要被赋予最宽的解释，以包含所有这样的修改以及等同的结构和功能。

本申请要求在2012年9月28日提交的日本专利申请No.2012-216048的权益，在此通过引用而并入其全部内容。

Claims (15)

1.一种图像处理装置，包括：

图像获取单元，被配置为获取通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及

图像产生单元，被配置为从所述多个层图像产生多个观察图像，

其中，图像产生单元通过多次执行用于焦点层叠选自所述多个层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生所述多个观察图像。

2.根据权利要求1所述的图像处理装置，其中，图像产生单元确定要被选择的层图像的组合，使得所述多个观察图像具有不同的场深。

3.根据权利要求2所述的图像处理装置，其中，所述多个观察图像包含第一观察图像和具有比第一观察图像大的场深的第二观察图像，以及

第二观察图像被产生，以使得第二观察图像的光轴方向上的对焦范围包含第一观察图像的光轴方向上的对焦范围，并且从第一观察图像的对焦范围扩展到光轴方向上的一侧和另一侧。

4.根据权利要求3所述的图像处理装置，其中，第二观察图像被产生，以使得第二观察图像的光轴方向上的对焦范围从第一观察图像的对焦范围以相等的程度扩展到光轴方向上的一侧和另一侧。

5.根据权利要求1所述的图像处理装置，其中，图像产生单元确定要选择的层图像的组合，使得所述多个观察图像具有不同的焦点位置。

6.根据权利要求1至5中任一项所述的图像处理装置，还包括：范围指定单元，被配置为允许用户从层图像指定要对其执行合成处理的目标范围，

其中，图像产生单元仅对图像的由范围指定单元指定的目标范围内的部分产生观察图像。

7.根据权利要求6所述的图像处理装置，还包括：图像显示单元，被配置为在显示器件上显示观察图像，

其中，图像显示单元在显示器件上显示其中将观察图像并入到层图像中的目标范围的部分中的图像。

8.根据权利要求1至7中任一项所述的图像处理装置，其中，图像显示单元自动切换在显示器件上显示的观察图像。

9.根据权利要求8所述的图像处理装置，其中，所述多个观察图像至少在焦点位置或场深方面相互不同，

其中，图像显示单元在切换显示器件上显示的观察图像时选择要显示的观察图像，使得焦点位置或场深依次改变。

10.根据权利要求1至9中任一项所述的图像处理装置，还包括：图像显示单元，被配置为在显示器件上显示观察图像，

其中，所述多个观察图像至少在焦点位置或场深方面相互不同，

其中，图像显示单元将至少在焦点位置或场深方面不同的在空间上排列的观察图像显示于显示器件上。

11.根据权利要求8至10中任一项所述的图像处理装置，还包括：模式指定单元，被配置为允许用户从包含用于依次时分显示多个图像的模式和用于显示在空间上排列的多个图像的模式的多个显示模式指定要使用的显示模式，

其中，图像显示单元根据由模式指定单元指定的显示模式来显示所述多个观察图像。

12.根据权利要求1至11中任一项所述的图像处理装置，其中，图像产生单元通过用滤波类型方法执行合成处理来产生所述多个观察图像。

13.一种成像系统，包括：

成像装置，被配置为通过使用显微镜将对象的不同位置成像来产生多个层图像；以及

根据权利要求1至12中任一项所述的图像处理装置，被配置为从成像装置获取所述多个层图像。

14.一种图像处理系统，包括：

服务器，用于存储通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及

根据权利要求1至12中任一项所述的图像处理装置，被配置为从服务器获取多个原始图像。

15.一种存储于非暂态计算机可读介质上的计算机程序，所述程序导致计算机执行包括以下步骤的方法：

获取通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及

从所述多个层图像产生多个观察图像，

其中，在产生观察图像的步骤中，通过多次执行用于焦点层叠选自所述多个层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生所述多个观察图像。