CN103460684A - 图像处理设备、成像系统和图像处理系统 - Google Patents

Abstract

图像处理设备包括：图像获取单元，用于获取通过在不同的焦点位置处将对象成像所获得的原始图像；图像产生单元，用于从原始图像产生多个观察图像，观察图像至少在焦点位置或DOF方面相互不同；以及图像显示单元，用于在显示装置上显示观察图像。图像产生单元通过在使选择的原始图像的组合不同的同时多次执行合成处理来产生观察图像，所述合成处理用于从原始图像中选择两个或更多个原始图像并使选择的原始图像聚焦堆叠以产生单个观察图像。当在显示装置上显示的观察图像被切换时，图像显示单元选择要被显示的观察图像，使得焦点位置或DOF依次改变。

Description

图像处理设备、成像系统和图像处理系统

技术领域

本发明涉及图像处理设备、成像系统和图像处理系统，特别涉及使用数字图像来帮助观察对象的技术。

背景技术

近年来，在病理学领域中，作为当前用作病理诊断工具的光学显微镜的后继物，虚拟载片系统（virtual slide system）受到关注。虚拟载片系统使得能够通过将放置在载片上的待观察试样成像并使图像数字化而在显示器上执行病理诊断。利用虚拟载片系统的病理诊断图像的数字化使得能够将试样的常规光学显微镜图像作为数字数据操纵。预计这将带来各种优点，诸如远程诊断更迅速、通过数字图像向病人提供信息、共享罕见病例数据、以及教育和培训更有效。

当使用虚拟载片系统时，为了实现与光学显微镜等同的性能，需要将放置在载片上的待观察试样的整个图像数字化。试样的整个图像的数字化使得能够通过使用在PC或工作站上运行的观看器（viewer）软件来检查用虚拟载片系统产生的数字数据。试样的数字化的整个图像当由像素数表达时一般将构成从数亿像素到数十亿像素的巨量数据。

尽管由虚拟载片系统产生的数据量是巨大的，这也使得能够通过用观看器缩放图像而在微观上（以放大细节图）或者在宏观上（以总体透视图）检查试样图像，这提供各种优点和便利。所有必要的信息可被初步获取，使得可根据用户的请求瞬时显示任意分辨率和任意倍率的图像。

尽管虚拟载片系统提供各种优点和便利，但是在使用中它在一些方面仍缺少常规光学显微镜观察的便利性。

这样的缺点之一在于深度方向（沿光学显微镜的光轴的方向或与载片的观察表面垂直的方向）上的观察。一般地，当医师用光学显微镜检查试样时，他/她在光轴方向上轻微地移动显微镜载台（stage）以改变试样中的焦点位置，使得可以把握组织或细胞的三维结构。当要用虚拟载片系统进行相同的操作时，在某个焦点位置处捕获图像，然后必须在改变焦点位置（例如，通过在光轴方向上偏移其上放置载片的载台）之后捕获另一图像。

作为用于处理和显示通过在改变焦点位置的同时重复图像捕获而捕获的多个图像的方法，提出如下所述的技术。专利文献（PTL）1公开了这样的系统：其中，将不同焦点位置处的多个图像中的每一个分割成多个部分，并且对于每一部分执行聚焦堆叠（focus stacking），由此产生具有深的场深（depth of field）的深焦（deep-focus）图像。

引文列表

专利文献

PTL1：日本专利申请公开No.2005-037902

发明内容

根据在PTL1中描述的方法，可以获得在整个范围之上聚焦并且具有很少模糊的图像，因此提供可仅通过一个图像把握对象总体状况的优点。然而，虽然这种深焦图像对于对象总体的粗略观察是有用的，但它不适于对象的一部分的详细观察或对象的三维结构的把握。这是因为，由于大量图像的聚焦堆叠，因此深度方向上的信息（关于前后关系的信息）已被丢失。

鉴于这些问题提出本发明，并且本发明提供在使用数字图像观察对象时帮助对象的深度方向上的详细观察的技术。

本发明在其第一方面中提供一种图像处理设备，该图像处理设备包括：图像获取单元，用于获取通过在不同的焦点位置处将对象成像所获得的多个原始图像；图像产生单元，用于从所述多个原始图像产生多个观察图像，观察图像至少在焦点位置或场深方面相互不同；以及图像显示单元，用于在显示装置上显示观察图像，其中：图像产生单元通过在使选择的原始图像的组合不同的同时多次执行合成处理（combine processing）来产生所述多个观察图像，所述合成处理用于从所述多个原始图像中选择两个或更多个原始图像并使选择的原始图像聚焦堆叠以产生单个观察图像；以及当在显示装置上显示的观察图像被切换时，图像显示单元选择要被显示的观察图像，使得焦点位置或场深依次改变。

本发明在其第二方面中提供一种图像处理设备，该图像处理设备包括：图像获取单元，用于获取通过在不同的焦点位置处将对象成像所获得的多个原始图像；图像产生单元，用于从所述多个原始图像产生多个观察图像；以及图像显示单元，用于在显示装置上显示观察图像，其中，图像产生单元通过在使选择的原始图像的组合不同的同时多次执行合成处理来产生所述多个观察图像，所述合成处理用于从所述多个原始图像中选择两个或更多个原始图像并使选择的原始图像聚焦堆叠以产生单个观察图像，并且所述图像产生单元确定选择的原始图像的组合，使得所述多个观察图像具有相同的焦点位置和相互不同的场深。

本发明在其第三方面中提供一种成像系统，该成像系统包括：成像设备，用于通过在不同的焦点位置处将对象成像来产生多个原始图像；以及以上的图像处理设备，用于从成像设备获取所述多个原始图像。

本发明在其第四方面中提供一种图像处理系统，该图像处理系统包括：服务器，用于存储通过在不同的焦点位置处将对象成像所获得的多个原始图像；以及以上的图像处理设备，用于从服务器获取所述多个原始图像。

本发明在其第五方面中提供一种存储于非暂态计算机可读介质上的计算机程序，所述程序使计算机执行包括以下步骤的方法：获取通过在不同的焦点位置处将对象成像所获得的多个原始图像；从所述多个原始图像产生多个观察图像，观察图像至少在焦点位置或场深方面相互不同；以及在显示装置上显示观察图像，其中：在产生观察图像的步骤中，通过在使选择的原始图像的组合不同的同时多次执行合成处理来产生所述多个观察图像，所述合成处理用于从所述多个原始图像中选择两个或更多个原始图像并使选择的原始图像聚焦堆叠以产生单个观察图像；以及在显示观察图像的步骤中，当观察图像被切换时，要被显示的观察图像被选择，使得焦点位置或场深依次改变。

本发明在其第六方面中提供一种存储于非暂态计算机可读介质上的计算机程序，所述程序使计算机执行包括以下步骤的方法：获取通过在不同的焦点位置处将对象成像所获得的多个原始图像；从所述多个原始图像产生多个观察图像；以及在显示装置上显示观察图像，其中：在产生观察图像的步骤中，通过在使选择的原始图像的组合不同的同时多次执行合成处理来产生所述多个观察图像，所述合成处理用于从所述多个原始图像中选择两个或更多个原始图像并使选择的原始图像聚焦堆叠以产生单个观察图像；以及选择的原始图像的组合被确定，使得所述多个观察图像具有相同的焦点位置和相互不同的场深。

根据本发明，当使用数字图像观察对象时，可以在深度方向上详细观察对象。

从参照附图对示例性实施例的以下描述，本发明的进一步的特征将变得明显。

附图说明

图1是示出根据本发明第一实施例的成像系统中的设备的布局的总体图。

图2是根据第一实施例的成像设备的功能框图。

图3是示出聚焦堆叠的概念图。

图4是示出在固定焦点位置的状态下改变场深的处理的概念图。

图5是示出根据第一和第二实施例的图像处理的流程的流程图。

图6是示出根据第一实施例的合成处理的流程的流程图。

图7是示出根据第一实施例的显示处理的流程的流程图。

图8A至图8C是示出根据第一实施例的图像显示画面的例子的示图。

图9是示出根据第一实施例的设定画面的例子的示图。

图10是示出根据第二实施例的图像处理系统中的设备的布局的总体图。

图11是示出在固定焦点位置的状态下改变场深的处理的概念图。

图12是示出根据第二实施例的合成处理的流程的流程图。

图13是示出根据第二实施例的显示处理的流程的流程图。

图14是示出根据第二实施例的设定画面的例子的示图。

图15是示出根据第三实施例的图像获取的流程的流程图。

图16是示出根据第三实施例的图像处理的流程的流程图。

图17A和图17B是示出根据第三实施例的模式指定画面的例子的示图。

图18是示出根据第三实施例的以多显示模式显示图像的画面的例子的示图。

具体实施方式

将参照附图描述本发明的示例性实施例。

<第一实施例>

（系统配置）

图1是示出根据本发明第一实施例的成像系统中的设备的布局的总体图。

根据第一实施例的成像系统由成像设备（显微镜设备）101、图像处理设备102和显示装置103组成，并且是具有获取和显示作为待成像对象的试样（对象）的二维图像的功能的系统。成像设备101和图像处理设备102通过专用或通用I/F线缆104相互连接。图像处理设备102和显示装置103通过通用I/F线缆105相互连接。

成像设备101是具有获取光轴方向上不同焦点位置处的多个二维图像并且输出数字图像的功能的虚拟载片设备。二维图像的获取是用诸如CCD或CMOS的固态成像装置进行的。作为替代方案，成像设备101可由数字照相机附接于通常光学显微镜的接目镜的数字显微镜设备、而不是由虚拟载片设备形成。

图像处理设备102是这样的设备：其用于通过从自成像设备101获取的多个原始图像产生各具有希望的焦点位置和场深的多个观察图像、并且在显示装置103上显示这些观察图像，来帮助用户进行显微镜观察。图像处理设备102的主要功能包括获取多个原始图像的图像获取功能、从这些原始图像产生观察图像的图像产生功能、以及在显示装置103上显示观察图像的图像显示功能。图像处理设备102由具有诸如CPU（中央处理单元）、RAM、存储装置、操作单元和I/F的硬件资源的通用计算机或工作站形成。存储装置是其中存储用于执行后面将描述的处理步骤的程序、数据、OS（操作系统）等的诸如硬盘驱动器的海量（mass）信息存储装置。上述的功能由CPU从存储装置下载RAM所需要的程序和数据并且执行该程序来实现。操作单元由键盘或鼠标形成，并被操作员用于输入各种类型的指令。显示装置103是显示作为由图像处理设备102进行的运算处理的结果的多个二维图像的监视器，并由CRT、液晶显示器等形成。

虽然在图1所示的例子中成像系统由三个组件即成像设备101、图像处理设备102和显示装置103构成，但是，本发明不限于该配置。例如，图像处理设备可与显示装置一体化，或者图像处理设备的功能可被并入成像设备中。并且，成像设备、图像处理设备和显示装置的功能可由单个设备实现。相反，图像处理设备等的功能可被分割，使得它们由多个设备或装置实现。

（成像设备的配置）

图2是示出成像设备101的功能配置的框图。

成像设备101示意性地由照明单元201、载台202、载台控制单元205、成像光学系统207、成像单元210、显影处理单元216、预测量单元217、主控制系统218和外部接口219组成。

照明单元201是用于用均匀的光照射放置在载台202上的载片206的部件，并由光源、照明光学系统和用于光源的驱动控制系统组成。载台202由载台控制单元205驱动控制，并且可沿X、Y和Z三轴移动。光轴方向应被定义为Z方向。载片206是其中要被检查的组织切片或涂抹细胞被施加在载片玻璃上并且与密封剂一起在盖片玻璃下被密封的构件。

载台控制单元205由驱动控制系统203和载台驱动机构204组成。驱动控制系统203根据从主控制系统218接收的指令执行载台202的驱动控制。基于通过预测量单元217的测量获得的关于试样的位置信息和厚度信息（距离信息）以及来自用户的指令，确定载台202的移动方向和移动量等。载台驱动机构204根据来自驱动控制系统203的指令来驱动载台202。

成像光学系统207是用于在成像传感器208上形成载片206中的试样的光学图像的透镜组。

成像单元210由成像传感器208和模拟前端（analog front end,AFE）209组成。成像传感器208是用于通过光电转换将二维光学图像转换成电物理量的一维或二维图像传感器，并且例如CCD或CMOS被用作成像传感器208。当成像传感器208是一维传感器时，可通过在扫描方向上扫描图像获得二维图像。成像传感器208输出具有根据光强度的电压值的电信号。当希望将彩色图像作为捕获图像时，可以使用附接有Bayer布置滤色器的单板图像传感器。

AFE209是用于将从成像传感器208输出的模拟信号转换成数字信号的电路。AFE209由如后面描述的那样的H/V驱动器、CDS、放大器、AD转换器和定时发生器组成。H/V驱动器将用于驱动成像传感器208的垂直同步信号和水平同步信号转换成驱动传感器所需要的电势。CDS（相关双采样）是用于从固定模式（fixed pattern）去除噪声的相关双采样电路。放大器是用于调整已通过CDS去除了噪声的模拟信号的增益的模拟放大器。AD转换器将模拟信号转换成数字信号。当系统的最终级输出具有八个位时，考虑到要在随后级中进行的处理，AD转换器将模拟信号转换成被量化为约10至16位的数字数据，并且输出该数字数据。转换的传感器输出数据被称为RAW数据。RAW数据在随后的显影处理单元216中经受显影处理。定时发生器产生用于调整成像传感器208的定时和随后的显影处理单元216的定时的信号。

当CCD被用作成像传感器208时，上述的AFE209是不可缺少的。但是，当能够数字输出的CMOS图像传感器被用作成像传感器208时，该传感器包含AFE209的功能。虽然图中没有示出，但是，提供用于控制成像传感器208的成像控制单元。该成像控制单元不仅执行成像传感器208的操作的控制，而且执行诸如快门速度、帧速率和ROI（关注区域）的操作定时的控制。

显影处理单元216由黑校正单元211、白平衡调整单元212、去马赛克（demosaicing）处理单元213、过滤处理单元214和伽马（gamma）校正单元215组成。黑校正单元211执行从RAW数据的每个像素减去遮光期间获得的黑校正数据的处理。白平衡调整单元212执行通过根据来自照明单元201的光的色温调整RGB的每个颜色的增益来再现希望的白色的处理。具体而言，白平衡校正数据被加到黑校正的RAW数据上。当操纵单色图像时，不需要该白平衡调整处理。

去马赛克处理单元213执行从Bayer布置的RAW数据产生RGB的每个颜色的图像数据的处理。去马赛克处理单元213通过在RAW数据中对周边像素（包含相同颜色的像素和其它颜色的像素）的值进行插值来计算关注像素的RGB的每个颜色的值。去马赛克处理单元213还对于有缺陷的像素执行校正处理（补充（complement）处理）。当成像传感器208不具有滤色器并且获得的图像是单色时，不需要去马赛克处理。

过滤处理单元214是用于执行包含于图像中的高频率分量的抑制、噪声去除和分辨率感觉增强的数字过滤器。伽马校正单元215执行根据常用的显示装置的灰度（gradation）表现能力给图像添加逆（inverse）的处理，或者通过高亮度部分的灰度压缩或暗部分处理根据人视觉能力执行灰度转换。由于在本实施例中出于形态观察的目的获取图像，因此，对图像执行适于随后的图像合成处理或显示处理的灰度转换。

显影处理功能一般包括用于将RGB信号转换成诸如YCC信号的亮度色差信号的颜色空间转换、以及压缩海量的图像数据的处理。但是，在本实施例中，直接使用RGB数据，并且不执行数据压缩。

虽然图中没有示出，但是，可以提供周边暗化校正的功能，以校正由于形成成像光学系统207的透镜组的影响所导致的成像区域内的周边中的光量的减少。作为替代方案，可以提供用于光学系统的各种校正处理功能以校正可能在成像光学系统207中出现的各种像差，诸如用于校正图像形成中的位置偏移的畸变校正、或校正每个颜色的图像的大小（magnitude）差异的倍率颜色像差校正。

预测量单元217是用于执行作为用于计算载片206上的试样的位置信息、关于到希望的焦点位置的距离的信息、以及用于调整可归因于试样厚度的光量的参数的预备的预测量的单元。在主测量之前通过预测量单元217的信息获取使得能够执行有效的成像。还基于由预测量单元217产生的信息执行捕获多个图像时的开始及终止成像的位置和成像间隔的指定。

主控制系统218具有执行到目前为止描述的单元的控制的功能。主控制系统218和显影处理单元216的功能由具有CPU、ROM和RAM的控制电路实现。具体而言，程序和数据存储于ROM中，并且CPU使用RAM作为工作存储器执行程序，由此实现主控制系统218和显影处理单元216的功能。ROM可由诸如EEPROM或闪存的装置形成，并且RAM可由诸如DDR3的DRAM装置形成。

外部接口219是用于向图像处理设备102传送由显影处理单元216产生的RGB彩色图像的接口。成像设备101和图像处理设备102通过光学通信线缆相互连接。作为替代方案，可以使用诸如USB或Gigabit Ethernet（注册商标）的接口。

将简要描述主测量中的成像处理的流程。载台控制单元205基于通过预测量获得的信息在载台202上定位试样，使得试样针对成像被定位。由照明单元201发射的光通过试样，并且成像光学系统207由此在成像传感器208的成像表面上形成图像。来自成像传感器208的输出信号通过AFE209被转换成数字图像（RAW数据），并且该RAW数据通过显影处理单元216被转换成二维RGB图像。由此获得的二维图像被传送到图像处理设备102。

如上所述的配置和处理使得能够获取在某个焦点位置处的试样的二维图像。可通过借助于载台控制单元205在光轴方向（Z方向）上偏移焦点位置的同时重复成像处理，获得具有不同的焦点位置的多个二维图像。通过主测量中的成像处理获得的具有不同的焦点位置的图像组应被称为“Z堆叠图像”，并且形成Z堆叠图像的各焦点位置处的二维图像应被称为“层图像”或“原始图像”。

虽然已关于使用单板方法以借助于图像传感器获得彩色图像的例子描述了本实施例，但是，代替单板方法，可以使用通过使用三个RGB图像传感器获得彩色图像的三板方法。作为替代方案，可以使用三重成像方法，在该三重成像方法中，单个图像传感器和三色光源被一起使用，并且在切换光源颜色的同时三次执行成像。

（聚焦堆叠）

图3是聚焦堆叠的概念图。将参照图3示意性地描述聚焦堆叠处理。

图像501至507是通过在光轴方向（Z方向）上依次改变焦点位置的同时在三维不同的空间位置处七次将包含多个待观察项目（item）的对象成像所获得的七层图像。附图标记508至510指示包含于获取图像501中的待观察项目。待观察项目508在图像503的焦点位置处对焦（come into focus），但在图像501的焦点位置处失焦（out offocus）。因此，难以在图像501中把握待观察项目508的结构。待观察项目509在图像502的焦点位置处对焦，但在图像501的焦点位置处轻微失焦。因此，尽管不令人满意，但能够在图像501中把握待观察项目509的结构。待观察项目510在图像501的焦点位置处对焦，并由此可在图像501中充分地把握其结构。

在图3中，变黑的待观察项目指示对焦的待观察项目，白色的待观察项目指示轻微失焦的待观察项目，由虚线表示的待观察项目指示失焦的待观察项目。具体而言，待观察项目510、511、512、513、514、515和516分别在图像501、502、503、504、505、506和507中对焦。图3所示的例子的描述将假定待观察项目510至516在水平方向上位于不同位置处而进行。

图像517是通过切出在图像501至507中对焦的待观察项目510至516的各区域并合并这些区域所获得的图像。通过合并如上所述的多个图像的聚焦区域，可以获得在整个图像中聚焦的聚焦堆叠图像。这种用于通过数字图像处理产生具有深的场深的图像的处理也被称为聚焦堆叠或DOF（场深）扩展。

（用于在固定焦点的状态下改变场深的处理）

图4是示出用虚拟载片设备实现在固定焦点位置的状态下改变场深的观察模式的方法的概念图。将参照图4描述表征本实施例的聚焦堆叠处理的基本概念。

焦点位置601至607与图3中的图像501至507对应。焦点位置在光轴方向上从601至607以相同的节距（pitch）偏移。将描述以焦点位置604用作基准（固定）执行聚焦堆叠的例子。

附图标记608、617、619和621指示已执行聚焦堆叠处理之后的场深。在本例子中，各层图像的场深在由608指示的范围内。图像609是焦点位置604处的层图像，即，还没有经受聚焦堆叠的图像。附图标记610至616指示分别在焦点位置601至607处最对焦的区域。在图像609中，区域613对焦，区域612和614轻微失焦，其它区域610、611、615和616完全失焦。

附图标记617指示比附图标记608深的场深。作为对包含于场深617的范围中的三个层图像执行的聚焦堆叠处理的结果，获得合成图像618。在合成图像618中，存在比图像609中多的对焦的区域，即，区域612至614对焦。随着在合成处理中要使用的层图像的数量如619和621中所示的那样增大，在与其对应的合成图像620和622中对焦的区域扩展。在合成图像620中，区域611至615的范围是对焦的区域，并且在合成图像622中，区域610至616的范围是对焦的区域。

如上所述的图像609、618、620和622被产生，并在自动地或者通过用户的操作切换它们的同时被显示，由此可在固定焦点位置（在本例子中在604处）的状态下增大或减小场深的同时实现观察。虽然在图4所示的例子中从焦点位置以相等的程度垂直增大/减小场深，但也能够仅在焦点位置的上侧或下侧增大/减小场深，或者在焦点位置的上侧与下侧之间以不同的程度增大/减小场深。

（图像处理设备的操作）

将参照图5至9描述根据本实施例的图像处理设备102的操作。除非另外声明，否则，下述的处理由执行程序的图像处理设备102的CPU实现。

图5示出主处理的流程。一旦开始处理，则在步骤S701中，图像处理设备102在显示装置103上显示范围指定画面。在范围指定画面中，水平方向（XY方向）上的范围被指定为要用于聚焦堆叠处理的目标范围。图8A示出范围指定画面的例子。在图像显示窗口1001中的区域1002中显示在某个焦点位置处捕获的整个层图像。用户能够通过拖动鼠标或者通过经由键盘输入值来指定目标范围1003的在XY方向上的位置和尺寸。例如，可以假定，用户可将显示于区域1002中的试样图像中的被确定为需要在深度方向（Z方向）上仔细观察的部分指定为目标范围1003。如果应在深度方向上观察整个图像，那么应指定图像的整个范围。附图标记1004表示操作终止按钮。通过按压该按钮1004，关闭图像显示窗口1001。

一旦完成范围指定，则在步骤S702中，图像处理设备102确定是否已在必要数量的焦点位置处捕获了层图像。如果不是，那么图像处理设备102在步骤S703中向成像设备101传送包含成像开始位置和结束位置、成像节距等的成像参数，以请求成像设备101捕获图像。在步骤S704中，成像设备101根据成像参数捕获焦点位置处的图像，并且向图像处理设备102传送由此获得的层图像组。图像被存储于图像处理设备102中的存储装置中。

随后，图像处理设备102从存储装置获取要经受聚焦堆叠处理的多个层图像（步骤S705）。图像处理设备102在显示装置103上显示聚焦堆叠设定画面，以允许用户指定诸如要用作基准位置的焦点位置和场深范围的参数（步骤S706）。

图9示出设定画面的例子。附图标记1101表示设定窗口。附图标记1102表示用于设定要用作聚焦堆叠处理中的基准位置的焦点位置的编辑框。附图标记1103表示用于设定基准位置的上侧的合成范围的步数（number of steps）的编辑框。附图标记1104表示用于设定基准位置的下侧的合成范围的步数的编辑框。在图9中示出上合成步数是2、下合成步数是1、基准位置处于6并且焦点位置的总数是9的示例情况。在聚焦堆叠处理期间，场深以设定的步值的整数倍改变。具体而言，在图9所示的设定例子中，最小合成范围是从位置4到位置7，而最大合成范围是从位置2到位置8，并且产生两个聚焦堆叠图像。

附图标记1105表示用于图形地显示基准位置和合成范围的区域。为了示出在1102中指定的基准位置，只有指示基准位置的线1106通过在宽度、长度、颜色等方面与指示图像（焦点位置）的其它线不同而被突显。附图标记1107表示场深的最小范围（最小合成范围），而附图标记1108表示场深的最大范围（最大合成范围）。

附图标记1109指示基准位置处的图像。在本例子中，只显示焦点位置6处的图像中的位于步骤S701中指定的目标范围中的部分图像。以这种方式显示部分图像1109允许用户在检查待观察项目是否被包含于目标范围中以及每个待观察项目的模糊程度的同时指定用于聚焦堆叠处理的参数。附图标记1110表示合成处理开始按钮。

应当理解，图9仅示出设定画面的一具体例子。可使用任何其它类型的设定画面，只要在其中可至少指定基准位置和场深的变化范围即可。例如，可以使用下拉列表或组合框（combo box）来替代编辑框，使得可以选择基准位置和步值。可以采用通过用户在如1105所示的GUI上点击鼠标来指定基准位置和场深范围的方法。

一旦用户在输入设定之后按压合成处理开始按钮1110，则图像处理设备102设立在设定窗口1101中设定的参数，并且开始步骤S707的合成处理。将在后面参照图6详细描述合成处理的流程。

在步骤S708中，图像处理设备102允许用户指定合成处理之后的图像的显示方法。显示方法包含通过用户操作鼠标或键盘等来切换显示图像的方法（由用户切换）和以预定的时间间隔自动切换显示图像的方法（自动切换），并且用户能够选择任一个。自动切换的情况下的切换时间间隔可以是预定的固定值，或者可通过使用指定。在步骤S709中，图像处理设备102通过使用步骤S708中设定的显示方法执行合成处理之后的图像的显示处理。将在后面参照图7详细描述该显示处理的流程。

虽然在图5所示的例子中用于聚焦堆叠处理的设定（步骤S706）在图像获取（步骤S705）之后被执行，但是它例如可直接在聚焦堆叠处理的范围指定（步骤S701）之后被执行。还能够与图5的处理流程独立地设定参数，使得图像处理设备102在必要的定时检索（retrieve）存储于存储装置中的参数。

（步骤S707：合成处理）

参照图6，将详细描述步骤S707的合成处理流程。

在步骤S801中，图像处理设备102从要经受合成处理的图像组中选择任意的图像。随后，图像处理设备102从存储装置检索选择的图像（步骤S802），将该图像分割成具有预定尺寸的块（步骤S803），并且为每个块计算指示对比度水平的值（步骤S804）。可通过这样的方法具体例示该对比度检测处理：其中，对每个块执行离散余弦变换以找到频率分量，获得频率分量的高频率分量的总和，并采用该总和作为指示对比度水平的值。在步骤S805中，图像处理设备102确定是否已对于包含于步骤S706中指定的最大合成范围中的所有图像执行了对比度检测处理。如果存在还没有被执行对比度检测处理的任何图像，那么图像处理设备102选择这些图像作为下一个要处理的图像（步骤S806），并且执行处理步骤S802至S804。如果在步骤S805中确定已对于所有图像进行了对比度检测处理，那么处理前进到步骤S807。

处理步骤S807至S811用于产生具有不同场深的多个合成图像。例如，在图9所示的例子中，产生具有场深1107和1108的两个合成图像。

在步骤S807中，图像处理设备102确定要首先执行合成处理的场深。图像处理设备102然后对于每个块从包含于确定的场深中的多个图像之中选择具有最高对比度的图像（步骤S808），并且通过合并（结合）对于各块选择的多个部分图像产生单个合成图像（步骤S809）。在步骤S810中，图像处理设备102确定是否对于所有的指定场深已完成了合成处理。如果存在还没有完成合成处理的任何场深，那么图像处理设备102对于这些场深重复处理步骤S808和S809（步骤S810和S811）。

虽然以上的描述关于基于空间频率计算对比度水平的例子而作出，但是步骤S804中的处理不限于此。例如，可以使用边缘检测过滤器来检测边缘，并且可以使用获得的边缘成分作为对比度水平。作为替代方案，包含于块中的亮度的最大值和最小值被检测，并且可将最大值与最小值之间的差值定义为对比度水平。对于对比度的检测，可以采用各种其它已知的方法。

（步骤S709：显示处理）

接下来，将参照图7描述步骤S709的显示处理流程的细节。

图像处理设备102在步骤S901中选择要首先显示的图像。例如，作为要首先显示的图像，可以选择具有最浅或最深的场深的图像。图像处理设备102在显示装置103上显示选择的图像（步骤S902），并且检索在上述的步骤S708中指定的显示方法的设定（步骤S903）。虽然在图7所示的例子中在步骤S902之后执行显示方法获取步骤S903，但是，为了获取显示方法，可例如在显示选择的图像的步骤S902之前执行显示方法获取。

在步骤S904中，图像处理设备102确定指定的显示方法是用户切换（通过用户的操作来切换显示图像）还是自动切换。如果指定的显示方法是用户切换，那么处理前进到步骤S905，而如果是自动切换，那么处理前进到步骤S911。

（1）用户切换

在步骤S905中，图像处理设备102确定是否已进行了用户的操作。如果确定还没有进行操作，那么图像处理设备102在步骤S905中进入待机状态。如果确定已进行操作，那么图像处理设备102确定是否已进行了鼠标轮操作（步骤S906）。如果确定已进行轮操作，那么图像处理设备102确定操作是UP操作还是DOWN操作（步骤S907）。如果是UP操作，那么图像处理设备102将显示图像切换到具有下一较深的场深的显示图像（步骤S908）。如果是DOWN操作，那么图像处理设备102将显示图像切换到具有下一较浅的场深的显示图像（步骤S909）。虽然关于响应于轮操作逐步切换场深的例子作出了描述，但是也能够检测每预定时间的鼠标轮的旋转量并根据检测的旋转量改变场深的变化量。

如果在步骤S906中确定已进行了鼠标轮操作以外的操作，那么图像处理设备102确定是否已进行了终止操作（步骤S910）。如果图像处理设备102确定已进行了终止操作，那么设备102前进到步骤S905并采取待机状态。

（2）自动切换

在用户切换的情况下，显示图像根据用户的操作被切换。但是，在自动切换时，显示图像以预定时间间隔（由t表示）被自动切换。

在步骤S911中，图像处理设备102确定自已显示当前选择的图像（步骤S902）起是否已经过预定的时间t。如果确定还没有经过预定的时间t，那么图像处理设备102在步骤S911中采取待机状态。如果确定已经过预定的时间t，那么图像处理设备102在步骤S912中选择具有下一个要显示的场深的图像。处理然后返回到步骤S902，并且显示图像被切换到另一个。该显示切换被继续，直到用户执行终止操作（步骤S913）。

可通过各种方法确定图像选择次序。例如，可通过从具有最浅的场深的图像开始并继续到具有依次较深的场深的图像来选择图像。在这种情况下，当已显示具有最深的场深的图像并且不再有图像要选择时，显示切换次序可回转到首先已被显示的具有最浅的场深的图像。作为替代方案，当不再有具有场深的图像要选择时，切换次序可被反转，使得在具有最深的场深的图像与具有最浅的场深的图像之间使显示次序进行往复。并且，当不再有具有场深的图像要选择时，例如，显示图像的切换可被停止以建立待机状态，并然后根据由用户点击鼠标给出的指令从头开始相同的显示。并且，可通过从具有最深的场深的显示图像开始并且继续到具有依次较浅的场深的显示图像来切换显示图像。可以适用许多其它的显示方法。

图8A至8C示出显示具有不同场深的图像的例子。根据本实施例，可利用用于范围指定的图像显示窗口1001切换显示图像。图8A示出具有最浅的场深的图像、即图9中基准位置6处的图像的例子。图8B示出具有次最浅的场深的图像、即从焦点位置4至7处的4个图像产生的合成图像的例子。图8C示出具有第三最浅的场深的图像、即从焦点位置2至8处的7个图像产生的合成图像的例子。可以看出，对焦的待观察项目的数量按照图8A、图8B和图8C的次序增加。应当注意，只有已被指定为范围的区域1003内的图像部分按照场深的次序被切换，而其它部分作为基准位置6处的图像保持不变。

根据如上所述的配置，使得用户能够非常容易地执行这样的观察：其中，在周边部分的状况正被改变的同时，关注部分被聚焦。这使得用户能够不仅把握关注部分（例如，组织或细胞）的二维结构，而且还把握其三维结构。并且，由于能够指定（收窄）改变场深的范围，因此，即使对于高分辨率和大尺寸的图像也可执行迅速的处理。并且，可在单个显示图像内一起显示具有深的场深的部分（区域1003）和具有浅的场深的部分（区域1003以外的部分），由此使得能够实现使三维观察与二维观察组合的特有观察方法，这对于常规的光学显微镜是不可能的。

<第二实施例>

将描述本发明的第二实施例。已关于用于实现在使焦点位置保持固定的同时改变场深的观察方法的配置进行了对第一实施例的描述。但是，在该第二实施例中，描述了用于实现在使场深保持固定的同时改变焦点位置的观察方法的配置。

（系统配置）

图10是示出根据第二实施例的图像处理系统中的设备的布局的总体图。

根据该第二实施例的图像处理系统由图像服务器1201、图像处理设备102和显示装置103组成。第二实施例与第一实施例的不同在于，尽管第一实施例中的图像处理设备102从成像设备101获取图像，但第二实施例中的图像处理设备102从图像服务器1201获取图像。图像服务器1201和图像处理设备102经由网络1202通过通用I/F LAN线缆1203相互连接。图像服务器1201是具有用于存储由虚拟载片设备捕获的层图像的海量存储装置的计算机。图像处理设备102和显示装置103与第一实施例的那些相同。

虽然在图10所示的例子中图像处理系统由三个组件即图像服务器1201、图像处理设备102和显示装置103组成，但是本发明的配置不限于此。例如，可以使用具有一体化的显示装置的图像处理设备，或者图像处理设备的功能可被集成到图像服务器中。并且，可通过单个设备实现图像服务器、图像处理设备和显示装置的功能。作为替代方案以及相反地，图像服务器和/或图像处理设备的功能可被分割，使得它们由多个设备或装置来实现。

（在固定场深的状态下改变焦点位置的处理）

图11是示出利用虚拟载片设备实现在使场深保持固定的同时改变焦点位置（实际上，聚焦堆叠基准位置）的观察方法的方法的概念图。参照图11，将描述表征本实施例的聚焦堆叠处理的基本概念。

焦点位置1301至1307分别与图3中的图像501至507对应。焦点位置在光轴方向上从1301至1307以相同的节距被偏移。将关于通过聚焦堆叠处理产生具有与三个图像对应的场深的合成图像的例子来进行以下描述。

图像1309是当将基准位置设为1302且将场深设为1308时通过聚焦堆叠处理产生的合成图像。在图像1309中，三个区域1313、1314和1315对焦。

图像1317是当将基准位置设为1303且将场深设为1316时通过聚焦堆叠处理产生的合成图像。图像1317具有与图像1309相同的场深，但在要用作基准的焦点位置方面与图像1309不同。结果，图像1317和图像1309在对焦的区域的位置方面相互不同。在图像1317中，图像1309中的对焦的区域1315不再对焦，而图像1309中的不对焦的区域1312对焦。

图像1319是当将基准位置设为1304且将场深设为1318时通过聚焦堆叠处理产生的合成图像。图像1321是当将基准位置设为1305且将场深设为1320时通过聚焦堆叠处理产生的合成图像。在图像1319中，区域1311至1313对焦，而在图像1321中，区域1310至1312对焦。

这些合成图像1309、1317、1319和1321被产生并且在被自动地或通过用户操作而切换的同时被显示，这使得能够在改变焦点位置的同时以比原始图像深的场深进行观察。

显微镜设备典型地具有浅的场深，因此，即使它在光轴方向上就稍微偏离焦点位置，图像也将失焦。因此，如果关注区域在深度方向上在某个程度上延伸，那么观察变得困难。但是，当通过上述的发明方法将场深放大到希望的深度时，仅仅单个显示图像就使得能够观察对焦的整个关注区域。并且，当在光轴方向上偏移焦点位置的同时顺次观看图像时，如果场深浅，那么即使通过焦点位置的轻微偏移，对象也将容易地失焦，由此易于丢失深度方向上相邻的图像之间的关联性。但是，根据上述的发明方法，合成图像的场深的范围相互重叠，由图像切换导致的聚焦状态的变化变得缓和，这使得易于把握在深度方向上相邻的图像之间的关联性。并且，当场深的放大被限于希望的深度时，模糊将在关注对象的周边中保留。如果模糊在关注对象的周边中保留，那么它将给予用户深度感，并且用户被允许在感受关注对象中的立体效果的同时观看图像。

图11示出合成处理中使用的图像的数量（包含于场深的范围中的图像的数量）与对焦的区域的数量相同并且两个数量均为三个的例子。但是，这些数量一般不必匹配，并且对焦的区域的数量从一个基准位置到另一个而改变。并且，虽然图11示出对焦的区域被改变使得它们偏移到相邻区域的例子，但是实际的结果不限于此。例如，对焦的区域的状态根据对象的状况、捕获图像时的焦点位置或要被设定的场深而不同。

（图像处理设备的操作）

将参照图12至14描述根据第二实施例的图像处理设备102的操作。主处理的流程与第一实施例中描述的图5的流程相同。但是，在本实施例中，图5的步骤S702中的确定被是否在图像服务器1201中存在捕获图像的确定替代。另外，步骤S704中存储图像的目的地被图像服务器1201替代。将详细描述与第一实施例的处理不同之处。

（S706：聚焦堆叠处理的设定）

图14示出根据第二实施例的用于设定聚焦堆叠处理的参数的设定画面的例子。

附图标记1601指示设定窗口。附图标记1602指示用于设定在基准位置的上侧的上聚焦堆叠范围的编辑框。附图标记1603表示用于设定在基准位置的下侧的下聚焦堆叠范围的编辑框。附图标记1604表示用于设定要被显示以用于确认的图像（1608至1610）的基准位置的编辑框。图14示出上聚焦堆叠范围是1、下堆叠范围是2、并且用于图像确认的基准位置在3处的例子。在这种情况下，从包含基准位置处的图像的4个图像产生合成图像。

附图标记1605表示图形地显示在1602至1604中指定的内容的区域。通过使用具有与指示其它图像（焦点位置）的其它线不同的宽度、长度和颜色的线1606来突出显示用于图像确认的基准位置，使得易于区分用于图像确认的基准位置。附图标记1607指示使用焦点位置3作为基准时的场深的范围。

被显示以用于确认的图像1608、1609和1610分别是焦点位置2、3和5处的图像。在所述图像中的每一个中显示步骤S701中指定的范围内的区域。用于确认的这些图像的显示使得能够在检查整个关注对象是否对焦的同时指定合成范围。

应当注意，图14仅示出设定画面的具体例子，并且，可使用任何其它类型的设定画面，只要可在它上面指定合成范围即可。例如，设定画面可使得可通过下拉列表或组合框而不是编辑框来选择合成范围等。作为替代方案，可以使用在如1605所示的GUI上通过用户点击鼠标来指定合成范围等的方法。

一旦在输入设定之后由用户按压合成处理开始按钮1611，图像处理设备102就设立在设定窗口1601中设定的参数，并且开始步骤S707的合成处理。

（步骤S707：合成处理）

图12示出图11所示的合成处理的流程，并且示出根据本实施例的步骤S707中的处理的详细内容。图12与示出根据第一实施例的合成处理的详细流程的图6对应。同样的项目被分配同样的附图标记，并且其描述将被省略。

以与第一实施例中相同的方式执行从步骤S801至步骤S806的处理步骤。在步骤S1401中，图像处理设备102确定首先对其执行合成处理的焦点位置（基准位置），并且以与第一实施例中相同的方式产生合成图像（步骤S808和S809）。在步骤S1402中，图像处理设备102确定是否已对于所有指定的焦点位置完成合成处理，并且，如果存在还没有对其执行合成处理的任何焦点位置，那么步骤S808和S809的处理步骤被重复（步骤S1403）。

在以上的描述中，在步骤S1402中对于所有的焦点位置执行合成处理。但是，当要对于所有的焦点位置执行合成处理时，可能出现合成处理所需要的图像在最上面或最下面的焦点位置处变得不足、并且不能在指定的场深范围中执行合成处理的情况。因此，设定可使得：仅对于在指定的场深范围的范围中可经受合成处理的焦点位置处的图像，执行合成处理。作为替代方案，可以应用各种其它的方法。例如，要对其执行合成处理的焦点位置的范围可由用户指定。

（步骤S709：显示处理）

图13示出根据第二实施例的图像显示处理的详细流程。图13与示出根据第一实施例的图像显示处理的详细流程的图7对应。同样的项目被分配同样的附图标记，并且其描述将被省略。

图像处理设备102在步骤S1501中选择要被首先显示的图像。例如，其焦点位置最接近整个图像的焦点位置的图像或其焦点位置最远离整个图像的焦点位置的图像被选择作为要被首先显示的图像。然后，以与第一实施例中相同的方式显示选择的图像，并且根据指定的显示方法执行用户切换或自动切换。在第一实施例中，当指定用户切换时，通过鼠标轮的UP/DOWN扩大或缩小场深。相对照地，在该第二实施例中，基准位置通过UP向上偏移（步骤S1502），并且基准位置通过DOWN向下偏移（步骤S1503）。当指定自动切换时，在第一实施例中切换场深，而在第二实施例中依次向上或向下偏移基准位置（步骤S1504）。处理的其它特征与第一实施例中的那些相同。

根据上述的配置，使得能够观察通过在多个焦点位置处以希望的场深执行聚焦堆叠获得的多个合成图像。用户被允许观察其场深范围已被扩大的多个合成图像，由此能够比直接观察多个原始图像（层图像）时更容易地把握试样在其深度方向（Z方向）上的结构。

<第三实施例>

将描述本发明的第三实施例。根据本实施例的图像处理设备102的特征之一在于：可通过选择性地执行在以上实施例中描述的合成方法获得合成图像。根据第三实施例的图像处理设备102的另一特征在于：在以上实施例中描述的显示方法和要在后面描述的其它显示方法被选择性地执行。将着眼于这些点进行描述。

图15是示出根据该第三实施例的图像获取的流程的流程图。在步骤S1701中，图像处理设备102允许用户选择图像获取模式。可通过选择图像处理设备102中的本地存储装置、图像服务器1201和成像设备101中的任一个作为图像获取源来获取图像。

当选择本地存储装置（在步骤S1702中为是）时，图像处理设备102从其自身的存储装置获取必要的图像，并且终止处理（步骤S1703）。当图像服务器1201被选择（在步骤S1704中为是）时，图像处理设备102经由网络从图像服务器1201获取必要的图像，并且终止处理（步骤S1705）。当成像设备101被选择（在步骤S1704中为否）时，图像处理设备102向成像设备101传送成像参数和成像请求以使其执行成像，并获取由此捕获的图像（步骤S1706）。

应当注意，图像获取方法不限于图15所示的一种。例如，图像获取源的选项可以是图像处理设备102、图像服务器1201和成像设备101中的两个。并且，可从包括通过专用线连接的存储器、诸如存储卡的记录介质、另一计算机和另一虚拟载片系统的更多选项选择图像获取源。

将参照图16描述根据本实施例的处理的流程。与上述的图5所示的处理流程的项目同样的项目被分配同样的附图标记，并且其描述将被省略。

以与前述实施例相同的方式执行步骤S701至S705的处理步骤。在步骤S1801中，图像处理设备102显示图17A所示的合成处理模式指定画面1901，并且允许用户选择合成处理模式。合成处理模式可选自第一实施例中描述的固定焦点位置模式1902或第二实施例中描述的固定场深模式1903。

在步骤S1802中，处理根据步骤S1801中的选择结果而分支，并且，当选择固定焦点位置模式时，处理前进到步骤S1803。图像处理设备102显示图9所示的设定画面，并且允许用户进行用于固定焦点位置模式的聚焦堆叠处理的设定（步骤S1803）。随后，图像处理设备102在焦点位置固定的状态下执行合成处理（步骤S1804）。相对照地，当选择固定场深模式时，图像处理设备102显示图14所示的设定画面，允许用户进行用于固定场深模式的聚焦堆叠处理的设定（步骤S1805），并然后在场深固定的状态下执行合成处理（步骤S1806）。

接下来，在步骤S1807中，图像处理设备102显示图17B所示的显示模式指定画面2001，以允许用户指定显示模式。显示模式可选自单显示模式2002或多显示模式2003。

当单显示模式被选择（在步骤S1808中为是）时，如图8A至8C所示，图像处理设备102在以时分的方式顺次切换多个合成图像的同时逐个显示它们（步骤S1809）。当多显示模式被选择（在步骤S1808中为否）时，图像处理设备102以多显示模式执行显示（步骤S1810）。

图18示出步骤S1810中的多显示模式中显示的画面的例子。在图像显示窗口2101中显示了在空间上布置的多个合成图像2102至2109。多显示模式中的显示方法不限于图18所示的例子。例如，方法可使得在图像显示窗口内以布置好的方式（in arrangement）显示多个图像中的一些而不是所有图像，并且通过鼠标滚动操作等依次切换显示的图像。只要在多显示模式中在不同的位置处同时显示至少两个或更多个图像以使得用户可比较多个图像，就可采用任何其它的方法。

可通过上述方法以外的方法选择合成处理模式。例如，图像处理设备102在程序启动时等显示图17A的画面以允许用户选择合成处理模式，并且在步骤S1802中检索已被存储的所选择的合成处理模式。并且，代替设置专用于模式选择的如图17A所示的窗口，可以在图9和图14所示的合成处理设定画面中设置用于选择合成处理模式的UI。

同样地，也可通过上述方法以外的方法选择显示模式。例如，图像处理设备102在程序启动时等显示图17B的画面以允许用户选择显示模式，并且在步骤S1808中检索已被存储的所选择的显示模式。并且，代替设置专用于模式选择的如图17B所示的窗口，可以在图8和图18所示的图像显示画面中设置用于选择显示模式的UI。

虽然已关于合成处理模式和显示模式可双向改变的例子描述了本实施例，但它不限于此。例如，这些模式可仅在一个方向上是可改变的。并且，关于合成处理模式的选择，可包括用于切换到其它的图像处理模式的选项。同样地，关于显示模式的选择，可包括用于切换到其它的显示模式的选项。其它的显示模式例如包括：只显示还没有经受聚焦堆叠处理的原始图像（层图像）的显示模式；以及已经受聚焦堆叠处理的图像和还没有经受聚焦堆叠处理的图像两者都被显示以使得它们可被比较的显示模式。用于显示经受聚焦堆叠处理的图像和未经受聚焦堆叠处理的图像以使它们可相互比较的显示模式的提供使得能够把握已通过聚焦堆叠处理而从另一图像切出并合成的区域的在它被原始成像时的状况。这使得能够在比较处于其清晰状况中的图像和处于具有深度感的状况中的图像的同时观看该图像。

上述的配置使得能够通过希望的方法合成在多个焦点位置处成像的图像。并且，还使得能够通过希望的方法显示合成的图像。结果，用户能够通过选择性地切换合成处理模式和显示模式来根据对象的成像结果获得最佳的合成和显示结果。

<其它实施例>

所描述的实施例仅代表本发明的具体例子，并且本发明的配置不限于这些具体例子。

例如，虽然在第一和第二实施例中用户切换和自动切换是可选择的选项，但是显示方法可以仅是它们中的一个。并且，用户切换和自动切换可被组合在一起。并且，还能够在不指定范围的情况下对在图8A的1002处显示的整个区域执行合成处理，并且显示该合成处理区域的图像。并且，要在被切换的同时显示的图像可不仅包含合成处理之后的图像，而且还包含合成处理之前的在各焦点位置处捕获的图像（层图像）。在这种情况下，供选择的选项可包含用于仅显示作为合成处理的结果而获得的图像的模式、用于仅显示合成处理之前的图像的模式、以及用于显示包括作为合成处理的结果而获得的图像和合成处理之前的图像的所有图像的模式。

虽然在上述的实施例中示出诸如场深的变化范围和基准位置的参数被指定的处理流程，但本发明不限于此。例如，预设的参数可被存储，使得在指定范围（1003）或者启动程序时检索存储的参数。这消除了显示图9或图14所示的设定画面的需要，并且使得能够仅通过图8A所示的图像显示画面上的操作来观察希望的图像。

并且，尽管已关于焦点位置和场深中的一个被改变同时另一个被固定的处理的例子进行第一实施例和第二实施例的描述，但本发明不限于此。例如，还能够通过改变焦点位置和场深两者来产生合成图像，使得这些合成图像可被切换显示。在这种情况下，可以选择三种模式，即，固定焦点/可变场深模式、固定场深/可变焦点模式和可变焦点/可变场深模式。

并且，在第一到第三实施例中描述的配置可被相互组合。例如，可在第一实施例的系统配置中执行根据第二实施例的图像合成处理和图像显示处理，并且相反，可在第二实施例的系统配置中执行根据第一实施例的图像合成处理和图像显示处理。通过组合根据上述实施例的各种技术而获得的各种其它配置也落在本发明的范围内。

虽然在上述的实施例中通过鼠标轮操作来指示图像切换，但是也可通过诸如跟踪板、跟踪球或操纵杆的指点（pointing）装置的滚动操作来指示图像切换。并且，也可通过键盘的预定键（例如，垂直shift键或page UP/DOWN键）来给出指令。

也可通过读出并执行记录在存储装置上的程序以执行上述实施例的功能的系统或设备的计算机（或者诸如CPU或MPU的装置）、以及通过由系统或设备的计算机通过例如读出并执行记录在存储装置上的程序以执行上述实施例的功能而执行其步骤的方法，来实现本发明的各方面。出于这种目的，例如经由网络或从用作存储装置的各种类型的记录介质（例如，非暂态计算机可读介质）给计算机提供该程序。

虽然已参照示例性实施例描述了本发明，但要理解，本发明不限于公开的示例性实施例。以下的权利要求的范围要被赋予最宽的解释，以包含所有这样的修改以及等同的结构和功能。

本申请要求在2011年3月30日提交的日本专利申请No.2011-074603的权益，在此通过引用而并入其全部内容。

Claims (13)

1.一种图像处理设备，包括：

图像获取单元，用于获取通过在不同的焦点位置处将对象成像所获得的多个原始图像；

图像产生单元，用于从所述多个原始图像产生多个观察图像，观察图像至少在焦点位置或场深方面相互不同；以及

图像显示单元，用于在显示装置上显示观察图像，

其中，图像产生单元通过在使选择的原始图像的组合不同的同时多次执行合成处理来产生所述多个观察图像，所述合成处理用于从所述多个原始图像中选择两个或更多个原始图像并使选择的原始图像聚焦堆叠以产生单个观察图像；以及

当在显示装置上显示的观察图像被切换时，图像显示单元选择要被显示的观察图像，使得焦点位置或场深依次改变。

2.根据权利要求1的图像处理设备，其中，图像产生单元确定要被选择的原始图像的组合，使得所述多个观察图像具有相同的焦点位置和相互不同的场深。

3.根据权利要求1的图像处理设备，其中，图像产生单元确定要被选择的原始图像的组合，使得所述多个观察图像具有相同的场深和相互不同的焦点位置。

4.根据权利要求1至3中任一项的图像处理设备，还包括：范围指定单元，用于允许用户从原始图像中指定要对其执行合成处理的目标范围，

其中，图像产生单元仅对于由范围指定单元指定的目标范围内的图像的部分产生观察图像。

5.根据权利要求4的图像处理设备，其中，图像显示单元在显示装置上显示其中观察图像被并入到原始图像中的目标范围的部分中的图像。

6.根据权利要求1至5中任一项的图像处理设备，其中，图像显示单元自动地或通过用户的操作切换在显示装置上显示的观察图像。

7.根据权利要求6的图像处理设备，其中，用户的操作是利用指点装置进行的滚动操作或者键盘的预定键的按压。

8.根据权利要求1至7中任一项的图像处理设备，还包括：模式指定单元，用于允许用户从多个显示模式中指定要使用的显示模式，所述多个显示模式包括用于以时分的方式依次显示多个图像的模式和用于显示在空间上布置的多个图像的模式，

其中，图像显示单元根据由模式指定单元指定的显示模式来显示所述多个观察图像。

9.一种图像处理设备，包括：

图像获取单元，用于获取通过在不同的焦点位置处将对象成像所获得的多个原始图像；

图像产生单元，用于从所述多个原始图像产生多个观察图像；以及

图像显示单元，用于在显示装置上显示观察图像，

其中，图像产生单元通过在使选择的原始图像的组合不同的同时多次执行合成处理来产生所述多个观察图像，所述合成处理用于从所述多个原始图像中选择两个或更多个原始图像并使选择的原始图像聚焦堆叠以产生单个观察图像，并且所述图像产生单元确定选择的原始图像的组合，使得所述多个观察图像具有相同的焦点位置和相互不同的场深。

10.一种成像系统，包括：

成像设备，用于通过在不同的焦点位置处将对象成像来产生多个原始图像；以及

根据权利要求1至9中任一项的图像处理设备，用于从成像设备获取所述多个原始图像。

11.一种图像处理系统，包括：

服务器，用于存储通过在不同的焦点位置处将对象成像所获得的多个原始图像；以及

根据权利要求1至9中任一项的图像处理设备，用于从服务器获取所述多个原始图像。

12.一种存储于非暂态计算机可读介质上的计算机程序，所述程序使计算机执行包括以下步骤的方法：

获取通过在不同的焦点位置处将对象成像所获得的多个原始图像；

从所述多个原始图像产生多个观察图像，观察图像至少在焦点位置或场深方面相互不同；以及

在显示装置上显示观察图像，

其中，在产生观察图像的步骤中，通过在使选择的原始图像的组合不同的同时多次执行合成处理来产生所述多个观察图像，所述合成处理用于从所述多个原始图像中选择两个或更多个原始图像并使选择的原始图像聚焦堆叠以产生单个观察图像；以及

在显示观察图像的步骤中，当观察图像被切换时，要被显示的观察图像被选择，使得焦点位置或场深依次改变。

13.一种存储于非暂态计算机可读介质上的计算机程序，所述程序使计算机执行包括以下步骤的方法：

获取通过在不同的焦点位置处将对象成像所获得的多个原始图像；

从所述多个原始图像产生多个观察图像；以及

在显示装置上显示观察图像，

其中，在产生观察图像的步骤中，通过在使选择的原始图像的组合不同的同时多次执行合成处理来产生所述多个观察图像，所述合成处理用于从所述多个原始图像中选择两个或更多个原始图像并使选择的原始图像聚焦堆叠以产生单个观察图像；以及

选择的原始图像的组合被确定，使得所述多个观察图像具有相同的焦点位置和相互不同的场深。

Images