CN101542353A

CN101542353A - 图像处理装置、图像处理程序和观察系统

Info

Publication number: CN101542353A
Application number: CNA2007800435209A
Authority: CN
Inventors: 米谷信彦
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-12-01
Filing date: 2007-11-27
Publication date: 2009-09-23
Anticipated expiration: 2027-11-27
Also published as: US20090226061A1; JP2008139579A; EP2088460A1; EP2088460B1; JP4973162B2; WO2008068891A1; CN101542353B; EP2088460A4; US8150137B2

Abstract

本发明的主题是提供一种图像处理装置和图像处理程序，当执行样本的追踪观察时，其能够减轻用户的负担。另外，本发明的主题还有提供一种用户友好的观察系统。因此，本发明的图像处理装置包括存储单元，所述存储单元取得通过在不同的时间点执行的每一Z堆叠摄影从样本的特定区域获得的多个片图像，所述存储单元将所述多个片图像的每个都与摄影时间点和所述摄影时间点的片高度z相关联，并且将所述多个片图像存储为多个片图像组之一；手动选择单元，所述手动选择单元允许用户从由所述存储单元存储的多个片图像组的一个片图像组中手动地选择片图像，作为所述一个片图像组的代表片图像(Ia，Ib，Ic，…)；以及自动选择单元，所述自动选择单元根据表示手动选择的结果的选择标准信息，自动地从由所述存储单元存储的多个片图像组中的另外一个片图像组中选择片图像作为所述另外一个片图像组的代表片图像。

Description

图像处理装置、图像处理程序和观察系统

技术领域

本发明涉及图像处理装置和图像处理程序，所述图像处理装置和图像处理程序被应用到培养细胞等的观察装置。另外，本发明涉及包括观察装置和图像处理装置的观察系统。

背景技术

为了观察培养细胞在时间上的变化，延时摄影(time-lapseshooting)(参见专利文献1等)是有效的，其以恒定的时间间隔执行多次摄影。另外，为了沿着培养细胞的深度方向观察情况，Z堆叠摄影(参见专利文献2等)是有效的，其在沿着光轴方向(z方向)移位物镜的焦平面的同时多次执行摄影。

通过以上述两者结合的方式(Z堆叠延时摄影)来执行摄影，即使在摄影的过程中用户感兴趣的样本(例如，特定的细胞器官)沿着深度方向被移位，也可以防止图像的失败捕捉。

典型地，在各轮摄影中获得的片图像组(slice image group)被输入到计算机中。计算机允许用户从各轮的片图像组中一个接一个地选择聚焦于用户感兴趣的样本的片图像。通过以各轮的顺序连接所选择的片图像，也可以获得用于样本的追踪观察的电影图像文件。

专利文献1：日本未审查专利申请公开No.2006-220904

专利文献2：WO 2003/073365

发明内容

本发明要解决的问题

然而，用户的上述任务是非常繁重的。例如，如果堆叠数是30，则用户需要比较30个片图像，并且如果轮数是100，用户需要重复比较100次。

因此，本发明的主题是提供图像处理装置和图像处理程序，当执行样本的追踪观察时，其能够减轻用户的负担。另外，本发明的主题还在于提供给用户友好的观察系统。

解决问题的方式

本发明的图像处理装置包括：存储单元，所述存储单元取得通过在不同的时间点执行的每一Z堆叠摄影从样本的特定区域而获得的多个片图像，所述存储单元将所述多个片图像的每个都与摄影时间点和所述摄影时间点的片高度z相关联，并且将所述多个片图像存储为多个片图像组之一；手动选择单元，所述手动选择单元允许用户手动地从由所述存储单元存储的多个片图像组中的一个片图像组中选择片图像，作为所述一个片图像组的代表片图像；以及自动选择单元，所述自动选择单元基于表示手动选择的结果的选择标准信息，自动地从由所述存储单元存储的多个片图像组中的另外一个片图像组中选择片图像，作为所述另外一个片图像组的代表片图像。

这里，优选的是，所述选择标准信息包括堆叠坐标(t，z)，其表示所述手动选择的片图像的所述摄影时间点t和所述片高度z。

另外，所述一个片图像组的数目等于或大于二，并且假定从两个或者更大数目个的所述一个片图像组中手动地选择的两个或更多个片图像的堆叠坐标为(t₁，z₁)，(t₂，z₂)，…，优选的是，所述自动选择的片图像的堆叠坐标(t’，z’)位于在t-z平面上由所述坐标(t₁，z₁)，(t₂，z₂)，…定义的曲线附近。

优选的是，所述曲线是样条曲线。

另外，优选的是，所述选择标准信息包括手动选择的片图像的图案信息。

另外，本发明的图像处理程序包括：存储操作，所述存储操作取得通过在不同的时间点执行的每一Z堆叠摄影从样本的特定区域获得的多个片图像，所述存储操作将所述多个片图像的每个都与摄影时间点和所述摄影时间点的片高度z相关联，并且将所述多个片图像存储为多个片图像组之一；手动选择操作，所述手动选择操作允许用户手动地从由所述存储操作存储的多个片图像组中的一个片图像组中选择片图像，作为所述一个片图像组的代表片图像；以及自动选择操作，所述自动选择操作基于表示手动选择的结果的选择标准信息，自动地从由所述存储操作存储的多个片图像组中的另外一个片图像组中选择片图像，作为所述另外一个片图像组的代表片图像。

这里，优选的是，所述选择标准信息包括堆叠坐标(t，z)，其表示手动选择的所述片图像的所述摄影时间点t和所述片高度z。

另外，所述一个片图像组的数目等于或大于二，并且假定从两个或者更大数目个的所述一个片图像组中手动地选择的两个或更多片图像的堆叠坐标为(t₁，z₁)，(t₂，z₂)，…，优选的是，所述自动选择的片图像的堆叠坐标(t’，z’)位于在t-z平面上由所述坐标(t₁，z₁)，(t₂，z₂)，…定义的曲线附近。

优选的是，所述曲线是样条曲线。

另外，本发明的观察系统的特征在于，其包括观察装置和本发明的任何图像处理装置，其中，所述观察装置通过在不同时间点执行的每一Z堆叠摄影从样本的特定区域获得多个片图像。

发明效果

根据本发明，提供了一种图像处理装置和图像处理程序，当执行样本的追踪观察时，其能够减轻用户的负担。因此，根据本发明，可以实现用户友好的观察系统。

附图说明

图1示出了显微镜的构造。

图2是计算机170的关于Z堆叠延时摄影的操作流程图。

图3是计算机170的关于用于追踪观察的电影图像文件的生成的操作流程图。

图4是列表显示画面。

图5是预览画面。

图6是计算机170的关于片图像的自动选择的操作流程图。

图7是解释片图像的自动选择的图。

图8是图6中所示的操作流程图的示例性变化。

具体实施方式

[实施例]

将介绍本发明的实施例。本实施例是显微镜系统的实施例。

首先，将介绍显微镜系统的构造。

图1示出了显微镜的构造。如在图1中所示，显微镜系统包括装置主体10、计算机170、监视器160以及输入设备180。装置主体10包括显微镜部150，透射照明部40、冷却相机300、激励光源70以及光纤7。

显微镜部150包括台23、物镜部27、荧光滤波器部34、成像透镜38、偏转镜452、场透镜411、和聚光透镜41，并且透射照明部40包括用于透射照明的光源47、场透镜44、和偏转镜45。

包括透明培养容器20的腔100被安装在台23上。培养容器20填充有培养基，在培养基中，通过荧光物质标识的培养细胞正在生长。为了从腔100外部观察培养的细胞，腔100的下表面的一部分a和腔100的上表面的一部分b被分别做成透明的。虽然对其中培养容器20的上表面是打开的情形提供了描述，但是，为了简易，培养容器20的上表面可以被由与培养容器20相同的物质制成的盖覆盖。

多种类型的物镜沿着图1的X方向被附于物镜部27，其中，当通过机械装置(未示出)沿着X方向驱动物镜部27时，设置在装置主体10的光路中的物镜的类型被切换。在计算机170的控制下执行该切换。

多种类型的滤波器块沿着图1的X方向被附于荧光滤波器部34，其中，当通过机械装置(未示出)沿着X方向驱动荧光滤波器部34时，设置在装置主体10的光路中的滤波器块的类型被切换。同样，在计算机170的控制下执行该切换。

根据应该设置在装置主体10内的观察技术，计算机170切换设置在光路中的物镜的类型和设置在光路中的滤波器块的类型的组合。在下文中，假设通过上述切换在相位差观察和两种类型的荧光观察之间切换装置主体10的观察技术。

这里，在相位差观察和荧光观察之间，设置在光路中的滤波器块的类型和设置在光路中的物镜的类型都是不同的，而在两种荧光观察之间，仅仅设置在光路中的滤波器块的类型是不同的。另外，在相位差观察和荧光观察之间，照明方法也是不同的。

在相位差观察期间，计算机170接通用于透射照明的光源47，从而使透射照明部40的光路有效，而在荧光观察期间，接通激励光源70，从而使落射式照明部的光路(依次通过激励光源70、光纤7、聚光透镜41、场透镜411、偏转镜452、荧光滤波器部34、物镜部27的光路)有效。这里，当用于透射照明的光源47被接通时，激励光源70被关闭，并且当激励光源70被接通时，用于透射照明的光源47被关闭。

在相位差观察期间，从用于透射照明的光源47发射的光经由场透镜44、偏转镜45和腔100的透明部b而照明在培养容器20中的观察点c。透射通过观察点c的光经由培养容器20的下表面、腔100的透明部a、物镜部27、荧光滤波器部34、成像透镜38到达冷却相机300的光接收表面，以形成观察点c的相位差图像。当在这种条件下驱动冷却相机300时，相位差图像被捕捉以生成图像数据。图像数据(相位差图像的图像数据)被输入到计算机170中。

在荧光观察期间，从激励光源70发射的光经由光纤7、聚光透镜41、场透镜411、偏转镜452、荧光滤波器部34、物镜部27、腔100的透明部a、和培养容器20的下表面照明在培养容器20中的观察点c，由此，存在于观察点c的荧光物质受激以发射荧光。荧光经由培养容器20的下表面、腔100的透明部a、物镜部27、荧光滤波器部34、成像透镜38到达冷却相机300的光接收表面，以形成观察点c的荧光图像。当在这种条件下驱动冷却相机300时，荧光图像被捕捉以生成图像数据。图像数据(荧光图像的图像数据)被输入到计算机170中。

这里，通过对台23的XY坐标和物镜部27的沿着光轴方向的观察位置(Z坐标)进行控制，计算机170控制在培养容器20中的观察点c的XYZ坐标。

另外，环境控制装置(未示出)经由硅管耦合到腔100，由此，在腔100内的湿度和CO₂密度被分别控制到接近预定值。另外，通过热交换器(未示出)，在腔100周围的环境大气被适当地流通，由此，在腔100内的温度也被控制到接近预定值。腔100的该湿度、CO₂密度和温度被计算机170经由传感器(未示出)监控。另一方面，冷却相机300被容纳在不同于装置主体10的其他部分的箱体中，并且被保持基本等于装置主体10外部的温度，而不管腔100内的温度如何。

另外，用于观察的程序被预先安装在计算机170内，并且计算机170根据程序操作。用于观察的程序包括关于下述的Z堆叠延时摄影的程序和关于用于追踪观察的电影图像文件的生成的程序。

接下来，将描述计算机170的关于Z堆叠延时摄影的操作。这里，经由输入设备180执行由用户进行的到计算机170的任何信息输入。

图2是计算机170的关于Z堆叠延时摄影的操作流程图。如在图2中所示，计算机170首先将装置主体10的观察技术设置为相位差观察(准确地，低放大倍率的相位差观察)，并且获取在该条件下的活动图像(live image)的图像数据，然后将其显示在监视器160上(步骤S11)。

这里，可以显示粗视视图图像(macro view image)来代替活动图像。粗视视图图像是培养容器20的相对较大区域的图像。当获取粗视视图图像的图像数据时，计算机170可以在沿着XY方向移动在培养容器20中的观察点c的同时重复地获取相位差图像的图像数据，并且将多个的获取的图像数据合成单一图像的图像数据。单个的图像数据是所谓的平铺显示图像(tile image)的图像数据，而合成图像数据是粗视视图图像的图像数据。

用户在观察显示在监视器160上的活动图像的同时确定Z堆叠延时摄影的条件(间隔、轮数、观察点的XY坐标、观察技术、堆叠数等)。

当由用户输入条件(在步骤S12中是)时，计算机170生成其中写入条件的方案(recipe)(步骤S13)。该方案被存储在例如计算机170的硬盘中。在下文中，被写入该方案中的间隔、轮数、观察点的XY坐标、观察技术、堆叠数被分别称为“指定间隔”、“指定轮数”、“指定点的XY坐标”、“指定观察技术”、“指定堆叠数”。为简便，假设指定点的数量是1，并且指定观察技术的数量是1。

接着，当由用户输入开始Z堆叠延时摄影的指令时(步骤S14)，计算机170将在培养容器20中的观察点c的XY坐标与指定点的XY坐标匹配，将装置主体10的观察技术设置为指定观察技术，并且执行第一轮的Z堆叠摄影(步骤S15a)。

在第一轮Z堆叠摄影中，计算机170以指定堆叠数来逐步地移动在培养容器20中的观察点c的Z坐标，并且当观察点c的Z坐标处于每个位置时获取图像数据。获取的图像数据的每个都是片图像的图像数据。按照这种方式，完成第一轮的片图像组的获取。

接着，计算机170从第一轮摄影的开始时间起等待指定间隔(步骤S15b)，执行第二轮的Z堆叠摄影(步骤S15a)以获取第二轮的片图像组。按照与第一轮相同的方式执行第二轮的Z堆叠摄影。

此外，重复上述Z堆叠摄影(步骤S15a)，直到完成的轮数达到指定轮数(直到在步骤S15c中达到是)。作为所有轮的结果而获取的片图像组被存储在计算机170的硬盘中。按照这种方式，完成Z堆叠延时摄影。

接着，将描述计算机170的关于用于追踪观察的电影图像文件的生成的操作。在Z堆叠延时摄影(图2)完成之后执行该操作。另外，由用户进行的到计算机170的任何信息输入都经由输入设备180执行。

图3是计算机170的关于用于追踪观察的电影图像文件的生成的操作流程图。如在图3中所示，计算机170读取在Z堆叠延时摄影中获取的每一轮的片图像组，并且在监视器160上显示片图像的列表显示画面(步骤S21)。

如在图4中所示，诸如预览按钮B₃、确认按钮B₄和片图像的显示区域A₁这样的GUI图像被布置在列表显示画面上。在显示区域A₁上的每个片图像的布置取决于片图像的堆叠坐标(t，z)。堆叠坐标(t，z)的分量t对应于片图像的摄影定时，并且摄影定时t在一轮的片图像组的片图像间是公有的。堆叠坐标(t，z)的分量z是片图像的片高度，并且对应于在摄影期间观察点c的Z坐标。

在显示区域A₁中，垂直排列的片图像是同一轮的片图像组。在显示区域A₁中，在水平排列的片图像之间片高度z是公有的。

当不是所有的片图像都适配在显示区域A₁中时，计算机170将诸如垂直滚动条B₁或水平滚动条B₂这样的GUI图像布置在显示区域A₁的周边，并且，根据在其上的用户操作，改变在显示区域A₁上显示的片图像的显示范围。

用户利用他的眼睛观察显示区域A₁并且选择已经聚焦在他感兴趣的样本(例如，特定的细胞器官)上的片图像。如果鼠标被用作输入设备180，在已经将在显示区域A₁上的光标移动到期望的片图像之后，用户可以点击鼠标。计算机170以倒转的方式显示例如选择的图像，从而将其与未选择的片图像区分。

这里，用户从其开始选择片图像的轮不必是所有轮，而是至少两轮应该就足够了。因此，与其中从所有轮的每一片图像组中选择一个片图像的情形相比，用户的负担被巨大地减轻了。

例如，图4示出了如下所述的情形，即，其中，片图像Ia从第一轮的片图像组中选择，片图像Ib从第四轮的片图像组中选择，片图像Ic从第五轮的片图像组中选择。

接着，当用户选择预览按钮B₃时(在步骤S22中是)，计算机170识别用户的选择的内容，由此，完成了由用户进行的片图像的手动选择操作。

接着，基于识别的手动选择操作的内容，用户170从不是手动选择的目标的轮(未确定的轮)中一个接一个地执行片图像的自动选择(步骤S23)。下面将描述自动选择(步骤S23)的细节。

当完成自动选择时，计算机170按照轮的顺序连接自动选择的片图像和手动选择的片图像以生成用于预览的电影图像，并且在监视器160上显示预览画面(步骤S24)。这里，在单个的片图像的图像尺寸被减小以用于显示之后，用于预览的电影图像被连接。

如在图5中所示，诸如返回按钮B₅、确认按钮B₆和控制部B₇这样的GUI图像和用于预览的电影图像的显示区域A₂被布置在预览画面上。用户在操作控制部B₇的同时检查在显示区域A₂上的电影图像，并且，如果电影图像是令人满意的，则选择确认按钮B₆，或者，如果电影图像不是令人满意的，则选择返回按钮B₅。

如果选择了确认按钮B₆(在步骤S25中是)，则计算机170生成用于存储的电影图像，其中所述图像具有与用于预览的电影图像相同的内容，并且将其存储在硬盘中，作为具有诸如WMV、AVI等格式的电影图像文件(步骤S26)。用于存储的电影图像是单个的片图像的连接，同时没有减小其图像尺寸。

如果选择了返回按钮B₅(在步骤S29中是)，则计算机170返回到步骤S21，并且将监视器160的画面切换到列表显示画面(图4)。

这里，如果用户确定预览画面的显示是不必要的，则用户可以在已经在列表显示画面(图4)上手动选择片图像之后选择确认按钮B₄(在步骤S27中是)。在这种情况下，在已经自动选择片图像(步骤S23)之后，计算机170立即开始存储电影图像文档(步骤S26)。

接着，将详细地介绍计算机170的关于片图像的自动选择的操作。

图6是计算机170的关于片图像的自动选择的操作流程图，并且图7是片图像的自动选择的解释图。

在图7中所示的平面是t-z平面，其中，每个块表示每个片图像。块的中心位置表示每个片图像的堆叠坐标(t，z)。这里，假设由深阴影线表示的七个片图像被手动地选择。在这种情况下，未确定的轮是第二、第三、第五、第七到第九，第十一到第十六，以及第十八第二十二轮。在下文中，按照轮的顺序将手动选择的七个片图像的堆叠坐标表示为(t₁，z₁)，(t₂，z₂)，…(t₇，z₇)。

当执行自动选择时，计算机170首先计算出通过在t-z平面上的堆叠坐标(t₁，z₁)，(t₂，z₂)，…(t₇，z₇)的每个的样条曲线S。典型地，样条曲线S是平滑的曲线。然而，在手动选择的片图像的数量仅仅是二的情况下，样条曲线S是直线。

接着，从在所有未确定的轮中的每个片图像组中，计算机170一个接一个地选择具有接近样条曲线S的堆叠坐标的片图像(步骤S32)。在如图7中所示的例子中，选择由浅阴影线表示的十七个片图像，由此，完成片图像的自动选择。

如在图7中所示，在t-z平面，十七个自动选择的片图像(浅阴影部分)平滑地插入到手动选择的七个片图像(深阴影部分)的间隙之间。另外，典型地，与急剧变化的情况相比，在培养细胞内的细胞器官中发生的沿着深度方向的移位更频繁出现的是渐进的情况。因此，如果在每个手动选择的片图像中样本都被清晰地捕捉，则很可能的是，在每个自动选择的片图像中也清晰地捕捉同一样本。因此，通过以轮的顺序连接手动选择的片图像和自动选择的片图像而生成的电影图像以高准确度来追踪样本。

作为上述的结果，本实施例的计算机170可以将样本的追踪准确度保持到特定的程度，同时减小用户的负担。

另外，因为本实施例的计算机170将手动选择的片图像的数目设置成任意的(等于或大于二的任意数目)，所以用户可以自由地将手动选择的图像的数量增加以提高样本的追踪准确度，或减小手动选择的图像的数量以提高操作效率。

另外，因为本实施例的计算机170将手动选择的目标轮数设置为任意的数目，所以用户可以在列表显示画面上找到其中沿着样本的深度方向的移位较大的位置，并且可以在该位置附近增加手动选择的目标轮数，而在其它位置附近减小手动选择的目标轮数。按照这种方式，可以最大地提高追踪准确度和操作效率。

另外，虽然本实施例的计算机170仅仅基于片图像的堆叠坐标来确定自动选择，但是可以将片图像的图案信息与片图像的堆叠坐标结合。在这种情况下，例如，计算机170可以执行在图8中所示操作流程图，而不是在图6中所示操作流程图。

根据该操作流程图，计算机170首先计算样条曲线S(步骤S31)。

接着，计算机170从未确定轮的每个片图像组中选择具有接近样条曲线S的堆叠坐标的两个片图像(步骤S32’)。与步骤S32的区别在于选择的片图像的数目被设置为每轮两个。按照这种方式，对于一个未确定的轮，选择两个片图像选项。

计算机170还计算手动选择的片图像的对比度值C(步骤S33)。例如，通过平均所有手动选择的片图像的对比度值而获得对比度值C。

计算机170然后从未确定轮的片图像选项中选择其对比度更接近对比度值C的片图像选项(步骤S34)。按照这种方式，片图像选项选项的数目被降低到每未确定轮一个，并且由此完成自动选择。

如所述，根据操作流程图，自动选择以下的片图像，其中，所述片图像具有靠近样条曲线S的堆叠坐标并且还具有接近对比度值C的对比度。

如所观察到的，如果计算机170将片图像的图案信息(这里，是对比度信息)添加为自动选择的确定标准，则可以提高样本的追踪准确度，而不增加手动选择的片图像的数目，或者在保持样本的追踪准确度的同时减小手动选择的片图像的数目。

这里，虽然在图8中所示的操作流程图的步骤S32’中，片图像选项的数目被降低到二，但是可以为三或更多。

另外，虽然在图8中所示操作流程图中，片图像的对比度值被用作片图像的图案信息，但是也可以采用片图像的边缘量(edge quantity)等。

另外，虽然上述实施例的计算机170在步骤S32或S32’以及步骤S33中使用样条曲线，但是可以使用诸如贝塞尔曲线的其它曲线来代替样条曲线。注意，贝塞尔曲线是经过自动选择的片图像的堆叠坐标附近的曲线，但是它不必通过自动选择的片图像的堆叠坐标。

注意，虽然典型的样条曲线是二阶样条曲线，但是诸如三阶样条曲线的具有等于或大于三的阶的样条曲线可以在本实施例中使用。另外，由诸如最小二乘法、拉格朗日插值、或埃尔米特插值的至少一种方法得出的曲线也可以在本实施例中使用，来代替使用样条曲线或贝塞尔曲线。

另外，虽然上述实施例的计算机170在步骤S32或S32’以及步骤S33中使用样条曲线，但是，可以使用折线来代替样条曲线。在这种情况下，虽然样本的追踪准确度可能略有降低，但是自动选择需要的计算量可以被减小。

另外，在上述实施例的显微镜系统中，虽然由装置主体10所获得的图像数据的处理(图像处理)中使用了计算机170，但是对于整个图像处理或图像处理的一部分，可以使用图像处理装置(装置主体10专有的图像处理装置)。

Claims

1.一种图像处理装置，包括：

存储单元，所述存储单元取得通过在不同的时间点执行的每一Z堆叠摄影从样本的特定区域获得的多个片图像，所述存储单元将所述多个片图像的每个都与摄影时间点和所述摄影时间点的片高度z相关联，并且将所述多个片图像存储为多个片图像组之一；

手动选择单元，所述手动选择单元允许用户手动地从由所述存储单元存储的多个片图像组中的一个片图像组中选择片图像，作为所述一个片图像组的代表片图像；以及

自动选择单元，所述自动选择单元基于表示手动选择的结果的选择标准信息，自动地从由所述存储单元存储的多个片图像组中的另外一个片图像组中选择片图像，作为所述另外一个片图像组的代表片图像。

2.根据权利要求1所述的图像处理装置，其中

所述选择标准信息包括：

堆叠坐标(t，z)，所述堆叠坐标表示所述手动选择的片图像的摄影时间点t和片高度z。

3.根据权利要求2所述的图像处理装置，其中

所述一个片图像组的数目等于或大于二，并且

假定从两个或更大数目个的所述一个片图像组中手动地选择的两个或更多片图像的堆叠坐标为(t₁，z₁)，(t₂，z₂)，…，

所述自动选择的片图像的堆叠坐标(t’，z’)位于在t-z平面上由所述坐标(t₁，z₁)，(t₂，z₂)，…定义的曲线附近。

4.根据权利要求3所述的图像处理装置，其中

所述曲线是样条曲线。

5.根据权利要求1到4中的任一项所述的图像处理装置，其中

所述选择标准信息包括所述手动选择的片图像的图案信息。

6.一种图像处理程序，包括：

存储操作，所述存储操作取得通过在不同的时间点执行的每一Z堆叠摄影从样本的特定区域获得的多个片图像，所述存储操作将所述多个片图像的每个都与摄影时间点和所述摄影时间点的片高度z相关联，并且将所述多个片图像存储为多个片图像组之一；

手动选择操作，所述手动选择操作允许用户手动地从由所述存储操作存储的多个片图像组中的一个片图像组中选择片图像，作为所述一个片图像组的代表片图像；以及

自动选择操作，所述自动选择操作基于表示手动选择的结果的选择标准信息，自动地从由所述存储操作存储的多个片图像组中的另外一个片图像组中选择片图像，作为所述另外一个片图像组的代表片图像。

7.根据权利要求6所述的图像处理程序，其中

所述选择标准信息包括：

8.根据权利要求7所述的图像处理程序，其中

所述一个片图像组的数目等于或大于二，并且

假定从两个或者更大数目个的所述一个片图像组中手动地选择的两个或更多片图像的堆叠坐标为(t₁，z₁)，(t₂，z₂)，…，

所述自动选择的片图像的堆叠坐标(t’，z’)位于在t-z平面上由坐标(t₁，z₁)，(t₂，z₂)，…定义的曲线附近。

9.根据权利要求8所述的图像处理程序，其中

所述曲线是样条曲线。

10.根据权利要求6到9中的任一项所述的图像处理程序，其中，所述选择标准信息包括所述手动选择的片图像的图案信息。

11.一种观察系统，包括：

观察装置，所述观察装置通过在不同时间点执行的每一Z堆叠摄影从样本的特定区域获得多个片图像；以及

根据权利要求1到5中的任一项所述的图像处理装置。