CN109691083A - 图像处理方法、图像处理装置及摄像装置 - Google Patents

Abstract

本发明首先对于一边使焦点位置变化一边拍摄到的多个拍摄图像，计算每个像素的锐度。接着，对于每个坐标决定应参照的拍摄图像的序号即图像参照值。接下来，对于每个坐标，基于图像参照值与锐度计算亮度值。此时，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。然后，将计算出的亮度值进行组合，生成全焦点图像。由此，得到平滑的全焦点图像。此外，图像参照值本身不变更。因此，不应参照的拍摄图像的像素中存在的不需要的亮度值不会出现在全焦点图像中。

Description

图像处理方法、图像处理装置及摄像装置

技术领域

本发明涉及基于多个拍摄图像生成全焦点图像的图像处理方法、图像处理装置及摄像装置。

背景技术

专利文献1中记载了一种通过以高分辨率拍摄细胞来观察细胞的培养状态的装置。专利文献1的装置通过照相机拍摄与培养液一同被保持在容器内的细胞。这种装置有时难以通过一次拍摄来对培养液中的所有细胞对焦。因此，通过改变照相机的焦点位置进行多次拍摄，并将得到的多个图像合成，从而生成对整体对焦的全焦点图像。

现有技术文献

专利文献1：日本特开2016-14974号公报

专利文献2：日本特开2010-20758号公报

发明内容

发明所要解决的问题

全焦点图像通过将多个拍摄图像的对焦的部分拼接而生成。因此，在图像的接缝处容易产生亮度值不均匀的情况。根据这一点，专利文献2中公开了一种通过平滑化处理来生成平滑的全焦点图像的技术。专利文献2的图像处理装置决定在拍摄的多个图像中的每个像素应参照的图像的序号并作为为“第一参照值”。此外，通过将该“第一参照值”进行平滑化处理来计算“第二参照值”。然后，基于“第二参照值”生成平滑的全焦点图像。

然而，在专利文献2的方法中，由于对参照值本身进行平滑化处理，因此存在基于平滑化处理后的“第二参照值”而参照了本来不应参照的图像的情况。例如，在“第一参照值”被替换为1～5的位置，存在因平滑化处理而导致“第二参照值”变为3的情况。此时，若本来不应参照的第三个图像中显示出异物，则该异物会出现在全焦点图像中。

本发明是鉴于这种情况而提出的，目的在于提供一种能够在全焦点图像内的图像参照值被替换的位置使亮度值平滑地变化、并且不应参照的拍摄图像中存在的不需要的亮度值不出现在全焦点图像中的图像处理方法、图像处理装置及摄像装置。

解决问题的技术方案

为了解决上述问题，本申请的第一发明是一种图像处理方法，基于多个拍摄图像生成全焦点图像，其中，所述图像处理方法包括：a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像，b)工序，对于多个所述拍摄图像中包括的各像素计算锐度，c)工序，通过在多个所述拍摄图像的相互对应的像素间比较锐度来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值应该参照的所述拍摄图像的序号，d)工序，对于每个坐标，基于所述图像参照值与所述锐度来计算亮度值，以及e)工序，将计算出的亮度值进行组合来生成全焦点图像；在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

本申请的第二发明根据第一发明的图像处理方法，其中，在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以所述锐度越高影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

本申请的第三发明根据第一发明或第二发明的图像处理方法，其中，在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以距离越近影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

本申请的第四发明根据第二发明或第三发明的图像处理方法，所述加权利用高斯函数。

本申请的第五发明根据第一发明至第四发明中任一项发明的图像处理方法，所述对象物是细胞。

本申请的第六发明是一种图像处理装置，基于多个拍摄图像生成全焦点图像，其中，所述图像处理装置具有：图像存储部，存储通过一边使焦点位置沿着光轴变化一边拍摄对象物而获取的多个拍摄图像，锐度计算部，对于所述多个拍摄图像中包括的各像素计算锐度，图像参照值决定部，通过在多个所述拍摄图像的相互对应的像素间比较锐度来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值应该参照的所述拍摄图像的序号，亮度值计算部，对于每个坐标，基于所述图像参照值与所述锐度来计算亮度值，以及全焦点图像生成部，将计算出的亮度值进行组合来生成全焦点图像；所述亮度值计算部使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

本申请的第七发明根据第六发明的图像处理装置，其中，所述亮度值计算部使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以锐度越高影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

本申请的第八发明根据第六发明或第七发明的图像处理装置，其中，所述亮度值计算部使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以距离越近影响就越大的加权的方式反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

本申请的第九发明根据第七发明或第八发明的图像处理装置，其中，所述加权利用高斯函数。

本申请的第十发明根据第六发明至第九发明中任一项发明的图像处理装置，其中，所述对象物是细胞。

本申请的第十一发明是一种摄像装置，其中，具有：权利要求6～10中任一项所述的图像处理装置，照相机，拍摄所述对象物，投光部，向所述对象物照射光，以及移动机构，使所述照相机的焦点位置沿着光轴变化。

发明效果

根据本申请的第一发明～第五发明，能够在全焦点图像内的图像参照值切换的位置使亮度值平滑地变化。尤其，本发明能够不变更在工序c)中决定的图像参照值，而是以使各坐标的亮度值平滑地变化的方式来进行计算。因此，不应参照的拍摄图像的像素中存在的不需要的亮度值不会出现在全焦点图像中。

尤其，根据本申请的第四发明，能够通过任意地设定高斯函数的系数来调节加权的程度。

根据本申请的第六发明～第十一发明，能够在全焦点图像内的图像参照值切换的位置使亮度值平滑地变化。尤其，本发明能够不变更图像参照值决定部所决定的图像参照值，而是以使各坐标的亮度值平滑地变化的方式来进行计算。因此，不应参照的拍摄图像的像素中存在的不需要的亮度值不会出现在全焦点图像中。

尤其，根据本申请的第九发明，能够通过任意地设定高斯函数的系数来调节加权的程度。

附图说明

图1是示出孔板的一例的立体图。

图2是示出摄像装置的结构的图。

图3是示出控制部与摄像装置内的各部分间的连接的框图。

图4是示意性示出控制部内实现的功能的框图。

图5是示出拍摄处理的流程的流程图。

图6是一个孔的剖视图。

图7是示出一个孔中拍摄的5个拍摄图像的图。

图8是示出全焦点图像的生成流程的流程图。

图9是示出图像参照值的分布的例子的图。

图10是示出锐度的分布的例子的图。

图11是示出全焦点图像的例子的图。

具体实施方式

下面，参照附图说明本发明的优选实施方式。

1.摄像装置的结构

图1是示出设置在摄像装置1的孔板9的一例的立体图。孔板9是具有多个孔(凹部)91的大致板状的样品容器。例如，使用透光的透明的树脂作为孔板9的材料。如图1所示，多个孔91在孔板9的上表面规则地排列。各孔91内保持培养液92与作为拍摄对象物的多个细胞93。另外，俯视时的孔91的形状可以是如图1所示的圆形，也可以是矩形等其他形状。

图2是示出本发明的一个实施方式的摄像装置1的结构的图。该摄像装置1一边使照相机40的焦点位置变化，一边对孔板9内的多个细胞93进行多次拍摄，并且将得到的多个拍摄图像合成，来生成观察用的合成图像(全焦点图像)。

摄像装置1例如在医药品的研究开发领域中用于缩选作为医药品候选的化合物的筛选工序。筛选工序的操作者向孔板9的多个孔91添加浓度或组成不同的化合物。然后，摄像装置1获取孔板9的各孔91内的细胞93的图像。然后，基于得到的图像，对细胞93的培养状态进行比较、分析，从而验证添加到培养液92的化合物的效用。

但是，摄像装置1也可以在IPS(Intrusion Prevention System：入侵防御系统)细胞或ES(Embryonic Stem)细胞(胚胎干细胞)等多能干细胞的研究、开发中用于观察细胞的分化等。

如图2所示，本实施方式的摄像装置1具有工作台10、投光部20、投光部移动机构30、照相机40、焦点移动机构50、照相机移动机构60、及控制部70。

工作台10是保持孔板9的载置台。摄像装置1内的工作台10的位置至少在拍摄时固定。在工作台10的中央设置有上下贯通的矩形的开口部11。此外，工作台10在开口部11的边缘具有环状的支承面12。孔板9嵌入开口部11，并且被支承面12支承为水平状态。因此，各孔91的上部及下部不会被工作台10挡住而是露出。

投光部20配置在工作台10所保持的孔板9的上方。投光部20具有LED等光源。在进行后述的拍摄时，投光部20内的光源发光。由此，从投光部20向下方照射光。需要说明的是，投光部20是能够向孔板9照射光的构件即可。因此，投光部20的光源本身配置于与孔板9的上方偏离的位置，经由反射镜等光学系统向孔板9照射光。

投光部移动机构30使投光部20沿着工作台10所保持的孔板9的上表面水平移动。作为投光部移动机构30，例如使用将电机的旋转运动经由滚珠螺杆转换为直行运动的机构。摄像装置1通过使投光部移动机构30动作，能够将投光部20配置在各孔91的上方位置。另外，图2中仅示出了箭头a1的一个方向作为投光部20的移动方向。然而，投光部移动机构30也可以使投光部20沿着孔板9的上表面在两个方向(图2中的左右方向及深度方向)上移动。

照相机40配置在工作台10所保持的孔板9的下方。照相机40具有透镜等光学系统41以及CCD(Charge-Coupled Device：电荷耦合器件)或CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)等摄像元件42。在进行后述的拍摄时，一边从投光部20向孔板9的一部分照射光，一边由照相机40拍摄孔板9的该一部分。由此，能够将孔板9内的细胞93的图像获取为数字数据。获取的拍摄图像从照相机40输入给控制部70。

焦点移动机构50使照相机40的焦点位置变化。本实施方式的焦点移动机构50使照相机40的光学系统41所包括的一部分光学元件移动。由此，使照相机40的焦点位置沿着光轴变化。焦点移动机构50能够使照相机40的焦点位置在孔板9内的细胞93的附近上下地细微变化。作为焦点移动机构50，例如使用小型电机。

照相机移动机构60一边维持照相机40的姿势，一边使照相机40的水平方向的位置变化。照相机移动机构60使照相机40与焦点移动机构50作为一体水平地移动。作为照相机移动机构60，例如使用将电机的旋转运动经由滚珠螺杆转换为直行运动的机构。摄像装置1通过使照相机移动机构60进行动作，能够将照相机40配置在各孔91的下方位置。另外，在图2中，仅示出了箭头a2的一个方向作为照相机移动机构60使照相机40移动的移动方向。然而，照相机移动机构60也可以使照相机40沿着孔板9的下表面在两个方向(图2中的左右方向及深度方向)上移动。

上述的投光部移动机构30与照相机移动机构60被同步驱动。由此，投光部20与照相机40在俯视下始终配置在相同的位置。即，在投光部20与照相机40向相同方向移动相同距离、并且照相机40配置在某一孔91的下方位置时，投光部20必然配置在该孔91的上方位置。

控制部70例如由计算机构成。控制部70具有对摄像装置1内的各部进行动作控制的控制装置的功能、以及基于从照相机40输入的多个拍摄图像来生成全焦点图像的图像处理装置的功能。图3是示出控制部70与摄像装置1内的各部分的连接的框图。如图3所示，控制部70与上述的投光部20、投光部移动机构30、照相机40、焦点移动机构50、及照相机移动机构60分别以可通信的方式连接。

此外，如图2中示意性所示，控制部70具有CPU等处理器701、RAM等存储器702、及硬盘驱动器等存储部703。存储部703内存储有用于对摄像装置1内的各部分进行动作控制的控制程序P1、以及用于基于从照相机40输入的多个拍摄图像来生成全焦点图像的图像处理程序P2。

图4是示意性示出控制部70内实现的功能的框图。如图4所示，控制部70具有摄像控制部71与图像处理部72。摄像控制部71根据控制程序P1，对投光部20、投光部移动机构30、照相机40、焦点移动机构50、及照相机移动机构60进行动作控制。由此，进行孔板9的各孔91所保持的细胞93的拍摄处理。图像处理部72根据图像处理程序P2对从照相机40输入的多个拍摄图像进行处理，从而生成全焦点图像。

此外，如图4所示，图像处理部72具有图像存储部721、锐度计算部722、图像参照值决定部723、亮度值计算部724、及全焦点图像生成部725。上述各部分进行的具体处理将在后文进行叙述。

2.拍摄处理

接下来，说明上述的摄像装置1的动作。图5是示出摄像装置1中的拍摄处理的流程的流程图。

孔板9设置于摄像装置1的工作台10，当向控制部70输入用于开始动作的指示时，控制部70的摄像控制部71首先使焦点移动机构50进行动作。由此，使照相机40的焦点位置位于规定的高度(步骤S1)。图6是一个孔91的剖视图。如图6所示，在本实施方式中，能够使照相机40的焦点位置变更为5个阶段(第一焦点位置H1～第五焦点位置H5)。在拍摄处理开始时，首先使照相机40的焦点位于最高的第一焦点位置H1。

接着，控制部70使投光部移动机构30与照相机移动机构60进行动作。由此，使投光部20与照相机40在待拍摄的孔91的上下移动(步骤S2)。然后，控制部70使投光部20与照相机40进行动作，拍摄该孔91内所保持的细胞93(步骤S3)。即，从投光部20向下方照射光，并且由照相机40进行拍摄。由此，得到该孔91内所保持的细胞93的第一焦点位置H1的拍摄图像。

接下来，控制部70判断是否存在作为拍摄对象的下一个孔91(步骤S4)。在存在下一个孔91的情况下(步骤S4中为是)，使投光部移动机构30与照相机移动机构60进行动作。由此，使投光部20与照相机40在下一个孔91的上下移动(步骤S2)。然后，控制部70使投光部20与照相机40进行动作，拍摄该孔91内所保持的细胞93(步骤S3)。

如此，控制部70重复进行投光部20与照相机40的移动(步骤S2)以及拍摄(步骤S3)。由此，对于作为孔板9的拍摄对象的所有的孔91获取第一焦点位置H1的拍摄图像。

最终，当不存在未拍摄的孔91时(步骤S4中为否)，控制部70判断是否变更照相机40的焦点位置(步骤S5)。此处，若5个焦点位置H1～H5中存在还未进行拍摄的焦点位置，则判断为应变更照相机40的焦点位置(步骤S5中为是)。例如，当第一焦点位置H1的拍摄处理结束时，控制部70判断为应将照相机40的焦点位置变更为下一个焦点位置即第二焦点位置H2。

在变更照相机40的焦点位置的情况下，控制部70使焦点移动机构50进行动作，使照相机40的焦点位置移动到应变更的位置(步骤S1)。然后，重复上述的步骤S2～S4的处理。由此，对于孔板9的各孔91获取变更后的焦点位置的细胞93的拍摄图像。

如上所述，控制部70重复照相机40的焦点位置的变更(步骤S1)、以及对于多个孔91的拍摄图像的获取(步骤S2～S4)。由此，对于孔板9的多个孔91的各个孔91得到在5个焦点位置H1～H5拍摄的5个拍摄图像。

3.图像处理

接下来，说明基于从照相机40输入的多个拍摄图像来生成全焦点图像的图像处理。

图7是示出图6的孔91中拍摄的5个拍摄图像D1～D5的图。图7的第一拍摄图像D1～第五拍摄图像D5分别是图6的第一焦点位置H1～第五焦点位置H5的拍摄图像。如图6所示，在本实施方式中，孔91内的照相机40的拍摄视野内存在两个细胞93和一个异物94。以下，将图6中的左侧的细胞93称为第一细胞931，将右侧的细胞93称为第二细胞932。在图7的例子中，对于第一细胞931，第一拍摄图像D1对焦最准确，而对于第二细胞932，第五拍摄图像D5对焦最准确。此外，第三拍摄图像D3中示出了异物94。

优选，在对细胞对焦的对焦位置观察细胞93。然而，如图6所示，在一个孔91中含有的多个细胞93的高度(光轴方向的位置)不同的情况下，不能在一个拍摄图像D中对所有的细胞93对焦。因此，该摄像装置1的控制部70将多个拍摄图像D1～D5中包括的像素组合，生成对所有的细胞93对焦的模糊较少的全焦点图像。

图8是示出由控制部70进行的全焦点图像的生成流程的流程图。

在生成全焦点图像时，首先，控制部70使图像存储部721存储通过上述的拍摄处理得到的多个拍摄图像D1～D5(步骤S6)。接着，控制部70的锐度计算部722分别对于多个拍摄图像D1～D5中的每个拍摄图像，计算每个像素的锐度S(步骤S7)。锐度S是用于表示该像素附近的图像的清晰度(sharpness)的指标。锐度S例如是基于以该像素为中心的一定区域内的像素的亮度变化而计算出的。但是，也可以使用周边像素的亮度的方差值、亮度的最大值、亮度的最小值、像素本身的亮度值等作为锐度S。

在计算出各拍摄图像D的各像素的锐度S时，接着，控制部70的图像参照值决定部723在与多个拍摄图像D1～D6相互对应的像素之间比较锐度S。由此，对每个坐标决定图像参照值A(步骤S8)。图像参照值A是用于表示应该作为全焦点图像的各坐标的亮度值而参考的拍摄图像D的序号的参数。例如，若与多个拍摄图像D1～D5相互对应的(同一坐标的)像素中锐度S最高的像素所属于的拍摄图像为D1，则将图像参照值A设置为“1”。

图9是示出基于图7的5个拍摄图像D1～D5决定的图像参照值A的分布的例子的图。此处，为了方便理解，将构成图像的像素数设为5×5即25像素。在图7的例子中，对位于图像中央的左上的第一细胞931对焦最准确的拍摄图像是第一拍摄图像D1。因此，在图像的左上区域内，第一拍摄图像D1所包括的像素的锐度S高。因此，如图9所示，图像的左上区域内，图像参照值A为“1”。此外，在图7的例子中，对位于图像中央的右下的第二细胞932对焦最准确的拍摄图像是第五拍摄图像D5。因此，在图像的右下区域内，第五拍摄图像D5所包括的像素的锐度S高。因此，如图9所示，在图像的右下区域内，图像参照值A为“5”。

当决定了各坐标的图像参照值A时，接下来，控制部70决定代表各坐标的锐度S。图10是示出代表各坐标的锐度S的分布的例子的图。作为代表各坐标的锐度S，例如，采用该坐标的图像参照值A所示的拍摄图像D的锐度S。例如，如图9的左上区域所示，对于图像参照值A为“1”的坐标，将第一拍摄图像D1的该坐标的锐度S作为代表坐标的锐度S。此外，如图9的右下区域所示，对于图像参照值A为“5”的坐标，将第五拍摄图像D5的该坐标的锐度S作为代表坐标的锐度S。

然后，控制部70的亮度值计算部724基于在步骤S8中决定的图像参照值A以及各拍摄图像D1～D5的亮度值，计算构成全焦点图像的各坐标的亮度值V(步骤S9)。在步骤S9中，使各坐标的周围的坐标的图像参照值A所示的拍摄图像D的亮度值反映在该坐标的图像参照值A所示的拍摄图像D的该坐标的亮度值上，从而计算全焦点图像的该坐标的亮度值V。具体而言，亮度值计算部724例如利用下式(1)计算构成全焦点图像的各坐标的亮度值V。

此处，式(1)中的V(xn，yn)表示全焦点图像内的坐标(xn，yn)的亮度值(待计算的亮度值)。式(1)中的k、l分别表示关注的坐标(xn，yn)与周围坐标的x方向及y方向的距离。式(1)中的fx、fy表示从关注的坐标起纳入考虑的坐标的范围(反映亮度值的范围)。σd为距离的加权系数。σs为锐度S的加权系数。锐度S(x，y)被标准化为0～1的值。I(A(xn+k，yn+l，xn，yn)表示图像参照值A(xn+k，yn+l)所示的摄像图像内的坐标(xn，yn)的亮度值。

式(1)表示用高斯系数分别表示距离的加权量与锐度S的加权量，并将距离的加权量与锐度S的加权量相乘。即，亮度值计算部724通过与距离及锐度S对应的加权，来使周围的坐标的亮度值反映在关注的坐标的亮度值山，从而计算全焦点图像的各坐标的亮度值V。更具体而言，亮度值计算部724首先对于各坐标参照图9所示的图像参照值A所表示的拍摄图像D的该坐标的亮度值。然后，使周围的坐标的图像参照值A所表示的拍摄图像D的亮度值反映在该亮度值上。此时，与关注的坐标距离越近的坐标，对亮度值影响越大。此外，图10所示的锐度S越高，对亮度值影响越大。

然后，控制部70的全焦点图像生成部725将对于每个坐标计算出的亮度值V组合，生成全焦点图像(步骤S10)。图11是示出基于图7的5个拍摄图像D1～D5生成的焦点图像的例子的图。全焦点图像中未示出异物94，并且第一细胞931与第二细胞932均呈现模糊较少的状态。

如此，该摄像装置1中，使各坐标的周围的坐标的图像参照值A所示的拍摄图像D的亮度值反映在该坐标的图像参照值A所示的拍摄图像D的亮度值上。因此，能够在全焦点图像内的图像参照值A切换的位置，使亮度值平滑地变化。此外，该摄像装置1能够按照不变更在步骤S8中决定的图像参照值本身，而是使各坐标的亮度值平滑地变化的方式进行计算。因此，不应参照的拍摄图像D的像素中存在的不需要的亮度值(例如，第三拍摄图像D3中包括的异物94的亮度值)不会出现在全焦点图像中。

此外，在本实施方式中，如式(1)所示，分别利用高斯函数作为距离及锐度S的加权。因此，通过任意设定高斯函数的系数，能够容易地调节加权的程度。

4.变形例

以上，说明了本发明的一个实施方式，但本发明并不限于上述的实施方式。

上述的式(1)是用于计算全焦点图像的各坐标的亮度值的计算式的一例。也可以利用其他计算式来代替式(1)。计算式是用于使各坐标的周围的坐标的图像参照值A所示的拍摄图像D的亮度值反映在该坐标的图像参照值A所示的拍摄图像D的亮度值上的计算式即可。

此外，在上述的实施方式中，说明了对一个孔91设定一个视野，在该视野内改变焦点位置来进行拍摄的情况。然而，也可以将一个孔91划分为多个视野，在各视野间使照相机40移动，并且对于每个视野获取多个拍摄图像D。在该情况下，对每个视野进行上述的图像处理生成全焦点图像，将得到的全焦点图像进行合成(平铺)生成一个孔91的图像即可。

此外，在上述的实施方式中，作为拍摄对象物的细胞93被保持在孔板9的多个孔91内。然而，细胞93也可以被保持在除孔板9以外的容器。例如，细胞93可以被保持在培养皿内。

此外，在上述的实施方式中，将单体的细胞93作为拍摄对象物。然而，拍摄对象物也可以是多个细胞立体集合的细胞团块(球体)。此外，拍摄对象物还可以是除细胞以外的样品。

此外，在上述的实施方式中，投光部20配置在拍摄对象物的上方，照相机40配置在拍摄对象物的下方。然而，也可以是投光部20配置在拍摄对象物的下方，而照相机40配置在拍摄对象物的上方。

此外，在上述的实施方式中，通过使照相机40的光学系统41中包括的一部分光学元件移动，来使照相机40的焦点位置变化。然而，也可以通过使照相机40整体升降移动，来使孔91内的照相机40的焦点位置沿光轴变化。此外，还可以通过使保持拍摄对象物的容器升降移动，来使照相机40相对于容器的焦点位置相对地变化。即，本发明中的“移动机构”可以是使照相机40整体移动的机构或使容器移动的机构。

此外，在上述的实施方式中，保持细胞93的容器的位置被固定，投光部20与照相机40在水平方向上移动。然而，也可以将投光部20与照相机40的位置固定，使容器在水平方向上移动。但是，若拍摄中途培养液92中的细胞93发生变化，则细胞93的位置在多个拍摄图像D间容易产生偏差。因此，如上述的实施方式那样，优选所述的容器的位置被固定。

此外，在上述的实施方式中，照相机40的焦点位置能够变更为5个阶段，对于一个视野获取5个拍摄图像D1～D5。然而，对于一个视野获取的拍摄图像D的数量可以是2～4个，也可以是6个以上。

此外，在不产生矛盾的范围内，可以将上述的实施方式或变形例中出现的各要素进行适当组合。

附图标记说明

1 摄像装置

9 孔板

10 工作台

20 投光部

30 投光部移动机构

40 照相机

41 光学系统

42 摄像元件

50 焦点移动机构

60 照相机移动机构

70 控制部

71 摄像控制部

72 图像处理部

91 孔

92 培养液

93 细胞

94 异物

721 图像存储部

722 锐度计算部

723 图像参照值决定部

724 亮度值计算部

725 全焦点图像生成部

A 图像参照值

D1～D5 拍摄图像

H1～H5 焦点位置

P1 控制程序

P2 图像处理程序

S 锐度

Claims (11)

1.一种图像处理方法，基于多个拍摄图像生成全焦点图像，其中，

所述图像处理方法包括：

a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像，

b)工序，对于多个所述拍摄图像中包括的各像素计算锐度，

c)工序，通过在多个所述拍摄图像的相互对应的像素间比较锐度来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值应该参照的所述拍摄图像的序号，

d)工序，对于每个坐标，基于所述图像参照值与所述锐度来计算亮度值，以及

e)工序，将计算出的亮度值进行组合来生成全焦点图像；

在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

2.根据权利要求1所述的图像处理方法，其中，

在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以所述锐度越高影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

3.根据权利要求1或2所述的图像处理方法，其中，

在所述d)工序中，使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以距离越近影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

4.根据权利要求2或3所述的图像处理方法，其中，

所述加权利用高斯函数。

5.根据权利要求1～4中任一项所述的图像处理方法，其中，

所述对象物是细胞。

6.一种图像处理装置，基于多个拍摄图像生成全焦点图像，其中，

所述图像处理装置具有：

图像存储部，存储通过一边使焦点位置沿着光轴变化一边拍摄对象物而获取的多个拍摄图像，

锐度计算部，对于所述多个拍摄图像中包括的各像素计算锐度，

图像参照值决定部，通过在多个所述拍摄图像的相互对应的像素间比较锐度来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值应该参照的所述拍摄图像的序号，

亮度值计算部，对于每个坐标，基于所述图像参照值与所述锐度来计算亮度值，以及

全焦点图像生成部，将计算出的亮度值进行组合来生成全焦点图像；

所述亮度值计算部使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

7.根据权利要求6所述的图像处理装置，其中，

所述亮度值计算部使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以锐度越高影响就越大的加权的方式来反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

8.根据权利要求6或7所述的图像处理装置，其中，

所述亮度值计算部使各坐标的周围的坐标的图像参照值所表示的拍摄图像的亮度值以距离越近影响就越大的加权的方式反映在该坐标的图像参照值所表示的拍摄图像的亮度值上。

9.根据权利要求7或8所述的图像处理装置，其中，

所述加权利用高斯函数。

10.根据权利要求6～9中任一项所述的图像处理装置，其中，

所述对象物是细胞。

11.一种摄像装置，其中，具有：

权利要求6～10中任一项所述的图像处理装置，

照相机，拍摄所述对象物，

投光部，向所述对象物照射光，以及

移动机构，使所述照相机的焦点位置沿着光轴变化。