CN113315905B - 对焦位置检测方法、对焦位置检测装置及记录介质 - Google Patents

Abstract

本发明提供一种对焦位置检测方法，基于一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像，检测对焦点位置，能够稳定地检测对焦位置。针对每个对象图像根，从对象图像求出标志焦点的对准情况的对焦度的第二工序包括：分割工序，将对象图像分割成多个局部区域；局部值计算工序，针对每个局部区域，从局部区域求出标志焦点的对准情况的局部值；以及对焦度计算工序，基于多个局部值求出对焦度。

Description

对焦位置检测方法、对焦位置检测装置及记录介质

技术领域

本发明是一种对焦位置检测技术，所述对焦位置检测技术基于一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像，来检测对焦点位置。

以下所示的日本申请的说明书、附图以及权利要求书的全部公开内容通过参照编入本说明书。

日本特愿2020-031528(2020年2月27日申请)

日本特愿2020-031529(2020年2月27日申请)

背景技术

在细胞的培养和分析中使用对包含细胞的试样进行拍摄所得的图像。试样使用被称作孔板或微孔板等的设置有多个孔(凹部)的平板状的容器或者具有单一的孔的被称作碟(dish)的平盘状的容器制作而成。为了良好地拍摄作为拍摄对象物的细胞，需要检测对焦位置并调整焦点位置。因此，提出了如下的对焦位置检测技术：基于一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像，来检测对焦位置(日本特开平7-318784号公报、日本特开2016-223931号公报等)。

在上述对象图像中有时会局部地包含有拍摄对象物像。在此，在拍摄对象物像的亮度极低的条件下，即使使用上述现有技术也难以准确地检测对焦位置。特别地，在向拍摄对象物照射激发光使其发出荧光后获取包含拍摄对象物像的荧光图像(对象图像)的情况下，通常，荧光图像变暗的情况较多。因此，拍摄对象物像的亮度和噪声的差变小，容易受到背景噪声(background noise)的影响。

另外，试样中有时会包含与原来的拍摄对象物不同的死细胞等。在拍摄该试样而获取的图像中，有时会包含与死细胞等对应的像素的亮度极端变高的高亮度区域。因此，关于包含高亮度区域的图像(参见下面的图7中的(a)栏和(b)栏)，虽然也考虑到在排除高亮度区域的基础上检测对焦点位置，但这样不能充分地排除死细胞等的影响。

在此，如果调整拍摄部所包括的照明元件、摄像头的设定条件(发光时间、曝光时间等)再拍摄，则可克服上述问题。即，拍摄对象物像相对于噪声的亮度差变大。另外，高亮度区域的产生也得到抑制。但是，因为拍摄对象物是细胞，所以，反复进行再拍摄会引起细胞的问题(光毒性、荧光褪色)、拍摄等待时间的问题。因此，为了检测对焦位置，期望避免反复进行再拍摄。

发明内容

本发明鉴于上述课题而提出，涉及一种对焦位置检测技术，所述对焦位置检测技术基于一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像，来检测对焦点位置。特别地，本发明的目的在于，提供一种即使在对象图像较暗或含有高亮度区域的情况下，也能够稳定地检测对焦位置而无需反复进行检测动作的技术。

本发明的第一方式，一种对焦位置检测方法，其特征在于，包括：工序(a)，一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄来获取多个对象图像；工序(b)，针对每个对象图像，基于分割对象图像而成的多个局部区域或者对象图像中的除去超过规定亮度的饱和区域的饱和区域之外的图像，从对象图像求出标志焦点的对准情况的对焦度；以及工序(c)，基于多个对焦度确定对焦位置。

另外，本发明的第二方式，一种对焦位置检测装置，基于一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像，来检测对焦点位置，其特征在于，所述对焦位置检测装置具有：对焦度计算部，针对每个对象图像，基于分割对象图像而成的多个局部区域或者对象图像中的除去超过规定亮度的饱和区域的饱和区域之外的图像，从对象图像计算标志拍摄部的焦点的对准情况的对焦度；对焦位置确定部，基于由对焦度计算部计算出的多个对焦度来确定对焦位置。

另外，本发明的第三方式，一种计算机可读取的非暂时性的记录介质，记录有使计算机执行上述的对焦位置检测方法的对焦位置检测用程序。

而且，本发明的第四方式，一种对焦位置检测用程序，其特征在于，使计算机执行上述的对焦位置检测方法。

如上所述，根据本发明，即使在一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像较暗或包括高亮度区域的情况下，也能够稳定地检测对焦位置，而不反复进行检测动作。

上述的本发明的各个方式所具有的多个构成要素并非全部必须，为了解决上述课题的一部分或全部，或者，为了达到本说明书所记载的效果的一部分或全部，能够适当地对所述多个构成要素中的一部分构成要素，进行变更、删除、用新的其他构成要素进行替代、限定内容的一部分的删除。另外，为了解决上述课题的一部分或全部，或者，为了达到本说明书所记载的效果的一部分或全部，还能够将上述本发明的一个方式所包括的技术特征的一部分或全部与上述本发明的其他方式所包括的技术的特征的一部分或全部相组合，来构成本发明独立的一个方式。

附图说明

图1是表示装备有本发明的一个实施方式的对焦位置检测装置的拍摄装置的概略结构的图。

图2A是拍摄装置所使用的孔板的俯视图。

图2B是拍摄装置所使用的孔板的立体图。

图3是表示在图1所示的拍摄装置中执行的对焦位置检测方法的一个实施方式的流程图。

图4是示意性地表示由对焦位置检测方法执行的工序的一部分的图。

图5是表示装备有本发明的第二实施方式的对焦位置检测装置的拍摄装置的概略结构的图。

图6是表示在图5所示的拍摄装置中执行的对焦位置检测方法的第二实施方式的流程图。

图7是表示由拍摄部获取的对象图像的一个例子的图。

图8是示意性地表示饱和区域获取处理的内容以及作为对焦度计算的对象的图像与饱和区域之间的关系的图。

图9是示意性地表示本发明的对焦位置检测方法的第三实施方式中的饱和区域获取处理的内容以及作为对焦度计算的对象的图像与饱和区域之间的关系的图。

图10是示意性地表示本发明的对焦位置检测方法的第四实实施方式中的饱和区域获取处理的内容以及作为对焦度计算的对象的图像与饱和区域之间的关系的图。

图11是示意性地表示由本发明的对焦位置检测方法的第五实施方式执行的工序的一部分的图。

附图标记的说明：

1拍摄装置

13拍摄部

141CPU(饱和区域获取部、对焦度计算部、对焦位置确定部)

144图像存储器

C细胞等(拍摄对象物)

G1～G4对象图像

G1A～G4A(饱和区域之外的)图像

H1～H4拍摄部高度

EHR膨胀高亮度区域

HR高亮度区域

PG局部图像

PR局部区域

Z铅垂方向

具体实施方式

下面，分为适用于对象图像较暗情况的实施方式A和适用于对象图像包含高亮度区域的实施方式B进行说明。

实施方式A

下面，作为实施方式A，对一个实施方式(第一实施方式)进行说明。

图1是表示装备有本发明的第一实施方式的对焦位置检测装置的拍摄装置的概略结构的图。图2A和图2B是表示拍摄装置所使用的孔板的一个例子的图，图2A是孔板的俯视图，图2B是孔板的立体图。在此，为了统一表示各图中的方向，如图1所示，设定了XYZ直角坐标系。例如，可以认为XY平面表示水平面，Z轴表示铅垂轴。以下，将(-Z)方向作为铅垂向下方向。

拍摄装置1是一种对在由形成在孔板9的上表面的被称作孔91的凹部所担载的培养基中培养的细胞、细胞集落、细菌等(以下称作“细胞等”并附以参照附图标记C)活体试样进行拍摄的装置。如图2A和图2B所示，孔板9是具有多个孔91的大致板状的试样容器。孔板9的材料例如能够使用使光透过的透明的树脂。在孔板9的上表面上规则地排列有多个孔91。孔91保持培养基和作为拍摄对象物的多个细胞。此外，作为该拍摄装置1的对象的孔板的尺寸及孔的数量并不限于此，而是任意的，例如，通常使用6至384孔的孔板。另外，不仅具有多个孔的孔板，例如，在由被称作碟的平坦型的容器培养的细胞等的拍摄中，也能够使用该拍摄装置1。在本实施方式中，以俯视时的孔91的形状为圆形进行说明。但是，孔91的形状可以是矩形、圆角矩形等其他形状。

如图1所示，在孔板9的各孔91中，注入规定量的作为培养基M的液体，在该液体中以规定的培养条件培养出的细胞等C成为该拍摄装置1的拍摄对象物。培养基M可以是添加了适当的试剂的培养基，也可以是以液态投入孔91后凝胶化的培养基。在该拍摄装置1中，例如，能够将在孔91的内底面培养出的细胞等C作为拍摄对象。

拍摄装置1具有：支架11，保持孔板9；照明部12，配置在支架11的上方；拍摄部13，配置在支架11的下方；控制部14，具有控制各部的动作的CPU141。支架11与孔板9的下表面周缘部相抵接并将孔板9保持为大致水平姿势，所述孔板9将试样与培养基M一起担载于各孔91中。

照明部12向由支架11保持的孔板9射出照明光。作为照明光的光源，例如，能够使用白色LED(Light Emitting Diode：发光二极管)。能够将光源和适当的照明光学系统组合用作照明部12。通过照明部12从上方对设置于孔板9的孔91内的细胞等进行照明。

拍摄部13设置在由支架11保持的孔板9的下方。在拍摄部13上，在孔板9的正下方位置配置有省略图示的拍摄光学系统，拍摄光学系统的光轴朝向铅垂方向(Z方向)。

通过拍摄部13拍摄孔91内的细胞等。具体而言，从照明部12射出并从孔91的上方入射至液体的光对拍摄对象物进行照明，从孔91的底面向下方透过的光经由包括拍摄部13的物镜131的拍摄光学系统入射至拍摄元件132的受光面。利用拍摄元件132拍摄到通过拍摄光学系统在拍摄元件132的受光面成像的拍摄对象物的像。拍摄元件132是具有二维的受光面的区域图像传感器，例如，能够使用CCD传感器或者CMOS传感器。

拍摄部13通过设置于控制部14的机械控制部146能够沿水平方向(XY方向)和铅垂方向(Z方向)移动。具体而言，机械控制部146基于来自CPU141的控制指令使驱动机构15动作，使拍摄部13沿水平方向移动，由此，拍摄部13相对于孔91沿水平方向移动。另外，通过使拍摄部13沿铅垂方向移动来进行聚焦调整。该聚焦调整基于后面详述的对焦位置检测方法检测到的对焦位置来执行。在拍摄视野内收入整个一个孔91的状态下进行拍摄时，机械控制部146使拍摄部13在水平方向上定位，以使光轴与该孔91的中心一致。

另外，如图中虚线水平箭头所示，驱动机构15在使拍摄部13沿水平方向移动时，使照明部12与拍摄部13一体移动。即，照明部12配置为其发光中心与拍摄部13的光轴大致一致，在拍摄部13沿水平方向移动时，照明部12随之移动。由此，无论拍摄哪个孔91，该孔91的中心和照明部12的发光中心始终位于拍摄部13的光轴上，由此，能够使针对各孔91的照明条件恒定，从而能够良好地维持拍摄条件。

向控制部14发送从拍摄部13的拍摄元件132输出的图像信号。即，向设置于控制部14的AD转换器(A/D)143输入图像信号并将其转换为数字图像数据。CPU141作为基于接收到的图像数据执行适当图像处理的图像处理部发挥作用。控制部14还具有图像存储器144和存储器145，二者可以一体形成，所述图像存储器144用于存储保存图像数据，所述存储器145用于存储保存CPU141要执行的程序及由CPU141生成的数据。CPU141通过执行存储于存储器145的控制程序，进行后述的对焦度计算处理和对焦位置确定处理等来检测对焦位置。即，CPU141作为本发明的“对焦度计算部”和“对焦位置确定部”发挥作用，控制程序的一部分相当于本发明的“对焦位置检测用程序”的一个例子。

此外，在控制部14中设有接口(IF)部142。接口部142除具有接收来自用户的操作输入、向用户提示处理结果等信息的用户接口功能之外，还具有与经由通信线路连接的外部装置之间进行数据交换的功能。为了实现用户接口功能，接口部142连接有输入接收部147、显示部148、读取装置149，所述输入接收部147接收来自用户的操作输入，所述显示部148向用户显示输出消息或处理结果等，所述读取装置149从计算机可读取的非暂时性(non-transitory)的记录介质M进行读取。

此外，控制部14可以是具有上述的硬件的专用装置，也可以是在个人计算机或工作站等通用处理装置中编入了用于实现后述的处理功能的控制程序的装置。即，该拍摄装置1的控制部14能够使用通用的计算机。在使用通用处理装置的情况下，拍摄装置1具备为了使拍摄部13等各部动作所需的最小限度的控制功能即可。

图3是表示在图1所示拍摄装置中执行的对焦位置检测方法的一个实施方式的流程图。另外，图4是示意性地表示利用对焦位置检测方法执行的工序的一部分的图。对焦位置检测方法通过设置于控制部14的CPU141执行预先安装的控制程序并使装置各部进行规定动作来实现。

首先，驱动机构15驱动拍摄部13并设定拍摄部13的水平位置，以使特定的孔91例如位于中心部的孔91落入视野内，并且将拍摄部13在铅垂方向Z上定位在摄部高度H1，以使物镜131的焦点位置成为规定的初始位置。在该状态下，进行孔91的拍摄，将对象图像G1的图像数据存储于图像存储器144(步骤S1)。此外，在图4中用点示意性地示出了对象图像G1所包含的细胞等C的像GC，另外，下面说明的对象图像G2～G4所包含的细胞等C的像GC也同样。另外，该图中的括号内示出了对应的拍摄部高度。

在接下来的步骤S2中，从对象图像求出标志焦点的对准情况的对焦度。例如，如上述那样，在获取对象图像G1后，进行对象图像G1的分割(步骤S2-1)、每个局部区域的局部对焦度(局部值)的计算(步骤S2-2)、以及基于多个局部对焦度的与对象图像G1相对应的对焦度的计算(步骤S2-3)。即，如图4所示，将对象图像G1分割为多个(本实施方式中为4×3的矩阵状，合计12个)局部区域PR(步骤S2-1)。然后，针对每个局部区域PR计算标志焦点的对准情况的对焦度(步骤S2-2：局部值计算工序)。在本说明书中，为了区分于以往公知的对焦度即由对象图像G1计算的对焦度，将上述那样由局部区域PR计算的对焦度称作“局部对焦度”，其相当于本发明的“局部值”。即，在本实施方式中，通过执行步骤S2-2来计算12个局部对焦度。

作为局部对焦度，能够使用以往公知的指标值，例如，(1)与构成局部区域PR的像素的亮度对应的指标值(亮度平均值、对比度、边缘强度等)；(2)根据局部区域PR的面积、值，将上述指标值乘以系数而得到的指标值；(3)由构成局部区域PR的像素的亮度直方图解析地计算出的指标值等。在本实施方式中，利用0至255的灰度表示构成对象图像G1的像素的亮度，将每个局部区域PR的亮度平均值作为局部对焦度。因此，将图4的“局部区域”和“局部对焦度”相关联地观察可知，整个对象图像G1的局部对焦度较低，与细胞等C的像GC对应的局部对焦度略高。

这样，若针对对象图像G1求得多个局部对焦度，则进行与局部对焦度的大小相对应的修正，并且计算将拍摄部13定位于拍摄部高度H1时的对焦度(步骤S2-3：对焦度计算工序)。在本实施方式中，将局部对焦度乘以与局部对焦度的大小对应的系数来计算修正值。更详细地来说，按拍摄部13的焦点的对准情况的顺序，即局部对焦度从大到小的顺序，对上述12个局部对焦度进行排序，将从最上位开始到一定位次(前50％)为止的局部对焦度乘以作为系数的大于零的值(本实施方式中为“1”)来计算多个修正值，另一方面，将其余的局部对焦度乘以作为系数的零而从用于计算对焦度的修正值实质上排除。即，在图4的“局部对焦度”中，提取阴影所示的前6个局部对焦度作为修正值，并求得这些值的平均值作为将拍摄部13定位于拍摄部高度H1时的对焦度。这样，步骤S2相当于本发明的“工序(b)”的一个例子，步骤S2-1、S2-2、S2-3分别相当于本发明的“工序(b-1)”、“工序(b-2)”、“工序(b-3)”的一个例子。

在接下来的步骤S3中，判断拍摄部13是否到达最低的拍摄部高度H4。在判断为未到达的期间，反复进行步骤S4和步骤S2。即，在步骤S4中，通过拍摄部13在铅垂方向Z上的下降而使拍摄部高度下降一级后，定位于变更后的拍摄部高度H2(H3或H4)的拍摄部13对孔91进行拍摄并获取对象图像G2(G3或G4)。这样，执行相当于本发明的“工序(a)”的一个例子的处理。

然后，进行获取到的对象图像G2(G3或G4)的分割(步骤S2-1)、每个局部区域的局部对焦度(局部值)的计算(步骤S2-2)、以及基于多个局部对焦度的与对象图像G2(G3或G4)对应的对焦度的计算(步骤S2-3)(步骤S2)。这样一来，分别求出将拍摄部13定位于拍摄部高度H2～H4时的对焦度。此外，在本实施方式中，每一级的拍摄部高度的变更间距是恒定的。

另一方面，若在步骤S3中判断为“是”即针对每个拍摄部高度H1～H4求出对焦度，则与现有技术同样地，将对焦度最高的拍摄部高度确定为对焦位置(步骤S5：工序(c))。例如，如图4所示，在对焦度分布的情况下，将表示最高的值时的拍摄部高度H3确定为对焦位置。

在此，在比较针对每个对象图像G1～G4将构成对象图像的全部像素的亮度简单平均而得到的值作为对焦度的比较例(图4的左端)和本实施方式(图4的右端)时，可知本实施方式具有如下优点。因为比较例中仅仅是进行了简单平均，容易受到背景噪声的影响。因此，伴随拍摄部高度H1～H4的变更的对焦度的变化量小，误检测对焦位置的可能性大。与此相对，在本实施方式中，排除了局部对焦度小于前50％的局部对焦度的区域即不含细胞等C的像GC的盖然性高的背景噪声区域，求出每个对象图像G1～G4的对焦度，因此，伴随拍摄部高度H1～H4的变更的对焦度的变化量大，从而能够更准确地检测对焦位置。其结果，即使在对象图像G1～G4较暗的情况下，也能够稳定地检测对焦位置而不反复进行检测动作。

实施方式B

下面，参考图5至图11说明实施方式B。以下，作为实施方式B，对四个实施方式(第二实施方式至第五实施方式)进行说明，对相同结构赋予相同或相当的附图标记并省略说明。

图5是表示装备有本发明的第二实施方式的对焦位置检测装置的拍摄装置的概略结构的图。第二实施方式与第一实施方式的最大不同点在于，CPU141具有饱和区域获取部，由CPU141进行的处理的一部分不同。即，CPU141通过执行存储器145所存储的控制程序，进行后述的饱和区域获取处理、对焦度计算处理以及对焦位置确定处理等，来检测对焦位置。即，CPU141作为本发明的“饱和区域获取部”、“对焦度计算部”和“对焦位置确定部”发挥作用，控制程序的一部分相当于本发明的“对焦位置检测用程序”的一个例子。

图6是表示在图5所示的拍摄装置中执行的对焦位置检测方法的第二实施方式的流程图。另外，图7是表示由拍摄部获取的对象图像的一个例子的图。对焦位置检测方法通过设置于控制部14的CPU141执行预先安装的控制程序并使装置各部执行规定的动作来实现。

首先，驱动机构15驱动拍摄部13，设定拍摄部13的水平位置，以使特定的孔91例如位于中心部的孔91落入视野内，并且，将拍摄部13在铅垂方向Z上定位于拍摄部高度H1，以使物镜131的焦点位置成为规定的初始位置。在该状态下进行孔91的拍摄，将对象图像G1的图像数据存储于图像存储器144(步骤S21)。相对于这样获取到的对象图像G1，如图7中的(a)栏所示，除了原本要拍摄的细胞等C的像GC1以外，还会包含死细胞的像GC2。这些像中构成像GC1的像素的亮度相当于从照射了激发光的细胞等C发出荧光的光，变为较低的值。与此相对，构成像GC2的像素的亮度会变得极高。其结果，要检测用于将细胞等C作为拍摄对象物进行拍摄的对焦位置时，像GC2的存在会成为检测精度降低的主要原因之一。

因此，在本实施方式中，在执行上述的步骤S21之后，进一步反复执行步骤S22～S24。由此，一边使从拍摄部13到细胞等C的距离以四个等级不同即一边使焦点位置沿光轴变化一边利用拍摄部13拍摄细胞等C来获取四个对象图像G1～G4(相当于本发明的“工序(a)”)。另外，获取超过规定亮度Lmax的饱和区域，即，执行饱和区域获取处理(相当于本发明的“工序(b-4)”)。

图8是示意性地表示饱和区域获取处理的内容以及作为对焦度计算的对象的图像与饱和区域之间的关系的图。在接下来的步骤S22中，将对象图像G1分割为多个(在本实施方式中为4×3的矩阵状，合计12个)局部图像PG(步骤S22-1：工序(b-5-1))。然后，求出存在超过规定亮度Lmax的局部图像PG的区域即高亮度区域HR(步骤S22-2：工序(b-5-2))。关于各局部图像PG是否超过规定亮度Lmax的判定，例如，能够基于构成局部图像PG的多个像素中的超过规定亮度Lmax的像素的数量来进行。关于这一点，在后面说明的第三实施方式中也是同样的。

此外，将超过规定亮度Lmax的高亮度的局部图像PG适当地称作“高亮度局部图像PGs”。另外，为了明确表示高亮度区域HR和高亮度局部图像PGs，在图8的(S22-2)中，用粗线包围高亮度区域HR，并对高亮度局部图像PGs附以阴影。这样一来，若求出高亮度区域HR，则能够基于高亮度区域HR获取饱和区域(步骤S22-3：工序(b-5-3))。继上述对象图像G1后，对对象图像G2～G4依次执行这样的饱和区域获取处理(相当于工序(b-5)的一个例子)。

在本实施方式中，如图8所示，对象图像G2中的高亮度区域HR存在于从对象图像G1中的高亮度区域HR进一步扩大的范围。即，由对象图像G2中的高亮度区域HR形成的饱和区域SR包含由对象图像G1中的高亮度区域HR形成的饱和区域(图示省略)。而且，如图7的“亮度分布”栏所示，像GC2的亮度分布在焦点位置(拍摄部高度H1)具有尖锐的轮廓，而随着远离焦点位置，轮廓周边及整体的亮度降低，具有下端部分扩大的轮廓。因此，虽然对象图像G3、G4所包含的死细胞的像GC2的亮度在规定亮度Lmax以下，但是与细胞等C的像GC1的亮度相等或在其以上，从而影响对焦位置的检测的可能性高。因此，在本实施方式中，将上述饱和区域SR作为各对象图像G1～G4中阻碍对焦位置检测的范围，如后面说明的那样，考虑饱和区域SR来计算对焦度。

另一方面，在全部对象图像G1～G4中不包含死细胞的像GC2等的情况下，由于不存在饱和区域SR，因此，与现有技术同样地，能够直接使用对象图像G1～G4来进行对焦位置检测。

因此，在接下来的步骤S25中，判断是否存在饱和区域SR。若该步骤S25中判断为不存在饱和区域SR，则针对拍摄部高度H1～H4中的任一个，从对象图像G1～G4分别计算对焦度(步骤S26：工序(b-5))。

与此相对，若在步骤S25中判断为存在饱和区域SR，则针对拍摄部高度H1～H4中的任一个，不将饱和区域SR的图像作为对焦度计算的对象。即，从对象图像G1中的饱和区域SR之外的图像G1A求出标志焦点的对准情况的对焦度。另外，从对象图像G2中的饱和区域SR之外的图像G2A求出标志焦点的对准情况的对焦度。另外，从对象图像G3中的饱和区域SR之外的图像G3A求出标志焦点的对准情况的对焦度。进一步，从对象图像G4中的饱和区域SR之外的图像G4A求出标志焦点的对准情况的对焦度。这样的对焦度的获取工序相当于本发明的“工序(b-6)”的一个例子。

若这样完成拍摄部高度H1～H4的对焦度的计算，则与现有技术同样地，将对焦度最高的拍摄部高度确定为对焦位置(步骤S28：工序(c))。

如上所述，根据第二实施方式，在如死细胞的像GC2等那样高亮度的图像包含于对象图像的情况下，不将饱和区域SR的图像作为对焦度计算的对象。而且，如图8所示，不仅高亮度区域HR出现的对象图像G1、G2，针对全部对象图像G1～G4，不将饱和区域SR的图像作为对焦度计算的对象。因此，能够可靠地排除死细胞等的影响，并且能够更准确地检测对焦位置。其结果，即使在对象图像G1～G4的全部或一部分包含高亮度区域HR的情况下，也能够稳定地检测对焦位置而不反复进行检测动作。

图9是示意性地表示本发明的对焦位置检测方法的第三实施方式中的饱和区域获取处理的内容以及作为对焦度计算的对象的图像与饱和区域之间的关系的图。该第三实施方式与第二实施方式最大的不同点在于，求出使高亮度区域HR膨胀规定量的膨胀高亮度区域EHR，并且基于该膨胀高亮度区域EHR来决定饱和区域SR。此外，其他结构和动作基本相同。因此，以下，以不同点为中心进行说明，对相同结构和动作赋予相同的附图标记并省略说明。

与第二实施方式同样地，在第三实施方式的步骤S22中，将各对象图像G1～G4分割成12个局部图像PG(步骤S22-1：工序(b-5-1))，求出存在超过规定亮度Lmax的局部图像PG的区域即高亮度区域HR(步骤S22-2：工序(b-5-2))。接着，在第三实施方式中，使各高亮度区域HR膨胀规定量(步骤S22-4：工序(b-5-4))。该膨胀后的区域为膨胀高亮度区域EHR，基于膨胀高亮度区域EHR来获取饱和区域SR(步骤S22-5：工序(b-5-5))。

然后，如图9所示，在存在饱和区域SR的情况下，与第二实施方式同样地，针对拍摄部高度H1～H4中的任一个，不将饱和区域SR的图像作为对焦度计算的对象。然后，从饱和区域SR之外的图像G1A、G2A、G3A、G4A求出标志焦点的对准情况的对焦度。之后，与现有技术同样地，将对焦度最高的拍摄部高度确定为对焦位置。

如上所述，在第三实施方式中，能够得到与第二实施方式同样的作用效果。而且，如图7所示，像GC2的亮度分布具有下端扩大的轮廓，与此对应，使高亮度区域HR膨胀，使下端部分包含于膨胀高亮度区域EHR，纳入饱和区域SR。因此，不将下端部分即在规定亮度Lmax以下但相比细胞等C的像GC1的亮度具有足够高的亮度的图像，作为对焦度计算的对象。其结果，能够进一步可靠地排除死细胞等的影响，并且能够进一步高精度地进行对焦位置检测。

此外，在第三实施方式中，使各高亮度区域HR膨胀并求出膨胀高亮度区域EHR，但也可以使多个高亮度区域HR相互连接而形成的区域(例如，图9中的排列两个高亮度区域HR的区域或形成四个高亮度区域HR的区域等)膨胀规定量来获取膨胀高亮度区域EHR。关于这一点，在接下来说明的第四实施方式中也是同样的。

图10是示意性地表示本发明的对焦位置检测方法的第四实实施方式中的饱和区域获取处理的内容以及作为对焦度计算的对象的图像与饱和区域之间的关系的图。该第四实施方式与第二实施方式的最大不同点在于，无需将对象图像分割为多个局部图像而求出高亮度区域HR，与第三实施方式同样地，基于膨胀高亮度区域EHR来决定饱和区域SR。此外，其他结构和动作基本相同。因此，以下以不同点为中心进行说明，对相同结构和动作赋予相同的附图标记并省略说明。

在第二实施方式和第三实施方式中，饱和区域SR以局部图像PG为单位导出，但在第四实施方式的步骤S22中，是经由以下阶段导出饱和区域SR。即，在第一阶段，获取超过规定亮度Lmax的区域作为高亮度区域HR(步骤S22-6：工序(b-5-6))。然后，使高亮度区域HR膨胀规定量，获取膨胀高亮度区域EHR(步骤S22-7：工序(b-5-7))，进一步，基于膨胀高亮度区域EHR获取饱和区域SR(步骤S22-8：工序(b-5-8))。其中，求出膨胀高亮度区域EHR的技术意义在于，与第三实施方式同样地，不将亮度分布的下端部分(在规定亮度Lmax以下但相比细胞等C的像GC1的亮度具有足够高的亮度的区域)作为对焦度计算的对象，从而提高对焦位置检测的精度。

然后，如图10所示，在存在饱和区域SR的情况下，与第二实施方式和第三实施方式同样地，针对拍摄部高度H1～H4中的任一个，不将饱和区域SR的图像作为对焦度计算的对象。然后，从饱和区域SR之外的图像G1A、G2A、G3A、G4A求出标志焦点的对准情况的对焦度。之后，与现有技术同样地，将对焦度最高的拍摄部高度确定为对焦位置。

如上所述，在第四实施方式中，能够得到与第二实施方式和第三实施方式同样的作用效果。而且，在第四实施方式中，由于仅获取超过规定亮度Lmax的区域和由该区域膨胀的区域作为饱和区域SR，因此，能够得到下述作用效果。在第二实施方式和第三实施方式中，由于以局部图像PG单位求出高亮度区域HR，因此，不仅局部图像PG的范围，从超过规定亮度Lmax的区域充分远离的区域也会被认定为高亮度区域HR。因此，作为对焦度计算的基础的亮度数据会不足。与此相对，在第四实施方式中，从超过规定亮度Lmax的区域充分远离的区域(膨胀高亮度区域EHR之外的区域)的亮度数据成为对焦度计算的基础。因此，能够基于更多的数据检测对焦位置。

通过上述第二实施方式至第四实施方式能够得到饱和区域SR之外的图像G1A、G2A、G3A、G4A，其中所包含的主要的像是向拍摄对象物照射激发光使其发出荧光的细胞等C的像GC1，图像G1A～G4A一般是暗的。因此，像GC1的亮度与噪声之差小，容易受到背景噪声的影响。因此，如下述说明的那样，可以构成为从图像G1A～G4A计算对焦度(第五实施方式)。

图11是示意性地表示本发明的对焦位置检测方法的第五实施方式所执行的工序的一部分的图。在第五实施方式中，针对每个对象图像G1A～G4A，进行对象图像的分割、每个局部区域的局部对焦度(局部值)的计算、基于多个局部对焦度的与对象图像对应的对焦度的计算。在此，说明针对对象图像G1A的处理，省略关于其他内容的说明。如图7所示，以与获取高亮度区域HR时相同的分割方式，将对象图像G1A分割为多个局部区域PR，获取合计八个局部区域PR。当然，分割方式(分割数量、分割形状等)也可以与获取高亮度区域HR时不同。

然后，针对每个局部区域PR计算标识焦点的对准情况的对焦度。在本说明书中，为了与以往的公知对焦度即由对象图像G1A计算的对焦度相区别，将如此般由局部区域PR计算的对焦度称作“局部对焦度”。即，在本实施方式中，计算八个局部对焦度。

作为局部对焦度，能够使用以往公知的指标值，例如：(1)与构成局部区域PR的像素的亮度对应的指标值(亮度平均值、对比度、边缘强度等)；(2)根据局部区域PR的面积、值，将上述指标值乘以系数而得到的指标值；(3)由构成局部区域PR的像素的亮度直方图解析地计算出的指标值等。在本实施方式中，利用0至255的灰度表示构成对象图像G1的像素的亮度，将每个局部区域PR的亮度平均值作为局部对焦度。因此，将图11的“局部区域”和“局部对焦度”相关联地观察可知，对象图像G1整体的局部对焦度较低，与细胞等C的像GC对应的局部对焦度稍高。

若这样针对对象图像G1A求出多个局部对焦度，则既能够进行与局部对焦度的大小相对应的修正，又能够计算将拍摄部13定位于拍摄部高度H1时的对焦度。在本实施方式中，将局部对焦度乘以与局部对焦度的大小相对应的系数来计算修正值。更详细地来说，按拍摄部13的焦点的对准情况的顺序，即局部对焦度从大到小的顺序，对上述八个局部对焦度进行排序，将从最上位开始到一定位次(前50％)为止的局部对焦度乘以作为系数的大于零的值(本实施方式中为“1”)来计算多个修正值，另一方面，将其余的局部对焦度乘以作为系数的零而从用于计算对焦度的修正值实质上排除。即，在图11的“局部对焦度”中，提取阴影所示的前4个局部对焦度作为修正值，并求得这些值的平均值作为将拍摄部13定位于拍摄部高度H1时的对焦度。此外，基于对象图像G2A～G4A分别求出将拍摄部13定位于拍摄部高度H2～H4时的对焦度。

若这样针对每个拍摄部高度H1～H4求出对焦度，则与现有技术同样地，能够将对焦度最高的拍摄部高度确定为对焦位置(相当于本发明的“工序(c)”的一个例子)。例如，如图11所示，在对焦度分布的情况下，将表示最高的值时的拍摄部高度H3确定为对焦位置。

在此，在比较针对每个对象图像G1～G4将构成对象图像的全部像素的亮度简单平均而得到的值作为对焦度的第二实施方式(图11的左端)和本实施方式(图11的右端)时，可知第五实施方式具有如下优点。因为第二实施方式中仅仅是进行了简单平均，容易受到背景噪声的影响。因此，伴随拍摄部高度H1～H4的变更的对焦度的变化量小。与此相对，在第五实施方式中，排除局部对焦度小于前50％的局部对焦度的区域即不包含细胞等C的像GC1的盖然性高的背景噪声区域，求出每个对象图像G1A～G4A的对焦度。因此，伴随拍摄部高度H1～H4的变更的对焦度的变化量大，从而能够更准确地检测对焦位置。其结果，即使在对象图像G1A～G4A较暗的情况下，也能够稳定地检测对焦位置而不反复进行检测动作。

此外，本发明并不限于上述实施方式，只要不脱离其主旨，能够进行上述内容之外的各种变更。例如，在上述实施方式A中，每次将拍摄部13定位于拍摄部高度H1～H4就计算局部对焦度和在该拍摄部高度下的对焦度，但也可以在获取到四个对象图像G1～G4后一并计算局部对焦度和在拍摄部高度下的对焦度。

另外，在上述实施方式B中，每次将拍摄部13定位于拍摄部高度H1～H4就获取饱和区域SR，但也可以在获取到四个对象图像G1～G4后一并计算饱和区域SR。

另外，在上述实施方式中，在连续拍摄孔91内的细胞等C之前，使用特定的孔91来执行上述对焦位置检测动作，但也可以针对每个孔91的细胞拍摄执行上述对焦位置检测动作。

另外，在上述实施方式中，将从拍摄部13到拍摄对象物(细胞等C)的距离分为四个等级进行变更，但拍摄部高度的级数并不限于此，只要是多级，可以是任意的。

另外，在上述实施方式中，在存储器145中预先存储了包括对焦位置检测用程序的控制程序，但也可以通过与接口部142电连接的磁盘驱动器等读取部149来读取安装程序。即，能够读取记录在插入该磁盘驱动器的CD-ROM(便捷式紧凑盘只读存储器：CompactDisc-Read Only Memory)或DVD-ROM(数字多功能只读存储器：Digital Versatile Disk-Read Only Memory)等记录介质M中的上述对焦位置检测用程序，使磁盘驱动器作为读取部149发挥作用。即，即使是不能执行上述的对焦位置检测方法的拍摄装置1，也可以通过安装上述对焦位置检测用程序而编入对焦位置检测用程序，从而升级为能够执行上述的对焦位置检测方法。此外，作为记录介质M，也可以使用CD-ROM和DVD-ROM之外的记录介质来进行对焦位置检测用程序的读取。另外，也可以使用通信机构来读取对焦位置检测用程序。

以上，按照特定的实施例对发明进行了说明，并不能将该说明理解为限定性内容。若参照本发明的说明，与本发明的其他实施方式同样地公开的实施方式的各种变形例对于精通该技术的人来讲是显而易见的。因此，应认为在不脱离发明的主旨范围的范围内，所附的权利要求书包括该变形例或实施方式。

该发明能够适用于所有根据一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像来检测对点位置的对焦位置检测技术。

Claims (11)

1.一种对焦位置检测方法，其特征在于，

包括：

工序(a)，一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄来获取多个对象图像；

工序(b)，针对每个所述对象图像，基于分割所述对象图像而成的多个局部区域或者所述对象图像中的除去超过规定亮度的饱和区域的饱和区域之外的图像，从所述对象图像求出标志焦点的对准情况的对焦度；以及

工序(c)，基于多个所述对焦度确定对焦位置，

所述工序(b)包括：

工序(b-1)，将所述对象图像分割为多个局部区域；

工序(b-2)，针对每个所述局部区域，从所述局部区域求出标志焦点的对准情况的局部值；以及

工序(b-3)，基于多个所述局部值求出所述对焦度，

所述工序(b-3)是如下工序：针对每个所述局部值根据所述局部值的大小进行修正来计算修正值，并且根据多个所述修正值来计算所述对焦度。

2.根据权利要求1所述的对焦位置检测方法，其特征在于，

在所述工序(b-3)中，将所述局部值乘以与所述局部值的大小相对应的系数，来计算所述修正值。

3.根据权利要求2所述的对焦位置检测方法，其特征在于，

在所述工序(b-3)中，按所述拍摄部的焦点的对准情况的顺序即所述局部值从大到小的顺序，对多个所述局部值进行排序，将从最上位到一定位次的所述局部值乘以作为所述系数的大于零的值来计算多个所述修正值，另一方面，将其余的所述局部值乘以作为系数的零而从用于计算所述对焦度的所述修正值排除。

4.根据权利要求1至3中任一项所述的对焦位置检测方法，其特征在于，

在所述工序(b-3)中，将多个所述修正值进行平均来求出所述对焦度。

5.一种对焦位置检测方法，其特征在于，

包括：

工序(a)，一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄来获取多个对象图像；

工序(b)，针对每个所述对象图像，基于分割所述对象图像而成的多个局部区域或者所述对象图像中的除去超过规定亮度的饱和区域的饱和区域之外的图像，从所述对象图像求出标志焦点的对准情况的对焦度；以及

工序(c)，基于多个所述对焦度确定对焦位置，

所述工序(b)包括：

工序(b-4)，从多个所述对象图像获取超过规定亮度的饱和区域；

工序(b-5)，针对每个所述对象图像，从所述对象图像中的所述饱和区域之外的图像求出标志焦点的对准情况的对焦度；以及

工序(b-6)，基于多个所述对焦度来确定对焦位置，

所述工序(b-5)包括：

工序(b-5-1)，将所述对象图像分割成多个局部图像；

工序(b-5-2)，求出与超过所述规定亮度的所述局部图像相对应的高亮度区域；

工序(b-5-4)，求出使所述高亮度区域膨胀以在亮度分布中包含与所述高亮度区域连接的下端部分的膨胀高亮度区域；以及

工序(b-5-5)，基于所述膨胀高亮度区域来决定所述饱和区域。

6.根据权利要求5所述的对焦位置检测方法，其特征在于，

基于构成所述局部图像的多个像素中的超过所述规定亮度的像素的数量，来进行所述局部图像是否超过所述规定亮度的判断。

7.一种对焦位置检测方法，其特征在于，

包括：

工序(a)，一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄来获取多个对象图像；

工序(b)，针对每个所述对象图像，基于分割所述对象图像而成的多个局部区域或者所述对象图像中的除去超过规定亮度的饱和区域的饱和区域之外的图像，从所述对象图像求出标志焦点的对准情况的对焦度；以及

工序(c)，基于多个所述对焦度确定对焦位置，

所述工序(b)包括：

工序(b-4)，从多个所述对象图像获取超过规定亮度的饱和区域；

工序(b-5)，针对每个所述对象图像，从所述对象图像中的所述饱和区域之外的图像求出标志焦点的对准情况的对焦度；以及

工序(b-6)，基于多个所述对焦度来确定对焦位置，

所述工序(b-5)包括：

工序(b-5-6)，求出超过所述规定亮度的高亮度区域；

工序(b-5-7)，求出使所述高亮度区域膨胀以在亮度分布中包含与所述高亮度区域连接的下端部分的膨胀高亮度区域；以及

工序(b-5-8)，基于所述膨胀高亮度区域来决定所述饱和区域。

8.一种对焦位置检测装置，基于一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像，来检测对焦点位置，其特征在于，

所述对焦位置检测装置具有：

对焦度计算部，针对每个所述对象图像，基于分割所述对象图像而成的多个局部区域或者所述对象图像中的除去超过规定亮度的饱和区域的饱和区域之外的图像，从所述对象图像计算标志所述拍摄部的焦点的对准情况的对焦度；

对焦位置确定部，基于由所述对焦度计算部计算出的多个所述对焦度来确定所述对焦位置，

所述对焦度计算部在针对分割所述对象图像获取的每一个局部区域从所述局部区域求出标志焦点的对准情况的局部值后，基于多个所述局部值求出所述对焦度，

在所述对焦度计算部中，针对每个所述局部值根据所述局部值的大小进行修正来计算修正值，并且根据多个所述修正值来计算所述对焦度。

9.一种对焦位置检测装置，基于一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像，来检测对焦点位置，其特征在于，

所述对焦位置检测装置具有：

对焦度计算部，针对每个所述对象图像，基于分割所述对象图像而成的多个局部区域或者所述对象图像中的除去超过规定亮度的饱和区域的饱和区域之外的图像，从所述对象图像计算标志所述拍摄部的焦点的对准情况的对焦度；

对焦位置确定部，基于由所述对焦度计算部计算出的多个所述对焦度来确定所述对焦位置，

所述对焦位置检测装置还具有饱和区域获取部，所述饱和区域获取部从多个所述对象图像获取超过规定亮度的饱和区域，

所述对焦度计算部针对每个所述对象图像，从所述对象图像中的所述饱和区域之外的图像求出标志焦点的对准情况的对焦度，

在所述对焦度计算部中，

将所述对象图像分割成多个局部图像；

求出与超过所述规定亮度的所述局部图像相对应的高亮度区域；

求出使所述高亮度区域膨胀以在亮度分布中包含与所述高亮度区域连接的下端部分的膨胀高亮度区域；以及

基于所述膨胀高亮度区域来决定所述饱和区域。

10.一种对焦位置检测装置，基于一边使焦点位置沿着光轴变化一边利用拍摄部对拍摄对象物进行拍摄而获取的多个对象图像，来检测对焦点位置，其特征在于，

所述对焦位置检测装置具有：

对焦度计算部，针对每个所述对象图像，基于分割所述对象图像而成的多个局部区域或者所述对象图像中的除去超过规定亮度的饱和区域的饱和区域之外的图像，从所述对象图像计算标志所述拍摄部的焦点的对准情况的对焦度；

对焦位置确定部，基于由所述对焦度计算部计算出的多个所述对焦度来确定所述对焦位置，

所述对焦位置检测装置还具有饱和区域获取部，所述饱和区域获取部从多个所述对象图像获取超过规定亮度的饱和区域，

所述对焦度计算部针对每个所述对象图像，从所述对象图像中的所述饱和区域之外的图像求出标志焦点的对准情况的对焦度，

在所述对焦度计算部中，

求出超过所述规定亮度的高亮度区域；

求出使所述高亮度区域膨胀以在亮度分布中包含与所述高亮度区域连接的下端部分的膨胀高亮度区域；以及

基于所述膨胀高亮度区域来决定所述饱和区域。

11.一种计算机可读取的非暂时性的记录介质，记录有使计算机执行权利要求1至7中任一项所述的对焦位置检测方法的对焦位置检测用程序。

Images