CN111669509A

CN111669509A - 改变像方光程的自动聚焦装置及自动聚焦方法

Info

Publication number: CN111669509A
Application number: CN202010680350.2A
Authority: CN
Inventors: 曹文; 罗华东; 周永; 吴昊; 季松林
Original assignee: Jiangsu Puma Intelligent Industrial Design And Research Co ltd
Current assignee: Jiangsu Puma Intelligent Industrial Design And Research Co ltd
Priority date: 2020-07-15
Filing date: 2020-07-15
Publication date: 2020-09-15

Abstract

本发明涉及一种改变像方光程的自动聚焦装置，包括计算机、运动控制器、三轴运动平台、显微物镜、分光元件、光程控制元件、聚焦相机及采图相机，光程控制元件使聚焦相机传感器上4个区域的光程存在已知的差异，进而产生不同程度的离焦；采图相机的离焦程度与聚焦相机中4个区域的离焦程度均不相同；聚焦相机和采图相机均与计算机通过信号线进行通讯；计算机与运动控制器通讯；运动控制器与三轴运动平台进行通讯。本发明还公开了该装置自动聚焦方法的实施方案，可以实时监测当前离焦程度，也可以在飞拍(运动采集)时进行实时追踪聚焦，本发明最大限度地兼顾了采集效率、系统成本、成像质量、系统结构紧凑。

Description

改变像方光程的自动聚焦装置及自动聚焦方法

技术领域：

本发明属于显微镜图像扫描与处理的技术领域，涉及数字图像处理技术和显微镜光路设计技术，更具体地，本发明涉及一种改变像方光程的自动聚焦装置及该装置的自动聚焦方法。

背景技术：

显微成像系统中，物镜分辨率越高景深越小，尤其是20～100倍高倍显微物镜，景深约1.5～0.5微米。被检测对象放置于运动平台后，其表面的高度差异往往会超出成像系统的景深。因此，当成像系统对被检测对象全部表面进行扫描采图，需要调整成像系统的聚焦Z向聚焦高度以适应该检测对象表面的高度差异。这个适应性调整过程，一般地被称之为实时追踪自动聚焦。

显微镜实时追踪自动聚焦的方法主要可以分为两大类：主动测量式聚焦方法和基于图像清晰度的聚焦方法。

主动测量式聚焦方法是指，在显微镜成像系统之外新增一套测量装置，或者将新增的测量装置在结构上嵌入显微镜成像系统。主动测量式聚焦方法中所使用的测量装置，对被检测对象进行距离测量，当距离测量值超出显微镜成像系统所允许的景深的时候，通过一些运动执行装置对显微镜成像系统的聚焦位置进行调节与补偿，以保障在扫描采图过程中，成像系统始终不离焦。此类方法，具有操作简单、相应快、测量范围大等优点，但同时具有测量精度难以满足40～100倍物镜的聚焦要求、测量视野对采图视野的适应性差、测量装置对被检测对象材质变化的兼容性差等缺点。

基于图像清晰度的聚焦方法是指，直接对显微镜成像系统所采集的图像进行清晰度分析，并据此进行聚焦调整的方法。通常需要选择不同聚焦高度的多幅图像进行清晰度分析，并且结合多幅图像对应的高度信息，进行聚焦策略的规划。基于图像清晰度的聚焦方法通常有多种实现方式。

可以牺牲扫描时间，在每个视野采集多个聚焦高度不同的图像，进行清晰度分析，这种方式无法实现显微系统在X轴或者Y轴运动中的飞拍(单轴运动不停的状态进行图像采集)。

可以牺牲成像系统的空间，使用分光元件在显微镜无限远光路的部分进行分光，以产生多个光路，进而使用多个相机进行同步图像采集，这些图像的视野相同。为了确定主光路的聚焦方向，至少需要分出2个辅助光路，在一次同步采集中产生3个图像(两个聚焦辅助光路，一个进行图像采集的主光路)。加上一路照明光路，这种方式因为成像系统的光学设计难度太高，难以实现或者实现成本很高。

可以牺牲成像系统中相机的视野和分辨率，使主光路的相机进行倾斜安装，这样可以将图像分为3个或更多的小图像进行清晰度分析并进行聚焦策略规划。相机的倾斜安装使用，与成像系统光学设计存在偏差，并且在图像在倾斜方向产生了缩放，倾斜安装使用中实际分辨率略有降低；而在相机的视野中，仅有部分区域的聚焦状态是可以接受，这样需要增加扫描位置和拍照次数，进而增加扫描时间。当扫描效率和成像质量要求不高时，此方式的性价比很高。

可以在一个辅助光路上像方空间增加多个分光元件，产生多个支路，每个支路的光程不同，进而在辅助光路相机上产生离焦程度不同的区域，视作清晰度不同的多幅小图像。对这些小图像进行清晰度分析并进行聚焦策略规划。

可以在一个辅助光路上像方空间增加离焦光栅(二次光栅)，使辅助光路相机上产生离焦程度不同的3个区域，视作清晰度不同的3幅小图像。对这些小图像进行清晰度分析并进行聚焦策略规划。

综上所述，显微镜成像系统在扫描采集图像时，需要同时兼顾采集效率、系统成本、成像质量、系统结构紧凑等因素往往很难实现。各种聚焦方法各有优势，都有其适用的应用场景。

发明内容：

本发明的目的是，为了尽可能地兼顾采集效率、系统成本、成像质量、系统结构紧凑，提供一种改变像方光程的自动聚焦装置及自动聚焦方法，通过在像方加入光程控制元件，使辅助光路上的聚焦相机产生4个离焦程度不同区域，计算机系统分析聚焦相机和采图相机的图像清晰度，调整三轴运动平台的位置，完成快速、实时的自动聚焦。

为了实现上述目的，本发明采用如下技术方案：

一种改变像方光程的自动聚焦装置，包括计算机，运动控制器，三轴运动平台，显微物镜，分光元件，光程控制元件，聚焦相机，相机安装微调模块，采图相机。

被检测对象放置于三轴运动平台可以沿X，Y，Z三个方向移动；所述聚焦相机和采图相机采集的图像均通过信号线传输给计算机进行处理；所述计算机根据处理结果，发送运动指令给运动控制器，所述运动控制器驱动三轴运动平台在X,Y,Z方向移动。

所述的分光元件将无限远显微系统的光路分成两路：其中采图相机所在的光路为主要的成像光路，该光路的主要功能是完成被检测对象的图像采集工作；聚焦相机所在的光路为辅助聚焦的光路，该光路的主要功能是保障上述成像光路在采图过程中始终都在可接受的聚焦状态。所述的光程控制元件结构上有4个等分的区域，这4个区域的厚度不同，进而在该光路上产生不同的光程，使聚焦相机采集的图像存在4个不同离焦程度的部分，即4部分视野不同的小图像。所述的安装微调模块将聚焦相机在像方安装的位置微调，这使得，成像光路中采图相机的聚焦位置与聚焦相机中4部分视野不同的小图像的聚焦位置均不相同，聚焦相机中2部分小图像相对于采图相机是正向离焦，聚焦相机中另外2部分小图像相对于采图相机是负向离焦。所述聚焦相机采集的图像存在4个不同离焦程度的部分，即4部分视野不同的小图像(FOV1，FOV2，FOV3，FOV4)，他们对于的聚焦高度为(Z_-2，Z_-1，Z₊₁，Z₊₂)，计算他们的清晰度评价值为(F(FOV1)，F(FOV2)，F(FOV3)，F(FOV4))，为了对相同视野进行比较，采图相机根据上述4部分小图像(FOV1，FOV2，FOV3，FOV4)的视野相应的也分为4部分小图像(aFOV1，aFOV2，aFOV3，aFOV4)，他们的聚焦高度为(Z₀，Z₀，Z₀，Z₀),计算他们的清晰度评价值为(F(aFOV1)，F(aFOV2)，F(aFOV3)，F(aFOV4))，可以根据以上信息计算并且拟合出采图相机当前聚焦信息和理想聚焦位置。

所述的一种改变像方光程的自动聚焦装置的自动聚焦方法，具体步骤如下：

1、所述三轴运动平台移动至某一初始采集位置(X1，Y1，Z1)，对采图相机进行聚焦操作，可以采用自动搜索聚焦(公知技术)或者手动聚焦，使采图相机处在比较理想的聚焦状态；

2、手动调节机安装微调模块，使聚焦相机中2部分小图像相对于采图相机是正向离焦，聚焦相机中另外2部分小图像相对于采图相机是负向离焦；

3、聚焦相机和采图相机同时采集一次图像，计算并拟合出采图相机当前聚焦信息和理想聚焦位置(X1，Y1，Z2)；

4、进而将三轴运动平台移动X轴至(X2，Y1，Z2)或者移动Y轴至(X1，Y2，Z2)，聚焦相机和采图相机同时采集一次图像，计算并拟合出采图相机当前聚焦信息和理想聚焦位置(X2，Y1，Z3)或者(X2，Y1，Z3)，重复步骤4对下一个位置进行图像采集。

本发明的有益效果：与现有技术相比，本发明最大限度地兼顾了采集效率、系统成本、成像质量、系统结构紧凑；通过在像方加入光程控制元件，该光程控制元件的厚度可以由物镜的倍率计算得到，因此可以精准的适用不同倍率的显微物镜，特别是高倍显微物镜；光程控制元件使辅助光路上的聚焦相机产生4个离焦程度不同区域，并且离焦的程度可以由光程控制元件的厚度精确的控制；计算机系统分析聚焦相机和采图相机的图像清晰度时，是针对相同视野的图像进行处理的，可以适应被检测对象在扫描过程中材质和纹理变化，系统的聚焦精度高，鲁棒性强。

附图说明：

图1为本发明的改变像方光程的自动聚焦装置的结构示意图；

图2为本发明的光程控制元件的结构示意图；

图3为本发明的光程控制元件改变像距的光路示意图；

图4为本发明的聚焦相机图像区域与对应聚焦位置关系示意图；

图5为本发明的聚焦相机成像示意图；

图6为本发明的采图相机成像示意图；

图7为本发明的装置单点全程聚焦示意图；

图8为本发明的装置单次采图的聚焦信息示意图。

具体实施方式：

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示的改变像方光程的自动聚焦装置，包括计算机1，运动控制器2，三轴运动平台3，被检测对象4，显微物镜5，分光元件6，光程控制元件7，聚焦相机8，相机安装微调模块9，采图相机10。所述被检测对象4放置于三轴运动平台3上，可以沿X，Y，Z三个方向移动；所述聚焦相机8和采图相机10采集的图像均通过信号线传输给计算机1进行处理；所述计算机1根据处理结果，发送运动指令给运动控制器2，所述运动控制器2驱动三轴运动平台3在X,Y,Z方向移动。

所述的分光元件将无限远显微系统的光路分成两路：其中采图相机10所在的光路为主要的成像光路，该光路的主要功能是完成被检测对象的图像采集工作；聚焦相机8所在的光路为辅助聚焦的光路，该光路的主要功能是保障上述成像光路在采图过程中始终都在可接受的聚焦状态。

所述光程控制元件7选用K9等光学透明玻璃，如图2所示，其结构包括3个厚度不同的区域，和1个没有玻璃的区域，4个区域面积相等。玻璃厚度是根据显微物镜设计的，如图3所示，光程控制元件在像方对光程的改变为dz＝D(n-1)，其中D是玻璃厚度，n是与当前光源波长对应的玻璃折射率约为1.5。以50倍物镜为例，数值孔径NA＝0.55，景深DOF＝0.9μm，设计光程元件厚度D1，使得聚焦相机与采图相机在物方聚焦相差dZ＝0.1*DOF＝0.09μm，此时轴向倍率α＝50*50＝2500≈dz/dZ，可得dz≈0.225mm，进而可得D＝dz/(n-1)＝0.45mm。设计光程控制元件4个区域的厚度分别为D1＝0mm，D2＝D＝0.45mm，D1＝3*D＝1.35mm，D1＝4*D＝1.8mm。

对采图相机10进行聚焦操作，可以采用自动搜索聚焦(公知技术)或者手动聚焦，使采图相机10处在比较理想的聚焦状态。通过计算可知，在像方，聚焦相机8被相机安装微调模块9微调的距离为2*dz＝0.45mm。此时，成像光路中采图相机10的聚焦位置与聚焦相机8中4部分视野不同的小图像的聚焦位置均不相同，聚焦相机8中2部分小图像相对于采图相机10是正向离焦，聚焦相机8中另外2部分小图像相对于采图相机10是负向离焦。如图4所示，所述聚焦相机8采集的图像存在4个不同离焦程度的部分，如图5所示，即4部分视野不同的小图像(FOV1，FOV2，FOV3，FOV4)，他们对于的聚焦高度为(Z_-2，Z_-1，Z₊₁，Z₊₂)，计算他们的清晰度评价值为(F(FOV1)，F(FOV2)，F(FOV3)，F(FOV4))。为了对相同视野进行比较，采图相机10根据上述4部分小图像(FOV1，FOV2，FOV3，FOV4)的视野相应的也分为4部分小图像(aFOV1，aFOV2，aFOV3，aFOV4)，如图6所示，他们的聚焦高度为(Z₀，Z₀，Z₀，Z₀),计算他们的清晰度评价值为(F(aFOV1)，F(aFOV2)，F(aFOV3)，F(aFOV4))。

以上硬件安装调节完成后，可以确定此时装置的系统参数。在某一视野下，物方Z轴每移动一个位置进行一次采图，对采图相机10分析在此过程中图像的清晰度F。清晰度F与Z轴坐标的关系为：

其中a与镜头质量和被检测对象相关，b是理论最佳聚焦位置，c与景深相关，d为系统平移常量。

所述三轴运动平台3移动至某一采集位置，对装置进行一次全程聚焦分析。可以同时对采图像相机10和聚焦相机8中FOV1，FOV2，FOV3，FOV4进行分析，如图7所示，确定5个聚焦位置在Z轴上的偏移量以及公式(1)中的c、d。

所述三轴运动平台3移动至某一初始采集位置(X1，Y1，Z1)，聚焦相机和采图相机同时采集一次图像，可以同时得到Z_-2，Z_-1，Z₀，Z₊₁，Z₊₂共5个位置对应的清晰度评价值，如图8所示，计算并拟合出采图相机当前聚焦信息和理想聚焦位置(X1，Y1，Z2)。以Z2值为中心，设置一个清晰度收敛区间(Z2-acZ,Z2+acZ)。如果Z₀在此区间内则下一个位置不需要调整Z轴坐标，反之将三轴运动平台移动X轴至(X2，Y1，Z2)或者移动Y轴至(X1，Y2，Z2)，聚焦相机和采图相机同时采集一次图像，计算并拟合出采图相机当前聚焦信息和理想聚焦位置(X2，Y1，Z3)或者(X2，Y1，Z3)。重复此步骤对下一个位置进行图像采集，进而完成被检测对象整个表面的扫描采图。

本发明最大限度地兼顾了采集效率、系统成本、成像质量、系统结构紧凑；通过在像方加入光程控制元件，该光程控制元件的厚度可以由物镜的倍率计算得到，因此可以精准的适用不同倍率的显微物镜，特别是高倍显微物镜；光程控制元件使辅助光路上的聚焦相机产生4个离焦程度不同区域，并且离焦的程度可以由光程控制元件的厚度精确的控制；计算机系统分析聚焦相机和采图相机的图像清晰度时，是针对相同视野的图像进行处理的，可以适应被检测对象在扫描过程中材质和纹理变化，系统的聚焦精度高，鲁棒性强。

在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“顶”、“底”、“侧”、“端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”、“设有”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种改变像方光程的自动聚焦装置，其特征在于：包括计算机、运动控制器、三轴运动平台、显微物镜、分光元件、光程控制元件、聚焦相机及采图相机，所述计算机通过运动控制器与三轴运动平台连接，所述显微物镜对应设置三轴运动平台上方，所述分光元件对应设置在显微物镜上方，所述聚焦相机、采图相机分别对应设置在分光元件两侧，聚焦相机、采图相机与计算机连接，所述光程控制元件设置在聚焦相机与分光元件之间。

2.根据权利要求1所述的改变像方光程的自动聚焦装置，其特征在于：所述分光元件将光路分为两路：

其中采图相机所在的光路为成像光路，用于被检测对象的图像的采集工作；

其中聚焦相机所在的光路为辅助聚焦的光路，用于保障上述成像光路在采图过程中始终都在可接受的聚焦状态。

3.根据权利要求2所述的改变像方光程的自动聚焦装置，其特征在于：所述辅助聚焦的光路中的光程控制元件具有多个等分的区域，多个区域的厚度不同，在该光路上产生不同的光程，使聚焦相机采集的图像存在多个视野不同的小图像。

4.根据权利要求2所述的改变像方光程的自动聚焦装置，其特征在于：所述辅助聚焦的光路中的聚焦相机上安装有微调模块，微调模块使成像光路中采图相机的聚焦位置与聚焦相机中各部分视野不同的小图像的聚焦位置均不相同，聚焦相机中部分小图像相对于采图相机是正向离焦，聚焦相机中其余小图像相对于采图相机是负向离焦。

5.根据权利要求2所述的改变像方光程的自动聚焦装置，其特征在于：所述聚焦相机采集的图像存在4部分视野不同的小图像，对应4个不同的聚焦高度，计算他们的清晰度评价值，采图相机根据上述4部分小图像的视野相应的也分为4部分小图像，对应1个聚焦高度,计算他们的清晰度评价值，根据以上信息计算并且拟合出采图相机当前聚焦信息和理想聚焦位置。

6.一种如权利要求1-5任一项所述的改变像方光程的自动聚焦装置的自动聚焦方法，其特征在于，包括如下步骤：

1)三轴运动平台移动至某一初始采集位置，对采图相机进行聚焦操作，使采图相机处在比较理想的聚焦状态；

2)手动调节机安装微调模块，使聚焦相机中部分小图像相对于采图相机是正向离焦，聚焦相机中其余部分小图像相对于采图相机是负向离焦；

3)聚焦相机和采图相机同时采集一次图像，计算并拟合出采图相机当前聚焦信息和理想聚焦位置；

4)将三轴运动平台移动X轴或者移动Y轴，聚焦相机和采图相机同时采集一次图像，计算并拟合出采图相机当前聚焦信息和理想聚焦位置；

5)重复步骤4)，对下一个位置进行图像采集。