CN113433683B - 一种基于分时图像的显微成像自动对焦装置及其方法 - Google Patents

Abstract

本发明公开了一种基于分时图像的显微成像自动对焦装置及其方法，旨在解决现有技术中显微镜自动聚焦精度不足的技术问题。所述装置包括激光器、CCD相机、第一平面镜、反射式光斩波器、第二平面镜、第三平面镜、第四平面镜、第一分束镜、第二分束镜、凸透镜、第三分束镜、显微物镜和被测物体；所述方法为：将两条不同时刻的光束投射到被测物体上，再通过相机接收两条光束，获得两张光束图像，通过分析两张光束图像推算出当前物镜的位置以及离焦距离，利用电机移动物镜实现自动对焦。本发明能够在保证自动对焦速度、降低自动对焦成本的基础上，提高显微成像自动对焦的精度。

Description

一种基于分时图像的显微成像自动对焦装置及其方法

技术领域

本发明涉及一种基于分时图像的显微成像自动对焦装置及其方法，属于显微镜自动聚焦技术领域。

背景技术

显微镜的自动聚焦，被广泛的应用在工业检测，如半导体、液晶屏等领域。传统的聚焦判断方法，如图像清晰度函数、距离测量等，由于速度慢(清晰度函数)、成本高(距离测量)没有办法在工业生产中大规模的使用。WDI公司采用光束主动投影，利用在被测物表面形成图像，利用图像的信息作为聚焦情况的判断依据，解决了速度与成本问题。但是单幅图像处理时易收到外界因素的影响，如背景光、测量物体表面、测量物体安装等，导致测量精度的下降，在实际使用中，无法满足工业检测需求。

发明内容

为了解决现有技术中显微镜自动聚焦精度不足的问题，本发明提出了一种基于分时图像的显微成像自动对焦装置及其方法，将两条不同时刻的光束投影到被测物体表面，利用反射回来的两幅光束图像判断是否聚焦，由于两幅光束图像是同一物体表面的投影信息，受到的影响相同，因此可以利用两者之间的相互关系来考察聚焦情况，避免外界因素的影响，提高了检测精度。

为解决上述技术问题，本发明采用了如下技术手段：

第一方面，本发明提出了一种基于分时图像的显微成像自动对焦装置，包括激光器、CCD相机、第一平面镜、反射式光斩波器、第二平面镜、第三平面镜、第四平面镜、第一分束镜、第二分束镜、凸透镜、第三分束镜、显微物镜和被测物体；激光器发射的光束进入反射式光斩波器，一个时刻的光束经反射式光斩波器反射到第一平面镜，形成第一光束，另一个时刻的光束经反射式光斩波器透射到第二平面镜，形成第二光束；第一光束经过第一平面镜到达第一分束镜，经第一分束镜反射后依次穿过第二分束镜、凸透镜到达第三分束镜，第一光束在第三分束镜处折射进入显微物镜后照射到被测物体上；第二光束依次被第二平面镜、第三平面镜、第四平面镜反射后到达第一分束镜，穿过第一分束镜、第二分束镜和凸透镜到达第三分束镜，第二光束在第三分束镜处折射进入显微物镜后照射到被测物体上；

第一光束和第二光束经被测物体反射后分别被显微物镜收集并传送到第三分束镜，第三分束镜将第一光束和第二光束分别反射到凸透镜处，经凸透镜汇聚后第一光束和第二光束分别被CCD相机接收。

结合第一方面，进一步的，第一分束镜与第一光束和第二光束主光轴的夹角均为45°。

结合第一方面，进一步的，设凸透镜的焦距为f，第一光束和第二光束的出光口与凸透镜的物方主面的距离分别为d₁和d₂，则满足d₁＞f，d₂＞f，且d₁＞d₂。

结合第一方面，进一步的，所述显微物镜与被测物体处于同一竖直面上，显微物镜通过电机驱动在竖直方向移动，改变与被测物体之间的距离。

第二方面，本发明提出了一种基于分时图像的显微成像自动对焦方法，包括如下步骤：

利用反射式光斩波器将激光器发射的光束分割成2个不同时刻的光束，即第一光束和第二光束，将第一光束和第二光束传输到被测物体；

通过调整CCD相机的曝光时间，利用CCD相机分别接收被测物体反射的第一光束和第二光束，获得第一光束图像和第二光束图像；

根据图像像素点大小分别计算第一光束图像和第二光束图像的光斑半径；

基于预先构建的焦点位置查找表，利用第一光束图像和第二光束图像的光斑半径获得当前时刻显微物镜与焦距的距离；

根据当前时刻显微物镜与焦距的距离，利用电机调整显微物镜与被测物体之间的距离，实现自动对焦。

结合第二方面，进一步的，以第一光束图像为例，第一光束图像的光斑半径的计算方法包括如下步骤：

根据预设的阈值T对第一光束图像I₁中像素点的大小进行均值处理，获得均值处理后的第一光束图像I′₁，均值处理的表达式如下：

其中，I′₁(x_i，y_i)表示均值处理后第i个像素点的大小，I₁(x_i，y_i)表示第一光束图像I₁中第i个像素点的大小，i＝1，2，…，m，m为第一光束图像I₁中像素点的数量；

根据均值处理后的第一光束图像I′₁计算第一光束图像中光斑的面积S₁：

根据光斑的面积S₁计算第一光束图像的光斑半径。

结合第二方面，进一步的，焦点位置查找表的构建方法包括如下步骤：

根据电机单次移动距离Δ_d将显微物镜在竖直方向上的总移动距离分割为N个深度位置，并获得每个深度位置的值：

d⁽ⁿ⁾＝d_min+(n-1)Δ_d (3)

其中，d⁽ⁿ⁾表示显微物镜的第n个深度位置，d_min表示显微物镜到被测物体的最小距离，n＝1，2，…，N；

利用电机控制显微物镜移动到每个深度位置处，获得每个深度位置对应的第一光束图像的光斑半径

和第二光束图像的光斑半径

根据光斑半径

和

计算半径和

利用深度位置d⁽ⁿ⁾、光斑半径

和半径和

构建焦点位置查找表，并将实际对焦位置记为d_T。

结合第二方面，进一步的，设第一光束图像和第二光束图像的光斑半径分别为

和

获得当前时刻显微物镜与焦距的距离的方法为：

利用第一光束图像和第二光束图像的光斑半径

计算当前时刻的半径和

根据

遍历预先构建的焦点位置查找表，查找与

相似度最高的半径和

和

并提取

和

对应的d⁽ⁿ⁾和d⁽ⁿ⁺¹⁾，利用线性插值计算当前时刻显微物镜的位置：

其中，d^(x)表示当前时刻显微物镜的位置；

根据当前时刻显微物镜的位置和实际对焦位置d_T计算当前时刻显微物镜与焦距的距离：

Δd＝d^(x)-d_T (7)

其中，Δd表示当前时刻显微物镜与焦距的距离。

采用以上技术手段后可以获得以下优势：

本发明提出了一种基于分时图像的显微成像自动对焦装置及其方法，本发明装置利用反射式斩波器将激光器发射的光束分为不同时刻的两条光束，并通过不同的路径传输到被测物体，再通过CCD相机的两次曝光接收被测物体反射的两条光束，进而获得同一物体在相同影响因素下的两幅光束图像，利用两幅光束图像的相互关系来考察显微物镜的聚焦情况，能够消除外界因素对显微成像的影响。本发明方法可以根据两幅光束图像准确的计算出当前时刻显微物镜的位置，再通过电机控制显微物镜在竖直方向上移动，从而实现显微观测系统的自动对焦，对焦速度更快、焦点距离的检测精度更高。

本发明在保证了自动对焦速度、降低了自动对焦成本的基础上，提高了显微成像自动对焦的精度，有利于显微成像在工业检测中的推广使用。

附图说明

图1为凸透镜成像原理图；

图2为本发明显微成像自动对焦装置的光束发射路径示意图；

图3为本发明显微成像自动对焦装置的光束接收路径示意图；

图4为本发明实施例中反射式光斩波器的结构示意图；

图5为本发明一种基于分时图像的显微成像自动对焦方法的步骤流程图；

图中，1是激光器，2是激光器发射的光束，3是CCD相机，4是第一平面镜，5是反射式光斩波器，6是第三平面镜，7是第二平面镜，8是第四平面镜，9是第一分束镜，10是第二分束镜，11是凸透镜，12是第三分束镜，13是显微物镜，14是被测物体，15是第一光束，16是第二光束。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明：

本发明装置及方法的基本原理如下：

由透镜成像规律可知，当物距大于凸透镜的焦距时，在像的异侧形成一个实像。当被测面放置在成像一侧时，在被测上可以获得一副图像；当被测面位于像距上时，物上的同一点发出的光汇聚到同一位置，但是当被测面不位于像距上时，物上的同一点发出的光不能汇聚，形成弥散斑，弥散斑的尺寸随着被测面的位置不同而不同，且尺寸的大小与屏距离成线性相关。因此获得图像的尺寸也会因被测面的位置不同而不同。

当焦距、物距确定时，在不同位置的弥散斑的大小是确定的，因此获得的像的大小也是确定。根据这些图像的大小就可以判断出屏所处的位置。由于在像距的两侧弥散斑的尺寸相同，本发明采用两个处于不同物距的物体，产生两个像距不同的像，利用两幅图像间的相互关系确定被测面的位置，从而实现判断是否聚焦。

如图1所示，设两个物距为：U₁、U₂(U₁＞U₂)，对应的像距为V₁、V₂，根据形成规律可知：V₁＜V₂。当被测面的位置为X时，两个弥散斑的直径分别为R₁、R₂：

R₁＝k₁|X-V₁| (8)

R₂＝k₂|X-V₂| (9)

其中，

H为透镜高度，k₁＞k₂。

根据上述得：

R₁+R₂＝k₁|X-V₁|+|X-V₂| (10)

当X≤V₁时：

R₁+R₂＝k₁|X-V₁|+k₂|X-V₂|＝-(k₁+k₂)X+k₁V₁+k₂V₂ (11)

由于k₁、k₂都为正值，公式(11)的值随着X的增大而减小，所以在X＝V₁处获得R₁+R₂的最小值为：k₂(V₂-V₁)。

当V₁＜X≤V₂时：

R₁+R₂＝k₁|X-V₁|+k₂|X-V₂|＝(k₁-k₂)X+k₂V₂-k₁V₁ (12)

由于k₁＞k₂，公式(12)的值随着X的增大而增大，所以在X＝V₁处获得R₁+R₂的最小值为：k₂(V₂-V₁)，在X＝V₂处获得R₁+R₂的最大值为k₁(V₂-V₁)。

当X＞V₂时：

R₁+R₂＝k₁|X-V₁|+k₂|X-V₂|＝(k₁+k₂)X-(k₂V₂+k₁V₁) (13)

由于k₁、k₂都为正值，公式(13)的值随着X的增大而增大，所以在X＝V₂处获得R₁+R₂最小值为：k₁(V₂-V₁)。

综上所述，当X＜V₁时单调递减，当X＞V₁时单调递增。只要将测量范围限制在X＞V₁，根据图像的尺寸，就可以实现被测物体位置的检测。

基于上述基本原理，本发明提出了一种基于分时图像的显微成像自动对焦装置，如图2、3所示，本发明装置包括激光器1、CCD相机3、第一平面镜4、反射式光斩波器5、第二平面镜7、第三平面镜6、第四平面镜8、第一分束镜9、第二分束镜10、凸透镜11、第三分束镜12、显微物镜13和被测物体14。

反射式斩波器是由电机控制的风扇式的伦叶，如图4所示，在一定转速下，光束会交替透过和产生反射。本发明装置可以通过调整反射式光斩波器的转速和CCD相机的曝光时间，令一个时刻的光束透过反射式光斩波器，另一个时刻的光束被反射式光斩波器反射，最终通过CCD相机的两次曝光接收被测物体反射回来的不同时刻的光束。

光束发射路径如图2所示，激光器发射的光束2进入反射式光斩波器，一个时刻的光束经反射式光斩波器反射到第一平面镜，形成第一光束15(图2中的实线)，另一个时刻的光束经反射式光斩波器透射到第二平面镜，形成第二光束16(图2中的虚线)；第一光束经过第一平面镜到达第一分束镜，经第一分束镜反射后依次穿过第二分束镜、凸透镜到达第三分束镜，第一光束在第三分束镜处折射进入显微物镜后照射到被测物体上；第二光束依次被第二平面镜、第三平面镜、第四平面镜反射后(用于增加光程)到达第一分束镜，穿过第一分束镜、第二分束镜和凸透镜到达第三分束镜，第二光束在第三分束镜处折射进入显微物镜后照射到被测物体上。

在光束发射过程中，第一分束镜与第一光束和第二光束主光轴的夹角均为45°，经过第一分束镜后第一光束和第二光束的光轴重合，然后经过第二分束镜传输至凸透镜处。凸透镜的焦距为f，第一光束和第二光束的出光口与凸透镜的物方主面的距离分别为d₁和d₂，其满足d₁＞f，d₂＞f，由于第二光束经过了多个平面镜的反射，导致其光程变大，因此d₁＞d₂，即物距U₁＞U₂。

光束接收路径如图3所示，第一光束(图3中的实线)和第二光束(图3中的虚线)经被测物体反射后分别被显微物镜收集并传送到第三分束镜，第三分束镜将第一光束和第二光束分别反射到凸透镜处，经凸透镜汇聚后第一光束和第二光束分别被CCD相机接收。反射回来的第一光束和第二光束在不同时刻被CCD相机接收，本发明通过调整相机曝光时间，一次曝光只接收一条光束的图像，通过两次曝光获得两幅不同光束的图像。

基于凸透镜成像的原理，本发明可以根据两条不同时刻的光束在相机上形成的图像判断显微物镜的聚焦情况，进而通过控制显微物镜来实现显微成像自动对焦。为了实现上述效果，本发明装置中的显微物镜与被测物体处于同一竖直面上，显微物镜连接电机，可以通过电机驱动在竖直方向移动，进而改变显微物镜与被测物体之间的距离。

本发明还提出了一种基于分时图像的显微成像自动对焦方法，如图5所示，具体包括如下步骤：

步骤A、利用反射式光斩波器将激光器发射的光束分割成2个不同时刻的光束，即第一光束和第二光束，根据本发明显微成像自动对焦装置的光束发射路径将第一光束和第二光束传输到被测物体。

步骤B、通过调整CCD相机的曝光时间，利用CCD相机分别接收被测物体反射的第一光束和第二光束，获得第一光束图像和第二光束图像。根据凸透镜成像原理，当第一光束和第二光束不能汇聚时，第一光束图像和第二光束图像上会形成弥散斑(即光斑)。

步骤C、根据图像像素点大小分别计算第一光束图像和第二光束图像的光斑半径。

将第一光束对应的光束图像记为I₁，将第二光束对应的光束图像记为I₂，根据经验设置像素点大小的阈值T，以第一光束图像为例，光斑半径的计算方法包括如下步骤：

步骤C01、根据预设的阈值T对第一光束图像I₁中像素点的大小进行均值处理，获得均值处理后的第一光束图像I′₁，均值处理的表达式如下：

其中，I′₁(x_i，y_i)表示均值处理后第i个像素点的大小，I₁(x_i，y_i)表示第一光束图像I₁中第i个像素点的大小，i＝1，2，…，m，m为第一光束图像I₁中像素点的数量。

步骤C02、根据均值处理后的第一光束图像I′₁计算第一光束图像中光斑的面积S₁，计算公式如下：

步骤C03、根据光斑的面积S₁计算第一光束图像的光斑半径R₁，具体的，将S₁除以π后再进行开平方运算。

利用相同的方法第二光束图像的光斑半径R₂。

步骤D、基于预先构建的焦点位置查找表，利用第一光束图像和第二光束图像的光斑半径获得当前时刻显微物镜与焦距的距离。

在步骤D中，焦点位置查找表的构建方法包括如下步骤：

(1)假设显微物镜连接的电子每次工作可以带动显微物镜移动的距离为Δ_d，通过电机，显微物镜距离被测物体的最大距离和最小距离分别为d_max和d_min。

根据电机单次移动距离Δ_d将显微物镜在竖直方向上的总移动距离(d_max-d_min)分割为N个深度位置，相邻两个深度位置之间的距离为Δ_d，获得每个深度位置的值：

d⁽ⁿ⁾＝d_min+(n-1)Δ_d (16)

其中，d⁽ⁿ⁾表示显微物镜的第n个深度位置，n＝1，2，…，N。

(2)利用电机控制显微物镜移动到每个深度位置处，在每个深度位置处利用本发明显微成像自动对焦装置获得两幅光束图像，并按照步骤C中的操作获得每个深度位置对应的第一光束图像的光斑半径

和第二光束图像的光斑半径

(3)根据光斑半径

和

计算半径和

(4)利用深度位置d⁽ⁿ⁾、光斑半径

和半径和

构建焦点位置查找表，并将实际对焦位置记为d_T。焦点位置查找表如下所示：

表1

设第一光束图像和第二光束图像的光斑半径分别为

和

步骤D的具体操作如下：

步骤D01、利用第一光束图像和第二光束图像的光斑半径

计算当前时刻的半径和

步骤D02、根据

遍历预先构建的焦点位置查找表，查找与

相似度最高的半径和

和

并提取

和

对应的d⁽ⁿ⁾和d⁽ⁿ⁺¹⁾。

利用线性插值计算当前时刻显微物镜的位置：

其中，d^(x)表示当前时刻显微物镜的位置.

步骤D03、根据当前时刻显微物镜的位置和实际对焦位置d_T计算当前时刻显微物镜与焦距的距离：

Δd＝d^(x)-d_T (20)

其中，Δd表示当前时刻显微物镜与焦距的距离。

步骤E、根据当前时刻显微物镜与焦距的距离，利用电机调整显微物镜与被测物体之间的距离，实现自动对焦。将Δd反馈给显微物镜连接的电机，当Δd＞0，利用电机控制显微物镜向被测物体方向移动，当Δd＜0，利用电机控制显微物镜向被测物体的反方向移动。

与现有技术相比，本发明装置利用反射式斩波器将激光器发射的光束分为不同时刻的两条光束，能够获得同一物体再相同影响因素下的两幅光束图像，利用两幅光束图像的相互关系来考察显微物镜的聚焦情况，能够消除外界因素对显微成像的影响，提高测量精度。本发明方法可以根据两幅光束图像准确的计算出当前时刻显微物镜的位置，再通过电机控制显微物镜在竖直方向上移动，从而实现显微观测系统的自动对焦，对焦速度更快、焦点距离的检测精度更高。本发明在保证了自动对焦速度、降低了自动对焦成本的基础上，提高了显微成像自动对焦的精度，有利于显微成像在工业检测中的推广使用。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于分时图像的显微成像自动对焦装置，其特征在于，包括激光器、CCD相机、第一平面镜、反射式光斩波器、第二平面镜、第三平面镜、第四平面镜、第一分束镜、第二分束镜、凸透镜、第三分束镜、显微物镜和被测物体；激光器发射的光束进入反射式光斩波器，一个时刻的光束经反射式光斩波器反射到第一平面镜，形成第一光束，另一个时刻的光束经反射式光斩波器透射到第二平面镜，形成第二光束；第一光束经过第一平面镜到达第一分束镜，经第一分束镜反射后依次穿过第二分束镜、凸透镜到达第三分束镜，第一光束在第三分束镜处折射进入显微物镜后照射到被测物体上；第二光束依次被第二平面镜、第三平面镜、第四平面镜反射后到达第一分束镜，穿过第一分束镜、第二分束镜和凸透镜到达第三分束镜，第二光束在第三分束镜处折射进入显微物镜后照射到被测物体上；

第一光束和第二光束经被测物体反射后分别被显微物镜收集并传送到第三分束镜，第三分束镜将第一光束和第二光束分别反射到凸透镜处，经凸透镜汇聚后的第一光束和第二光束被第二分束镜反射后分别被CCD相机接收；

所述显微物镜与被测物体处于同一竖直面上，显微物镜通过电机驱动在竖直方向移动，改变与被测物体之间的距离。

2.根据权利要求1所述的一种基于分时图像的显微成像自动对焦装置，其特征在于，第一分束镜与第一光束和第二光束主光轴的夹角均为45°。

3.根据权利要求1所述的一种基于分时图像的显微成像自动对焦装置，其特征在于，设凸透镜的焦距为

，第一光束和第二光束的出光口与凸透镜的物方主面的距离分别为

和

，则满足

，

，且

。

4.基于权利要求1所述的一种基于分时图像的显微成像自动对焦装置的一种基于分时图像的显微成像自动对焦方法，其特征在于，包括如下步骤：

利用反射式光斩波器将激光器发射的光束分割成2个不同时刻的光束，即第一光束和第二光束，将第一光束和第二光束传输到被测物体；

通过调整CCD相机的曝光时间，利用CCD相机分别接收被测物体反射的第一光束和第二光束，获得第一光束图像和第二光束图像；

根据图像像素点大小分别计算第一光束图像和第二光束图像的光斑半径；

基于预先构建的焦点位置查找表，利用第一光束图像和第二光束图像的光斑半径获得当前时刻显微物镜与焦距的距离；

根据当前时刻显微物镜与焦距的距离，利用电机调整显微物镜与被测物体之间的距离，实现自动对焦。

5.根据权利要求4所述的一种基于分时图像的显微成像自动对焦方法，其特征在于，以第一光束图像为例，第一光束图像的光斑半径的计算方法包括如下步骤：

根据预设的阈值

对第一光束图像

中像素点的大小进行均值处理，获得均值处理后的第一光束图像

，均值处理的表达式如下：

其中，

表示均值处理后第i个像素点的大小，

表示第一光束图像

中第i个像素点的大小，

为第一光束图像

中像素点的数量；

根据均值处理后的第一光束图像

计算第一光束图像中光斑的面积

：

根据光斑的面积

计算第一光束图像的光斑半径。

6.根据权利要求4所述的一种基于分时图像的显微成像自动对焦方法，其特征在于，焦点位置查找表的构建方法包括如下步骤：

根据电机单次移动距离

将显微物镜在竖直方向上的总移动距离分割为N个深度位置，并获得每个深度位置的值：

其中，

表示显微物镜的第n个深度位置，

表示显微物镜到被测物体的最小距离，

；

利用电机控制显微物镜移动到每个深度位置处，获得每个深度位置对应的第一光束图像的光斑半径

和第二光束图像的光斑半径

；

根据光斑半径

和

计算半径和

：

利用深度位置

、光斑半径

、

和半径和

构建焦点位置查找表，并将实际对焦位置记为

。

7.根据权利要求4或6所述的一种基于分时图像的显微成像自动对焦方法，其特征在于，设第一光束图像和第二光束图像的光斑半径分别为

和

，获得当前时刻显微物镜与焦距的距离的方法为：

利用第一光束图像和第二光束图像的光斑半径

、

计算当前时刻的半径和

：

根据

遍历预先构建的焦点位置查找表，查找与

相似度最高的半径和

和

，并提取

和

对应的

和

，利用线性插值计算当前时刻显微物镜的位置：

其中，

表示当前时刻显微物镜的位置；

根据当前时刻显微物镜的位置和实际对焦位置

计算当前时刻显微物镜与焦距的距离：

其中，

表示当前时刻显微物镜与焦距的距离。

Images