CN115468747A - 显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法 - Google Patents

Abstract

本发明涉及一种显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法，包含显微视觉系统、平面标定板、阶梯状三维标定物的光轴校正装置，首先通过平面标定板多聚焦图像序列的采集与分析对载物台进行初校正。然后基于多个模块对三维标定物阶梯分界线处不同平面的两图像进行采集与分析，通过检测两图像中阶梯分界线的相对偏移实现显微镜光轴的校正。本发明可以有效减小显微视觉系统采集得到多聚焦图像序列的偏移误差，提高深度聚焦三维重建的精度。

Description

显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法

技术领域

本发明涉及显微深度聚焦测量的技术领域，具体涉及显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法。

背景技术

近年来，随着精密加工、微器件的发展，微观表面形貌测量技术取得了巨大的进步。在微纳级的测量技术中，应用较为广泛的便是显微三维测量技术。如今的显微三维测量技术多基于计算机视觉，通过结合图像处理的相关算法对微观物体进行三维形貌的测量甚至重建。显微三维测量中较为常用的几种算法分别是：双目视觉法、聚焦法和离焦法。其中聚焦法主要用于显微领域的三维重建，通过显微视觉系统采集样本物体的多聚焦图像序列，然后利用聚焦评价函数从图像序列中提取深度信息并对图像序列进行融合，由此重建出样本表面的三维形貌。

在深度聚焦三维测量中，一种模式是采用自动调焦镜头，通过改变镜组间距进行调焦采图；另外一种则是显微镜头的参数不变，通过控制显微镜上下移动改变物距进行采图。而显微镜与电控平移台的纵向运动轴不可避免的会存在装配误差，使显微镜光轴相对电控平移台的纵向运动轴方向存在夹角，以至于采集到的样本物体的图像序列会发生不同程度的偏移，使其序列图像的对应像素点不能严格对齐，极大的影响了三维测量的精度。因此需要对显微镜光轴进行校正，使其相对纵向运动轴方向平行，以保证三维测量的精度。

目前，传统的显微镜光轴校正方法主要有传感器校正、图像分析校正两大类，其中传感器校正以激光靶面校正、自准直仪校正等方法为主。激光靶面校正的精度易受校正装置及接收靶面安装位置的影响，且其装置的安装及拆卸过程也较为繁琐。自准直仪校正虽然精度较高，但其设备价格普遍较高，且校正过程繁琐、速度慢。图像分析校正的方法大多是通过采集样本物体的图像序列进行偏移检测来对光轴进行校正，这种方法操作简便且精度较高。但在显微深度聚焦测量中，通常是对微小尺度的样本物体进行表面重构，其物镜的景深范围要求处于微米级甚至更低，采集到的图像序列的清晰范围非常有限，所以无法通过样本物体图像序列的偏移检测来对光轴进行校正。

综上所述，针对现有的校正装置普遍存在安装不便性、校正过程繁琐、精度低等诸多缺陷，以及显微深度聚焦测量中镜头景深较小的局限性，亟需一种能够同时兼顾校正精度和校正效率的校正方式。由此本发明将图像的清晰度评价算子与特制三维标定物相结合，推出了显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法。其中清晰度评价算子多用于深度聚焦三维重建中，通过清晰度评价算子对图像进行区域遍历提取聚焦区域的深度信息进行样本物体的重建。王金岩在“基于Depth from Focus的图像三维重建”中提出通过拉普拉斯聚焦算子对图像序列划分区域块进行聚焦区域评价，进而对获得的深度索引图进行高斯插值获得样本物体重建的三维图像。赵洪盛在“基于图像区域像素重构的聚焦形貌恢复”一文中提出通过基于中心像素点的n×n邻域的梯度算子来提取多聚焦图像序列中的聚焦区域及其深度，再通过插值拟合重构样本物体的三维形貌图。本发明将清晰度评价算子用于特制的三维标定物，通过对三维标定物的不同高度图像进行聚焦、离焦区域的提取及分析来对显微镜光轴偏移进行检测与校正，避免了校正装置安装与拆卸的繁琐性，可重复性较强，且校正精度高。

发明内容

深度聚焦测量是通过从样本物体的多聚焦图像序列中提取深度信息并对图像序列进行融合，重建出样本表面的三维形貌，由此得到样本物体的测量数据。其中样本物体的多聚焦图像序列需要通过显微视觉系统中的纵向运动轴控制显微镜移动采集得到。若系统中的显微镜光轴与纵向运动轴方向存在夹角，则会导致采集得到的图像序列中对应像素点的位置发生偏移，以至于重构出样本物体的三维形貌误差较大导致测量数据不准确。针对由于显微镜光轴与纵向运动轴存在夹角而导致深度聚焦测量的精度不能得到保证的问题，本发明推出了一种显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法。通过对特制三维标定物的不同高度图像进行区域清晰度评价，提取其图像中的聚焦、离焦区域位置，通过不同高度图像中聚焦、离焦区域位置的相对变化对显微镜光轴偏移进行检测与校正，可以有效减小显微视觉系统采集到多聚焦图像序列存在的偏移影响，由此提高深度聚焦测量的精度。

为了实现以上目的，本发明采用以下技术方案：

本发明基于显微镜景深较小的特点，设计了阶梯状三维标定物，先通过显微视觉系统分别采集阶梯状三维标定物中阶梯分界处两不同平面的聚焦图像，此时两图像中的阶梯分界线两侧分别对应聚焦区域与离焦区域。再对两图像进行清晰度评价得到图像中聚焦、离焦区域的位置，即得到其图像中阶梯分界线的位置。通过两幅图像阶梯分界线的相对位置变化对显微镜光轴进行偏移校正。

本发明所涉及的光轴校正装置，其装置包含用于图像采集的显微视觉系统、用于载物台校正的平面标定板以及用于显微镜光轴校正的阶梯状三维标定物。现对校正装置包含的显微视觉系统、平面标定板及阶梯状三维标定物进行进一步的解释：

1.显微视觉系统，由显微镜，三自由度的电控平移台、二自由度的电控旋转台、二自由度的电控倾斜台以及载物台组成。通过电控平移台、旋转台、倾斜台对显微镜与载物台的控制实现对平面标定板及三维标定物的图像采集。

2.平面标定板，其为玻璃材质的光刻掩膜板，标定板上阵列分布着大小相同的特征圆，通过显微视觉系统对标定板上特征圆的采集与分析实现载物台的倾斜校正。

3.阶梯状三维标定物，标定物采用深硅刻蚀的方法制作加工而成，其尺寸在几毫米至几十毫米范围内。标定物呈阶梯状结构，有着上下两层平面。通过阶梯状标定物其阶梯分界处不同高度下的多聚焦图像的采集与分析进行显微镜光轴的校正。

所述显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法包括以下步骤：

1.载物台平面的初步校正

通过三维标定物对显微镜光轴进行校正前需保证显微镜光轴相对载物台呈垂直关系，以使置于载物台上的三维标定物的不同高度聚焦面成像均匀，边界清晰。消除因成像问题导致的校正误差。

针对载物台平面相对显微镜光轴非垂直的情况，本发明通过一种载物台倾斜校正的方法：基于清晰度评价的特征圆检测法，实现载物台的初步校正。

其校正方法的步骤如下：

通过显微视觉系统控制z轴电控平移台移动采集平面标定板图像序列，基于清晰度评价算法对图像序列中的每个特征圆区域进行清晰度评价，得到每个特征圆区域的清晰度最大值R与其所在的图像序列中的深度位置h。由每个清晰度值最大的特征圆区域位置及深度进行曲面拟合得到倾斜面，由此得到载物台的倾斜角，通过倾斜角对载物台进行旋转校正。

2.显微镜光轴校正

在进行载物台的初步校正之后，通过图像采集模块、图像处理模块、偏移检测模块及光轴校正模块多个模块循环来进行显微镜光轴相对纵向运动轴的检测及校正，以下为多模块对显微镜光轴校正的具体步骤：

(1)图像采集模块

将载物台平面校正之后，将三维标定物置于载物台上并将标定物进行摆正，使其阶梯分界线与x(y)轴方向平行，并控制载物台移动使三维标定物的阶梯分界线移至显微镜视野范围内。将阶梯状标定物的下平面定义为第一层面，上平面定义为第二层面。控制显微镜z轴上下移动分别采集三维标定物的第一层面清晰图像与第二层面清晰图像，此时两图像中的阶梯分界线两侧分别对应聚焦区域与离焦区域。第一层面清晰图像的聚焦区域位置对应第二层面清晰图像的离焦区域位置，第一层面清晰图像的离焦区域位置对应第二层面清晰图像的聚焦区域位置。

(2)图像处理模块

分别对输入的两图像进行区域清晰度评价定位两图像中的聚焦、离焦区域位置，即定位两图像中阶梯分界线的位置。当图像中阶梯分界线与x轴平行时，设图像大小为m×n，从图像初始位置取一横长为m，纵长为d的小区域块向y轴方向每次步进单位像素对图像进行清晰度遍历，得到每个区域块的清晰度值{R₁、R₂、.......R_n}，通过对R_i与R_i+d进行求比，得到比值数组。对其比值数组进行极值搜寻定位图像中阶梯分界线的位置。当图像中阶梯分界线与y轴平行时，其阶梯分界线定位原理同上。由此分别得到阶梯状标定物两不同高度平面图像的阶梯分界线位置。

(3)偏移检测模块

在显微镜光轴相对运动轴平行的理想情况下，阶梯状标定物两不同高度平面图像的阶梯分界线重合；若在非平行情况下，两图像其分界线相对位置则会发生不同程度的偏移。由上一模块得到的两图像的阶梯分界线的相对偏移距离，判断其偏移距离是否超过设定的阈值，若超过则将偏移距离参数输入至光轴校正模块，若不超过则表示完成显微镜光轴的校正。

(4)光轴校正模块

由显微镜的移动距离及两图像中阶梯分界线的偏移距离计算光轴偏移角度。通过偏移角控制二维旋转台对显微镜光轴进行旋转校正，同时控制二维倾斜台对载物台进行旋转校正，使载物台相对显微镜光轴始终保持垂直状态，校正完成后返回图像采集模块。

本发明通过对显微镜光轴相对纵向运动轴夹角的校正，可以有效减小显微视觉系统采集到多聚焦图像序列存在的偏移误差，从而提高深度聚焦三维重建的精度。

附图说明

图1为本发明所涉及的显微视觉系统结构示意图

图2为本发明所涉及的平面标定板示意图

图3为本发明所涉及的阶梯状三维标定物结构示意图

图4为本发明所涉及的载物台校正中平面标定板图像序列采集及特征圆定位示意图

图5为本发明所涉及的显微镜光轴校正中图像采集及偏移检测示意图

图6为本发明所涉及的载物台倾斜校正的方法组成

图7为本发明所涉及的图像中阶梯分界线定位的方法组成。

图8为本发明所涉及的显微镜光轴相对纵向运动轴偏移校正的方法组成

附图中标记说明。

A1-z轴电控平移台

A2-y_z平面电控旋转台

A3-x_z平面电控旋转台

A4-显微镜

A5-载物台

A6-载物台y_z平面电控倾斜台

A7-载物台x_z平面电控倾斜台

A8-x轴电控平移台

A9-y轴电控平移台

B1-阶梯状三维标定物中的第一层面

B2-阶梯状三维标定物中的第二层面

B3-阶梯状三维标定物中的阶梯分界线

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中所涉及的校正装置及技术方案进行清楚、完整地描述。

首先对本发明所涉及的一种基于显微视觉的显微镜光轴校正装置进行详细介绍，其装置包含用于图像采集的显微视觉系统、用于载物台校正的平面标定板以及用于显微镜光轴校正的阶梯状三维标定物。现对本发明所涉及的显微视觉系统、平面标定板及阶梯状三维标定物进行进一步的解释：

1.显微视觉系统，如图1所示，由显微镜、三自由度的电控平移台、二自由度的电控旋转台、二自由度的电控倾斜台以及载物台组成。x、y轴电控平移台控制载物台移动，z轴电控平移台控制显微镜移动。二自由度的电控旋转台控制显微镜的旋转，二自由度的电控倾斜台控制载物台的旋转。通过电控平移台、旋转台及倾斜台对显微镜与载物台的控制实现对平面标定板及三维标定物的图像采集。

2.平面标定板，如图2所示，其为玻璃材质的光刻掩膜板，标定板上阵列分布着大小相同的特征圆，其特征圆直径在50μm～100μm之间，两圆间隔在50～100μm。通过显微视觉系统对标定板上特征圆的采集与分析实现载物台的倾斜校正。

3.阶梯状三维标定物，如图3所示，标定物呈阶梯状结构，其长宽均在10～15mm之间，有着上下两层平面，其两平面高度间隔在200～500μm。通过阶梯状标定物其阶梯分界处不同高度下的多聚焦图像序列的采集与分析进行显微镜光轴的校正。

现对本发明的技术方案进行详细描述，所述显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法包括以下步骤：

1.载物台平面的初步校正

在通过三维标定物对显微镜光轴进行校正前需保证显微镜光轴相对载物台呈垂直关系，使置于载物台上的三维标定物的不同高度聚焦面成像均匀，边界清晰。消除因成像问题导致的校正误差。由此需对载物台进行初步校正。以下为本发明对载物台校正的步骤：

(1)将图2所示平面标定板置于载物台A5上，通过z轴电控平移台A1控制显微镜A4向上移动采集n幅平面标定板图像序列I^z，z＝z1,z₂....z_n，采集策略为每步进0.1微米采集一次图像，图像中有m个阵列分布的特征圆。

(2)基于模板匹配算法定位图像序列中每幅图像的特征圆位置及其对应的圆心坐标(X_i ^z,Y_i ^z)，z＝z1，,z₂....z_n；i＝1，2....m。

(3)对同一特征圆区域在n幅图像中求清晰度R。

(4)找出每个特征圆区域在n幅图像中的清晰度最大值及其对应图像I^z，可得其清晰度最大值区域的深度h_i。

(5)通过m个三维离散点(X_i ^z,Y_i ^z,h_i)，i＝1，2....m进行曲面拟合，可得到载物台平面相对于显微镜光轴的倾斜角度α。

(6)通过x_z平面二维倾斜台A7、y_z平面二维倾斜台A6对载物台A5进行旋转校正，使其相对显微镜光轴垂直。

2.显微镜光轴校正

在进行载物台的初步校正之后，通过图像采集模块、图像处理模块、偏移检测模块及光轴校正模块多个模块循环来进行显微镜光轴相对纵向运动轴的检测及校正，以下为多模块对显微镜光轴校正的具体步骤：

(1)图像采集模块

将载物台平面校正之后，将三维标定物图3置于载物台A5上，并将其进行摆正，使其阶梯分界线与x轴(y轴)方向平行。将阶梯状三维标定物的下平面定义为第一层面，上平面定义为第二层面。通过显微视觉系统分别对三维标定物的第一层面B1与第二层面B2进行图像的采集。

a.第一层面图像的采集和输入

通过x、y轴电控平移台A8(A9)控制载物台A5移动使阶梯状标定物中阶梯分界线成像于显微镜视野中。通过z轴电控平移台A1控制显微镜A4移动采集阶梯状标定物第一层面聚焦图像S101，并作为输入提供给图像处理模块S2。此时图像的聚焦区域为第一层面区域，离焦区域为第二层面区域。

b.第二层面图像的采集和输入

采集得到第一层面图像后，通过z轴电控平移台A1控制显微镜A4向上移动采集第二层面聚焦图像S102，并作为输入提供给图像处理模块S2。此时图像的聚焦区域为第二层面区域，离焦区域为第一层面区域。其显微镜的移动量记为h。

(2)图像处理模块

分别对输入的两图像进行基于小波变换的区域清晰度评价，提取图像中的聚焦、离焦区域(聚焦、离焦区域分别位于图像阶梯分界线两侧)，即对两图像中阶梯分界线的位置进行提取。其步骤如下：

设输入图像大小为m×n，当阶梯状标定物分界线与x轴平行

a.取一大小为d×n的区域块由图像初始位置以y轴方向每次步进1像素对图像进行遍历，得到m-d个横向区域块P_i，i＝1,2....,m-d；

b.对每个区域块进行基于小波变换的清晰度评价，得到每个区域块的清晰度值R_i，i＝1,2....m-d；

c.计算邻近区域块的清晰度比值Rat_i＝R_i/R_i+d，得到清晰度比值数组{Rat₁,Rat₂.....Rat_m-2d}。对比R₁与R_m-d的大小，若R₁>R_m-d，通过极值搜寻函数寻找比值数组中的最大值Rat_e；若R₁<R_m-d，则寻找比值数组中的最小值Rat_e，输出最大值(最小值)在比值数组中的位置e。则定位得到阶梯分界线的纵坐标位置为Y＝e+d。

当阶梯状标定物分界线与y轴平行

a.取一大小为m×d的区域块由图像初始位置以x轴方向每次步进1像素对图像进行遍历，得到n-d个纵向区域块P_i，i＝1,2....,n-d；

b.对每个区域块进行基于小波变换的清晰度评价，得到每个区域块的清晰度值R_i，i＝1,2....n-d；

c.计算邻近区域块的清晰度比值Rat_i＝R_i/R_i+d，得到清晰度比值数组{Rat₁,Rat₂.....Rat_n-2d}。对比R₁与R_n-d的大小，若R₁>R_n-d，通过极值搜寻函数寻找比值数组中的最大值Rat_e；若R₁<R_n-d，则寻找比值数组中的最小值Rat_e，输出最大值(最小值)在比值数组中的位置e。则定位得到阶梯分界线的横坐标位置为X＝e+d。

由以上步骤分别定位到第一层面、第二层面聚焦图像的阶梯分界线的纵坐标位置为Y₁、Y₂，横坐标位置为X₁、X₂。将坐标数据输入至偏移检测模块S3。

(3)偏移检测模块

图像中单位像素所代表的真实距离为pixel_k，由此计算得到当标定物阶梯分界线与y轴平行时两图像阶梯分界线在x轴方向相对偏移距离为v_x＝pixel_k*(X₁-X₂)，当标定物阶梯分界线与x轴平行时两图像阶梯分界线在y轴方向相对偏移距离为v_y＝pixel_k*(Y₁-Y₂)。判断v_x(v_y)是否超过pixel_k，若超过则将偏移距离参数输入至光轴校正模块S4，若不超过则表示完成显微镜光轴的校正。

(4)光轴校正模块

由显微镜的移动距离h以及两图像阶梯分界线的相对距离计算显微镜光轴偏移角。显微镜光轴在x_z平面的偏移角β₁＝arctan(v_x/h)，显微镜光轴在y_z平面的偏移角β₂＝arctan(v_y/h)。计算得到偏移角后通过x_z平面电控旋转台A3、y_z平面电控旋转台A2对显微镜A4进行旋转校正。并同时通过x_z平面电控倾斜台A7、y_z平面电控倾斜台A6对载物台A5进行同步旋转校正使其始终与显微镜光轴保持垂直状态。校正完成后返回至图像采集模块S1。

通过几个模块的循环来实现显微镜光轴的反复校正直至误差小于设定的阈值为止，由此实现显微镜光轴的精校正。

对本领域的技术人员来说，很明显，本发明可以做出多种改进和变化，只要落入所附的权利要求书及其等同的范围内，本发明就涵盖本发明的这些改进和变化。

Claims (5)

1.显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法，特征在于：该方法所用系统包括光轴校正装置：显微视觉系统，特征圆平面标定板以及特制的阶梯状三维标定物；首先通过平面标定板多聚焦图像序列的采集与分析对载物台进行初校正，然后通过图像采集模块、图像处理模块、偏移检测模块、光轴校正模块多个模块的循环实现对显微镜光轴的校正。

2.根据权利要求1所述的显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法，其特征在于：图像采集模块中，将三维标定物置于载物台上并将标定物进行摆正，使其阶梯分界线与x轴或y轴方向平行，并控制载物台移动使三维标定物的阶梯分界线移至显微镜视野范围内；将阶梯状标定物的下平面定义为第一层面，上平面定义为第二层面；控制显微镜z轴上下移动分别采集三维标定物的第一层面清晰图像与第二层面清晰图像。

3.根据权利要求1所述的显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法，其特征在于：图像处理模块中包括如下步骤：

设输入图像大小为m×n，当阶梯状标定物分界线与x轴平行时

步骤一：取一大小为d×n的区域块由图像初始位置以y轴方向每次步进1像素对图像进行遍历，得到m-d个横向区域块P_i，i＝1,2....,m-d；

步骤二：对每个区域块进行基于小波变换的清晰度评价，得到每个区域块的清晰度值R_i，i＝1,2....m-d；

步骤三：计算邻近区域块的清晰度比值Rat_i＝R_i/R_i+d，得到清晰度比值数组{Rat₁,Rat₂.....Rat_m-2d}；对比R₁与R_m-d的大小，若R₁>R_m-d，通过极值搜寻函数寻找比值数组中的最大值Rat_e；若R₁<R_m-d，则寻找比值数组中的最小值Rat_e，输出最值在比值数组中的位置e；则定位得到阶梯分界线的纵坐标位置为Y＝e+d；

当阶梯状标定物分界线与y轴平行时

步骤一：取一大小为m×d的区域块由图像初始位置以x轴方向每次步进1像素对图像进行遍历，得到n-d个横向区域块P_i，i＝1,2....,n-d；

步骤二：对每个区域块进行基于小波变换的清晰度评价，得到每个区域块的清晰度值R_i，i＝1,2....n-d；

步骤三：计算邻近区域块的清晰度比值Rat_i＝R_i/R_i+d，得到清晰度比值数组{Rat₁,Rat₂.....Rat_n-2d}；对比R₁与R_n-d的大小，若R₁>R_n-d，通过极值搜寻函数寻找比值数组中的最大值Rat_e；若R₁<R_n-d，则寻找比值数组中的最小值Rat_e，输出最值在比值数组中的位置e；则定位得到阶梯分界线的纵坐标位置为X＝e+d；

由以上步骤分别定位到第一层面、第二层面聚焦图像的阶梯分界线的纵坐标位置为Y₁、Y₂，横坐标位置为X₁、X₂；将坐标数据输入至偏移检测模块S3。

4.根据权利要求1所述的显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法，其特征在于：偏移检测模块中，图像中单位像素所代表的真实距离为pixel_k，由此计算得到当标定物阶梯分界线与y轴平行时两图像阶梯分界线在x轴方向相对偏移距离为v_x＝pixel_k*(X₁-X₂)，当标定物阶梯分界线与x轴平行时两图像阶梯分界线在y轴方向相对偏移距离为v_y＝pixel_k*(Y₁-Y₂)；判断v_x或v_y是否超过pixel_k，若超过则将偏移距离参数输入至光轴校正模块S4，若不超过则表示完成显微镜光轴的校正。

5.根据权利要求1所述的显微深度聚焦测量中镜头光轴与纵向运动轴夹角的校正方法，其特征在于：光轴校正模块中，由显微镜的移动距离h以及两图像阶梯分界线的相对距离计算显微镜光轴偏移角；显微镜光轴在x_z平面的偏移角β₁＝arctan(v_x/h)，显微镜光轴在y_z平面的偏移角β₂＝arctan(v_y/h)；计算得到偏移角后通过x_z平面电控旋转台A3、y_z平面电控旋转台A2对显微镜A4进行旋转校正；并同时通过x_z平面电控倾斜台A7、y_z平面电控倾斜台A6对载物台A5进行同步旋转校正使其始终与显微镜光轴保持垂直状态；校正完成后返回至图像采集模块S1。

Images