CN103279937B - 显微视觉下对感兴趣区域自动聚焦的方法 - Google Patents

Abstract

本发明提供了一种显微视觉下对感兴趣区域的自动聚焦方法。该方法利用三维模型分析及图像处理技术，得到了待检测物体中与感兴趣区域处于同一深度区间内的完整区域，针对此深度区间内的区域进行自动聚焦。利用本发明方法进行聚焦，其表现效果既优于针对物体全局进行的自动聚焦，又优于仅对于用户选择的小块感兴趣区域进行自动聚焦。

Description

显微视觉下对感兴趣区域自动聚焦的方法

技术领域

本发明涉及图像处理及三维模型分析技术领域，尤其是一种显微视觉下对感兴趣区域自动聚焦的方法。

背景技术

随着技术的成熟，显微视觉在微机电系统(MEMS)装配、IC制造、材料科学相关检测、生物工程微操作、医疗器材的制备等领域的应用越来越广泛。

显微视觉系统的视场范围较小，而图像传感器的像素间距有限。显微视觉系统一般选择大光圈，因此导致成像系统的景深较浅。使用显微视觉系统进行观测时，一旦物品厚度超过此时成像系统的景深之差，就无法在一幅图像上形成观测物全局的清晰图像。

现有的自动聚焦方法，仅仅对用户标定的区域做清晰度评估，据此进行聚焦的方法，效果往往不够理想，原因有二：1、若此区域太大，则无法保证自动聚焦结束后，该区域内所有部分都处于清晰的状态；2、若此区域太小，仅对较小区域做清晰度评估，可能由于样本过少而不足以反应整体情况，影响最终聚焦效果。

发明内容

(一)要解决的技术问题

为解决上述的一个或多个问题，本发明提供了一种显微视觉下对感兴趣区域自动聚焦的方法，以更好地对用户选择的感兴趣区域实现自动聚焦。

(二)技术方案

根据本发明的一个方面，提供了一种显微视觉下对感兴趣区域自动聚焦的方法。该方法包括：步骤A，沿用户标定的显微视觉系统主光轴的方向，对目标的三维模型进行剪裁投影，生成投影图像序列P₁，P₂，……P_n，从该投影图像序列选取目标完整且最大的投影图像P₁作为参考图像，提取其外轮廓Σ_ref；步骤B，在显微视觉系统上采集目标图像P_obj，接收用户选定区域R_obj；步骤C，记录当前的显微视觉系统与观测物体的距离L_当前，提取采集目标图像P_obj的外轮廓Σ_obj；步骤D，利用参考图像P₁的外轮廓Σ_ref和目标图像的外轮廓Σ_obj，实现参考图像P₁与目标图像P_obj图像配准，得到参考图像坐标系到目标图像坐标系之间的变换F；步骤E，利用变换F的逆变换F^-1，将目标图像坐标系下的用户选定区域R_obj变换至参考图像坐标系中，变为R_ref；步骤F，确定包含全部R_ref的，沿Z轴方向最近的投影图像P_k及恰好不包含R_ref的参考图像P_j，在参考图像坐标系中确定与用户标定区域处于同一深度区间的点集区域步骤G，利用变换F，将点集区域R_ref’变换至图像坐标系中，成为最终聚焦区域R_obj’；步骤H，使用清晰度函数，得到当前聚焦位置而获得的最终聚焦区域R_obj’对应的清晰度函数值C_L；步骤I，由当前清晰度函数值C_L及相邻的n-1个清晰度函数值组成曲线的单调性判断此时是否到达了最佳聚焦位置，如果是，则聚焦完成，按照该最佳聚焦位置进行显微视觉系统的聚焦；否则，给出下一个聚焦位置，重新执行步骤C。

(三)有益效果

从上述技术方案可以看出，本发明显微视觉下对感兴趣区域自动聚焦的方法具有以下有益效果：

(1)由用户指定聚焦区域，通过分析观测物品三维模型获得进行图像清晰度评估的区域，对位于同一深度的图像全部区域(最终聚焦区域)进行聚焦，表现效果不仅优于针对物体全局进行的自动聚焦，更优于仅对于用户选择的小块感兴趣区域进行自动聚焦；

(2)具有较强的抵抗干扰能力、而且在聚焦速度上有显著提升。

附图说明

图1为本发明实施例显微视觉下对感兴趣区域自动聚焦方法的流程图；

图2为图1所示显微视觉下对感兴趣区域自动聚焦方法中沿显微视觉系统主光轴方向对铝套筒3维模型垂直剪裁，生成投影序列P₁，P₂，……P_n的示意图；

图3为图1所示显微视觉下对感兴趣区域自动聚焦方法中确定与用户标定区域处于同一深度区间的点集区域步骤的示意图；

图4是使用本发明寻找到的某一深度区间内的区域，显微视觉系统与观测物体的距离与清晰度函数关系的曲线。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。此外，以下实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明。

本发明显微视觉下对感兴趣区域自动聚焦的方法由用户指定聚焦区域，通过分析观测物品三维模型获得进行图像清晰度评估的区域，对位于同一深度的图像全部区域(最终聚焦区域)进行聚焦。

在本发明的一个示例性实施例中，提供了一种显微视觉下对感兴趣区域自动聚焦的方法，以对铝套筒模型进行感兴趣区域进行自动聚焦。该铝套筒模型的实物可参考图2中的三维模型。如图1所示，本实施例显微视觉下对感兴趣区域自动聚焦的方法包括：

步骤A，沿用户标定的显微视觉系统主光轴的方向，对目标的三维模型进行剪裁投影，生成投影图像序列P₁，P₂，……P_n，从该投影图像序列选取目标完整且最大的投影图像P₁作为参考图像，提取其外轮廓Σ_ref，如图2所示；

接收用户标定的显微视觉系统主光轴方向的操作，是由显微视觉系统完成的。三维模型为3ds模型源文件生成，该3ds模型源文件可以通过proe，UnigraphicsNX，Solidworks等机械设计软件绘制并导出。

P₁，P₂，……P_n也可理解为，以显微视觉系统为原点，主光轴朝向镜头为z轴正方向的坐标系中，对观测物体三维模型按照不同z轴高度进行从高到低顺次垂直剪裁、生成投影图像。如图所示，按照z轴从远到近，P₁为目标区域完整且最大的最后一个投影图像，称为参考图像；P_n为目标区域消失前最后一张投影图像。

步骤B，在显微视觉系统上采集目标图像P_obj，接收用户选定区域R_obj；

本步骤中，首先启动显微视觉系统，确定目标位于视场范围内，由显微视觉系统采集的目标图像P_obj；随后接收用户选定区域R_obj，其中，用户选定区域R_obj为用户手动选择的某一区域。

步骤C，记录当前的显微视觉系统与观测物体的距离L_当前，提取采集目标图像P_obj的外轮廓Σ_obj；

本步骤中，外边缘轮廓的提取方法一般情况有两种：在图像背景灰度较为均匀的条件下，可以使用区域生长法；当图像背景干扰较大时，可以使用Canny边缘检测与边缘连接算法，大致得到检测物体外边缘。针对铝套筒，可以采用的是区域生长法，实现的外边缘轮廓提取。

步骤D，利用参考图像P₁的外轮廓Σ_ref和目标图像的外轮廓Σ_obj，实现参考图像P₁与目标图像P_obj图像配准，得到参考图像坐标系到目标图像坐标系之间的变换F；

参考坐标系的一点转换到目标坐标系的对应点，可看作(x_ref,y_ref)向量同(x_obj,y_obj)向量的Euclid变换。忽略复杂情况，此Euclid变换为如下三个变换的组合：缩放变换k、旋转变换R、平移变换T，

k为缩放常数；

$R=\left(\begin{array}{cc}cos\mathrm{\θ}& -sin\mathrm{\θ}\\ sin\mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right);T=\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right);$

则在参考坐标系下，参考图像P₁的点(x_ref,y_ref)，目标图像P_obj的点(x_obj,y_obj)之间的Euclid变换为：

$\left(\begin{array}{c}{x}_{obj}\\ y_{obj}\end{array}\right)=k\·R\·\left(\begin{array}{c}{x}_{ref}\\ y_{ref}\end{array}\right)+\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right).$

两幅图像间的变换F，由点之间的Euclid变换组成，既P_obj＝F(P₁)。

则该步骤可以进一步包括：

子步骤D1，找到参考图像P₁的外轮廓Σ_ref和目标图像的外轮廓Σ_obj上弧度具有特殊性的点作为候选点，其中该具有特殊性的点例如是：弧度特征具有缩放及旋转不变性的点；

子步骤D2，用RandomMatch算法，使用候选点进行变换的挑选与验证，得到最好的变换作为F。

步骤E，利用变换F的逆变换F^-1，将目标图像坐标系下的用户选定区域R_obj变换至参考图像坐标系中，变为R_ref；

步骤F，确定包含全部R_ref的，沿Z轴方向最近的投影图像P_k及恰好不包含R_ref的参考图像P_j，在参考图像坐标系中确定与用户标定区域处于同一深度区间的点集区域如图3所示；

在P₁，P₂，……P_n中，假设投影区域包含全部R_ref，比对结果记为1；假设投影区域仅包含一部分R_ref，比对结果记为0；假设投影区域不含有R_ref中的任何点，比对结果记为-1，那么P₁，P₂，……P_n的比对结果的应为：1,1,…1,0,0,…0,-1,-1,…-1，则比对结果中为1的最后一张图片为P_k，结果为-1的第一张图片为P_j。

R_ref’的实际意义为：以相机主光轴作为z轴，对物体按照z轴等高线进行划分，用户选中区域所处的等高线区域中所有点的集合。本专利针对感兴趣区域的聚焦，实际上是针对感兴趣区域位于同一等高线区域，即深度区间的点集进行聚焦，以保证聚焦结果的准确性。

步骤G，利用所述变换F，将点集区域R_ref’变换至图像坐标系中，成为最终聚焦区域R_obj’；

一般情况下，就可以利用该最终聚焦区域进行聚焦，本实施例也就结束了。但是，还可以利用以下的步骤取得更好的聚焦效果。

步骤H，使用清晰度函数，得到当前聚焦位置而获得的最终聚焦区域R_obj’对应的清晰度函数值C_L；

作为清晰度函数的方法有很多，本实施例使用基于Sobel边缘算子的函数：

$C_L=\left\{\underset{d\∈{R_{obj}}^{\′}}{\Σ}{\[S(x,y)\]}^2\right\}/n.$

其中：G_x(x,y)和G_y(x,y)分别为x,y方向上Sobel算子计算的差分值。根据这种定义，清晰度函数取值越大，代表着聚焦效果越好。

步骤I，由当前清晰度函数值C_L及相邻的n-1个清晰度函数值组成曲线的单调性判断此时是否到达了最佳聚焦位置，如果是，则按照该最佳聚焦位置进行显微视觉系统的聚焦，流程结束；否则，给出下一个聚焦位置，重新执行步骤C。

图4为实验时获得的清晰度函数的图表：由上到下控制显微视觉系统的变焦系统电机运动，每隔一定脉冲，采集一幅图像。由上到下的位置信息，组成了图表的横坐标轴；图像感兴趣区域此时的清晰度函数，是纵坐标轴的对应值。

考虑到清晰度函数局部单调性不是很好、具有局部极值的特点，采用了基于统计的聚焦策略。相邻的n个变焦位置获得的清晰度函数取值，我们称为一段。对某段内部取值进行分析，可知此段变化趋势分为3种：1、上升；2、下降；3、不明确。基于上述假设，本步骤I又可以分为如下的子步骤：

子步骤I1，通过调整显微视觉系统到观测物体之间的距离(向物体移动(n/2–1)个单位步长，依次采集清晰度函数取值；复位；再背离物体移动(n/2–1)个单位步长，依次采集清晰度函数取值)，得到清晰度函数值C_L及相邻的n-1个清晰度函数值组成曲线的单调性，如果是单调上升，执行子步骤I2，如果是单调下降，执行子步骤I3，如果趋势不明确，执行子步骤I4；

本实施例采用8个变焦位置为一段，假设这8个位置产生的7个前后关系中，若上升与下降的数量为：7:0、6:1、5:2，则称该段趋势为上升，为情况1；该段趋势为下降时类似，为情况2；而若数量为4:3时，称该段趋势不明确。当然，本领域技术人员也可以结合自身的专业知识，灵活设置n的数值及上升和下降的比例。优选地，n取5～10之间。

子步骤I2，记录该段清晰度曲线的单调性，按照预设的调整步长△N_b1拉长显微视觉系统与观测物体的距离，调整完毕后，执行步骤C；

此子步骤中，清晰度曲线趋势明确下降，则需要将控制变焦的电机向上调整来拉长显微视觉系统与观测物体的距离。调整步长△N_b1由以下公式确定：

其中，L_当前为当前位置的显微视觉系统与观测物体的距离，L_max为显微视觉系统与观测物体的最远距离。

子步骤I3，记录该段清晰度曲线的单调性，按照预设的步长△N_b2减小显微视觉系统与观测物体的距离，调整完毕后，执行步骤C；

此子步骤中，清晰度曲线趋势明确上升，则需要将控制变焦的电机向下调整来减小显微视觉系统与观测物体的距离。调整步长△N_b2由以下公式确定：

其中，L_当前为当前位置的显微视觉系统与观测物体的距离，L_min为显微视觉系统与观测物体的最近距离。

子步骤I4，判断该段清晰度曲线是否同时包含上升段与下降段，如果是，执行步骤I4a，否则，执行步骤I4b；

分步骤I4a，此位置为最佳聚焦位置，按照该最佳聚焦位置进行显微视觉系统的聚焦；

分步骤I4b，将此点定为与之前点相同趋势，按照之前点相同趋势减少或增加显微视觉系统与观测物体的距离，执行步骤C。

在此分步骤中，调整步长的确定可参照子步骤I2、I3确定。

至此，已经结合附图对本实施例显微视觉下对感兴趣区域自动聚焦方法进行了详细描述。依据以上两个实施例的描述，本领域技术人员应当对本发明显微视觉下对感兴趣区域自动聚焦方法有了清楚的认识。

此外，需要说明的是，上述对各元件的定义并不仅限于实施方式中提到的各种具体结构或形状，本领域的普通技术人员可对其进行简单地熟知地替换，例如：相机主光轴标定方法，可以让用户参照相机采集的图像，调整3D模型里物体对应的姿态来完成。

综上所述，本发明显微视觉下对感兴趣区域自动聚焦的方法在显微视觉生产、装配的对焦步骤中有良好的效果，较快的速度，并且对于使用者，比较传统聚焦的操作，只添加了主光轴标定一个步骤，便于用户的接受和使用。因此在生产、装配中有较强的实用性和创新性。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种显微视觉下对感兴趣区域自动聚焦的方法，其特征在于，包括：

步骤A，沿用户标定的显微视觉系统主光轴的方向，对目标的三维模型进行剪裁投影，生成投影图像序列P₁，P₂，……P_n，从该投影图像序列选取目标完整且最大的投影图像P₁作为参考图像，提取其外轮廓Σ_ref；

步骤B，在显微视觉系统上采集目标图像P_obj，接收用户选定区域R_obj；

步骤C，记录当前的显微视觉系统与观测物体的距离L_当前，提取采集目标图像P_obj的外轮廓Σ_obj；

步骤D，利用所述参考图像P₁的外轮廓Σ_ref和目标图像的外轮廓Σ_obj，实现参考图像P₁与目标图像P_obj图像配准，得到参考图像坐标系到目标图像坐标系之间的变换F，包括：

子步骤D1，找到参考图像P₁的外轮廓Σ_ref和目标图像的外轮廓Σ_obj上弧度具有特殊性的点作为候选点，所述具有特殊性的点为弧度特征具有缩放及旋转不变性的点；

子步骤D2，用RandomMatch算法，使用候选点进行变换的挑选与验证，得到最好的变换作为F，其中，两幅图像间的变换F由点之间的Euclid变换组成；

步骤E，利用变换F的逆变换F^-1，将目标图像坐标系下的用户选定区域R_obj变换至参考图像坐标系中，变为R_ref；

步骤F，确定包含全部R_ref的，沿Z轴方向最近的投影图像P_k及恰好不包含R_ref的参考图像P_j，在参考图像坐标系中确定与用户标定区域处于同一深度区间的点集区域

步骤G，利用所述变换F，将点集区域R_ref’变换至图像坐标系中，成为最终聚焦区域R_obj’；

步骤H，使用清晰度函数，得到当前聚焦位置而获得的最终聚焦区域R_obj’对应的清晰度函数值C_L；

步骤I，由当前位置及相邻的n-1个位置的清晰度函数值组成曲线的单调性判断此时是否到达了最佳聚焦位置，如果是，则聚焦完成，按照该最佳聚焦位置进行显微视觉系统的聚焦；否则，给出下一个聚焦位置，重新执行步骤C。

2.根据权利要求1所述的方法，其特征在于，所述步骤H中，所述清晰度函数为基于Sobel边缘算子的函数。

3.根据权利要求1所述的方法，其特征在于，所述步骤I包括：

子步骤I1，判断当前清晰度函数值C_L及相邻的n-1个清晰度函数值组成曲线的单调性，如果是单调上升，执行子步骤I2，如果是单调下降，执行子步骤I3，如果趋势不明确，执行子步骤I4；

子步骤I2，记录该段清晰度曲线的单调性，按照预设的调整步长△N_b1拉长显微视觉系统与观测物体的距离，调整完毕后，执行步骤C；

子步骤I3，记录该段清晰度曲线的单调性，按照预设的步长△N_b2减小显微视觉系统与观测物体的距离，调整完毕后，执行步骤C；

子步骤I4，判断该段清晰度曲线是否同时包含上升段与下降段，如果是，执行步骤I4a，否则，执行步骤I4b；

分步骤I4a，此位置为最佳聚焦位置，按照该最佳聚焦位置进行显微视觉系统的聚焦；

分步骤I4b，将此点定为与之前点相同趋势，按照之前点相同趋势减少或增加显微视觉系统与观测物体的距离，执行步骤C。

4.根据权利要求3所述的方法，其特征在于：

所述子步骤I2中，调整步长△N_b1由以下公式确定：

所述子步骤I3中，调整步长△N_b2由以下公式确定：

其中，L_当前为当前位置的显微视觉系统与观测物体的距离，L_min为显微视觉系统与观测物体的最近距离，L_max为显微视觉系统与观测物体的最远距离。

5.根据权利要求3所述的方法，其特征在于，所述子步骤I1之前还包括：

向观测目标移动[n/2–1]个单位步长，依次采集清晰度函数取值；

复位；以及

背离观测目标移动[n/2–1]个单位步长，依次采集清晰度函数取值；

其中，所述“[]”为取整符号，所述单位步长为所述显微镜系统能够移动的最小距离。

6.根据权利要求3所述的方法，其特征在于，所述子步骤I1中，按照以下原则判断曲线的单调性：

当所述n个清晰度函数值中相邻两个组成的n-1个前后关系中，若多于半数的前后关系为上升，则判断该曲线为单调上升；

否则如果多于半数的前后关系为下降，则判断该曲线为单调下降；

否则，判断该曲线为趋势不明确。

7.根据权利要求1所述的方法，其特征在于，所述步骤F中确定包含全部R_ref的，沿Z轴方向最近的投影图像P_k及恰好不包含R_ref的参考图像P_j的步骤包括：

在P₁，P₂，……P_n中，假设投影区域包含全部R_ref，比对结果记为1；假设投影区域仅包含一部分R_ref，比对结果记为0；假设投影区域不含有R_ref中的任何点，比对结果记为-1，那么P₁，P₂，……P_n的比对结果的应为：1,1,…1,0,0,…0,-1,-1,…-1，则比对结果中为1的最后一张图片为P_k，结果为-1的第一张图片为P_j。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述步骤C中，采用区域生长法或Canny边缘检测与边缘连接算法提取采集目标图像P_obj的外轮廓Σ_obj。

9.根据权利要求1至7中任一项所述的方法，其特征在于，所述步骤A中，所述目标的三维模型为3ds模型源文件生成，该3ds模型源文件为通过proe，UnigraphicsNX或Solidworks绘制并导出的文件。