CN111640154B - 一种基于显微视觉的立针微平面亚像素级定位方法 - Google Patents

Abstract

一种基于显微视觉的立针微平面亚像素级定位方法，先通过显微镜CCD采集模板图像，再建立模板图像信息，然后进行模板匹配，再提取亚像素边缘，然后进行轮廓边缘提取，然后对边缘轮廓进行直线检测，最后在所得直线边缘点邻域搜索，用邻域内的亚像素边缘点替换，再进行直线拟合，并根据直线位置以及平台坐标系和图像坐标系的转换关系确定微平面的位置；本发明能够实现立针微平面自动定位，且具有速度快、精度高、鲁棒性高的优点。

Description

一种基于显微视觉的立针微平面亚像素级定位方法

技术领域

本发明属于显微视觉平面定位技术领域，特别涉及一种基于显微视觉的立针微平面亚像素级定位方法。

背景技术

立针作为芯片制造的必要工具，用于芯片封装中引线键合这一关键步骤，是一款结构精密且复杂的工具。在引线键合过程中，需要将引线贯穿立针的微孔，而孔径大小超差会导致引线损伤甚至断线。制造立针时，通常需要在小于100微米的平面上加工直径约为50微米的孔，加工精度达到5微米以内。高的加工精度要依赖于微平面的高精度定位，所以对立针微平面进行精确定位是解决上述问题的关键。目前，立针打孔平面的定位方式是使用精密夹具装夹立针后，通过显微镜观察人工目视定位，这种定位方式存在精度低、速度慢、自动化程度低等缺点，不利于立针的高精度、大批量制造，从而严重影响芯片的质量和产能。

为了解决上述问题，拟采用显微视觉实现立针微平面的高精度、自动化定位。同时考虑降低外部环境对定位过程的影响，要求方法满足较强的抗干扰能力。目前显微视觉定位方法主要分为：基于模板匹配的方法和基于边缘特征的方法。基于模板匹配的方法用于立针微平面定位存在两个缺点：1)由于立针微平面表面粗糙度较大，在显微镜CCD的高放大倍数下，立针表面会出现较多噪声，难以进行匹配；2)由于立针微平面存在加工误差，实际微平面尺寸与理想尺寸不一致，导致匹配结果存在误差，甚至出现误匹配、漏匹配的现象。基于边缘特征的方法用于立针微平面定位同样存在两个缺点：1)由于提取的边缘属于无序边缘，而在复杂环境中，难以将无序边缘转化为有实际意义的有序边缘，且立针微平面在一定区域内位置有一定随机性，大大提高了获取有序边缘的难度；2)同样会存有由立针微平面表面粗糙度引起的噪声，导致在提取边缘时，微平面内部会出现大量干扰性的“边缘”，且难以直接滤除。

综上所知，现有的视觉定位方法难以满足立针微平面定位的精度和效率的要求。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提出一种基于显微视觉的立针微平面亚像素级定位方法，能够实现立针微平面自动定位，并且具有速度快、精度高、鲁棒性高的优点。

为了实现上述目的，本发明采取的技术方案为：

一种基于显微视觉的立针微平面亚像素级定位方法，包括以下步骤：

1)采集模板图像:将显微镜CCD对准立针微平面后，调节光源亮度或曝光时间，当立针微平面边缘清晰，完成采图，人工去除微平面表面噪声；

2)建立模板：根据模板图像建立模板，人工标注并记录步骤1)模板图像中用作定位的直线及其端点；设置寻找角度范围、角度步长、图像金字塔层数；提取模板图像边缘，记录边缘点点集q＝{q₁…q_n},其中n为边缘点总数，记录边缘点对应位置的X、Y方向梯度

以及对应幅值MagG^T到模板T(θ,h),θ和h分别表示不同角度、金字塔层数；

3)模板匹配：获取模板T(θ,h)后，将立针放置在二维微纳加工平台上，通过夹具装夹，相机完成采图，通过模板匹配获取模板图像在待搜索图像中的位置和旋转角度，基于精密运动平台计算像素当量s，并统一相机坐标系和加工平台坐标系；

4)提取亚像素边缘：获取模板图像位置后，从在待搜索图像中提取出模板图像所在的局部区域Q，提取亚像素边缘，记为亚像素边缘点集E；

5)轮廓边缘提取：对模板图像所在局部区域Q，通过高斯模糊后，使用大津算法二值化，提取边缘点，记为边缘点集O；

6)直线检测：对边缘点集O进行直线检测，记录构成每条直线的直线边缘点集lq＝{lq₁...lq_z}；

7)直线拟合：在点集lq的邻域内搜索，如果存在步骤4)中亚像素边缘点集E的点，用点集E中的亚像素边缘点替换点集lq中的点，并拟合直线；

8)定位微平面：根据步骤7)所得直线位置、步骤3)所得像素当量s，以及加工平台和相机坐标变换关系，定位立针微平面在物理空间位置，进而确定立针微孔加工位置。

所述步骤2)中建立模板的具体方法为：对步骤1)采集的模板图像通过人工框选感兴趣区域，记录感兴趣区域内信息为模板信息，在模板图像中标注用于定位微平面的直线边缘的位置，记录其端点；设置寻找角度范围θ_l至θ_h、角度步长θ_s、图像金字塔层数n，原始模板图像在高斯滤波后，按角度步长在角度范围内旋转得到不同角度模板图像；建立图像金子塔后，对不同角度、不同金字塔层数的模板图像通过Canny边缘检测方法，提取所有的模板图像的边缘点，并对感兴趣区域内边缘点间隔采样，记录边缘点所对应位置的X、Y方向梯度

以及对应梯度幅值MagG^T到模板T(θ,h),θ和h分别表示不同角度、金字塔层数。

所述的步骤3)中图像通过模板匹配的具体方法为：对采集到的图像建立n层的图像金字塔，并对每层金字塔图像进行高斯滤波，其中更靠近顶层的金字塔图像使用小尺度的高斯核，对最顶层金字塔图像使用大津算法进行二值化，并通过形态学滤波中闭运算去除小型黑色区域，记录白色区域为搜索范围M；计算待搜索图像的X、Y方向梯度

以及对应梯度幅值MagG^S；提出一个梯度幅值阈值参数H，对梯度幅值小于阈值H的点进行抑制，将该点的梯度幅值置为0；开始搜索后，使用金字塔顶层的模板T(θ,n)在搜索范围M中遍历，计算每一位置的形状相似度量值S，S的值在0到1范围内，1表示完全一致，

其中：m为模板边缘点数量，(u,v)是当前的模板中心位置像素坐标，(X_i,Y_i)是模板图像第i个边缘点像素坐标，

分别是模板图像中坐标(X_i,Y_i)对应的X方向梯度、Y方向梯度、以及梯度幅值，

分别是待搜索图像中坐标为(u+X_i,v+Y_i)对应X方向梯度、Y方向梯度、以及梯度幅值；

找到所有S大于阈值T的点作为种子点；通过非极大值抑制，在所有种子点的3×3领域中，保存相似度量值得分最大的点作为此层种子点Se＝{Se₁...Se_d}；在下一层金字塔中，用θ邻域内的模板T(θ±θ_s,n-1)计算种子点Se的在n-1层金字塔对应位置的3×3邻域内的相似度量值；选取极大值对应的种子点，作为n-1层种子点，直到第0层；再使用下一个角度的模板T(θ,n)进行上述计算；完成全部角度模板的计算后，在金字塔第0层，统计不同角度模板计算得到的种子点的相似度量值大于T的种子点，从中选出极大值，即可确定模板在图像中的位置和角度。

所述的步骤4)提取亚像素边缘方法为：在局部区域Q进行Canny边缘提取，计算每个边缘点的梯度方向，设定-22.5度至22.5度、157.5度至180度、-180度至-157.5度对应0度，22.5度至67.5度、-157.5度至-112.5度对应45度，67.5度至112.5度、-112.5度至-67.5度对应90度，112.5度至157.5度、-67.5度至-22.5度对应135度，判定边缘点所在区间，在对应方向上二次函数拟合获取亚像素边缘点，记亚像素边缘点为亚像素边缘点集E。

所述的步骤6)直线检测具体方法为：对步骤5)中所得边缘点集O通过八邻域边缘连接，得到多个连续边缘C_m，C_m＝{C₁...C_y},对C₁采用概率霍夫直线检测方法，计算在霍夫空间内不同距离ρ、角度θ所对应的像素点数量，并记录所对应的像素点位置，加入点序列p_ij，i代表距离序号，j代表角度序号；如果霍夫空间中存在像素点数量超过阈值tH的直线，选择像素点数量最大值所对应的ρ₀、θ₀作为第一条待验证直线L；若全小于阈值TH，则C₁中不存在直线，对下一连续边缘C₂进行上述计算；存在待验证直线L时，计算C₁中所有点到直线L的距离，将所有距离小于阈值d的边缘点，加入点集

将点集

投影到此直线L上，计算投影点到直线L与图像边界交点的距离，从小到大进行排序，距离最小的点作为直线的端点A₀，如果后一个点和前一点之间的距离不超过断裂阈值D，则认为属于同一条直线；若超过断裂阈值D，记录前一点为直线L的另一端点B₀，后一点为下一条直线的起始端点A₁，如果直线A₀B₀超过直线要求的最短距离，则认为是一条合格直线；反之，直线不合格，将A₀B₀内所有边缘点从

剔除，以A₁为起始点，重复进行前面的判断，直到该直线L上所有的点被统计完毕；完成统计后，如果存在合格直线，记录

为lq₁，并从C₁剔除

中所有点，重新回到概率霍夫直线检测的步骤进行计算；如果不存在合格直线，则将ρ₀、θ₀所对应直线在霍夫空间的3×3邻域中所有值置为0后，寻找霍夫空间中大于TH的最大值对应ρ₁、θ₁，作为下一个待验证直线进行上述判断；直到所有连续边缘都进行上述计算。

所述的步骤7)中直线拟合具体方法为：在构成每条直线的边缘点lq的3×3邻域内寻找在亚像素边缘点集E，如果存在对应的亚像素边缘点，则用距离原边缘点最近的亚像素边缘点代替；反之，则将这个边缘点从直线边缘中剔除，完成上述操作后，对构成直线的亚像素边缘点进行最小二乘拟合，获得直线方程后，计算边缘点到直线的距离，通过3Sigma准则剔除距离较大的点后，重新拟合得到最终的直线斜率和截距，以及直线端点，将所得的直线端点和步骤2)中的人工标注直线端点根据位置距离进行一一对应，剔除多余的直线。

所述的步骤8)中定位微平面具体方法为：根据步骤7)中直线的位置关系，确定立针微平面上底和两条斜边的直线方程，计算上底和两条斜边的两个交点的中心，将其作为坐标轴原点，与上底垂直的坐标轴记为Y轴，朝向梯形内部的方向为正方向，完成立针微平面在图像中的定位；根据每一个像素所对应的物理尺寸s，以及实际微孔中心到上底的物理距离，确定图像坐标系加工微孔的位置，再通过图像坐标系与精密运动平台坐标系的转换关系，确定物理空间中立针微平面位置和微孔的加工位置。

本发明的有益效果为：

(1)由于本发明采用基于边缘的模板匹配方法搜索立针微平面模板在图像中的位置，以及大津二值化算法分离待检测微平面和背景，所以此立针微平面定位算法具有对环境光照、噪声干扰因素不敏感的优点；

(2)由于本发明采用图像金字塔的方法对模板匹配进行加速，并从背景中分割模板图像所在感兴趣区域，所以此立针微平面定位算法具有速度快的优点；

(3)由于本发明采用了旋转的模板匹配方法，使待定位微平面仅要求在显微CCD视场内，降低了加工时对夹具定位精度的要求，从而大大降低夹具的制造成本和难度；

(4)由于本发明采用了亚像素边缘检测算法和二值化算法相结合的方法确定边缘位置，具有边缘检测精度高、边缘连续性好的优点，将定位精度提高到亚像素级；

(5)由于本发明采用了一种改进的霍夫直线检测方法，该方法可以有效判断直线是否断裂，在直线度较差时，有效处理直线的波动，并且通过最小二乘法拟合直线达到亚像素级精度，提高了立针微平面定位方法的精度。

附图说明

图1为本发明实施例方法流程图。

图2为本发明实施例模板图像。

图3为本发明实施例建立模板流程图。

图4为本发明实施例待搜索图像。

图5为本发明实施例模板匹配流程图。

图6为本发明实施例直线检测流程图。

具体实施方式

下面结合附图和实施例对本发明作详细描述。

如图1所示，一种基于显微视觉的立针微平面亚像素级定位方法，包括以下步骤：

步骤1)，采集模板图像：将立针放置在二维微纳加工平台上，用用显微镜CCD对准待定位微平面，采集显微镜下立针微平面的灰度图像，其尺寸为1200×1600，在此图像中，选取立针微平面部分作为模板图像，其尺寸为200×180，适当调高光源亮度或曝光时间，使得微立针平面边缘清晰时完成采图，人工去除由于微平面表面粗糙度引起的噪声，模板图像如图2所示；

步骤2)，建立模板：为了从模板图像中获取模板所需的信息，需要根据模板图像建立模板，参照图3，由于待定位立针微平面为梯形结构，并且通过显微镜CCD发现梯形的下底被另一个面遮挡，步骤1)采集出的图像对应部分呈现不规则的形状，不能成为模板部分，所以需要对模板图像中感兴趣区域进行框选，人工标注并记录感兴趣区域内信息为模板信息，从而去除干扰部分，同时减少了计算量；因为立针微平面定位的基准是基于立针微平面的三条直线边，所以在模板图像中标出三条边的位置，记录其端点；设置寻找角度范围为0-360度，角度步长1度，图像金字塔层数3，将步骤1)所得模板图像经过高斯滤波后按角度步长旋转得到360个模板图像，即得到图像金字塔；建立图像金子塔后，总共创建1440个模板图像，对所有的模板图像进行Canny边缘提取，为了进一步缩短计算时间，通过对边缘点采用隔点采样的方法，使得模板在保存边缘完整性的同时，参与计算的边缘点数量变为之前的二分之一，记录边缘点所对应位置的X、Y方向梯度

以及对应梯度幅值MagG^T到模板T(θ,h),θ和h分别表示不同角度、金字塔层数；

步骤3)模板匹配：获取模板T(θ,h)后，将立针放置在二维微纳加工平台上，通过夹具装夹，相机完成采图，由于方法有较强抗光照变化的能力，将光照调节在一定范围内，如图4所示，对采集到的待搜索图像进行模板匹配；参照图5，模板匹配具体方法为，首先对其建立与模板图像相同的3层图像金字塔，并对每层金字塔图像进行高斯滤波，其中更靠近顶层的金字塔图像使用小尺度高斯核，对最顶层金字塔图像使用大津算法对图像进行二值化，并通过形态学滤波中闭运算去除小型黑色区域，记录白色区域为搜索范围M，从而减少计算时间；计算待搜索图像X、Y方向梯度

以及对应梯度幅值MagG^S，提出一个梯度幅值阈值参数H，对梯度幅值小于H＝15的点进行抑制，将该点的梯度幅值置为0，从而避免由于梯度幅值较小，但梯度方向接近，而导致的误匹配；开始搜索后，首先使用金字塔第3层的模板图像T(θ,3)在搜索范围M中进行遍历，计算每一位置的形状相似度量值S，S的值在0到1范围内，1表示完全一致；

其中：m为模板边缘点数量，(u,v)是当前的模板中心位置像素坐标，(X_i,Y_i)是模板图像第i个边缘点像素坐标，

分别是模板图像中坐标(Xi,Yi)对应的X方向梯度、Y方向梯度、以及梯度幅值，

分别是待搜索图像中坐标为(u+X_i,v+Y_i)对应X方向梯度、Y方向梯度、以及梯度幅值；

找到所有S大于阈值T＝0.9的点作为种子点；通过非极大值抑制，在所有种子点的3×3领域中，保存相似度量值得分最大的点作为此层种子点Se＝{Se₁...Se_d}；在下一层金字塔中，用θ邻域内的模板T(θ±θ_s,n-1)计算种子点Se的在n-1层金字塔对应位置的3×3邻域内的相似度量值；选取极大值对应的种子点，作为n-1层种子点，直到第0层；再使用下一个角度的模板T(θ,n)进行上述计算，完成全部角度模板的计算后，在金字塔第0层，统计不同角度模板计算得到的种子点的相似度量值大于T＝0.9的种子点，从中选出极大值，即确定模板在图像中的位置和角度。完成搜索后，控制微纳加工平台，使得模板图像中心向待搜索图像中心方向移动，记录微纳加工平台移动的距离，以及模板图像在待搜索图像上移动的距离，计算出像素当量s，通过加工平台在X、Y方向的位移的距离，以及对应的图像坐标系X、Y方向上的位移，统一图像坐标系和加工平台坐标系；

步骤4)提取亚像素边缘：找到了模板图像在待搜索图像中的位置后，截取模板图像所在局部区域Q，由于立针微平面尺寸存在加工误差，所以模板图像中微平面尺寸和待搜索图像中微平面尺寸也有误差，导致模板匹配得到的结果和实际结果存在误差，需要对立针微平面在图像上的位置进行精确定位：在局部区域Q进行Canny边缘提取，计算每个边缘点的梯度方向，设定-22.5度至22.5度、157.5度至180度、-180度至-157.5度对应0度，22.5度至67.5度、-157.5度至-112.5度对应45度，67.5度至112.5度、-112.5度至-67.5度对应90度，112.5度至157.5度、-67.5度至-22.5度对应135度，判定边缘点所在区间，在对应方向上通过二次函数拟合获取亚像素边缘点，记亚像素边缘点为亚像素边缘点集E；

步骤5)轮廓边缘提取：由于方法需要满足光照不变性，且立针表面不光滑，所以步骤4)中获得的边缘会有很多杂乱边缘，边缘连续性差，对局部区域Q进行高斯模糊后，使用大津算法二值化，再进行Canny边缘提取，可以获得立针微平面的轮廓边缘，提取边缘点，记为边缘点集O；

步骤6)直线检测：参照图6，对边缘点集O使用八邻域边缘连接方法，得到多个连续边缘记录为C_m(m＝0,1...n,n为连续边缘数量)；在C_m中用概率霍夫直线检测方法，计算在霍夫空间内不同距离ρ、角度θ所对应的像素点数量，并记录所对应的像素点位置，加入点序列p_ij(i代表距离序号，j代表角度序号)；如果霍夫空间中存在像素点数量超过阈值TH的直线，选择像素点数量最大值所对应的ρ₀、θ₀作为第一条待验证直线L；若全小于阈值TH，C_m中不存在直线，对下一连续边缘对C_m+1进行上述计算；存在待验证直线L时，由于图像中获取的边缘并不是理想直线，所以需要考虑到直线的波动，计算C_m中所有点到直线L的距离，将所有距离小于阈值d的边缘点，加入点序列

随后将点序列

投影到此直线L上，计算投影点到直线L与图像边界交点的距离，从小到大进行排序，距离最小的点作为直线的端点A₀；如果后一个点和前一点之间的距离不超过断裂阈值D，则认为属于同一条直线；若后一点到前一点距离超过断裂阈值，记录前一点为直线L的另一端点B₀，后一点为下一条直线的起始端点A₁；如果直线A₀B₀超过直线要求的最短距离，则认为是一条合格直线；反之，该直线不合格，将A₀B₀内所有边缘点从

剔除；完成判断后，以A₁为起始点，重复进行前面的判断，直到该直线L上所有的点被统计完毕；完成统计后，如果存在合格直线，将

放入点集lq₀，并从C_m剔除

中所有点，重新回到概率霍夫直线检测的步骤进行计算；如果不存在合格直线，则将ρ₀、θ₀所对应直线在霍夫空间的3×3邻域中所有值置为0后，寻找霍夫空间中大于TH的最大值对应ρ₁、θ₁，作为下一个待验证直线进行上述判断；直到所有连续边缘都进行上述计算；记录构成每条直线的直线边缘点集lq＝ {lq₁...lq_z}；

步骤7)直线拟合：在构成每条直线的边缘点的3×3邻域内寻找在步骤4)中得到的边缘点集E的点，如果存在对应的亚像素边缘点，则用距离最近的亚像素边缘点代替原边缘点；反之，则将这个边缘点从直线边缘中剔除；完成上述操作后，对构成直线的亚像素边缘点进行最小二乘拟合，获得直线方程后，计算边缘点到直线的距离，通过3Sigma准则剔除距离较大的点后，重新拟合得到最终的直线斜率和截距，以及直线端点；将所得的直线端点和步骤2)中的人工标注直线端点根据位置距离进行一一对应，剔除多余的直线；

步骤8)定位微平面：根据步骤7)中直线的位置关系，确定立针微平面上底和两条斜边的直线方程，计算上底和两条斜边的两个交点的中心，将其作为坐标轴原点，与上底垂直的坐标轴记为Y轴，朝向梯形内部的方向为正方向，完成微平面在图像中的定位；根据每一个像素所对应的物理尺寸s，以及实际微孔中心到上底的物理距离，确定图像坐标系加工微孔的位置，再通过图像坐标系与精密运动平台坐标系的转换关系，确定物理空间中立针微平面位置以及微孔的加工位置。

Claims (6)

1.一种基于显微视觉的立针微平面亚像素级定位方法，其特征在于，包括以下步骤：

1)采集模板图像：将显微镜CCD对准立针微平面后，调节光源亮度或曝光时间，当立针微平面边缘清晰，完成采图，人工去除微平面表面噪声；

2)建立模板：根据模板图像建立模板，人工标注并记录步骤1)模板图像中用作定位的直线及其端点；设置寻找角度范围、角度步长、图像金字塔层数；提取模板图像边缘，记录边缘点点集q＝{q₁…q_n}，其中n为边缘点总数，记录边缘点对应位置的X、Y方向梯度

以及对应幅值MagG^T到模板T(θ，h)，θ和h分别表示不同角度、金字塔层数；

3)模板匹配：获取模板T(θ，h)后，将立针放置在二维微纳加工平台上，通过夹具装夹，相机完成采图，通过模板匹配获取模板图像在待搜索图像中的位置和旋转角度，基于精密运动平台计算像素当量s，并统一相机坐标系和加工平台坐标系；

4)提取亚像素边缘：获取模板图像位置后，从在待搜索图像中提取出模板图像所在的局部区域Q，提取亚像素边缘，记为亚像素边缘点集E；

5)轮廓边缘提取：对模板图像所在局部区域Q，通过高斯模糊后，使用大津算法二值化，提取边缘点，记为边缘点集O；

6)直线检测：对边缘点集O进行直线检测，记录构成每条直线的直线边缘点集lq＝{lq₁…lq_z}；

7)直线拟合：在点集lq的邻域内搜索，如果存在步骤4)中亚像素边缘点集E的点，用点集E中的亚像素边缘点替换点集lq中的点，并拟合直线；

8)定位微平面：根据步骤7)所得直线位置、步骤3)所得像素当量s，以及加工平台和相机坐标变换关系，定位立针微平面在物理空间位置，进而确定立针微孔加工位置；

所述的步骤8)中定位微平面具体方法为：根据步骤7)中直线的位置关系，确定立针微平面上底和两条斜边的直线方程，计算上底和两条斜边的两个交点的中心，将其作为坐标轴原点，与上底垂直的坐标轴记为Y轴，朝向梯形内部的方向为正方向，完成立针微平面在图像中的定位；根据每一个像素所对应的物理尺寸s，以及实际微孔中心到上底的物理距离，确定图像坐标系加工微孔的位置，再通过图像坐标系与精密运动平台坐标系的转换关系，确定物理空间中立针微平面位置和微孔的加工位置。

2.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法，其特征在于，所述步骤2)中建立模板的具体方法为：对步骤1)采集的模板图像通过人工框选感兴趣区域，记录感兴趣区域内信息为模板信息，在模板图像中标注用于定位微平面的直线边缘的位置，记录其端点；设置寻找角度范围θ_l至θ_h、角度步长θ_s、图像金字塔层数n，原始模板图像在高斯滤波后，按角度步长在角度范围内旋转得到不同角度模板图像；建立图像金子塔后，对不同角度、不同金字塔层数的模板图像通过Canny边缘检测方法，提取所有的模板图像的边缘点，并对感兴趣区域内边缘点间隔采样，记录边缘点所对应位置的X、Y方向梯度

以及对应梯度幅值MagG^T到模板T(θ，h)，θ和h分别表示不同角度、金字塔层数。

3.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法，其特征在于，所述的步骤3)中图像通过模板匹配的具体方法为：对采集到的图像建立n层的图像金字塔，并对每层金字塔图像进行高斯滤波，其中更靠近顶层的金字塔图像使用小尺度高斯核，对最顶层金字塔图像使用大津算法进行二值化，并通过形态学滤波中闭运算去除小型黑色区域，记录白色区域为搜索范围M；计算待搜索图像的X、Y方向梯度

以及对应梯度幅值MagG^S；提出一个梯度幅值阈值参数H，对梯度幅值小于阈值H的点进行抑制，将该点的梯度幅值置为0；开始搜索后，使用金字塔顶层的模板T(θ，n)在搜索范围M中遍历，计算每一位置的形状相似度量值S，S的值在0到1范围内，1表示完全一致，

其中：m为模板边缘点数量，(u，v)是当前的模板中心位置像素坐标，(X_i，Y_i)是模板图像第i个边缘点像素坐标，

分别是模板图像中坐标(Xi，Yi)对应的X方向梯度、Y方向梯度、以及梯度幅值，

分别是待搜索图像中坐标为(u+X_i，v+Y_i)对应X方向梯度、Y方向梯度、以及梯度幅值；

找到所有S大于阈值T的点作为种子点；通过非极大值抑制，在所有种子点的3×3领域中，保存相似度量值得分最大的点作为此层种子点Se＝{Se₁…Se_d}；在下一层金字塔中，用θ邻域内的模板T(θ±θ_S，n-1)计算种子点Se的在n-1层金字塔对应位置的3×3邻域内的相似度量值；选取极大值对应的种子点，作为n-1层种子点，直到第0层；再使用下一个角度的模板T(θ，n)进行上述计算；完成全部角度模板的计算后，在金字塔第0层，统计不同角度模板计算得到的种子点的相似度量值大于T的种子点，从中选出极大值，即确定模板在图像中的位置和角度。

4.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法，其特征在于，所述的步骤4)提取亚像素边缘方法为：在局部区域Q进行Canny边缘提取，计算每个边缘点的梯度方向，设定-22.5度至22.5度、157.5度至180度、-180度至-157.5度对应0度，22.5度至67.5度、-157.5度至-112.5度对应45度，67.5度至112.5度、-112.5度至-67.5度对应90度，112.5度至157.5度、-67.5度至-22.5度对应135度，判定边缘点所在区间，在对应方向上通过二次函数拟合获取亚像素边缘点，记亚像素边缘点为亚像素边缘点集E。

5.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法，其特征在于，所述的步骤6)直线检测具体方法为：对步骤5)中所得边缘点集O通过八邻域边缘连接，得到多个连续边缘C_m，C_m＝{C₁…C_y}，对C₁采用概率霍夫直线检测方法，计算在霍夫空间内不同距离ρ、角度θ所对应的像素点数量，并记录所对应的像素点位置，加入点序列p_ij，i代表距离序号，j代表角度序号；如果霍夫空间中存在像素点数量超过阈值TH的直线，选择像素点数量最大值所对应的ρ₀、θ₀作为第一条待验证直线L；若全小于阈值TH，则C₁中不存在直线，对下一连续边缘C₂进行上述计算；存在待验证直线L时，计算C₁中所有点到直线L的距离，将所有距离小于阈值d的边缘点，加入点集

将点集

投影到此直线L上，计算投影点到直线L与图像边界交点的距离，从小到大进行排序，距离最小的点作为直线的端点A₀，如果后一个点和前一点之间的距离不超过断裂阈值D，则认为属于同一条直线；若超过断裂阈值D，记录前一点为直线L的另一端点B₀，后一点为下一条直线的起始端点A₁，如果直线A₀B₀超过直线要求的最短距离，则认为是一条合格直线；反之，直线不合格，将A₀B₀内所有边缘点从

剔除，以A₁为起始点，重复进行前面的判断，直到该直线L上所有的点被统计完毕；完成统计后，如果存在合格直线，记录

为lq₁，并从C₁剔除

中所有点，重新回到概率霍夫直线检测的步骤进行计算；如果不存在合格直线，则将ρ₀、θ₀所对应直线在霍夫空间的3×3邻域中所有值置为0后，寻找霍夫空间中大于TH的最大值对应ρ₁、θ₁，作为下一个待验证直线进行上述判断；直到所有连续边缘都进行上述计算。

6.根据权利要求1所述的一种基于显微视觉的立针微平面亚像素级定位方法，其特征在于，所述的步骤7)中直线拟合具体方法为：在构成每条直线的边缘点lq的3×3邻域内寻找在亚像素边缘点集E，如果存在对应的亚像素边缘点，则用距离原边缘点最近的亚像素边缘点代替；反之，则将这个边缘点从直线边缘中剔除，完成上述操作后，对构成直线的亚像素边缘点进行最小二乘拟合，获得直线方程后，计算边缘点到直线的距离，通过3Sigma准则剔除距离较大的点后，重新拟合得到最终的直线斜率和截距，以及直线端点，将所得的直线端点和步骤2)中的人工标注直线端点根据位置距离进行一一对应，剔除多余的直线。

Images