CN105354815A - 一种基于平板类微小型零件的精确识别定位方法 - Google Patents

Abstract

本发明公开了一种基于平板类微小型零件的精确识别定位方法，在经典Sobe？I算子的基础上，定义了8个方向模板与图像作平面卷积，并在边缘点的梯度方向采用多项式插值方法进行边缘点亚像素级细分，使得检测的方向和精度都得到了较好的提高，达到了目标零件边缘的亚像素级定位，可以实现微小型零件的高精度检测定位，从而为提高微装配系统的装配精度和装配质量打下了坚实的基础。

Description

一种基于平板类微小型零件的精确识别定位方法

技术领域

本发明涉及微小型零件定位领域，具体涉及一种基于平板类微小型零件的精确识别定位方法。

背景技术

微装配是实现MEMS器件封装的关键技术，其装配对象主要面向微米级或亚毫米级尺寸的微器件，这些微器件的轻、小、薄、软的特征对单目显微视觉定位精度提出了非常严格的要求。

发明内容

为解决上述问题，本发明一种基于平板类微小型零件的精确识别定位方法，可以实现微小型零件的高精度检测定位，从而为提高微装配系统的装配精度和装配质量打下了坚实的基础。

为实现上述目的，本发明采取的技术方案为：

一种基于平板类微小型零件的精确识别定位方法，包括如下步骤：

S1、采用以下二维高斯滤波器的公式进行图像平滑处理，滤除图像的干扰和噪声：

$f_{\mathrm{\σ}}(i,j)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(i^2+j^2)/2{\mathrm{\σ}}^2}=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-i^2/2{\mathrm{\σ}}^2}\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-j^2/2{\mathrm{\σ}}^2}=f_{\mathrm{\σ}}\left(i\right)f_{\mathrm{\σ}}\left(j\right);$

式中，σ是高斯滤波器宽度；i为图像行，j为图像列；

S2、在经典Sobel算子的基础上定义8个方向模板，方向依次为0、45°、90°、135°、180°、225°、270°、315°，沿模板方向顺时针旋转90度即为边缘梯度方向；在边缘检测时，将定义的8个3×3矩阵分别与滤波后的图像作平面卷积，取各个方向的亮度差分近似值，得出结果中的最大值即为梯度幅值，从而获得具有方向信息的梯度图像G(i，j)；

S3、沿梯度方向将梯度幅值图像G(i，j)上当前像素的梯度幅值与最邻近两像素点的梯度幅值进行比较，如果该点梯度幅值小于这两点中的任意一个，那么就可以排除该点为边缘点；反之，定义该点为边缘点；采用了迭代法对梯度幅值图像G(i，j)进行阈值分割；

S4、通过对二值图像提取连通区域去除噪声，具体实现算法如下：

S41、采用从上到下、从左到右的顺序遍历二值图像W(i，j)，定义二维数组将图像每一点W(i，j)像素标记为0，并用二维数组S[i][j]存储每点的像素值，由于是二值图像，所以S[i][j]只有0和1两种情况；

S42、再次遍历图像，判断二维数组S[i][j]、W[i][j]值。若S[i][j]值1，且W[i][j]为0，则将W[i][j]赋值为W[i][j]+1，并按顺时针方向搜索此像素点W(i，j)的8邻域像素。若8领域中某一点像素值为1，则继续对这点进行8邻域像素值判断，如此采用递归算法统计各个标号下连通域的像素个数；

S43、对于提取的连通域，通过比较每个标号下对应的像素数，最大者即为目标零件，并将其余标号下的连通域像素点赋值为0，由此便得到了只有目标零件的二值图像；

S5、在改进Sobel边缘检测的基础上，进行了基于多项式插值的像素级边缘的亚像素细分；

S6、对获取的边缘二值图像，并结合所装配的零件几何特征，首先利用最小外接矩形法确定目标零件所在图像的区域范围，再在此基础上进行基于局部扫描方法的亚像素边缘点的最小二乘直线拟合，使定位精度达到亚像素级。

2、根据权利要求1所述的一种基于平板类微小型零件的精确识别定位方法，其特征在于，所述步骤S1中选择了3*3模板进行了图像平滑。

3、根据权利要求1所述的一种基于平板类微小型零件的精确识别定位方法，其特征在于，所述步骤S3具体包括如下步骤：

①定义梯度幅值图像G(i，j)灰度的最大值与最小值的平均值T0作为初始阈值；

②利用定义好的阈值T0把梯度幅值图像分成2个区域S1和S2，其中幅值大于T0的像素点属于区域S1，幅值小于或等于T0的像素点属于区域S2；

③分别求出两个区域的梯度幅值的平均值A1、A2；

④定义新的阈值T，且

⑤计算两个阈值差值的绝对值：Δ＝|T₀-T|，给定判定值ε和迭代规定次数n，如果Δ＞ε或者迭代次数小于规定次数n，则令T₀＝T，程序重新回到第二步继续运行；如果判断条件成立，所得新阈值T即为最佳阈值；使用新T与梯度幅值图像G(i，j)做比较判别，若G(i，j)＞T，则点(i，j)为边缘点，将其灰度值赋值为1；若G(i，j)≤T，则将点视为非边缘点，其灰度值赋值为0；得只有黑白两种颜色的边缘二值图像W(i，j)。

本发明具有以下有益效果：

在经典Sobel算子的基础上，定义了8个方向模板与图像作平面卷积，并在边缘点的梯度方向采用多项式插值方法进行边缘点亚像素级细分，使得检测的方向和精度都得到了较好的提高，达到了目标零件边缘的亚像素级定位，可以实现微小型零件的高精度检测定位，从而为提高微装配系统的装配精度和装配质量打下了坚实的基础。

附图说明

图1为本发明实施例中检测方向模板。

图2为本发明实施例中两个不同的梯度方向非极大值抑制处理。

图3为本发明实施例中迭代法最佳阈值分割流程图。

图4为本发明实施例中梯度方向示意图。

图5为本发明实施例中局部扫描示意图。

图6为本发明实施例中零件实际吸附点定位示意图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

S1、采用以下二维高斯滤波器的公式进行图像平滑处理，滤除图像的干扰和噪声：

$f_{\mathrm{\σ}}(i,j)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(i^2+j^2)/2{\mathrm{\σ}}^2}=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-i^2/2{\mathrm{\σ}}^2}\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-j^2/2{\mathrm{\σ}}^2}=f_{\mathrm{\σ}}\left(i\right)f_{\mathrm{\σ}}\left(j\right);$

式中，σ是高斯滤波器宽度；i为图像行，j为图像列；

它是一种线性平滑滤波器，并通过卷积核与输入图像的每个点进行卷积，将最终的计算结果之和作为输出图像的像素值，因此处理效果好。同时高斯滤波分解成f_σ(i)和f_σ(j)，可以实现算法独立运算，达到了较快的处理速度，选择了3*3模板进行了图像平滑。

S2、在经典Sobel算子的基础上定义8个方向模板，方向依次为0°、45°、90°、135°、180°、225°、270°、315°(如图1所示)，沿模板方向顺时针旋转90度即为边缘梯度方向；在边缘检测时，将定义的8个3×3矩阵分别与滤波后的图像作平面卷积，取各个方向的亮度差分近似值，得出结果中的最大值即为梯度幅值，从而获得具有方向信息的梯度图像G(i，j)；

图像边缘检测必须满足两个条件：一能有效地抑制噪声；二必须尽量精确确定边缘的位置。通过对梯度幅值图像G(i，j)进行非极大值抑制和二值化处理，不仅可以很好的去除伪边缘、细化边缘，而且增强了图像的边缘信息，为后续目标零件的定位打下了良好的基础。

1)非极大值抑制

图像梯度幅值矩阵中的元素越大，说明图像中该点的梯度值越大，由于存在由噪声引起的假边缘点，并不能确定该点就是边缘。为了获取正确的边缘位置，必须对梯度幅值图像G(i，j)进行非极大值抑制处理，即

S3、沿梯度方向将梯度幅值图像G(i，j)上当前像素的梯度幅值与最邻近两像素点的梯度幅值进行比较，如果该点梯度幅值小于这两点中的任意一个，那么就可以排除该点为边缘点；反之，定义该点为边缘点，如图2所示，对于两个不同的梯度方向，应用非极大值抑制处理获得的像素；采用了迭代法对梯度幅值图像G(i，j)进行阈值分割，迭代阈值分割流程图如图3所示：

具体实现方法如下：

①定义梯度幅值图像G(i，j)灰度的最大值与最小值的平均值T0作为初始阈值；

②利用定义好的阈值T0把梯度幅值图像分成2个区域S1和S2，其中幅值大于T0的像素点属于区域S1，幅值小于或等于T0的像素点属于区域S2。

③分别求出两个区域的梯度幅值的平均值A1、A2。

④定义新的阈值T，且

⑤计算两个阈值差值的绝对值：Δ＝|T₀-T|，给定判定值ε和迭代规定次数n，如果Δ＞ε或者迭代次数小于规定次数n，则令T₀＝T，程序重新回到第二步继续运行；如果判断条件成立，所得新阈值T即为最佳阈值。使用新T与梯度幅值图像G(i，j)做比较判别，若G(i，j)＞T，则点(i，j)为边缘点，将其灰度值赋值为1；若G(i，j)≤T，则将点视为非边缘点，其灰度值赋值为0。这样就得到了只有黑白两种颜色的边缘二值图像W(i，j)；

S4、通过对二值图像提取连通区域去除噪声，具体实现算法如下：

S41、采用从上到下、从左到右的顺序遍历二值图像W(i，j)，定义二维数组将图像每一点W(i，j)像素标记为0，并用二维数组S[i][j]存储每点的像素值，由于是二值图像，所以S[i][j]只有0和1两种情况；

S42、再次遍历图像，判断二维数组S[i][j]、W[i][j]值。若S[i][j]值1，且W[i][j]为0，则将W[i][j]赋值为W[i][j]+1，并按顺时针方向搜索此像素点W(i，j)的8邻域像素。若8领域中某一点像素值为1，则继续对这点进行8邻域像素值判断，如此采用递归算法统计各个标号下连通域的像素个数；

S43、对于提取的连通域，通过比较每个标号下对应的像素数，最大者即为目标零件，并将其余标号下的连通域像素点赋值为0，由此便得到了只有目标零件的二值图像；

S5、在改进Sobel边缘检测的基础上，进行了基于多项式插值的像素级边缘的亚像素细分。

改进的Sobel边缘检测算法，增加到了八个方向的模板信息，可以精确的检测边缘的实际方向，梯度方向示意图4所示(其中阴影部分为行列方向，空白部分为对角方向)。由此，对任意边缘点P₀(x，y)附近的3×3邻域，沿梯度方向构造局部边缘过渡区函数f(x，y)，并求取f(x，y)的一阶导数极值点和二阶导数过零点，得到x值，其整数部分对应像素级边缘点，小数部分对应的是沿梯度方向切向的亚像素修正分量。将亚像素修正分量经坐标变换至行列方向，并与原坐标进行叠加，便得到亚像素边缘点的坐标。假设边缘像素点的坐标为(x，y)，则可根据梯度方向确定亚像素边缘点坐标，共可分为三种情况：

1)梯度方向为0

$\{\begin{array}{c}{X}_e=X\\ Y_e=Y\±\mathrm{\Δ}\end{array}---\left(2\right)$

2)梯度方向为1和3

3)梯度方向为2

$\left\{\begin{array}{c}{X}_e=X\±\mathrm{\Δ}\\ Y_e=Y\end{array}\right.---\left(4\right)$

假定边缘点P₀(x，y)处的梯度幅值R₀，沿梯度方向上与P₀(x，y)相邻的两点P₁(x，y)与P_-1(x，y)的梯度幅值分别为R₁和R_-1，则Δ的值为：

$\mathrm{\Δ}=\frac{R_{-1}-R_1}{R_{-1}-2R_0+R_1}*0.5---\left(5\right)$

S6、对获取的边缘二值图像，并结合所装配的零件几何特征，首先利用最小外接矩形法确定目标零件所在图像的区域范围，再在此基础上进行基于局部扫描方法的亚像素边缘点的最小二乘直线拟合，使定位精度达到亚像素级。具体方法如下：

步骤一、对于处理后的单连通区域，利用最小外接矩法确定包围单连通区域面积的尺寸最小的矩形，以此获取目标零件所占的大致区域，由最小外接矩形的上边端点P2和P3的列坐标确定目标零件上部边缘像素点所在的列范围，由左边端点P3和P4的行坐标确定零件左部边缘像素点所在的行范围，并定义最小外接矩形的上边和左边的直线方程分别为：

上边直线方程：y′₁＝a′₁x+b′₁(6)；左边直线方程：y′₂＝a′₂x+b′₂(7)

尽管目标零件由线切割加工而成，边缘线相对平直，凹凸范围不大，但是微装配精度要求高，则目标零件的方向也要定位精确，对于目标零件边缘小范围的凹凸，使用最小外接矩形法所确定的目标零件的方向，并不是零件的实际方向。

步骤二、根据最小外接矩形所确定的目标零件所在的行列范围，分别对最小外接矩形的上边端点P2和P3确定的目标零件上部边缘像素点所在的列范围进行局部图像列扫描，判断像素点的灰度值，并存储该范围内每一列的最上方灰度值为255的像素点。依次将扫描得到的像素点的行坐标带入(6)式，计算得到的x值与此点对应的列坐标进行比较，如果两值相减之差的绝对值大于10，则从存储数组中去除此点，最后将数组中的理想点进行最小二乘直线拟合，拟合得到的直线方程为：

y₁＝a₁x+b₁(8)

同理，对左边端点P3和P4确定的目标零件左部边缘像素点所在的行范围进行局部图像行扫描，存储该范围内每一行的最左方灰度值为255的像素点。依次将扫描得到的像素点的列坐标带入(7)式，计算得到的y值与此点对应的行坐标进行比较，如果两值相减之差的绝对值大于10，则从存储数组中去除此点，最后将数组中的理想点进行最小二乘直线拟合，拟合得到的直线方程为：

y₂＝a₂x+b₂(9)

步骤三、利用两直线方程来定位目标零件原点坐标以及与X轴的夹角，两直线必有交点，即y₁＝y₂时，可求取两直线交点坐标为：

$x=\frac{b_2-b_1}{a_1-a_2}---\left(10\right)$

$y=a_2*\frac{b_2-b_1}{k_1-k_2}+b_1---\left(11\right)$

两直线的交点坐标即为目标零件的原点在图像坐标系中的坐标，直线方程(8)所确定的斜率方向即为目标零件的实际方向，示意图如图5所示：

目标零件经最小二乘直线拟合效果示意图如图6所示，拟合所得直线的交点“BasePoint”即为目标零件原点的图像坐标。

步骤四、由于零件摆放，吸附等原因，造成目标零件的方向并不是水平的，其与X轴有一定的夹角。如图6所示，定义目标零件模板时吸附点位置为P1，吸附点与原点的连线和X轴夹角为a。假设零件实际偏转角度为b，实际吸附点为P2，则P2与原点的连线和X轴的夹角为a-b，假设L_P为P1和P2点到零件原点的距离，由于P1、P2与原点的距离不变，则此时吸附点的坐标为：

$x=\frac{b_2-b_1}{a_1-a_2}+L_p*\cos (a-b)---\left(10\right)$

$y=a_1*\frac{b_2-b_1}{k_1-k_2}+b_1+L_p*\sin (a-b)---\left(11\right)$

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于平板类微小型零件的精确识别定位方法，其特征在于，包括如下步骤：

S1、采用以下二维高斯滤波器的公式进行图像平滑处理，滤除图像的干扰和噪声：

$f_{\mathrm{\σ}}(i,j)=\frac{2}{2{\mathrm{\π\σ}}^2}{e}^{-(i^2+j^2)/2{\mathrm{\σ}}^2}=\frac{2}{2{\mathrm{\π\σ}}^2}{e}^{-j^2/2{\mathrm{\σ}}^2}\frac{2}{2{\mathrm{\π\σ}}^2}{e}^{-j^2/2{\mathrm{\σ}}^2}=f_{\mathrm{\σ}}\left(i\right)f_{\mathrm{\σ}}\left(j\right);$

式中，σ是高斯滤波器宽度；i为图像行，j为图像列；

S2、在经典Sobel算子的基础上定义8个方向模板，方向依次为0、45°、90°、135°、180°、225°、270°、315°，沿模板方向顺时针旋转90度即为边缘梯度方向；在边缘检测时，将定义的8个3×3矩阵分别与滤波后的图像作平面卷积，取各个方向的亮度差分近似值，得出结果中的最大值即为梯度幅值，从而获得具有方向信息的梯度图像G(i，j)；

S3、沿梯度方向将梯度幅值图像G(i，j)上当前像素的梯度幅值与最邻近两像素点的梯度幅值进行比较，如果该点梯度幅值小于这两点中的任意一个，那么就可以排除该点为边缘点；反之，定义该点为边缘点；采用了迭代法对梯度幅值图像G(i，j)进行阈值分割；

S4、通过对二值图像提取连通区域去除噪声，具体实现算法如下：

S41、采用从上到下、从左到右的顺序遍历二值图像W(i，j)，定义二维数组将图像每一点W(i，j)像素标记为0，并用二维数组S[i][j]存储每点的像素值，由于是二值图像，所以S[i][j]只有0和1两种情况；

S42、再次遍历图像，判断二维数组S[i][j]、W[i][j]值。若S[i][j]值1，且W[i][j]为0，则将W[i][j]赋值为W[i][j]+1，并按顺时针方向搜索此像素点W(i，j)的8邻域像素。若8领域中某一点像素值为1，则继续对这点进行8邻域像素值判断，如此采用递归算法统计各个标号下连通域的像素个数；

S43、对于提取的连通域，通过比较每个标号下对应的像素数，最大者即为目标零件，并将其余标号下的连通域像素点赋值为0，由此便得到了只有目标零件的二值图像；

S5、在改进Sobel边缘检测的基础上，进行了基于多项式插值的像素级边缘的亚像素细分；

S6、对获取的边缘二值图像，并结合所装配的零件几何特征，首先利用最小外接矩形法确定目标零件所在图像的区域范围，再在此基础上进行基于局部扫描方法的亚像素边缘点的最小二乘直线拟合，使定位精度达到亚像素级。

2.根据权利要求1所述的一种基于平板类微小型零件的精确识别定位方法，其特征在于，所述步骤S1中选择了3*3模板进行了图像平滑。

3.根据权利要求1所述的一种基于平板类微小型零件的精确识别定位方法，其特征在于，所述步骤S3具体包括如下步骤：

①定义梯度幅值图像G(i，j)灰度的最大值与最小值的平均值T0作为初始阈值；

②利用定义好的阈值T0把梯度幅值图像分成2个区域S1和S2，其中幅值大于T0的像素点属于区域S1，幅值小于或等于T0的像素点属于区域S2；

③分别求出两个区域的梯度幅值的平均值A1、A2；

④定义新的阈值T，且

⑤计算两个阈值差值的绝对值：Δ＝|T₀-T|，给定判定值ε和迭代规定次数n，如果Δ＞ε或者迭代次数小于规定次数n，则令T₀＝T，程序重新回到第二步继续运行；如果判断条件成立，所得新阈值T即为最佳阈值；使用新T与梯度幅值图像G(i，j)做比较判别，若G(i，j)＞T，则点(i，j)为边缘点，将其灰度值赋值为1；若G(i，j)≤T，则将点视为非边缘点，其灰度值赋值为0；得只有黑白两种颜色的边缘二值图像W(i，j)。