CN104359402A - 一种用于矩形引脚元件视觉定位的检测方法 - Google Patents

Abstract

一种用于矩形引脚元件视觉定位的检测方法。本发明涉及矩形引脚元件的视觉定位与检测领域。本发明是为了解决传统矩形引脚元件检测方法定位精度低，引脚在图像中存在断裂，对偏移量和偏转角度分开进行检测的问题。本发明主要技术为采用贴片机视觉系统获取被测元件图像，进行阀值分割得到二值化预处理后的图像，对元件引脚的连通区域进行标记，判别元件引脚的形状，提取引脚图像的像素级Harris角点坐标，求取Harris角点的亚像素坐标并分类，然后计算元件的偏转角度，将元件引脚图像与标准图像进行配准，计算出元件的偏移量。本发明主要用于矩形引脚元件的引脚检测、偏转角度检测以及偏移量检测。

Description

一种用于矩形引脚元件视觉定位的检测方法

技术领域

本发明涉及矩形引脚元件的视觉定位和检测领域，具体是一种一种用于矩形引脚元件视觉定位的检测方法。

背景技术

矩形引脚元件视觉定位是对元件中心相对于吸嘴中心的偏移量和元件在拾取过程中的偏转角度进行检测，从而伺服系统对元件的位置进行补偿。快速、准确地完成矩形引脚元件的对准对提高贴片机的工作效率和精度起着至关重要的作用。已有的对矩形引脚元件的检测，基于尺蠖蠕行算法来对组成引脚的直线特征进行检测，根据梯度方向将边缘像素集合划分为具有一定梯度范围的子集，然后在各个边缘点子集内分别采用蠕行策略进行直线检测。当元件引脚的数目较多时，直线检测耗时较长，该方法的实时性将变得较差。也有算法针对矩形引脚元件引脚的分布特点，提出了基于第一元件引脚扫描检测的方法。但该方法需要根据元件的尺寸和吸嘴取料的精度来预先估计元件的第一引脚在图像坐标系中的位置，因而对吸嘴吸取元件的精度提出了较高的要求。还有方法对元件定义了东、西、南和北四个引脚组，然后对每个引脚组进行最小二乘匹配计算出元件的位置。当元件图像中的引脚发生断裂，该方法的检测精度将变得较差。上述方法的最小处理对象为单个像素点，所以检测精度较差，无法保证偏移量和偏转角度同时具有较高的检测精度。

发明内容

本发明是为了解决传统矩形引脚元件检测方法定位精度低，引脚在图像中存在断裂，对偏移量和偏转角度分开进行检测，而提出一种用于矩形引脚元件视觉定位的检测方法。

本发明的技术方案如下：

一种用于矩形引脚元件视觉定位的检测方法按以下步骤实现：

步骤一：采用贴片机视觉系统获取矩形引脚元件的图像。

步骤二：对步骤一得到的图像进行预处理，滤除图像中的噪声，修补引脚缺陷，采用最大类间方差法进行阈值分割，得到二值化后的图像。

步骤三：对步骤二得到的元件引脚图像进行连通区域标记。

对连通区域进行标记的步骤为：

初始化：随机选取原始图像中某个连通区域内的一个亮点B₀。

循环：采用正方形结构元S对B₀进行膨胀运算，膨胀后的结果与原始图像相交得到B₁，重复进行膨胀运算与相交运算，直到B_i+1＝＝B_i，一个连通区域标记完成。为该连通区域分配一个唯一的编号，并将输出图像中该连通区域内的所有像素点赋值为该区域的编号，从原始图像中删除已标记的连通区域。重复上述步骤，直到原始图像中再无亮点，至此所有的连通区域标记完毕。。

步骤四：计算步骤三得到的连通区域的二阶中心矩的比值，判别元件引脚的形状。若二阶中心矩的比值远大于1或者远小于1，则元件类型正确，否则元件类型不正确，不对元件进行检测。

一幅M×N的数字图像f(i,j)，其p+q阶几何矩m_pq和中心矩μ_pq为：

$m_{\mathrm{pq}}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{i}^p{j}^q(i,j)$

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(i-i_0)}^p{(j-j_0)}^{q}f(i,j)$

其中，i₀＝m₁₀/m₀₀，j₀＝m₀₁/m₀₀，p,q＝0,1,2,…。

设X为标记图像的横向坐标矩阵，Y为标记图像的纵向坐标矩阵，大小均为n×1。则标记区域的二阶中心矩的计算过程如下：

$m_{00}=\underset{(x,y)\∈S}{\mathrm{\Σ}}f(x,y)=n$

$m_{00}=\underset{(x,y)\∈S}{\mathrm{\Σ}}x\·f(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}X\left(i\right),m_{01}=\underset{(x,y)\∈S}{\mathrm{\Σ}}y\·f(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}Y\left(i\right)$

$m_{20}=\underset{(x,y)\∈S}{\mathrm{\Σ}}{x}^2\·f(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{X}^2\left(i\right),m_{02}=\underset{(x,y)\∈S}{\mathrm{\Σ}}{y}^2\·f(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{Y}^2\left(i\right)$

${\mathrm{\μ}}_{02}=m_{02}-m_{01}^2/m_{00},{\mathrm{\μ}}_{20}=m_{20}-m_{10}^2/m_{00}$

步骤五：提取步骤四得到的引脚图像的Harris角点坐标。

步骤六：对步骤五得到的像素级角点坐标，采用基于Zernike矩的亚像素边缘检测算法对像素级角点进行精确定位。

步骤七：对步骤六得到的亚像素坐标点进行分类。在x-y坐标系中标注出每个角点，然后找出具有x轴坐标最大、最小值以及y轴坐标最大、最小值的4个基准角点，最后通过计算其他角点与4个基准角点的距离来判断剩余角点与哪个基准角点属于同一类。

步骤八：通过最小二乘法对步骤八中得到的四类角点进行直线拟合，并将拟合得到的直线平移0.75l(l为贴片元件的引脚长度)，去除已分类的角点，剔除虚假角点，对余下的角点再次进行分类和最小二乘拟合，最后取八条直线斜率的平均值作为偏转角度θ的检测结果。

虚假角点的判别方法是将余下角点分别带入平移后的四条直线的直线方程，得到四个值，若四个值中正数的个数为2，则此点为四条直线所构成的封闭区间内的点，否则为虚假点。

步骤九：取步骤六得到的角点附近的8个像素值作为匹配特征点向量，与偏转角度为θ的标准图像的特征点向量进行匹配，得到最佳匹配点对，匹配点对间的坐标差值即为元件的偏移量。

本发明的优点是在进行Harris角点分类之前采用基于Zernike矩的亚像素边缘检测方法对Harris角点的坐标进行更精确地检测，得到精度更高的角点坐标，从而大大提高了后续偏转角度和偏移量的检测精度。测试结果表明，本发明所研究的算法可以对矩形引脚元件的偏转角度和偏移量进行有效检测，对偏转角度定位误差不超过0.04度，对偏移量的定位误差不超过0.02像素。可以得出，本发明所提出的矩形引脚元件定位与检测算法对元件的偏转角度和偏移量具有较高的分辨率和精度，能够满足高精度贴片机对算法精度的要求。

附图说明

图1是本方法流程图；

图2是矩形引脚元件的原始图像示意图。

图3是矩形引脚元件预处理后的图像示意图。

图4是亚像素边缘检测理想模型示意图。

图5是旋转后的亚像素边缘检测理想模型示意图。

图6是Harris角点提取结果示意图。

具体实施方式

下面结合附图对本发明作进一步说明：

具体实施方式一：本实施方式所述的一种用于矩形引脚元件视觉定位的检测方法按以下步骤实现：

步骤一：采用贴片机视觉系统获取矩形引脚元件的图像。

步骤二：对步骤一得到的图像进行预处理，滤除图像中的噪声，修补引脚缺陷，采用最大类间方差法进行阈值分割，得到二值化后的图像。

步骤三：对步骤二得到的元件引脚图像进行连通区域标记。

对连通区域进行标记的步骤为：

初始化：随机选取原始图像中某个连通区域内的一个亮点B₀。

循环：采用正方形结构元S对B₀进行膨胀运算，膨胀后的结果与原始图像相交得到B₁，重复进行膨胀运算与相交运算，直到B_i+1＝＝B_i，一个连通区域标记完成。为该连通区域分配一个唯一的编号，并将输出图像中该连通区域内的所有像素点赋值为该区域的编号，从原始图像中删除已标记的连通区域。重复上述步骤，直到原始图像中再无亮点，至此所有的连通区域标记完毕。。

步骤四：计算步骤三得到的连通区域的二阶中心矩的比值，判别元件引脚的形状。若二阶中心矩的比值远大于1或者远小于1，则元件类型正确，否则元件类型不正确，不对元件进行检测。

一幅M×N的数字图像f(i,j)，其p+q阶几何矩m_pq和中心矩μ_pq为：

$m_{\mathrm{pq}}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{i}^p{j}^q(i,j)$

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(i-i_0)}^p{(j-j_0)}^{q}f(i,j)$

其中，i₀＝m₁₀/m₀₀，j₀＝m₀₁/m₀₀，p,q＝0,1,2,…。

设X为标记图像的横向坐标矩阵，Y为标记图像的纵向坐标矩阵，大小均为n×1。则标记区域的二阶中心矩的计算过程如下：

$m_{00}=\underset{(x,y)\∈S}{\mathrm{\Σ}}f(x,y)=n$

$m_{00}=\underset{(x,y)\∈S}{\mathrm{\Σ}}x\·f(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}X\left(i\right),m_{01}=\underset{(x,y)\∈S}{\mathrm{\Σ}}y\·f(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}Y\left(i\right)$

$m_{20}=\underset{(x,y)\∈S}{\mathrm{\Σ}}{x}^2\·f(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{X}^2\left(i\right),m_{02}=\underset{(x,y)\∈S}{\mathrm{\Σ}}{y}^2\·f(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{Y}^2\left(i\right)$

${\mathrm{\μ}}_{02}=m_{02}-m_{01}^2/m_{00},{\mathrm{\μ}}_{20}=m_{20}-m_{10}^2/m_{00}$

步骤五：提取步骤四得到的引脚图像的Harris角点坐标。

步骤六：对步骤五得到的像素级角点坐标，采用基于Zernike矩的亚像素边缘检测算法对像素级角点进行精确定位。

步骤七：对步骤六得到的亚像素坐标点进行分类。在x-y坐标系中标注出每个角点，然后找出具有x轴坐标最大、最小值以及y轴坐标最大、最小值的4个基准角点，最后通过计算其他角点与4个基准角点的距离来判断剩余角点与哪个基准角点属于同一类。

步骤八：通过最小二乘法对步骤八中得到的四类角点进行直线拟合，并将拟合得到的直线平移0.75l(l为贴片元件的引脚长度)，去除已分类的角点，剔除虚假角点，对余下的角点再次进行分类和最小二乘拟合，最后取八条直线斜率的平均值作为偏转角度θ的检测结果。

虚假角点的判别方法是将余下角点分别带入平移后的四条直线的直线方程，得到四个值，若四个值中正数的个数为2，则此点为四条直线所构成的封闭区间内的点，否则为虚假点。

步骤九：取步骤六得到的角点附近的8个像素值作为匹配特征点向量，与偏转角度为θ的标准图像的特征点向量进行匹配，得到最佳匹配点对，匹配点对间的坐标差值即为元件的偏移量。

具体实施方式二：

本实施方式是对具体实施方式一进一步补充，步骤五所述的Harris角点提取方法，具体按照以下步骤实现：

(1)计算图像I(x,y)在x、y方向上的梯度I_x、I_y。

$\left\{\begin{array}{c}{I}_x=\frac{\∂I}{\∂x}=I\⊗f_x\\ I_y=\frac{\∂I}{\∂y}=I\⊗f_y\end{array}\right.$

其中， $f_x=\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right],f_y=\left[\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right],$ 为卷积运算。

(2)计算图像x、y方向梯度的乘积。

$\left\{\begin{array}{c}{I}_x^2=I_x\·I_x\\ I_x^2=I_y\·I_y\\ I_{\mathrm{xy}}=I_x\·I_y\end{array}\right.$

(3)使用高斯函数对梯度乘积进行高斯加权。

$\left\{\begin{array}{c}A=I_x^2\⊗w\\ B=I_y^2\⊗w\\ C=I_{\mathrm{xy}}\⊗w\end{array}\right.$

其中，w为9×9的高斯窗函数。

(4)计算自相关矩阵M的行列式det M和直迹trace M。

$\left\{\begin{array}{c}\det M=\mathrm{AC}-B^2\\ \mathrm{trace\; M}=A+C\end{array}\right.$

(5)计算每个角点的响应值R，并对小于阀值t的R置零：

R＝det M-α(trace M)²

其中，α为经验常数。

(6)在3×3的邻域内进行非极大值抑制，余下的局部极大值点即为图像的角点。

具体实施方式三：本实施方式是对具体实施方式一进一步补充，步骤六所述的基于Zernike矩的亚像素边缘检测法，具体按照以下步骤实现：

(1)根据亚像素边缘检测理想模型，利用7×7的模板计算每个像素级角点的5个旋转后的Zernike矩Z₀₀,Z₁₁,Z₂₀,Z₃₁,Z₄₀。

(2)计算旋转后的5个Zernike矩Z’₀₀,Z’₁₁,Z’₂₀,Z’₃₁,Z’₄₀。

(3)计算边缘模型的边缘参数与旋转后的Zernike矩之间的关系。

$Z_{00}^{\′}={\∫}_{-1}^l{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}h{V}_{00}\mathrm{dydx}+{\∫}_l^1{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}(h+k)V_{00}\mathrm{dydx}=\mathrm{h\π}+\frac{\mathrm{k\π}}{2}-k{\sin }^{-1}\left(l\right)-\mathrm{lk}\sqrt{1-l^2}$

$Z_{11}^{\′}={\∫}_{-1}^l{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}h{V}_{11}\mathrm{dydx}+{\∫}_l^1{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}(h+k)V_{11}\mathrm{dydx}=\frac{2k{(1-l^2)}^{3/2}}{3}$

$Z_{20}^{\′}={\∫}_{-1}^l{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}h{\mathrm{Vc}}_{20}\mathrm{dydx}+{\∫}_l^1{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}(h+k)V_{20}\mathrm{dydx}=\frac{2\mathrm{kl}{(1-l^2)}^{3/2}}{3}$

$Z_{31}^{\′}={\∫}_{-1}^l{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}h{V}_{31}\mathrm{dydx}+{\∫}_l^1{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}(h+k)V_{31}\mathrm{dydx}=k[\frac{4}{5}{l}^2{(1-l^2)}^{3/2}-\frac{2}{15}{(1-l^2)}^{3/2}]$

$Z_{40}^{\′}={\∫}_{-1}^l{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}h{V}_{40}\mathrm{dydx}+{\∫}_l^1{\∫}_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}(h+k)V_{40}\mathrm{dydx}=k[\frac{2}{5}l{(1-l^2)}^{3/2}-\frac{16}{15}{l}^3{(1-l^2)}^{3/2}]$

V₀₀＝1，V₁₁＝x-jy，V₂₀＝2x²+2y²-1

V₃₁＝(3x³+3xy²-2x)+j(3y³+3x²y-2y)，V₄₀＝6(x⁴+y⁴)+12x²y²-6(x²+y²)+1

(4)计算边缘模型的边缘参数。

$l_1=\sqrt{\frac{5Z_{40}^{\′}+3Z_{20}^{\′}}{8Z_{20}^{\′}}},l_2=\sqrt{\frac{5Z_{31}^{\′}+Z_{11}^{\′}}{6Z_{11}^{\′}}},l=0.5(l_1+l_2)$

其中，Im[Z_n1]、Re[Z_n1]分别为Z_n1的虚部和实部。

(5)计算Harris角点的亚像素坐标。

式中，(x_s,y_s)为Harris角点的亚像素坐标，(x,y)为Harris角点的像素级坐标。

上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计构思前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容已经全部记载在权利要求书中。

Claims (3)

1.一种用于矩形引脚元件视觉定位的检测方法，其特征在于它包括下述步骤： 

步骤一：采用贴片机视觉系统获取矩形引脚元件的图像； 

步骤二：对步骤一得到的图像进行预处理，滤除图像中的噪声，修补引脚缺陷，采用最大类间方差法进行阈值分割，得到二值化后的图像； 

步骤三：对步骤二得到的元件引脚图像进行连通区域标记； 

对连通区域进行标记的步骤为： 

初始化：随机选取原始图像中某个连通区域内的一个亮点B₀； 

循环：采用正方形结构元S对B₀进行膨胀运算，膨胀后的结果与原始图像相交得到B₁，重复进行膨胀运算与相交运算，直到B_i+1＝＝B_i，一个连通区域标记完成。为该连通区域分配一个唯一的编号，并将输出图像中该连通区域内的所有像素点赋值为该区域的编号，从原始图像中删除已标记的连通区域。重复上述步骤，直到原始图像中再无亮点，至此所有的连通区域标记完毕； 

步骤四：计算步骤三得到的连通区域的二阶中心矩的比值，判别元件引脚的形状。若二阶中心矩的比值远大于1或者远小于1，则元件类型正确，否则元件类型不正确，不对元件进行检测； 

一幅M×N的数字图像f(i,j)，其p+q阶几何矩m_pq和中心矩μ_pq为： 

其中，i₀＝m₁₀/m₀₀，j₀＝m₀₁/m₀₀，p,q＝0,1,2,…； 

设X为标记图像的横向坐标矩阵，Y为标记图像的纵向坐标矩阵，大小均为n×1。则标记区域的二阶中心矩的计算过程如下： 

步骤五：提取步骤四得到的引脚图像的Harris角点坐标； 

步骤六：对步骤五得到的像素级角点坐标，采用基于Zernike矩的亚像素边缘检测算法对像素级角点进行精确定位； 

步骤七：对步骤六得到的亚像素坐标点进行分类。在x-y坐标系中标注出每个角点，然后找出具有x轴坐标最大、最小值以及y轴坐标最大、最小值的4个基准角点，最后通过计算其他角点与4个基准角点的距离来判断剩余角点与哪个基准角点属于同一类； 

步骤八：通过最小二乘法对步骤八中得到的四类角点进行直线拟合，并将拟合得到的直线平移0.75l(l为贴片元件的引脚长度)，去除已分类的角点，剔除虚假角点，对余下的角点再次进行分类和最小二乘拟合，最后取八条直线斜率的平均值作为偏转角度θ的检测结果； 

虚假角点的判别方法是将余下角点分别带入平移后的四条直线的直线方程，得到四个值，若四个值中正数的个数为2，则此点为四条直线所构成的封闭区间内的点，否则为虚假点； 

步骤九：取步骤六得到的角点附近的8个像素值作为匹配特征点向量，与偏 转角度为θ的标准图像的特征点向量进行匹配，得到最佳匹配点对，匹配点对间的坐标差值即为元件的偏移量。 

2.根据权利要求1所述的一种用于矩形引脚元件视觉定位的检测方法，其特征在于步骤五所述的Harris角点提取方法，具体按照以下步骤实现： 

(1)计算图像I(x,y)在x、y方向上的梯度I_x、I_y； 

其中， 为卷积运算； 

(2)计算图像x、y方向梯度的乘积； 

(3)使用高斯函数对梯度乘积进行高斯加权； 

其中，w为9×9的高斯窗函数； 

(4)计算自相关矩阵M的行列式det M和直迹trace M； 

(5)计算每个角点的响应值R，并对小于阀值t的R置零： 

R＝det M-α(trace M)²； 

其中，α为经验常数； 

(6)在3×3的邻域内进行非极大值抑制，余下的局部极大值点即为图像的角点。 

3.根据权利要求1所述的一种用于矩形引脚元件视觉定位的检测方法，其特征在于步骤六所述的基于Zernike矩的亚像素边缘检测法，具体按照以下步骤实现： 

(1)根据亚像素边缘检测理想模型，利用7×7的模板计算每个像素级角点的5个旋转后的Zernike矩Z₀₀,Z₁₁,Z₂₀,Z₃₁,Z₄₀； 

(2)计算旋转后的5个Zernike矩Z’₀₀,Z’₁₁,Z’₂₀,Z’₃₁,Z’₄₀； 

(3)计算边缘模型的边缘参数与旋转后的Zernike矩之间的关系； 

V₀₀＝1，V₁₁＝x-jy，V₂₀＝2x²+2y²-1； 

V₃₁＝(3x³+3xy²-2x)+j(3y³+3x²y-2y)，V₄₀＝6(x⁴+y⁴)+12x²y²-6(x²+y²)+1； 

(4)计算边缘模型的边缘参数； 

l＝0.5(l₁+l₂)； 

其中，Im[Z_n1]、Re[Z_n1]分别为Z_n1的虚部和实部； 

(5)计算Harris角点的亚像素坐标； 

式中，(x_s,y_s)为Harris角点的亚像素坐标，(x,y)为Harris角点的像素级坐标。