CN103729655A - 一种用于片式元件视觉定位的检测方法 - Google Patents

Abstract

一种用于片式元件视觉定位的检测方法。本发明涉及片式元件的视觉定位检测领域。本发明是为了解决传统片式元件检测方法检测精度和鲁棒性差，对吸嘴吸取元件的精度要求高。本发明主要技术为采用光学照明系统获取元件图像，进行阀值分割得到二值化预处理后的图像，找到元件的等效椭圆对元件定位并得到元件旋转角度，标记连通区域，对元件的边缘点拟合分类，计算元件的中心坐标和旋转角度。本发明用于片式元件的视觉定位检测。

Description

一种用于片式元件视觉定位的检测方法

技术领域

本发明涉及片式元件的视觉定位检测领域。

背景技术

片式元件在SMT贴装元件总数中占有很大比重，约为95％以上，国内对片式元件的视觉检测尚在起步阶段，对片式元件的视觉检测大多存在着计算速度慢或对元件位置差异及图像变异敏感的问题。

在特定的照明条件下，片式元件的图像几何外形特征表现为比较规则的矩形区域，故用矩形来描述。元件的识别目标是从获取的图像中确定一个可以描述元件位姿的矩形。

元件的旋转角度是贴片机进行位姿校正、坐标补偿以及元件尺寸等计算的关键参数。元件对中检测过程中，需要获取元件矩形的长边与X轴正方向的夹角，作为校正的初始数据信息。

基于标尺技术的检测算法代表了当今主流贴片机在检测片式元件时所使用的算法。该算法首先使用标尺在片式元件每条边上获取数个边缘点，进而分别对每条边缘进行直线拟合，根据计算出的四条边缘的直线方程获取整个元件的中心点坐标和旋转角度。该算法具有简单高效的优点，但精度和鲁棒性较差。另外，该算法对吸嘴吸取元件的精度要求较高，一旦元件与吸嘴中心位置的偏差较大或者元件的旋转角度较大，该算法将难以可靠地提取元件的边缘点。

发明内容

本发明是为了解决传统片式元件检测方法检测精度差和鲁棒性差，对吸嘴吸取元件的精度要求高的问题，而提出一种用于片式元件视觉定位的检测方法。

一种用于片式元件视觉定位的检测方法按以下步骤实现：

步骤一、采用光学照明系统获取片式元件的图像；

步骤二、将步骤一得到的图像采用最大类间方差法进行阈值分割，得到二值化预处理后的图像；

步骤三、通过使等效椭圆和二值图像的一阶矩和二阶矩相等，找到等效椭圆的长轴、短轴以及圆心的横纵坐标和等效椭圆长轴相对于X轴的旋转角度，继而画出等效椭圆的最大内接矩形，得出包围元件的矩形的参数中心点X,Y坐标，矩形长边的长度，矩形短边的长度以及矩形长边与X轴的角度；

数字图像中p+q阶矩的定义为：

$m_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^p{y}^{q}f(x,y)$

其中，f（x,y）为坐标为（x,y）的二维图像的像素，p,q=0,1,2…

等效椭圆的参数与一阶矩、二阶矩之间的关系为：

$x_0=\frac{m_{10}}{m_{00}}$

$y_0=\frac{m_{01}}{m_{00}}$

$a=\sqrt{\frac{(m_{20}+m_{02}+\sqrt{{(m_{20}-m_{02})}^2+4\×{m_{11}}^2})\×m_{00}}{\mathrm{\π}\×[{(m_{20}+m_{02})}^2-({(m_{20}-m_{02})}^2+4\×{m_{11}}^2)]}}$

$b=\sqrt{\frac{(m_{20}+m_{02}+\sqrt{{(m_{20}-m_{02})}^2+4\×{m_{11}}^2})\×m_{00}}{\mathrm{\π}\×[{(m_{20}+m_{02})}^2-({(m_{20}-m_{02})}^2+4\×{m_{11}}^2)]}}$

$\mathrm{\θ}=\frac{{\tan }^{-1}\left(\frac{2\×m_{11}}{m_{20}-m_{02}}\right)}{2}$

其中，x₀，y₀为等效椭圆的中心坐标，a为等效椭圆的长轴，b为等效椭圆的短轴，θ为等效椭圆的旋转角度；

步骤四、通过矩形长边与X轴的角度进一步判断片式元件的旋转角度是否在[0°，40°]或[180°，220°]，如果是，继续执行步骤五，否则，对该元件检测结束；

步骤五、对步骤四中在检测范围的片式元件通过Hough变换求解矩形四条边的直线方程的参数，进一步求出矩形四个拐点的坐标；根据四个拐点的像素值加上一定的偏置值，得到图像的感兴趣区域ROI，作为检测图像的区域；

步骤六、对步骤五得到的图像采用最大连通区域标记算法确定其中的片式元件，对图像进行滤波，保留滤波后图像中最大的连通区域，删去其它区域，得到片式元件的基本轮廓；所述的连通区域标记算法采用两遍扫描法实现；

步骤七、对步骤五中获得的感兴趣区域ROI进行Canny边缘检测或亚像素边缘检测，得到片式元件的带有干扰点的边缘图像，亚像素插值点的计算公式是：

$X_e=x+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\cos \left(\mathrm{\θ}\right)$

$Y_e=y+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\sin \left(\mathrm{\θ}\right)$

其中，设边缘上某点坐标为(x,y)，该点及其梯度方向上相邻两点的灰度梯度的幅值为R_-1，R₀，R₊₁，W为相邻像素到边缘点的距离，θ为边缘点的梯度与X正向的夹角，亚像素点坐标为(X_e,Y_e)；

将步骤六获得的连通区域标记的结果与Canny边缘检测或亚像素边缘检测得到的结果进行与操作，从而滤去干扰点；

步骤八、对步骤七中得到的滤去干扰点的图像的上下左右四个部分进行Hough变换，根据Canny检测出的边缘点到Hough变换拟合出的4条直线的距离，到哪条近，就归为哪边，然后，对分类后的边缘点进行最小二乘法直线拟合，得到片式元件的定位矩形；其中最小二乘法的算法是：

$f\left(x\right)=a_0+a_{1}x+a_2{x}^2+...=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{a}_k{x}^k$

δ_i=|f(x_i)-y_i|

$s(a_0,a_1,...a_n)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left({\mathrm{\δ}}_i\right)}^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|f\left(x_i\right)-y_i|}^2=\min$

$\frac{\∂s}{{\∂a}_k}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{2\mathrm{kx}}_i^k[f\left(x_i\right)-y_i]=0,k=\mathrm{0,1,2},...,n$

其中：(x_i,y_i)，1≤i≤n为给定的采样数据点，f(x)为多项式拟合公式，δ_i为每个数据点的残差，s(a₀,a₁,...,a_n)为误差平方和，s(a₀,a₁,...,a_n)对a_k求偏导得到的值为拟合直线方程f(x)的系数；

步骤九、通过计算质心得到元件的中心坐标为：

旋转角度为 $\mathrm{\θ}={\tan }^{-1}\left(\frac{\stackrel{\‾}{y}}{\stackrel{\‾}{x}}\right);$

其中：

和

分别为片式元件中心的横坐标和纵坐标，θ为元件的旋转角度，g(x，y)为元件进行阈值分割后二值图像的灰度值；当g(x，y)为1时，代表感兴趣区域，即元件图像；当g(x，y)为0时，代表背景区域；

步骤十、将检测后得到的片式元件中心的横坐标和纵坐标和片式元件的旋转角度输出。

本发明的优点是通过实验得到原始图像元件中心X坐标67.723pixel元件中心Y坐标60.446pixel元件旋转角度11.307度算法运行时间2.0ms；吸嘴干扰元件中心X坐标67.730pixel元件中心Y坐标60.373pixel元件旋转角度11.352度算法运行时间2.3ms；加性噪声元件中心X坐标67.725pixel元件中心Y坐标60.485pixel元件旋转角度11.339度算法运行时间2.2ms；测试结果表明，有吸嘴或噪声干扰情况下的得到的元件定位结果的各项数据和在原始图像中元件定位结果的各项数据之间的偏差很小，从而得出算法具有很强的鲁棒性，能够容忍吸嘴和噪声相当程度的干扰，算法运行时间表明该算法具有很高的执行效率，能够满足高速贴片机对于算法实时性的要求。

附图说明

图1是本方法流程图；

图2是采用光学照明系统获取片式元件的图像；

图3是阈值分割后二值化图像；

图4是等效椭圆法获得的元件的大致区域；

图5是感兴趣区域ROI；

图6是区域滤波后的图像；

图7是进行Canny边缘检测后的图像；

图8是对边缘图像进行滤波后的图像；

图9是Hough变换后对边缘点分类的图像；

图10是元件的精确定位结果。

具体实施方式

具体实施方式一：本实施方式的所述的一种用于片式元件视觉定位的检测方法按以下步骤实现：

步骤一、采用光学照明系统获取片式元件的图像；

步骤二、将步骤一得到的图像采用最大类间方差法进行阈值分割，得到二值化预处理后的图像；

步骤三、通过使等效椭圆和二值图像的一阶矩和二阶矩相等，找到等效椭圆的长轴、短轴以及圆心的横纵坐标和等效椭圆长轴相对于X轴的旋转角度，继而画出等效椭圆的最大内接矩形，得出包围元件的矩形的参数中心点X,Y坐标，矩形长边的长度，矩形短边的长度以及矩形长边与X轴的角度；

数字图像中p+q阶矩的定义为：

$m_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^p{y}^{q}f(x,y)$

其中，f（x,y）为坐标为（x,y）的二维图像的像素，p,q=0,1,2…

等效椭圆的参数与一阶矩、二阶矩之间的关系为：

$x_0=\frac{m_{10}}{m_{00}}$

$y_0=\frac{m_{01}}{m_{00}}$

$a=\sqrt{\frac{(m_{20}+m_{02}+\sqrt{{(m_{20}-m_{02})}^2+4\×{m_{11}}^2})\×m_{00}}{\mathrm{\π}\×[{(m_{20}+m_{02})}^2-({(m_{20}-m_{02})}^2+4\×{m_{11}}^2)]}}$

$b=\sqrt{\frac{(m_{20}+m_{02}+\sqrt{{(m_{20}-m_{02})}^2+4\×{m_{11}}^2})\×m_{00}}{\mathrm{\π}\×[{(m_{20}+m_{02})}^2-({(m_{20}-m_{02})}^2+4\×{m_{11}}^2)]}}$

$\mathrm{\θ}=\frac{{\tan }^{-1}\left(\frac{2\×m_{11}}{m_{20}-m_{02}}\right)}{2}$

其中，x₀，y₀为等效椭圆的中心坐标，a为等效椭圆的长轴，b为等效椭圆的短轴，θ为等效椭圆的旋转角度；

步骤四、通过矩形长边与X轴的角度进一步判断片式元件的旋转角度是否在[0°，40°]或[180°，220°]，如果是，继续执行步骤五，否则，对该元件检测结束；

步骤五、对步骤四中在检测范围的片式元件通过Hough变换求解矩形四条边的直线方程的参数，进一步求出矩形四个拐点的坐标；根据四个拐点的像素值加上一定的偏置值，得到图像的感兴趣区域ROI，作为检测图像的区域；

步骤六、对步骤五得到的图像采用最大连通区域标记算法确定其中的片式元件，对图像进行滤波，保留滤波后图像中最大的连通区域，删去其它区域，得到片式元件的基本轮廓；所述的连通区域标记算法采用两遍扫描法实现；

步骤七、对步骤五中获得的感兴趣区域ROI进行Canny边缘检测或亚像素边缘检测，得到片式元件的带有干扰点的边缘图像，亚像素插值点的计算公式是：

$X_e=x+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\cos \left(\mathrm{\θ}\right)$

$Y_e=y+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\sin \left(\mathrm{\θ}\right)$

其中，设边缘上某点坐标为(x,y)，该点及其梯度方向上相邻两点的灰度梯度的幅值为R_-1，R₀，R₊₁，W为相邻像素到边缘点的距离，θ为边缘点的梯度与X正向的夹角，亚像素点坐标为(X_e,Y_e)；

将步骤六获得的连通区域标记的结果与Canny边缘检测或亚像素边缘检测得到的结果进行与操作，从而滤去干扰点；

步骤八、对步骤七中得到的滤去干扰点的图像的上下左右四个部分进行Hough变换，根据Canny检测出的边缘点到Hough变换拟合出的4条直线的距离，到哪条近，就归为哪边，然后，对分类后的边缘点进行最小二乘法直线拟合，得到片式元件的定位矩形；其中最小二乘法的算法是：

$f\left(x\right)=a_0+a_{1}x+a_2{x}^2+...=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{a}_k{x}^k$

δ_i=|f(x_i)-y_i|

$s(a_0,a_1,...a_n)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left({\mathrm{\δ}}_i\right)}^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|f\left(x_i\right)-y_i|}^2=\min$

$\frac{\∂s}{{\∂a}_k}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{2\mathrm{kx}}_i^k[f\left(x_i\right)-y_i]=0,k=\mathrm{0,1,2},...,n$

其中：(x_i,y_i)，1≤i≤n为给定的采样数据点，f(x)为多项式拟合公式，δ_i为每个数据点的残差，s(a₀,a₁,...,a_n)为误差平方和，s(a₀,a₁,...,a_n)对a_k求偏导得到的值为拟合直线方程f(x)的系数；

步骤九、通过计算质心得到元件的中心坐标为：

旋转角度为 $\mathrm{\θ}={\tan }^{-1}\left(\frac{\stackrel{\‾}{y}}{\stackrel{\‾}{x}}\right);$

其中：

和分别为片式元件中心的横坐标和纵坐标，θ为元件的旋转角度，g(x，y)为元件进行阈值分割后二值图像的灰度值；当g(x，y)为1时，代表感兴趣区域，即元件图像；当g(x，y)为0时，代表背景区域；

步骤十、将检测后得到的片式元件中心的横坐标和纵坐标和片式元件的旋转角度输出。

具体实施方式二：本实施方式是对具体实施方式一进一步补充：步骤六中所述的两遍扫描法，具体按照以下步骤实现：

(1)、扫描二值图像，获取临时标号，按照前景为8邻域的连通规则，设任意一个像素点为f(x,y)，其临时连通域标号阵为label(x,y)；从左上角开始按行从上到下，从左到右扫描图像，当扫描到像素点f(x,y)时，已完成了该像素点上边和左边像素点的扫描，则这些像素点的label值已知；如果像素f(x,y)和上边、左边的像素连通，则将其label值赋值为上边、左边的像素中label最小的即可；如果f(x,y)和这些像素都不连通，则增加一个新的label并将像素f(x,y)的label赋为该值；

(2)、扫描临时连通域标号矩阵，合并等价的连通区域标号；用等价连通域标号标记各临时标号所属的共同连通域；扫描二值图像，对于像素点f(x,y)，在其上边、左边和自身5个像素点中，找到临时连通标号最小的，并将这5个像素点的等价连通区域标号更新为该最小值；若像素点f(x,y)和上边、左边的像素点不具有连通性质，则增加一个新的等价连通区域标号，并将f(x,y)的等价连通标号赋为该新的等价连通区域标号；扫描完成后，重新定序等价连通标号的次序，确保目标连通域标号连续；

两次扫描后，矩阵中的像素点连通域标号即是最终所得的目标连通域标号。

Claims (2)

1.一种用于片式元件视觉定位的检测方法，其特征在于：它包括下述步骤：

步骤一、采用光学照明系统获取片式元件的图像；

步骤二、将步骤一得到的图像采用最大类间方差法进行阈值分割，得到二值化预处理后的图像；

步骤三、通过使等效椭圆和二值图像的一阶矩和二阶矩相等，找到等效椭圆的长轴、短轴以及圆心的横纵坐标和等效椭圆长轴相对于X轴的旋转角度，继而画出等效椭圆的最大内接矩形，得出包围元件的矩形的参数中心点X,Y坐标，矩形长边的长度，矩形短边的长度以及矩形长边与X轴的角度；

数字图像中p+q阶矩的定义为：

$m_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^p{y}^{q}f(x,y)$

其中，f（x,y）为坐标为（x,y）的二维图像的像素，p,q=0,1,2…

等效椭圆的参数与一阶矩、二阶矩之间的关系为：

$x_0=\frac{m_{10}}{m_{00}}$

$y_0=\frac{m_{01}}{m_{00}}$

$a=\sqrt{\frac{(m_{20}+m_{02}+\sqrt{{(m_{20}-m_{02})}^2+4\×{m_{11}}^2})\×m_{00}}{\mathrm{\π}\×[{(m_{20}+m_{02})}^2-({(m_{20}-m_{02})}^2+4\×{m_{11}}^2)]}}$

$b=\sqrt{\frac{(m_{20}+m_{02}+\sqrt{{(m_{20}-m_{02})}^2+4\×{m_{11}}^2})\×m_{00}}{\mathrm{\π}\×[{(m_{20}+m_{02})}^2-({(m_{20}-m_{02})}^2+4\×{m_{11}}^2)]}}$

$\mathrm{\θ}=\frac{{\tan }^{-1}\left(\frac{2\×m_{11}}{m_{20}-m_{02}}\right)}{2}$

其中，x₀，y₀为等效椭圆的中心坐标，a为等效椭圆的长轴，b为等效椭圆的短轴，θ为等效椭圆的旋转角度；

步骤四、通过矩形长边与X轴的角度进一步判断片式元件的旋转角度是否在[0°，40°]或[180°，220°]，如果是，继续执行步骤五，否则，对该元件检测结束；

步骤五、对步骤四中在检测范围的片式元件通过Hough变换求解矩形四条边的直线方程的参数，进一步求出矩形四个拐点的坐标；根据四个拐点的像素值加上一定的偏置值，得到图像的感兴趣区域ROI，作为检测图像的区域；

步骤六、对步骤五得到的图像采用最大连通区域标记算法确定其中的片式元件，对图像进行滤波，保留滤波后图像中最大的连通区域，删去其它区域，得到片式元件的基本轮廓；所述的连通区域标记算法采用两遍扫描法实现；

步骤七、对步骤五中获得的感兴趣区域ROI进行Canny边缘检测或亚像素边缘检测，得到片式元件的带有干扰点的边缘图像，亚像素插值点的计算公式是：

$X_e=x+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\cos \left(\mathrm{\θ}\right)$

$Y_e=y+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\sin \left(\mathrm{\θ}\right)$

其中，设边缘上某点坐标为(x,y)，该点及其梯度方向上相邻两点的灰度梯度的幅值为R_-1，R₀，R₊₁，W为相邻像素到边缘点的距离，θ为边缘点的梯度与X正向的夹角，亚像素点坐标为(X_e,Y_e)；

将步骤六获得的连通区域标记的结果与Canny边缘检测或亚像素边缘检测得到的结果进行与操作，从而滤去干扰点；

步骤八、对步骤七中得到的滤去干扰点的图像的上下左右四个部分进行Hough变换，根据Canny检测出的边缘点到Hough变换拟合出的4条直线的距离，到哪条近，就归为哪边，然后，对分类后的边缘点进行最小二乘法直线拟合，得到片式元件的定位矩形；其中最小二乘法的算法是：

$f\left(x\right)=a_0+a_{1}x+a_2{x}^2+...=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{a}_k{x}^k$

δ_i=|f(x_i)-y_i|

$s(a_0,a_1,...a_n)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left({\mathrm{\δ}}_i\right)}^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{|f\left(x_i\right)-y_i|}^2=\min$

$\frac{\∂s}{{\∂a}_k}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{2\mathrm{kx}}_i^k[f\left(x_i\right)-y_i]=0,k=\mathrm{0,1,2},...,n$

其中：(x_i,y_i)，1≤i≤n为给定的采样数据点，f(x)为多项式拟合公式，δ_i为每个数据点的残差，s(a₀,a₁,...,a_n)为误差平方和，s(a₀,a₁,...,a_n)对a_k求偏导得到的值为拟合直线方程f(x)的系数；

步骤九、通过计算质心得到元件的中心坐标为：

旋转角度为 $\mathrm{\θ}={\tan }^{-1}\left(\frac{\stackrel{\‾}{y}}{\stackrel{\‾}{x}}\right);$

其中：

和

分别为片式元件中心的横坐标和纵坐标，θ为元件的旋转角度，g(x，y)为元件进行阈值分割后二值图像的灰度值；当g(x，y)为1时，代表感兴趣区域，即元件图像；当g(x，y)为0时，代表背景区域；

步骤十、将检测后得到的片式元件中心的横坐标和纵坐标和片式元件的旋转角度输出。

2.根据权利要求1所述的一种用于片式元件视觉定位的检测方法，其特征在于步骤六所述的两遍扫描法，具体按照以下步骤实现：

(1)、扫描二值图像，获取临时标号，按照前景为8邻域的连通规则，设任意一个像素点为f(x,y)，其临时连通域标号阵为label(x,y)；从左上角开始按行从上到下，从左到右扫描图像，当扫描到像素点f(x,y)时，已完成了该像素点上边和左边像素点的扫描，则这些像素点的label值已知；如果像素f(x,y)和上边、左边的像素连通，则将其label值赋值为上边、左边的像素中label最小的即可；如果f(x,y)和这些像素都不连通，则增加一个新的label并将像素f(x,y)的label赋为该值；

(2)、扫描临时连通域标号矩阵，合并等价的连通区域标号；用等价连通域标号标记各临时标号所属的共同连通域；扫描二值图像，对于像素点f(x,y)，在其上边、左边和自身5个像素点中，找到临时连通标号最小的，并将这5个像素点的等价连通区域标号更新为该最小值；若像素点f(x,y)和上边、左边的像素点不具有连通性质，则增加一个新的等价连通区域标号，并将f(x,y)的等价连通标号赋为该新的等价连通区域标号；扫描完成后，重新定序等价连通标号的次序，确保目标连通域标号连续；

两次扫描后，矩阵中的像素点连通域标号即是最终所得的目标连通域标号。

Images