CN103644957A - 一种基于机器视觉的点胶质量检测方法 - Google Patents

Abstract

本发明公开了一种公开了一种基于机器视觉的点胶质量检测方法，包括以下步骤：首先，获取点胶操作前和后的焊盘图像；其次，利用图像处理算法处理两张图像，去除背景的干扰后提取出胶滴的图像；再次，利用Blob分析算法求取胶滴的点胶参数，包括胶滴面积、中心点坐标以及形状因子；最后，根据点胶质量评价模型来求取胶滴的点胶质量。通过将胶滴的点胶质量与阈值相比较，确定点胶质量是否合格。本发明方法可以有效地应用到具有复杂背景图像、高速高频点胶过程的点胶一致性检测以及点胶质量检测中。

Description

一种基于机器视觉的点胶质量检测方法

技术领域

本发明属于电子封装技术领域，具体涉及一种基于机器视觉的点胶质量检测方法。

背景技术

在电子封装过程中，较多工况中需要将有机胶布施于基板后贴装芯片，为了保证点胶和贴片的精度，视觉系统被广泛的应用到点胶贴装过程中，利用视觉匹配等技术来补偿电机的移动。除了要满足定位精度之外，布胶过程又要求具备高频、高一致性的性能。如果点胶量过少，芯片贴在焊盘上可能会有贴不稳、脱落等问题，导致残次品增多，胶量过多不仅会浪费胶水，而且胶水过多固化缓慢，贴装的质量也会受影响。

目前现有的对胶滴的检测方法有称重法、三维重构法等。称重是实验中最常见的操作之一。当今的微量、半微量及分析天平(可读性0.1ug～0.1mg)已非常完善。根据实际检测胶滴的质量的数量级选用的天平的精度以满足需求。微量胶滴的质量数量级在0.01mg，选用的分析天平的精度不低于1ug。但是现有的高精度天平不仅价格昂贵，而且对应的最大称重量小于10g，不能直接用于胶滴的测量，另外，高精度天平的使用条件严苛。

三维重构是指由二维图像来恢复物体的三维描述。它研究的是空间中的点、线、面的三维坐标跟二维图像中相应的点、线、面的二维坐标的关系，通过三维重构可以实现对三维物体的形状、位置等信息的定量分析。通过CCD相机拍摄的二维图片来重建出物体的三维结构。这种方法比较灵活简便、成本较低，但是容易受光源等因素影响。三峡大学陈从平博士利用单幅胶点灰度图像的阴影来恢复胶点的三维信息(Shape from shading)方法重构胶滴三维模型，更多的胶滴三维模型重构的方法利用的是基于视差的双相机双目视觉的方法。这两种方法理论上在理想的条件下可以比较准确地重构出胶滴的形状，但是计算数据量比较大，实际效率较低，这在实际应用中极大的影响了效率。

发明内容

针对已有胶滴检测方案效率低、费用昂贵、难以实现在线测量的缺点，本发明提出一种基于机器视觉的点胶质量检测方法，检测效率高，实时性好。

为实现上述目的，本发明所采用的技术方案如下：

一种基于机器视觉的点胶质量检测的方法，其特征在于，利用通过获得胶滴的二维图像来判断胶滴的点胶质量，其中包括提取复杂背景中提取胶滴的二维图像；通过胶滴的二维图像计算出胶滴的质量参数；通过质量模型来判断胶滴的点胶质量以及多组胶滴的一致性。

其中，胶滴的点胶质量检测包括以下步骤：

1)通过控制电机运动以及相机采图，获得点胶前焊盘的图像A以及点胶后焊盘图像B；

2)对上述获得的图像进行图像处理：

(21)分别取出点胶前焊盘的图像A以及点胶后焊盘图像B一组，并进行解析；

(22)将点胶前焊盘的图像A的每个像素点的像素值代入伽马方程，进行一次伽马校正，获得背景伽马校正图像C；

(23)将点胶后的焊盘图像B与所述伽马校正图像C做差分运算，获得差分图像D；

(24)求取差分图像D的灰度直方图，对所述灰度直方图进行高斯滤波，并根据滤波后的直方图的波谷来求取二值化阈值；

(25)利用上述二值化阈值对所述差分图像D进行二值化处理，获得二值化图像E；

(26)对所述二值化图像E进行图像增强处理，包括平滑滤波以及开闭运算，获得胶滴图像F；

3)进行Blob拼接以及Blob分析：

(31)求取胶滴的连通域数，若为1，不执行拼接算法；

(32)若连通域数大于1，则对多连通域图像进行图像拼接算法，使其成为一个完整的连通域；

(33)对单连通域进行Blob分析算法，求取胶滴的点胶质量参数，包括胶滴面积、形状因子以及中心偏差；

4)求取点胶质量

并将该胶滴的点胶质量与阈值相比较，确定点胶质量是否合格；

式中，S为实际胶滴面积，S₀为理想胶滴圆面积，该面积由芯片尺寸决定，R₀为理想胶滴半径，Δx，Δy为胶滴与焊盘中心X，Y方向的偏差；形状因子SF：形状因子表示一块连通区域圆度，在周长相同的情况下，圆的面积是最大的，SF越接近于1，区域形状越趋向于圆，其中

$\mathrm{SF}=\frac{4\mathrm{\πS}}{L^2}$

式中，S为连通域面积，L为连通域周长，SF的取值范围为(0，1]

根据上述质量模型来求取胶滴的点胶质量，并将该胶滴的点胶质量与阈值相比较，确定点胶质量是否合格。

其中，根据点胶质量模型求取胶滴的点胶质量，在不同工况下，选择不同的合适阈值来判定当前被测胶滴是否合格。

其中，为了获得良好的伽马校正效果，选择合适大小的伽马系数。

其中，所述点胶质量模型中增加焊盘形状修正项，通过增加该修正项来消除不同焊盘形状对点胶质量的影响。

其中，为了检测多个胶滴的点胶一致性，分别对多组胶滴进行处理，计算其点胶质量参数，通过对比每组胶滴的质量参数来判定点胶一致性。

其中，在采图过程中加入防止外部光源干扰的防护装置。

其中，为保证点胶检测的效率以及不影响整机的效率，在原有点胶系统中增加一个相机，该相机用于采集空焊盘图像和点胶后的焊盘图像。

其中，上述检测方法均可在已有的点胶系统中通过加入胶滴质量检测模块升级使用，实现胶滴在线检测功能。

其中，伽马校正以及伽马方程为：通过对一张灰度图像进行伽马校正，可以同时增强或者弱化图像的特征。这是通过对图像的每个像素值都代入伽马方程进行一次转化，得出的像素值为伽马校正后的图像像素值，对于像素级为256的灰度图像，伽马方程如下：

${\mathrm{Pixel}}_{\mathrm{new}}={\left(\frac{\mathrm{Pixel}}{255}\right)}^{\mathrm{\γ}}255$

式中，Pixel_new为校正后的像素值，Pixel为源图像像素值，γ为伽马系数。

本发明基于单相机、单视角的二维图像信息来构建相应的点胶质量模型，根据质量模型来判断点胶质量，同时可以测定点胶一致性。该方法利用点胶操作前和后的两张二维图像获得胶滴的二维信息图像，利用图像处理方法将胶滴从复杂背景分离出来，处理效率高，不需要增加多余的硬件，可以应用于绝大部分点胶设备。如果点胶控制器提供参数接口，还可以根据点胶检测结果通过控制点胶时间/压力来全闭环反馈控制点胶量。

附图说明

图1为点胶质量检测流程图：

图2为点胶测量算法图像处理流程；

图3为胶滴的多连通域拼接算法流程。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1所示为本实施例的点胶质量检测流程图，主要包括以下四个步骤：获得点胶前后焊盘图像；图像处理，提取胶滴图像；求取胶滴点胶质量参数；利用点胶模型求取点胶质量。

图2示出点胶测量算法图像处理的具体流程，其包括：101、获得点胶前后焊盘的图像；102、对焊盘背景图像进行伽马校正；103、图像差分，获得差分图像；104、图像增强处理算法，主要包括平滑去噪、开闭运算；105、图像的二值化，获得差分图像的二值化图像，弱化背景的干扰；106、Blob分析，获得胶滴的信息，包括面积、形状因子以及位置信息；107、Blob拼接，针对多连通域进行拼接运算；108、点胶质量求取，利用建立好了的数学模型求取该胶点的点胶质量。

具体来说，首先通过控制电机运动以及相机采图，获得点胶前焊盘的图像A以及点胶后焊盘图像B；然后对上述获得的图像进行图像处理：

分别取出点胶前焊盘的图像A以及点胶后焊盘图像B一组，并进行解析；将点胶前焊盘的图像A的每个像素点的像素值代入伽马方程，进行一次伽马校正，获得背景伽马校正图像C；

通过对灰度图像进行伽马校正，可以同时增强或者弱化图像的特征。这是通过对图像的每个像素值都代入伽马方程进行一次转化，得出的像素值为伽马校正后的图像像素值；

之后，将点胶后的焊盘图像B与所述伽马校正图像C做差分运算，获得差分图像D；求取差分图像D的灰度直方图，对所述灰度直方图进行高斯滤波，并根据滤波后的直方图的波谷来求取二值化阈值；利用上述二值化阈值二值化所述差分图像D，获得二值化图像E；对所述二值化图像E进行图像增强处理，包括平滑滤波以及开闭运算，获得胶滴图像F；

下面对所获得的胶滴图像进行Blob拼接以及Blob分析。包括：求取胶滴的连通域数，若连通域数为1，则不执行拼接算法；若连通域数大于1，则对多连通域图像进行图像拼接算法，使其成为一个胶滴连通域；对单连通域进行Blob分析算法，求取胶滴的点胶质量参数，包括胶滴面积、形状因子以及中心偏差。图3示出了胶滴的多连通域拼接算法流程，其包括：201、边缘检测，获得各连通域边缘像素点的坐标集合；202、获取某个主方向上的最远点以及最近点的坐标集合，构成封闭的四边形；203、判断图像上的点是否位于四边形的内部；204、将四边形内部的点作为要补充的点，完成拼接过程。

在完成上述工作之后，即可建立点胶质量模型。

本发明的胶滴质量模型(G)为：

$G=\mathrm{SF}\frac{S}{S_0}{\left(\frac{R_0-\sqrt{{\mathrm{\Δx}}^2+{\mathrm{\Δy}}^2}}{R_0}\right)}^2$

式中，S为实际胶滴面积，S₀为理想胶滴圆面积，该面积由芯片尺寸决定，R₀为理想胶滴半径，Δx，Δy为胶滴与焊盘中心X，Y方向的偏差；

形状因子SF：形状因子表示一块连通区域圆度，在周长相同的情况下，圆的面积是最大的，SF越接近于1，区域形状越趋向于圆，其中

$\mathrm{SF}=\frac{4\mathrm{\πS}}{L^2}$

式中，S为连通域面积，L为连通域周长，SF的取值范围为(0，1]。

由上述模型可知，理想胶滴的点胶模型应为：理想胶滴的形状为标准圆，SF＝1；理想胶滴经过贴片热压后，胶滴为芯片的外接圆，通过实验求取热压前后胶滴的形态变化，根据芯片的尺寸可以确定S₀；理想胶滴的中心与焊盘中心相重合，Δx＝Δy＝o；根据以上分析，理想胶底胶滴点胶质量G＝1。

本领域技术人员应当知晓，在整个胶滴检测过程中，可以根据所需胶滴的精度要求选择合适的运动精度以及相机的像素值；在对空焊盘图像做伽马校正时，可以根据特定光源下的成像效果选择合适的伽马值；在采图期间，为了保证前后采集图像的光源的一致性，可以加入防止外部光源干扰的防护装置；根据设备的封装效率要求，可以在点胶模块增加一个相机，该相机负责采集空焊盘图像和点胶后的焊盘图像；点胶质量模型中尚未考虑焊盘形状的影响，可以增加焊盘形状修正项。

上述检测方法均可在已有的点胶系统中通过加入胶滴质量检测模块升级使用，实现胶滴在线检测功能，而无需增加额外的硬件成本。

总的来说，本发明基于单相机、单视角的二维图像信息来构建相应的点胶质量模型，根据质量模型来判断点胶质量，同时可以测定点胶一致性。该方法利用点胶操作前和后的两张二维图像获得胶滴的二维信息图像，利用图像处理方法将胶滴从复杂背景分离出来，处理效率高，不需要增加多余的硬件，可以应用于绝大部分点胶设备。如果点胶控制器提供参数接口，还可以根据点胶检测结果通过控制点胶时间/压力来全闭环反馈控制点胶量。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于机器视觉的点胶质量检测方法，其特征在于，利用获得胶滴的二维图像来判断胶滴的点胶质量，其中包括从复杂背景中提取胶滴的二维图像；通过胶滴的二维图像计算出胶滴的质量参数；通过质量模型来判断胶滴的点胶质量。

2.根据权利要求1所述的一种基于机器视觉的点胶质量检测的方法，其特征在于，所述点胶质量检测方法包括以下步骤：

1)通过控制电机运动以及相机采图，获得点胶前焊盘的图像A以及点胶后焊盘图像B；

2)对上述获得的图像进行图像处理：

(21)分别取出点胶前焊盘的图像A以及点胶后焊盘图像B一组，并进行解析；

(22)将点胶前焊盘的图像A的每个像素点的像素值代入伽马方程，进行一次伽马校正，获得背景伽马校正图像C；

(23)将点胶后的焊盘图像B与所述伽马校正图像C做差分运算，获得差分图像D；

(24)求取差分图像D的灰度直方图，对所述灰度直方图进行高斯滤波，并根据滤波后的直方图的波谷来求取二值化阈值；

(25)利用上述二值化阈值对所述差分图像D进行二值化处理，获得二值化图像E；

(26)对所述二值化图像E进行图像增强处理，包括平滑滤波以及开闭运算，获得胶滴图像F；

3)进行Blob拼接以及Blob分析：

(31)求取胶滴的连通域数，若为1，不执行拼接算法；

(32)若连通域数大于1，则对多连通域图像进行图像拼接算法，使其成为一个完整的连通域；

(33)对单连通域进行Blob分析算法，求取胶滴的点胶质量参数，包括胶滴面积、形状因子以及中心偏差；

4)求取点胶质量并将该胶滴的点胶质量与阈值相比较，确定点胶质量是否合格；

式中，S为实际胶滴面积，S₀为理想胶滴圆面积，R₀为理想胶滴半径，Δx，Δy分别为胶滴与焊盘中心X，Y方向的偏差；形状因子

S为连通域面积，L为连通域周长。

3.根据权利要求2所述的一种基于机器视觉的点胶质量检测的方法，其特征在于，其中，根据点胶质量模型求取胶滴的点胶质量，在不同工况下，选择不同的合适阈值来判定当前被测胶滴是否合格。

4.根据权利要求2所述的一种基于机器视觉的点胶质量检测的方法，其特征在于，为了获得良好的伽马校正效果，选择合适大小的伽马系数。

5.根据权利要求2所述的一种基于机器视觉的点胶质量检测的方法，其特征在于，其中所述点胶质量模型中增加焊盘形状修正项，通过增加该修正项来消除不同焊盘形状对点胶质量的影响。

6.根据权利要求1和5中任一项所述的一种基于机器视觉的点胶质量检测的方法，其特征在于，为了检测多个胶滴的点胶一致性，分别对多组胶滴进行处理，计算其点胶质量参数，通过对比每组胶滴的质量参数来判定点胶一致性。

7.根据权利要求1-5中任一项所述的一种基于机器视觉的点胶质量检测的方法，其特征在于，在采图过程中加入防止外部光源干扰的防护装置。

8.根据权利要求1-5中任一项所述的一种基于机器视觉的点胶质量检测的方法，其特征在于，为保证点胶检测的效率以及不影响整机的效率，在原有点胶系统中增加一个相机，该相机用于采集空焊盘图像和点胶后的焊盘图像。

9.根据权利要求1-5中任一项所述的一种基于机器视觉的点胶质量检测的方法，其特征在于，上述检测方法均可在已有的点胶系统中通过加入胶滴质量检测模块升级使用，实现胶滴在线检测功能。

Images