CN112348840A - 基于像素区域生长的qfp芯片引脚缺陷判别方法 - Google Patents

Abstract

基于像素区域生长的QFP芯片引脚缺陷判别方法，包括：通过CCD工业相机垂直于芯片拍摄正视图像，利用图像处理技术对所获取的芯片图像进行预处理，得到芯片的引脚区域图像。在得到所需的引脚区域的二值图后，利用区域生长算法对每个引脚区域的中心坐标、数量、长度、宽度、像素面积大小进行计算。利用所得到的引脚检测数据与标准引脚的数据指标做对比，通过预定的缺陷判断标准判断检测到的指标是否合格。本发明的方法通过机器视觉技术，利用图像处理技术对采集到的芯片图象进行预处理后再进行缺陷判断，能高效准确的检测出所有引脚缺陷，克服了现有检查方法效率底，工序繁琐，系统搭建难度大等缺点。

Description

基于像素区域生长的QFP芯片引脚缺陷判别方法

技术领域

本发明涉及图像处理技术技术领域；具体涉及一种基于像素区域生长的QFP芯片引脚 数据计算与缺陷判别方法。

背景技术

随着IC芯片产业的飞速发展，因需提高芯片的使用可靠性，继芯片生产制造环节后， 封装检测环节也是极为重要的流程之一[1]。QFP(Quad Flat Package)芯片是IC芯片中的 一种，具有引脚极细且脆弱、引脚数量多的特点，在封装和运输中已造成损坏，因此对QFP 芯片的引脚进行缺陷检测是十分必要的。一般芯片的外观缺陷检测主要包括三种方法[2]： 传统的人眼检测、激光测量技术以及基于机器视觉的检测方法。其中人眼检测方法检测率 低，误检率极高；激光检测技术成本却又很高，维护力度大；随着机器视觉技术在检测行 业中的应用越来越广泛，该方法的优点体现在检测速度快，准确性高，成本适中。

目前，芯片引脚的缺陷检测成为了诸多学者的一个研究热点。20世纪80年代，IC芯片的视觉检测就开始了。早期国外的诸多学者提出过芯片外观缺陷检测的方案，但检测效率低下，速度运行慢，并且检测指标单一化[3-5]；许龙利用机器视觉技术提出一种检测方法，但检测指标单一[6]；刘文涛利用结构光评价引脚的共面度，虽然测量精度很高，但是检测指标也很单一[7]；张洵颖利用Blob分析对引脚的缺失有很好的判断，但无法得出其他检测指标[8]；郑金驹利用图像处理技术对引脚的栈高和共面度进行了分析，虽然可以检测 出较多指标，但是光路系统搭建十分困难[9]。

QFP是一种体积小，引脚极细的芯片封装类型。其最重要的指标都在芯片的引脚上， 因此对该芯片引脚的缺陷检测是重中之重。据文献以及行业内报道，QFP芯片引脚的缺陷 检测主要包括引脚数目、引脚截断、引脚长宽度、引脚间距(中心间距和林边间距)、引脚的共面度等。下表为引脚的主要缺陷指标。

表1引脚缺陷指标

随着芯片行业的不断发展，以及芯片检测产业链的不断完善，传统的人工检测效率低 下，激光检测方法代价又过于昂贵，

参考文献：

[1]李永清.表面安装器件SMD贴装工艺研究[J].中国科技信息，2011,23(16):81-86.

[2]NEWMAN T S,JAIN A K.A survey of automated visual inspection[J].Computer Vision Image Understanding,1995,61(2):231-262.

[3]Baird M.EYESEE:A machine vision system for inspection ofintegrated circuit chips[C]. Robotics and Automation.IEEE,1985.444-448.

[4]Sreenivasan K K,Srinath M，Khotanzad A.Automated vision system forinspection of IC pads and bonds[J].IEEE Transactions on Components Hybridsand Manufacturing Technology, 1993,16:333-338.

[5]Watanabe Y.Automated optical inspection of surface mountcomponents using 2D machine vision[C].Industrial Electronics Society.15thAnnual Conference of IEEE,1989. 584-589.

[6]许龙.基于机器视觉的SMT芯片检测方法研究[D].西安电子科技大学,2014.

[7]刘文涛.基于机器视觉的IC缺陷检测的研究[D].华南理工大学,2015.

[8]张洵颖,惠飞.基于Blob分析的芯片管脚检测方法[J].兰州大学学报(自然科学 版),2008(S1):212-215.

[9]郑金驹,李文龙,王瑜辉等.QFP芯片外观视觉检测系统及检测方法[J].中国机械工 程,2013,24(03):290-294+301。

发明内容

本发明的目的是提供一种能能同时保证高效率、高精度的芯片缺陷检测方法，以克服 现有方法的低效率，单一化，系统搭建难度大等缺点。

为实现上述发明目的，本发明的技术方案具体如下：

基于像素区域生长的QFP芯片引脚数据计算与缺陷判别方法，包括以下步骤：

S1：采集芯片图像；

S2：对采集到的芯片图像进行图像预处理，提取芯片的引脚区域图像G(i,j)；其中图像 G(i,j)对于RGB三种分量的灰度化采用加权平均法得到：

G(i,j)＝0.299×R(i,j)+0.578×G(i,j)+0.114×B(i,j)

图像增强采用直方图均衡化算子得到：

式中MN为图像像素总和，r_k为灰度，n_k为r_k的像素个数，L为255；则图象的整体灰度值是通过r_k，映射为s_k后得到；

对于芯片增强后的图像g(x,y)，W为模板，模板内的像素值按大小排序取其中值：

g(x,y)＝median{f(x-k,y-l),(k.l∈W)}

S3：利用区域生长算法对提取的芯片引脚区域进行计算，得到引脚检测数据；

S4：利用所得到的引脚检测数据与标准引脚的数据指标做对比，通过预定的缺陷判断 标准判断检测到的指标是否合格。

进一步的，S1具体包括：调整灯光系统，利用CCD相机正视垂直芯片位置拍摄QFP芯片照片。

进一步的，S3具体包括：利用区域生长算法对提取的芯片引脚区域进行计算，得到引 脚区域的中心坐标、引脚的数目、长宽度、间距以及每个引脚区域的像素面积大小。

进一步的，所述引脚的中心间距通过所求中心坐标来计算得到，引脚的邻边间距，利 用所提引脚区域图像的反二值化与图像相减，得到引脚间距的像素区域，然后利用区域生 长算法得到引脚间距区域的长、宽度；所测量芯片左右两排引脚以及引脚间距区域的宽度 实际为引脚的长度，长度实际为引脚的宽度。

进一步的，S4具体包括：引脚缺陷检验方法如下：

引脚缺脚缺陷通过引脚的数目来判定，若检测到引脚的数目小于标准引脚数目，则判 定为缺脚缺陷；

引脚的截断缺陷通过检测引脚的长度是否小于标准长度的1/2来判定，若小于，则判定 为引脚截断缺陷；

引脚的位置偏移缺陷通过检测引脚的间距大小来判断，若引脚的邻边间距小于标准引 脚的4/5，则判定为引脚位置偏移；

引脚的共面度即引脚下弯或上弯缺陷通过检测引脚区域的像素面积是否小于标准引脚 区域的9/10或大于标准引脚11/10来判定，若小于标准引脚区域的9/10，则判定为引脚下 弯缺陷。若大于标准引脚区域的11/10，则判定为引脚的上弯缺陷。

与现有技术相比，本发明的有益效果：

本发明的方法通过机器视觉技术，利用图像处理技术对采集到的芯片图象进行预处理 后再进行缺陷判断，能高效准确的检测出所有引脚缺陷，克服了现有检查方法效率底，工 序繁琐，系统搭建难度大等缺点。

附图说明

图1是本发明的原理图；

图2引脚缺陷原图；

图3各类缺陷的引脚提取图；

图4区域生长算法流程图；

图5区域生长过程图。

具体实施方式：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。

实施例1

如图1所示，一种基于区域生长算法的QFP芯片引脚缺陷检测方法，包括：

通过CCD工业相机垂直于芯片拍摄正视图像，利用图像处理技术对所获取的芯片图像 进行预处理，包括图像灰度化、图像增强、图像滤波、形态学处理，最后得到提取的芯片 引脚区域二值图像。图像灰度化采用加权平均方法；图像增强采用直方图均衡化算法；图 像滤波通过对比双边滤波、均值滤波与中值滤波的效果，最终选择中值滤波作为芯片图像 的滤波算子；形态学处理采用先开运算后闭运算的方法，开运算即为先腐蚀后膨胀，闭运 算即为先膨胀后腐蚀，利用开运算去除芯片的引脚区域，利用闭运算填充芯片Body区域的 孔洞，最后利用芯片原图像与闭运算处理后图像相减，得到芯片的引脚区域。在得到所需 的引脚区域的二值图后，利用区域生长算法对每个引脚区域的中心坐标、数量、长度、宽度、像素面积大小进行计算。其中引脚的中心坐标通过计算每个中心点之间的距离来得到，引脚的邻边间距通过对引脚区域的二值图取反，利用图像相减得到引脚间距区域的二值图。 利用区域生长算法得到引脚间距区域的长宽度。

本发明的方法的具体步骤如下：

本实施例的仪器包括Flir公司生产型号为Oryx-ORX-10G的工业相机；型号为AQFP80 的QFP芯片；相机固定支架一个；电脑硬件配置为i7-8700+1660+16GB；软件采用VS2017+Opencv平台对图像进行处理。

整个方案的具体实施步骤如下：

Step1：采集芯片图像:调整打光系统后，利用CCD相机正视垂直芯片位置拍摄QFP芯 片。

Step2：对采集到的芯片图像进行图像预处理，包括图像灰度化、图像增强、图像滤波、 形态学处理等，提取了芯片的引脚区域。其中一幅图像G(i,j)对于RGB三种分量的灰度化 采用加权平均法得到：

G(i,j)＝0.299×R(i,j)+0.578×G(i,j)+0.114×B(i,j)

图像增强采用直方图均衡化算子得到：

式中MN为图像像素总和，r_k为灰度，n_k为r_k的像素个数，L为255。则图象的整体灰度值是通过r_k，映射为s_k后得到。

针对多数芯片图像的噪声体现来看，椒盐噪声点最为常见，所以滤波采用中值滤波算 子最为适用。对于芯片增强后的图像g(x,y)，W为某种模板，模板内的像素值按大小排序取 其中值：

g(x,y)＝median{f(x-k,y-l),(k.l∈W)}

图像的形态学处理：先进行开运算剔除芯片的引脚，后进行闭运算填充芯片Body附近 的孔洞，利用原图像与闭运算后的图像相减，得到芯片的引脚区域。其中开闭运算选择相 同的结构元素，开运算中的腐蚀核大小选择29，膨胀核大小选择27；闭运算中的膨胀核大 小选择27，腐蚀核大小选择29；

Step3：利用区域生长算法对提取的芯片引脚区域进行计算，得到引脚区域的中心坐标、 引脚的数目、长宽度、间距以及每个引脚区域的像素面积大小。其中引脚的中心间距通过 所求中心坐标来计算得到，引脚的邻边间距，利用所提引脚区域图像的反二值化与图像相 减，得到引脚间距的像素区域，然后利用区域生长算法得到引脚间距区域的长、宽度。所 测量芯片左右两排引脚以及引脚间距区域的宽度实际为引脚的长度，长度实际为引脚的宽 度。

Step4：利用所得到的引脚检测数据指标大小与标准引脚的数据指标做对比，通过设定 缺陷的判断标准，来检测每个指标是否合格。

引脚缺陷检验方法如下：

1.引脚缺脚缺陷，通过引脚的数目来判定，若检测到引脚的数目小于标准引脚数目，则 判定为缺脚缺陷；

2.引脚的截断缺陷，通过检测引脚的长度是否小于标准长度的1/2来判定，若小于，则 判定为引脚截断缺陷；

3.引脚的位置偏移缺陷，通过检测引脚的间距大小来判断，若引脚的邻边间距小于标准 引脚的4/5，则判定为引脚位置偏移；

4.引脚的共面度，即引脚下弯或上弯缺陷，通过检测引脚区域的像素面积是否小于标准 引脚区域的9/10或大于标准引脚11/10来判定，若小于标准引脚区域的9/10，则判定为引 脚下弯缺陷。若大于标准引脚区域的11/10，则判定为引脚的上弯缺陷。

实施例2

下面以具体的实施例进一步说明本发明的具体实施方法

对采集到的各种缺陷芯片图像进行预处理后，得到了处理后的芯片图像，如图2所示， 依照顺序分别为标准芯片引脚图、引脚缺脚图、引脚截断图、引脚位置偏移图、引脚上弯 图以及引脚下弯图。

对图2进行引脚区域提取后，得到图3所示的各类缺陷的引脚区域图。图2中的第4副图(图3右中子图)是利用反二值化提取的引脚间距的区域图(即白色区域为引脚的邻 边间距区域)。

利用区域生长算法(原理如图4和图5所示)对图3所得到的引脚区域进行计算，分别得到了相应的引脚缺陷指标数据。为了便于数据分析，本文只选取芯片的上排20个引脚做判断。其中引脚缺脚缺陷可直接通过图3中的第2幅图(图3右上)，利用区域生长法得 到的区域个数来判断，可知图3中的第2幅图(图3右上)发生了引脚缺 脚缺陷。引脚的截断缺陷，可通过图3中的第1幅图(图3左上)，利用区域生长法得 到引脚的长度来对比相应的判断标准。引脚的位置偏移，可通过图3中第3幅图(图3左 中)取反二值化，利用原图相减得到图3中的第4幅图(图3右中子图)，利用区域生长算 法得到引脚间距的宽度，来对比相应的缺陷判断标准，如下表2所示，表中间距序号1-2 表示引脚1到引脚2的间距。

表2缺陷判断结果

由表2可知，图3中第1幅图的引脚发生截断缺陷，图3中第3幅图中的引脚发生了位置偏移缺陷。

引脚的上弯与下弯缺陷，可通过图3中的第4、5幅图，利用区域生长法得到引脚的像 素面积大小来对比相应的判断标准，如下表3所示。

表3引脚的上弯与下弯缺陷判断结果

由表3可知，图3中第4、5幅图分别发生了引脚上弯与下弯缺陷。

Claims (5)

1.基于像素区域生长的QFP芯片引脚缺陷判别方法，其特征在于，包括以下步骤：

S1：采集芯片图像；

S2：对采集到的芯片图像进行图像预处理，提取芯片的引脚区域图像G(i,j)；其中图像G(i,j)对于RGB三种分量的灰度化采用加权平均法得到：

G(i,j)＝0.299×R(i,j)+0.578×G(i,j)+0.114×B(i,j)

图像增强采用直方图均衡化算子得到：

式中MN为图像像素总和，r_k为灰度，n_k为r_k的像素个数，L为255；则图象的整体灰度值是通过r_k，映射为s_k后得到；

对于芯片增强后的图像g(x,y)，W为模板，模板内的像素值按大小排序取其中值：

g(x,y)＝median{f(x-k,y-l),(k.l∈W)}

S3：利用区域生长算法对提取的芯片引脚区域进行计算，得到引脚检测数据；

S4：利用所得到的引脚检测数据与标准引脚的数据指标做对比，通过预定的缺陷判断标准判断检测到的指标是否合格。

2.根据权利要求1所述的方法，其特征在于，S1具体包括：调整灯光系统，利用CCD相机正视垂直芯片位置拍摄QFP芯片照片。

3.根据权利要求1所述的方法，其特征在于，S3具体包括：利用区域生长算法对提取的芯片引脚区域进行计算，得到引脚区域的中心坐标、引脚的数目、长宽度、间距以及每个引脚区域的像素面积大小。

4.根据权利要求3所述的方法，其特征在于，所述引脚的中心间距通过所求中心坐标来计算得到，引脚的邻边间距，利用所提引脚区域图像的反二值化与图像相减，得到引脚间距的像素区域，然后利用区域生长算法得到引脚间距区域的长、宽度；所测量芯片左右两排引脚以及引脚间距区域的宽度实际为引脚的长度，长度实际为引脚的宽度。

5.根据权利要求1所述的方法，其特征在于，S4具体包括：引脚缺陷检验方法如下：

引脚缺脚缺陷通过引脚的数目来判定，若检测到引脚的数目小于标准引脚数目，则判定为缺脚缺陷；

引脚的截断缺陷通过检测引脚的长度是否小于标准长度的1/2来判定，若小于，则判定为引脚截断缺陷；

引脚的位置偏移缺陷通过检测引脚的间距大小来判断，若引脚的邻边间距小于标准引脚的4/5，则判定为引脚位置偏移；

引脚的共面度即引脚下弯或上弯缺陷通过检测引脚区域的像素面积是否小于标准引脚区域的9/10或大于标准引脚11/10来判定，若小于标准引脚区域的9/10，则判定为引脚下弯缺陷。若大于标准引脚区域的11/10，则判定为引脚的上弯缺陷。

Images