CN106780437A - 一种快速qfn芯片塑封图像获取与放大方法 - Google Patents

Abstract

本发明公开了一种快速QFN芯片塑封图像获取与放大方法，包括以下步骤：（1）对视觉检测系统采集到的多幅QFN塑封图像进行预处理；（2）对多幅塑封图像预处理结果进行连通区域标记与判定，从符合条件的连通区域中提取单幅QFN塑封图像；（3）对提取到的单幅塑封图像进行预处理；（4）对单幅塑封图像预处理结果进行旋转校正；（5）对单幅塑封图像旋转校正结果进行快速图像放大；（6）若当前还有未提取的符合条件的连通区域，进入步骤（2），否则当前多幅QFN塑封图像处理结束，进入下一多幅QFN塑封图像的处理。本发明为高精度的QFN芯片表面缺陷在线检测提供了技术基础。

Description

一种快速QFN芯片塑封图像获取与放大方法

技术领域

本发明属于图像处理算法设计领域，具体涉及一种快速QFN芯片塑封图像获取与放大方法。

背景技术

现有技术中的QFN(Quad Flat No-leads，方形扁平无引脚)封装是一种应用广泛的半导体芯片封装形式。在生产、封装过程中，在QFN芯片塑封体表面容易产生多种类型的缺陷，例如划痕、擦痕、裂痕等等，这些严重影响到QFN芯片的质量。因此需要通过检测设备对QFN芯片塑封表面进行必要的视觉质量检测，而这个任务通常是由自动化的测试分选机完成。在进行视觉质量检测时，一定量的QFN芯片通过料盘承载，并由夹持与运动机构送入相机拍摄区域，如图1所示。相机对芯片料盘拍摄一定数量的照片，如图2所示，这些照片将覆盖到整个料盘区域与所有QFN芯片。要对所有QFN芯片塑封表面进行准确而快速的表面缺陷检测，首先要从如图2(a-c)所示的包含多幅QFN芯片塑封面图像的料盘图像(以下简称为多幅塑封图像)中提取出所有单幅QFN芯片塑封图像(以下简称为单幅塑封图像)，并进行适当的预处理，形成单幅的、缺陷特征突出的QFN芯片塑封图像，如图2(d)所示，然后依据这些单幅塑封图像进行后续的缺陷分割与分类识别。

现有的针对QFN芯片研究，主要集中在QFN芯片制造与封装工艺，如申请号CN201310650663.3、CN201510408608.2，以及适用于QFN芯片表面缺陷图像分割算法，如申请号CN201410649123.8、陈恺等于2014年提出的萤火虫算法优化最大二维Kapur熵的多阈值图像分割算法。然而没有查阅到与QFN芯片塑封图像提取与图像放大技术相关的文献与专利，因此设计一种快速的QFN芯片塑封图像提取与放大方法，填补这一方面研究的缺失、对于后续高精度的QFN芯片表面缺陷在线检测显得尤为重要。

发明内容

发明目的：针对现有技术在QFN芯片塑封图像快速提取与放大方面研究的缺失，本发明人提出了一种快速的QFN芯片塑封图像获取与放大方法

技术方案：为解决上述技术问题，本发明提供的一种快速QFN芯片塑封图像获取与放大方法，包括以下步骤：

步骤1，多幅塑封图像的图像预处理；

1.1多幅塑封图像的图像滤波；

1.2多幅塑封图像的图像二值化处理；

1.3多幅塑封图像的数学形态学处理；

步骤2，多幅塑封图像的连通区域标记与判定；

步骤3，单幅塑封图像的图像预处理；

3.1单幅塑封图像的图像滤波；

3.2单幅塑封图像的图像二值化处理；

3.3单幅塑封图像的边缘检测；

步骤4，单幅塑封图像的旋转校正。

具体地，所述步骤1.1是对多幅塑封图像进行滤波窗口为3*3的中值滤波处理，经过中值滤波后的图像作为下一步图像处理的输入。中值滤波本质上是一种统计排序滤波器，取以图像中某像素点为中心的邻域内所有像素统计排序中值作为该像素的滤波输出，计算式如下：

g(x，y)＝med{f(x-k，y-l)，(k，l∈W)}

其中f与g分别为输入像素与输出像素值，W为邻域窗口。作为一种典型的非线性滤波器，中值滤波相比传统平滑滤波器能在降噪的过程中能保护边缘，显著降低模糊效应。

具体地，所述步骤1.2是将二值化的阈值及图像二值化处理计算式定义如下

Thr＝hpeak1+c

其中hpeak1为直方图第一个峰值对应的灰度值，c＝7.5。

具体地，所述步骤1.3对于塑封图像的二值化结果，采用尺寸为15*15的矩形结构元素进行开运算处理，计算式如下：

其中A为待处理的二值图像，B为结构元素；与AΘB分别表示A被B膨胀与A被B腐蚀，A与B公共点组成的集合记为A∩B，A与B所有点组成的集合记为A∪B，A_b＝{a+b|a∈A}表示集合A关于矢量b的平移。

具体地，所述步骤2在区域面积regionArea、区域长度regionLength、区域宽度regionWidth与区域占其最小外接矩形面积比值regionExtent这四个几何属性上，采用下式对所有连通区域进行判定，

当四个几何属性同时处于预先设定的属性值上下限常量区间内，将连通区域判定为符合条件的连通区域。

具体地，所述步骤3.1对于单幅塑封图像，使用窗口为3*3的中值滤波，抑制图像采集系统产生的噪声，并为下一步图像二值化提供可靠的输入。

具体地，所述步骤3.2单幅塑封图像的图像二值化阈值选择典型的双峰之间的谷底阈值。

具体地，所述3.3对二值化结果应用高斯滤波标准差σ＝5的Canny算子进行边缘检测，得到的单幅塑封边缘图像。

具体地，所述步骤4，单幅塑封图像的旋转校正

用于承载本文实验对象芯片的托盘，设其承载口最大尺寸为Lmax*Lmax，芯片尺寸为l*l，当芯片达到最大倾斜角度时，此时芯片倾斜角度α与芯片在水平方向偏移值x具有直角三角形关系

l²＝(Lmax-x)²+x²

按芯片在水平方向偏移值x取两个解中的较小值，求得

芯片倾斜角度α计算式为

针对单幅塑封图像，只在芯片轮廓边缘可能产生的区域进行Hough变换的最长直线提取；设定Hough变换中线段合并阈值12，线段最小长度阈值10对提取直线进行限制，并且进一步限制提取到的最长直线的倾斜角度区间为[0，α]，超出区间即不进行旋转校正。最后去除经过旋转校正以后的单幅塑封图像存在的黑边。

有益效果：本发明通过为高精度的QFN芯片表面缺陷在线检测提供了技术基础。

除了上面所述的本发明解决的技术问题、构成技术方案的技术特征以及由这些技术方案的技术特征所带来的优点外，本发明的一种快速QFN芯片塑封图像获取与放大方法所能解决的其他技术问题、技术方案中包含的其他技术特征以及这些技术特征带来的优点，将结合附图做出进一步详细的说明。

附图说明

图1是QFN芯片视觉检测系统示意图；

图2是视觉检测系统拍摄到的多种类型的多幅QFN图像(a，b，c)与经过图像处理获取到的单幅QFN图像之一(d)；

图3是多幅塑封中值滤波结果、对应直方图及其二值化结果；

图4是多幅塑封图像切分成单幅塑封图像结果；

图5是单幅塑封图像倾斜示意图；

图6是单幅塑封中值滤波结果及其对应直方图；

图7是倾斜角度计算示意图；

图8是单幅塑封图像旋转校正与优化结果；

图9是本发明快速QFN塑封图像获取与放大方法的流程图；

图10是快速双三次与传统双三次插值算法时间比较。

具体实施方式

实施例：

以图2(a)(d)(尺寸分别为2048*2048，220*220的灰度图像)为例，实施步骤如下：

步骤1，多幅塑封图像的图像预处理

1.1多幅塑封图像的图像滤波

为了提高芯片切分效果与精度，避免因图像采集环节产生的各种噪声干扰，首先对多幅塑封图像进行滤波窗口为3*3的中值滤波处理，经过中值滤波后的图像作为下一步图像处理的输入。中值滤波本质上是一种统计排序滤波器，取以图像中某像素点为中心的邻域内所有像素统计排序中值作为该像素的滤波输出，计算式如下：

g(x，y)＝med{f(x-k，y-l)，(k，l∈W)}

其中f与g分别为输入像素与输出像素值，W为邻域窗口。作为一种典型的非线性滤波器，中值滤波相比传统平滑滤波器能在降噪的过程中能保护边缘，显著降低模糊效应。

1.2多幅塑封图像的图像二值化处理

对于多幅塑封图像，其经过图像滤波环节以后如图3(a)所示。从图3(b)可以看出，直方图呈现典型的双峰形式，其中第一个灰度值较小的峰值对应于图3(a)的深黑色背景，背景像素值较为单一，在直方图上只覆盖了横轴的一小部分，于是第一个峰较为尖锐。第二个灰度值较大的峰值对应于芯片与托盘塑封材质，然而托盘塑封材料与芯片塑封材质的灰度值在直方图的横轴上覆盖了较大区域，于是第二个峰较为平缓。因此要将背景与芯片及托盘塑封部分区分开，不能简单地将阈值定为直方图双峰之间谷底的像素值。

基于以上分析，将二值化的阈值及图像二值化处理计算式定义如下

Thr＝hpeak1+c

其中hpeak1为直方图第一个峰值对应的灰度值，c为常量，经过实验定为7.5能获得较为理想的区分效果。应用上式处理滤波后图像，得到结果如图3(c)。

1.3多幅塑封图像的数学形态学处理

对于多幅塑封图像，观察图3(c)的二值化结果，芯片本身的矩形并没有完全与托盘区分开，在部分位置存在粘连，并且在图像上仍存在部分微小噪声区域。开运算相比腐蚀运算，在过滤噪声、纤细点出分离物体、平滑较大物体边界的同时，不会对物体的形状、轮廓造成明显影响。因此对于塑封图像的二值化结果，采用尺寸为15*15的矩形结构元素进行开运算处理，处理结果如图4(d)所示，达到消除噪声并将矩形芯片与托盘区分开的目的，计算式如下：

其中A为待处理的二值图像，B为结构元素。与AΘB分别表示A被B膨胀与A被B腐蚀，A与B公共点组成的集合记为A∩B，A与B所有点组成的集合记为A∪B，

Ab＝{a+b|a∈A}表示集合A关于矢量b的平移。

步骤2，多幅塑封图像的连通区域标记与判定

在对多幅图像进行形态学处理之后，接着对当前图像进行连通区域的属性分析，提取出符合芯片特征的连通区域，并将原输入图像中符合条件连通区域中的内容作为单幅芯片图像输出。为了能快速、有效地将矩形芯片从背景中提取出，根据本发明实验对象芯片矩形特征，分析当前图像所有连通区域的几何及统计学属性。考虑到芯片塑封与托盘塑封材质灰度近似，所以连通区域的属性选定为区域面积regionArea、区域长度regionLength、区域宽度region Width与区域占其最小外接矩形面积比值regionExtent。在这四个几何属性上对所有连通区域进行判定，如下式，当四个几何属性同时处于预先设定的属性值上下限常量区间内，此连通区域即为符合条件的连通区域。

经过对多幅图像所有连通区域判定后，得到的所有单幅芯片切分结果及原图切分后剩余图像展示分别如图4(e)(f)，其中红色矩形框标注了原始输入图像上符合条件的连通区域。

步骤3，单幅塑封图像的图像预处理

芯片在生产过程中存在尺寸公差，因此托盘的芯片承载口在设计时也会留有一定余量，以便所有芯片都能准确放置于承载口。这就导致芯片放置于承载口时存在一定程度的倾斜现象，如图5(a)(b)所示。因此在获得单幅芯片图像输出后，必须对图像进行必要的旋转校正与优化工作。要对单幅芯片的倾斜图像进行旋转校正，首先要获取到芯片在图像中的边缘，依据相应边缘所在直线计算倾斜角度，从而进行倾斜校正，对校正后的图像再进行必要的优化，作为最终的单幅芯片图像输出。

3.1单幅塑封图像的图像滤波

对于单幅塑封图像，使用窗口为3*3的中值滤波，抑制图像采集系统产生的噪声，并为下一步图像二值化提供可靠的输入。如图6(a)。

3.2单幅塑封图像的图像二值化处理

经过如上文所述的中值滤波后，得到的图与其直方图如图6(a)、(b)。很明显的可以看出，直方图呈现双峰状，且第一个灰度值较低的峰值对应背景黑色，第二个灰度值较高的峰值对应塑封区域的灰度值，且两者区分度较为明显，因此二值化阈值选择典型的双峰之间的谷底阈值。二值化结果如图6(c)。

3.3单幅塑封图像的边缘检测

对二值化结果应用高斯滤波标准差σ＝5的Canny算子进行边缘检测，得到的单幅塑封边缘图像如图6(d)。从图中可以看到，芯片塑封边缘已被准确检测出。

步骤4，单幅塑封图像的旋转校正

用于承载本文实验对象芯片的托盘，设其承载口最大尺寸为Lmax*Lmax，芯片尺寸为l*l，当芯片达到最大倾斜角度时，如图7所示，要求解此时芯片倾斜角度α与芯片在水平方向偏移值x，就转化为的简单的数学求解问题。

根据图7中斜线标注的直角三角形关系，有

l²＝(Lmax-x)²+x²

按芯片在水平方向偏移值x取两个解中的较小值，可求得

则芯片倾斜角度α计算式为

针对单幅塑封图像，需要提取的直线只集中在芯片的四边轮廓上，因此在对塑封边缘图像使用Hough变换提取最长直线之前，首先去除距离图像边缘x的中心部分像素(如图7虚线框内)，即只在芯片轮廓边缘可能产生的区域进行Hough变换的最长直线提取。这样即提高了直线提取的速度，同时避免芯片中心部位可能产生的非轮廓线的干扰，提高直线提取精度。若芯片旋转偏差为0且芯片轮廓边缘与图像边界重合，这种情况下Hough变换提取到的直线为塑封表面产生的直线形状缺陷的干扰，计算到的倾斜角度会超出[0，α]区间。因此设定Hough变换中线段合并阈值12，线段最小长度阈值10对提取直线进行限制，并且进一步限制提取到的最长直线的倾斜角度区间为[0，α]，超出区间即不进行旋转校正。当满足以上条件时，根据最长直线的倾斜角度对图像进行旋转校正。单幅塑封图像直线检测与旋转校正结果如图8(c)(d)所示。

经过旋转校正以后的单幅塑封图像存在黑边等无用像素需要去除。首先当前图像进行二值化处理：塑封图像选用与步骤3.2相同的二值化阈值。然后按照步骤2所述的连通区域判定要求，求取当前图像内容符合条件的连通区域，则原旋转校正图像在该连通区域内的部分即可作为最终优化后的图像输出，结果分别如图8(f)所示。

综上所述，本发明快速QFN芯片塑封图像获取与放大方法的实现流程，如图9所示。

对上述快速QFN芯片塑封图像获取与放大方法进行实验验证如下：

(1)单幅QFN芯片塑封图像获取实验

以从图像采集系统获取到的161张多幅塑封图像(尺寸均为2048*2048的灰度图像)为实验对象，以双核四线程CPU@2.4GHz、内存8GB、Matlab2015b为实验环境。利用Matlab多核计算机并行计算技术，使用4workers进行从多幅QFN芯片塑封图像提取单幅塑封图像并进行旋转校正实验，实验结果如表1。表中存储内容包括每次处理得到的多幅图像切分结果、剩余结果(如图4(e)、(f))、单幅图像切分结果、单幅图像旋转校正与优化结果(如图8(a)(f))。从表中可知，单幅芯片塑封从切分到旋转校正与优化至最终输出，整个预处理时间仅需23ms。

表1多幅芯片图像切分与单幅芯片图像旋转校正与优化结果

(2)单幅QFN芯片塑封图像放大实验

双三次图像插值的快速实现基于Matlab 2015b与Microsoft Visual Studio2013开发环境。以双核四线程CPU@2.4GHz、内存8GB为实验环境，以图8(f)单幅芯片塑封图像(216*215)为实验对象，使用基于Matlab与C/C++的混合编程技术的双三次图像插值快速并行计算算法、传统串行双三次图像插值算法进行4倍的图像插值放大(放大至864*860)，执行50次比较不同算法所使用的平均计算时间，分别如表2、图10所示。以耗时最短的4线程为例，单幅塑封使用快速双三次与传统双三次图像插值算法相比，在计算时间上提升了371％。

表1单幅塑封图像插值算法时间比较

综上所述，本发明提出的一种快速QFN塑封图像获取与放大方法，是一种速度快、效率高的QFN塑封图像获取与放大方法，可用于QFN芯片塑封图像表面缺陷在线检测的图像获取与放大环节，为后续图像分割与缺陷分类识别提供高质量的单幅QFN芯片塑封图像。

以上结合附图对本发明的实施方式做出详细说明，但本发明不局限于所描述的实施方式。对本领域的普通技术人员而言，在本发明的原理和技术思想的范围内，对这些实施方式进行多种变化、修改、替换和变形仍落入本发明的保护范围内。

Claims (9)

1.一种快速QFN芯片塑封图像获取与放大方法，其特征在于包括以下步骤：

步骤1，对视觉检测系统采集到的多幅QFN塑封图像进行预处理；

步骤2，对多幅塑封图像预处理结果进行连通区域标记与判定，从符合条件的连通区域中提取单幅QFN塑封图像；

步骤3，对提取到的单幅塑封图像进行预处理；

步骤4，对单幅塑封图像预处理结果进行旋转校正；

步骤5，对单幅塑封图像旋转校正结果进行快速图像放大；

步骤6，若当前还有未提取的符合条件的连通区域，进入步骤2，否则当前多幅QFN塑封图像处理结束，进入下一多幅QFN塑封图像的处理。

2.根据权利要求1所述的一种快速QFN芯片塑封图像获取与放大方法，其特征在于：所述步骤1包括1.1多幅塑封图像的图像滤波，是对多幅塑封图像进行滤波窗口为3*3的中值滤波处理，经过中值滤波后的图像作为下一步图像处理的输入，中值滤波取以图像中某像素点为中心的邻域内所有像素统计排序中值作为该像素的滤波输出，计算式如下：

g(x，y)＝med{f(x-k，y-l)，(k，l∈W)}

其中f与g分别为输入像素与输出像素值，W为邻域窗口。

3.根据权利要求1所述的一种快速QFN芯片塑封图像获取与放大方法，其特征在于：所述步骤1还包括1.2多幅塑封图像的图像二值化处理，是将二值化的阈值及图像二值化处理计算式定义如下

Thr＝hpeak1+c

$g(x,y)=\left\{\begin{array}{cc}255& f(x,y)>\mathrm{Thr}\\ 0& f(x,y)<\mathrm{Thr}\end{array}\right.$

其中hpeak1为直方图第一个峰值对应的灰度值，c＝7.5。

4.根据权利要求1所述的一种快速QFN芯片塑封图像获取与放大方法，其特征在于：所述步骤1还包括1.3多幅塑封图像的数学形态学处理，对于塑封图像的二值化结果，采用尺寸为15*15的矩形结构元素进行开运算处理，计算式如下：

$A\&CirclePlus;B=\{c\&Element;Z^n|c=a+b,a\&Element;A,b\&Element;B\}=\underset{b\&Element;B}{U}{\left(A\right)}_b$

$\mathrm{A\&Theta;B}=\{c\&Element;Z^n|c=a-b,a\&Element;A,b\&Element;B\}=\underset{b\&Element;B}{U}{\left(A\right)}_{-b}$

其中A为待处理的二值图像，B为结构元素；与AΘB分别表示A被B膨胀与A被B腐蚀，A与B公共点组成的集合记为A∩B，A与B所有点组成的集合记为A∪B，A_b＝{a+b|a∈A}表示集合A关于矢量b的平移。

5.根据权利要求1所述的一种快速QFN芯片塑封图像获取与放大方法，其特征在于：所述步骤2在区域面积regionArea、区域长度regionLength、区域宽度regionWidth与区域占其最小外接矩形面积比值regionExtent这四个几何属性上，采用下式对所有连通区域讲行判定，

$\left\{\begin{array}{c}\mathrm{regionArea}\&Element;[\mathrm{AreaLowerLimit},\mathrm{AreaUpperLimit}]\\ \mathrm{regionLength}\&Element;[\mathrm{LenthLowerLimit},\mathrm{LengthUpperLimit}]\\ \mathrm{regionWidth}\&Element;[\mathrm{WidthLowerLimit},\mathrm{WidthUpperLimit}]\\ \mathrm{regionExtent}>0.6\end{array}\right.$

当四个几何属性同时处于预先设定的属性值上下限常量区间内，将连通区域判定为符合条件的连通区域。

6.根据权利要求1所述的一种快速QFN芯片塑封图像获取与放大方法，其特征在于：所述步骤3包括3.1单幅塑封图像的图像滤波，对于单幅塑封图像，使用窗口为3*3的中值滤波，抑制图像采集系统产生的噪声，并为下一步图像二值化提供可靠的输入。

7.根据权利要求1所述的一种快速QFN芯片塑封图像获取与放大方法，其特征在于：所述步骤3还包括3.2单幅塑封图像的图像二值化处理，选择典型的双峰之间的谷底阈值作为单幅塑封图像的图像二值化阈值。

8.根据权利要求1所述的一种快速QFN芯片塑封图像获取与放大方法，其特征在于：所述步骤3还包括3.3单幅塑封图像的边缘检测，对二值化结果应用高斯滤波标准差σ＝5的Canny算子进行边缘检测，得到的单幅塑封边缘图像。

9.根据权利要求1所述的一种快速QFN芯片塑封图像获取与放大方法，其特征在于：所述步骤4中，将承载本芯片的托盘承载口最大尺寸设为Lmax*Lmax，芯片尺寸为l*l，当芯片达到最大倾斜角度时，此时芯片倾斜角度α与芯片在水平方向偏移值x具有直角三角形关系

l²＝(Lmdx-x)²+x²

按芯片在水平方向偏移值x取两个解中的较小值，求得

$x=\frac{L\max -\sqrt{{2l}^2-{L\max }^2}}{2}$

芯片倾斜角度α计算式为

$\mathrm{\&alpha;}=\arcsin \frac{x}{l}=\arcsin \frac{L\max -\sqrt{{2l}^2-{L\max }^2}}{2l}$

针对单幅塑封图像，只在芯片轮廓边缘可能产生的区域进行Hough变换的最长直线提取；设定Hough变换中线段合并阈值12，线段最小长度阈值10对提取直线进行限制，并且进一步限制提取到的最长直线的倾斜角度区间为[0，α]，超出区间即不进行旋转校正。