CN112396599B - 一种透明封装ic缺陷的视觉检测方法 - Google Patents

Abstract

本发明公开了一种透明封装IC缺陷的视觉检测方法，首先将待检测的产品放置到检测设备上，根据产品的各个面的不同而选用不同视觉器件，以此采集产品各个面的图像信息，并上传到处理器中；处理器将图像信息与OK品的标准图像进行对比，找出存在缺陷的产品，并根据缺陷在图像中的形态对产品每个缺陷选用对应的算法；随后对存在缺陷的产品的每个面的缺陷特征进行提取，判断缺陷的形态和存在的位置；接着再次通过算法进行检测，得到产品OK与NG的具体信息，以及NG品带有的缺陷类型；最后处理器将检测获得的产品信息发送给PLC，PLC将OK与NG产品准确分开。本发明的视觉检测方法可快速实现对透明封装IC进行检测，且检测速度更快，检测效率及检测精度更高。

Description

一种透明封装IC缺陷的视觉检测方法

技术领域

本发明涉及一种检测方法，具体涉及一种透明封装IC缺陷的视觉检测方法。

背景技术

半导体集成电路是将晶体管，二极管等等有源元件和电阻器，电容器等无源元件，按照一定的电路互联，“集成”在一块半导体单晶片上，从而完成特定的电路或者系统功能，当前我国大陆地区的IC产业规模相对较小，仅占全球IC产业的一小部分，总的来看，中国的集成电路产业在经济和技术方面都要相对落后于国际先进水平。近年来国务院发布了关于IC产业发展的相关文件，一定程度上刺激了国内lC产业投资，从而促进了中国IC产业增长率的提升。

目前透明封装IC的外观质量检测主要采用人工目检方法。人工目检方法虽方便直接，但存在以下几个方面的问题:

（1）、人工目检方法不能实现24h不间断工作，工人工作强度大，易造成视觉疲劳，导致误检，直接降低产品检测的可靠性；

（2）、人工目检的质量判断标准不易量化，导致检测结果稳定较差；

（3）、由于IC集成芯片尺寸较小，受限于人眼的识别能力，人工目检的检测速度和精度较低，使得检测效率低、人力成本较高。

基于上述问题，申请公布号为CN109839389A的发明专利申请公开了“一种基于CCD视觉针对不同封装芯片的快速检测方法”，所述快速检测方法包括以下步骤：打开LABVIEW上位机软件，进行系统设置，并进行通讯参数的设置；通过CCD采集的图片在上位机软件Labview上制作一个标准的IC模板；吸取来料IC或直接对成品料进行检测时，CCD对IC进行信息采集后与模板进行比对得出IC的状态；打开自动接收指令6后可以将OK或NG传输到PLC；所述LABVIEW上位机软件的操作界面包括类别选择、系统相机位置、串口选择、保存配置和退出系统五个选项，所述类别选择位于操作界面的一侧。所述快速检测方法解决了对大量IC进行检测时人力的繁重工作量以及漏检的可能，提高了效率和质量。

然而上述的快速检测方法的检测速度、检测效率以及检测精度仍然有待提高，为此，本发明提供了一种透明封装IC缺陷的视觉检测方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种透明封装IC缺陷的视觉检测方法，所述视觉检测方法基于机器视觉，可快速实现对透明封装IC进行检测，且检测速度更快，检测效率及检测精度更高。

本发明解决上述技术问题的技术方案是：

一种透明封装IC缺陷的视觉检测方法，包括以下步骤;

（1）、将待检测的产品放置到检测设备上，根据产品的各个面的不同，选用不同视觉器件，以此采集产品各个面的图像信息，并将采集到的图像信息上传到处理器中；

（2）、处理器接收到图像信息后，将图像信息与OK品的标准图像进行对比，找出存在缺陷的产品，并对产品的每个面中存在的缺陷识别，并且选用对应的算法；

（3）、通过选定的算法对存在缺陷的产品的每个面的图像中的缺陷特征进行提取，判断缺陷的形态和存在的位置，并通过软件界面显示出来；接着再次通过制订的算法进行检测，得到产品OK与NG的具体信息，以及NG品带有的缺陷类型；

（4）、处理器将检测获得的产品信息发送给PLC，PLC发出指令将OK与NG产品准确分开。

优选的，在步骤（1）中，所述视觉器件包括相机、镜头和光源。

优选的，在步骤（2）中，所述处理器通过图像中的缺陷的灰度值与周围正常部分进行对比，计算缺陷图像与标准图像关于灰度的差值；当确定缺陷与正常部分的灰度存在差异后，通过差值与设定阈值比较来判断是否存在缺陷，若差值小于阈值，判断没有缺陷，若差值大于等于阈值，判断存在缺陷。

优选的，在步骤（2）中，所述算法是预先通过收集大量的缺陷品，通过对缺陷品中的缺陷进行识别、提取不同缺陷对应的特征，并对这些特定的特征进行数学推导求得。

优选的，在步骤（3）中，所述软件通过调用预定的算法DLL来显示算法处理结果。

优选的，在步骤（3）中，所述软件的功能包括：实时显示采集到的图像信息，显示产品总数、OK品数量和NG品数量，显示检测到的缺陷名称及对应数量。

优选的，在步骤（3）中，当处理器获得一个新的图像时，算法会先判断其与OK品的差异，若无明显差异，则判为OK品；若有部分区域与OK品存在较大差异，则先将这部分区域的特征提取出来，其特征包括但不限于位置、形状和灰度值；将提取到的特征与预定的算法做对比，即可确定该缺陷的具体名称。

本发明与现有技术相比具有以下的有益效果：

1、本发明的透明封装IC缺陷的视觉检测方法有效解决了透明封装IC存在的三十余种缺陷的检测问题，不仅能够检测出产品是否带有缺陷，还能够区分出缺陷的具体类型，最后将OK品与NG品准确分开。

2、本发明的透明封装IC缺陷的视觉检测方法的检测速度极快，一小时可检测产品近两万颗；检测效率以及检测精度更高，有利于提高了生产效率和生产质量。

附图说明

图1为本发明的透明封装IC缺陷的视觉检测方法的流程示意图。

图2为本发明的透明封装IC缺陷的视觉检测方法的相机、镜头、光源在检测产品不同面的位置关系图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

参见图1-图2，本发明的透明封装IC缺陷的视觉检测方法，包括以下步骤;

（1）、将待检测的产品放置到检测设备上，根据产品的各个面的不同，选用不同视觉器件，以此采集产品各个面的图像信息，并将采集到的图像信息上传到处理器中；

（2）、处理器接收到图像信息后，将图像信息与OK品的标准图像进行对比，找出存在缺陷的产品，并对产品的每个面中存在的缺陷选用对应的算法，其具体的过程如下：

首先根据图像信息纹理上背景存在的差异，利用灰度共生矩阵计算图像信息中如下4个不同的纹理表征特征：

a、Energy:

（公式1）

Energy（能量）：是灰度共生矩阵元素值C_ij的平方和，所以也称能量，反映了图像灰度分布均匀程度和纹理粗细度。如果共生矩阵的所有值均相等，则Energy值小；相反，如果其中一些值大而其它值小，则Energy值大。当共生矩阵中元素集中分布时，此时Energy值大。Energy值大表明一种较均一和规则变化的纹理模式；

b、Correlation:

（公式2）

Correlation（对比度）：反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。灰度差即对比度大的象素对越多，这个值越大。灰度公生矩阵中远离对角线的元素值越大，Correlation越大；

c、Local homogeneity:

（公式3）

Local homogeneity（相关值）：它度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大;相反，如果矩阵像元值相差很大则相关值小。如果图像中有水平方向纹理，则水平方向矩阵的相关值大于其余矩阵的相关值；

d、 Contrast:

（公式4）

Contrast（熵）：是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，共生矩阵中元素分散分布时，熵较大。它表示了图像中纹理的非均匀程度或复杂程度；

上述公式1-4中，

其中C_ij表示灰度共生矩阵元素值，width表示灰度共生矩阵的宽度；

然后根据图像信息4个不同的纹理表征特征选用对应的算法，快速与OK品的标准图像进行对比，以便更加快速、精确的提取缺陷特征；

（3）、通过选定的算法对存在缺陷的产品的每个面的图像中的缺陷特征进行提取，判断缺陷的形态和存在的位置，并通过软件界面显示出来；接着再次通过制订的算法进行检测，得到产品OK与NG的具体信息，以及NG品带有的缺陷类型；

在这个步骤中，由于每种缺陷都有固定存在的面，例如划伤只存在于正面，其他面我们就不检测划伤，当然就不存在划伤这个缺陷；同时在正面也有其他一些缺陷，但划伤特征很明显，就是类似于一条线，长宽比极大，这个可以作为一个判定标准；当经过算法检测后，它会给出这个产品是否带有缺陷的信息，如果没有缺陷，则判断为OK品；如果检测到有划伤这个缺陷，它就会判定这个产品为NG品，且缺陷为划伤；如果这个产品同时存在几个缺陷，也会判为NG品，同时会显示这几个缺陷名称；同时也可显示OK品与NG品个数的比例和数量。

（4）、处理器将检测获得的产品信息发送给PLC，PLC发出指令将OK与NG产品准确分开。

参见图1-图2，在步骤（1）中，所述视觉器件包括相机1、镜头2和光源3，其中，相机1、镜头2和光源3的选择需要根据产品的各个面的不同而灵活选择，同时还要确定相机1的拍照角度；由于透明封装IC有三十余种缺陷，且可能存在于产品的各个面上，因此需要对产品的每个面进行单独成像，且由于每种缺陷的形态不一，同一套相机1、镜头2和光源3的组合可能无法满足检测要求，因此需要根据产品的每个面的缺陷特征选择合适的视觉器件。

产品的不同的面对应镜头2和光源3的位置和方向会相应发生变化。假如正面存在划伤、脏污等缺陷时，所述光源3、镜头2和相机1就需要设置在产品的正上方；假如底面存在气泡等缺陷时，所述光源3、镜头2和相机1就需要设置在产品的正下方。如图2所述，产品的正面、背面以及两个侧面在进行缺陷检测时，对应的相机1、镜头2和光源3之间的位置关系。

参见图1-图2，在步骤（2）中，处理器通过图像中的缺陷的灰度值与周围正常部分进行对比，计算缺陷图像与OK品的标准图像关于灰度的差值，当缺陷图像与正常部分的灰度存在差异后，通过差值与设定阈值比较来判断是否存在缺陷，若差值小于阈值，判断没有缺陷，若差值大于等于阈值，判断存在缺陷；即：如果灰度值与正常相比差异较大，可以判断为该差异较大的区域内存在缺陷，但具体是什么缺陷还不清楚，需要根据该区域的位置和缺陷的形状等信息进一步判断。

参见图1-图2，在步骤（2）中，所述算法是预先通过收集大量的缺陷品，通过对缺陷品中的缺陷进行识别、提取不同缺陷对应的特征，并对这些特定的特征进行数学推导求得。例如利用深度学习获得一个标准模板（对大量OK品进行训练），再根据所提供缺陷品获得各种缺陷的特征信息，然后将待测产品获得的图像与标准模板对比，先锁定缺陷区域，再根据缺陷的其他特征来判断缺陷类型。

参见图1-图2，在步骤（3）中，所述软件通过调用算法DLL来显示算法处理结果。由于算法检测结果难以直观地显示出来，为了更为方便的显示检测结果，将算法与软件相结合，通过软件界面来显示算法检测结果，使得检测人员可以更为直观地得到产品的情况，其中，所述软件的功能包括：（1）实时图片显示，可随时观察采集图片；（2）显示产品总数、OK品数量和NG品数量，方便数据统计；（3）可具体显示检测到的缺陷名称及对应数量。

参见图1-图2，在步骤（3）中，当处理器获得一个新的图像时，算法会先判断其与OK品的差异，若无明显差异，则判为OK品；若有部分区域与OK品存在较大差异，则先将这部分区域的特征提取出来，其特征包括但不限于位置、形状和灰度值，将提取到的特征与预定的算法做对比，即可确定该缺陷的具体名称。

实施例2

本实施例以具体的案例来对本发明的透明封装IC缺陷的视觉检测方法进行阐述：

以正面划伤为例，通过实施例1中的视觉器件检测到产品的正面存在缺陷后，算法可以检出产品的正面的具体某个区域存在缺陷，但还不确定具体是何种缺陷，因为正面还存在脏污、气泡等缺陷，此时就可以根据该缺陷的形状和灰度值变化进行判断，比如气泡和划伤会导致局部灰度值变高，脏污会导致局部灰度值降低，且气泡通常为圆形，划伤为线型，脏污无固定形状。此时若算法判断该缺陷导致局部灰度值变高，同时缺陷呈线型，就可认为该缺陷为划伤，因而判断该产品为NG品。随后，算法把检测结果发送给PLC，PLC将该NG品分拣出来。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种透明封装IC缺陷的视觉检测方法，其特征在于，包括以下步骤；

(1)、将待检测的产品放置到检测设备上，根据产品的各个面的不同，选用不同视觉器件，以此采集产品各个面的图像信息，并将采集到的图像信息上传到处理器中；

(2)、处理器接收到图像信息后，将图像信息与OK品的标准图像进行对比，找出存在缺陷的产品，并对产品的每个面中存在的缺陷识别，并且选用对应的算法，所述处理器通过图像中的缺陷的灰度值与周围正常部分进行对比，计算缺陷图像与标准图像关于灰度的差值；当确定缺陷与正常部分的灰度存在差异后，通过差值与设定阈值比较来判断是否存在缺陷，若差值小于阈值，判断没有缺陷，若差值大于等于阈值，判断存在缺陷，其中计算缺陷图像与标准图像关于灰度的差值的具体步骤如下：

首先根据图像信息纹理上背景存在的差异，利用灰度共生矩阵计算图像信息中如下4个不同的纹理表征特征：

a、Energy:

Energy能量：是灰度共生矩阵元素值c_ij的平方和，所以也称能量，反映了图像灰度分布均匀程度和纹理粗细度，如果共生矩阵的所有值均相等，则Energy值小；相反，如果其中一些值大而其它值小，则Energy值大，当共生矩阵中元素集中分布时，此时Energy值大，Energy值大表明一种均一和规则变化的纹理模式；

b、Correlation:

c、Local homogeneity:

d、Contrast:

上述公式1-4中，

其中c_ij表示灰度共生矩阵元素值，width表示灰度共生矩阵的宽度；

然后根据图像信息4个不同的纹理表征特征选用对应的算法，计算缺陷图像与标准图像关于灰度的差值，快速与OK品的标准图像进行对比；

(3)、通过选定的算法对存在缺陷的产品的每个面的图像中的缺陷特征进行提取，判断缺陷的形态和存在的位置，并通过软件界面显示出来；接着再次通过制订的算法进行检测，得到产品OK与NG的具体信息，以及NG品带有的缺陷类型，当处理器获得一个新的图像时，算法会先判断其与OK品的差异，若无明显差异，则判为OK品；若有部分区域与OK品存在较大差异，则先将这部分区域的特征提取出来，其特征包括但不限于位置、形状和灰度值；将提取到的特征与预定的算法做对比，即可确定该缺陷的具体名称；

(4)、处理器将检测获得的产品信息发送给PLC，PLC发出指令将OK与NG产品准确分开。

2.根据权利要求1所述的透明封装IC缺陷的视觉检测方法，其特征在于，在步骤(1)中，所述视觉器件包括相机、镜头和光源。

3.根据权利要求1所述的透明封装IC缺陷的视觉检测方法，其特征在于，在步骤(2)中，所述算法是预先通过收集大量的缺陷品，通过对缺陷品中的缺陷进行识别、提取不同缺陷对应的特征，并对这些特定的特征进行数学推导求得。

4.根据权利要求1所述的透明封装IC缺陷的视觉检测方法，其特征在于，在步骤(3)中，所述软件通过调用预定的算法DLL来显示算法处理结果。

5.根据权利要求1所述的透明封装IC缺陷的视觉检测方法，其特征在于，在步骤(3)中，所述软件的功能包括：实时显示采集到的图像信息，显示产品总数、OK品数量和NG品数量，显示检测到的缺陷名称及对应数量。

Images