CN109658381B - 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法 - Google Patents
一种基于超像素的柔性ic封装基板的铜面缺陷检测方法 Download PDFInfo
- Publication number
- CN109658381B CN109658381B CN201811363424.9A CN201811363424A CN109658381B CN 109658381 B CN109658381 B CN 109658381B CN 201811363424 A CN201811363424 A CN 201811363424A CN 109658381 B CN109658381 B CN 109658381B
- Authority
- CN
- China
- Prior art keywords
- copper surface
- pixel
- super
- superpixel
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 title claims abstract description 144
- 229910052802 copper Inorganic materials 0.000 title claims abstract description 144
- 239000010949 copper Substances 0.000 title claims abstract description 144
- 230000007547 defect Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000000758 substrate Substances 0.000 title claims abstract description 29
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 47
- 230000003647 oxidation Effects 0.000 claims abstract description 15
- 238000007254 oxidation reaction Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 229940030850 avar Drugs 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000001914 filtration Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000005056 compaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 229920002799 BoPET Polymers 0.000 description 1
- 239000005041 Mylar™ Substances 0.000 description 1
- 239000004642 Polyimide Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 229920001721 polyimide Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于超像素的柔性IC封装基板的铜面缺陷检测方法，步骤为：首先对原始彩色图像进行滤波以及初步阈值分割处理，再采用简单线性迭代聚类法得到超像素分割图；然后依据亮度特征选定铜面区域的超像素，结合图像全局特性提取铜面区域超像素的特征，计算超像素内部像素点的亮度差异度找出铜面内部的孔洞、氧化缺陷区域；之后依据像素的梯度和邻域信息找出位于铜面与背景交接处的超像素，获取位于铜面边缘处的边界像素点，通过扫描边界像素点的邻域获取连续的铜面线路，对铜面线路上的边缘像素点进行特征提取和分析，找出线路锯齿缺陷。本发明能够精准地定位出铜面的孔洞、氧化和线路锯齿等缺陷。
Description
技术领域
本发明涉及图像处理技术应用领域，特别涉及一种基于超像素的柔性IC封装基板的铜面缺陷检测方法。
背景技术
柔性IC封装基板一般由聚酰亚胺、聚酯薄膜等高分子材料构成，具有轻薄和可弯曲的特点，在通信、电子、航空等领域的电路板制造行业中具有广泛的应用市场。随着技术的发展，柔性IC封装基板逐渐趋于高密度、高精度化，品质要求也越来越严格化，制造过程综合了化学、物理学、高分子学、光学等多方面知识，技术复杂，因此很容易生成形形色色的质量缺陷，从而影响基板的质量。传统方法中的人工目检成本高、精度低、效率低，逐渐被基于机器视觉检测所替代。而覆铜表面(以下简称“铜面”)作为柔性IC基板的重要组成部分，其缺陷(如孔洞、氧化、线路锯齿等)会严重影响基板的性能。因此，设计一种高效实用的铜面缺陷的检测算法具有重要的研究意义。
柔性IC封装基板铜面的缺陷检测一般是通过高精度摄像头扫描基板，采集到图像后通过相应的图像算法处理。现有技术中常用的表面缺陷检测方法有模板法、频谱法、边缘检测法等。模板法通过将检测对象与相关模板进行匹配，找出差异处，再利用形态学理论检测线路缺陷，其中关键在于获取模板与建立匹配模型，但在实际生产中，该方法需要大量不同的模板，针对性较强，没有普适性。频谱法则是对图像进行相应的频域变换，如Gabor、小波、傅里叶变换等，可以多尺度多方向地分析纹理或频谱特征，再对特征信息聚类实现缺陷的检测。这种方法充分利用了图像的信息，但通常特征维数较高，计算量大，算法框架复杂，会涉及到较多参数的确定，不利于在实际生产线上的推广与应用。边缘检测法一般先经边缘检测算子或特定线路变换算法提取图像的边缘或轮廓，计算相应统计信息，结合色彩或几何特征得到判定策略，但该方法通常涉及二值化分割图像和线路拟合，分割阈值选择不佳会影响分割效果，甚至会模糊图像细节信息，导致检测精度不高，线路拟合过程中耗时长，计算复杂。
发明内容
为了克服现有技术的缺点与不足，提供一种基于超像素的柔性IC封装基板的铜面缺陷检测方法，该方法能够保留图像的细节信息，实现对铜面缺陷例如氧化、孔洞、锯齿缺陷的定位。
本发明的目的通过下述技术方案实现：一种基于超像素的柔性IC封装基板的铜面缺陷检测方法，步骤如下：
步骤S1、首先对柔性IC封装基板原始图像进行预处理，然后采用简单线性迭代聚类法(SLIC)进行超像素分割，得到超像素分割图；
步骤S2、针对步骤S1分割后得到的超像素图，依据亮度信息确定铜面区域的超像素分割图，然后提取各超像素特征，结合全局特性找出含有内部孔洞和氧化缺陷的超像素区域；
步骤S3、针对步骤S2的铜面区域超像素分割图，依据梯度和邻域信息找到位于铜面与背景交接处的超像素，再获取位于铜面边缘处的超像素边界像素点，通过扫描边界像素点的邻域获取连续的铜面线路，然后对铜面线路上的边缘像素点进行特征提取和分析，找出线路锯齿缺陷。
优选的，所述步骤S1中对柔性IC封装基板图像的预处理和超像素分割具体过程如下：
步骤S11、首先对原始图像按一定比例缩放，大小N统一调整为514×613，然后采用高斯滤波器消除图像噪声，采用双边滤波器保留边缘信息，重新设定灰度值小于阈值Tl0的像素点的灰度为0，得到预处理图；
步骤S12、采用SLIC分割法对步骤S11的预处理图进行超像素分割，得到超像素的分割结果，即每个像素点所属超像素的类别，计算每个超像素的种子点的5维特征均值
其中，超像素个数设定为K，超像素分割规整性的紧凑因子表示为m，
分别表示超像素所包含的像素点在Lab空间三个颜色通道上的平均值；
分别表示超像素所包含像素点的x-y坐标均值；
更进一步的，所述设定的分割阈值Tl0为经验值44；所述设定的超像素分割个数K为300；所述设定的紧凑因子m为35。
优选的，所述步骤S2中，针对分割后得到的超像素图，结合全局特性找出铜面内部的孔洞、氧化等缺陷超像素区域，具体过程如下：
步骤S21、根据分割后得到的各超像素亮度信息和超像素内部各像素点的邻域信息识别出位于背景的超像素，由此得到铜面区域的超像素分割图，具体为：
首先提取各超像素在Lab空间中的亮度均值
各像素点梯度e、各像素点八邻域梯度ea(a＝1,…,8)三种数据特征，与亮度阈值Tl1、梯度阈值Te对比，若同时满足：
e＜Te，ea＜Te，则判定该超像素内部同质性较高，且属于背景区域，然后将非背景区域内的超像素认定为铜面区域的超像素，记为
R1为自然数；
步骤S22、针对于步骤S21所得的铜面区域内超像素
计算各超像素
中像素点的在Lab空间的亮度方差
再对亮度方差
求平均值Avarc，设置自适应阈值
当满足
时，把该超像素归到缺陷超像素候选集，记为
R2为自然数。
步骤S23、针对于步骤S22得到的缺陷超像素候选集
进一步判定缺陷，设置亮度均值阈值Tl2，若某一超像素
的亮度均值
满足条件：
则为局部过亮的超像素，认定为非缺陷的超像素并从缺陷候选集中去除，由此得到含有孔洞、氧化缺陷的超像素，记为
R3为自然数。
更进一步的，所述设定的亮度阈值Tl1为30～50，所述设定的梯度阈值Te为10～20；所述设定的自适应阈值Tvar为方差均值Avar1的1.5～3倍；所述设定的亮度均值阈值Tl2为60～80。
优选的，所述步骤S3中，针对于铜面区域的超像素，首先找到其中位于铜面与背景交接处的超像素，再获取位于铜面线路上的边缘像素点，对边缘像素点进行特征提取和分析，找出线路锯齿缺陷，具体过程如下：
步骤S31、针对于铜面区域内的超像素
找出其相邻的超像素，通过以下公式计算包括背景在内的所有超像素的种子点到铜面区域超像素
的种子点的空间距离Dsp，若满足Dsp＜1.5×S，则当前超像素为铜面超像素
的邻域之一；
其中，S表示相邻种子点的距离，N为步骤S1所述的图像大小，K为步骤S1中所述的超像素个数，
为步骤S1所得的第k个超像素的种子点x-y坐标，
表示铜面区域第i个超像素
的种子点x-y坐标；
步骤S32、针对步骤S31中与铜面超像素
相邻的超像素，进行特征提取与分析，找出位于铜面与背景交接处的超像素，具体为：
提取与铜面超像素
的相邻超像素的亮度均值
若既存在
又存在
的情况，则表示该铜面超像素
的邻域既有背景也有铜面区域的超像素，从而判定该超像素位于铜面与背景交接处，记为
R4为自然数；
其中，Tl1为步骤S21所述的亮度阈值；
步骤S33、针对步骤S32获得的位于铜面与背景交接处的超像素
找出其中落于铜面边缘的边界像素点，通过获取各超像素
中各像素点的八邻域亮度信息lp(p＝1,…,8)，若某像素点的亮度值不为0，且该像素点的八邻域像素点亮度lp既存在lp＝0，也存在lp＞10的情况，则表明该像素点位于铜面边缘处，记为
步骤S34、针对步骤S33获得的铜面边缘像素点
采用遍历扫描的方式，获取连续的铜面线路，具体过程如下：
步骤S341、首先根据像素点序号找到第一个铜面边缘像素点
并做标记，然后按顺时针方向扫描该像素点的八邻域，寻找后续边缘像素点，若邻域存在未被标记的边缘像素点，则把该邻域像素点作为新的扫描中心，再次进行八邻域扫描，依此循环，直至邻域无未被标记的边缘像素点或扫描到图像边界，获取到一条线路，然后进行新一轮的遍历与扫描，当所有边缘像素点均被扫描过后，可获得铜面线路候选集；
步骤S342、针对步骤S341扫描得到的铜面线路候选集，首先统计每条线路中像素点个数n和各像素点的位置坐标，将像素点数n与线路像素数阈值Tn比较，若像素点数满足n＜Tn，则判定该线路为虚假铜面线路，从线路候选集中去除；针对于像素点数n＞Tn的线路，任选线路上一像素点作为起始点，按顺时针方向扫描该起始点的八邻域，遍历线路上的像素点，若出现终止像素点落于起始点像素点八邻域内的情况，判定该线路是闭合的，从线路候选集中去除，由此得到连续的铜面线路；
步骤S35、针对步骤S34获得的铜面线路，检测线路锯齿缺陷，首先通过长度信息得到缺陷边界候选集，再提取候缺陷边界候选集中的梯度特征并分析，进一步准确定位缺陷，具体过程为：
步骤S351、对所有铜面线路按设定的长度L平均分段，获取每小段的起始像素点与终止像素点的x-y坐标，计算两点的空间距离dl，与长度阈值Tdl1、Tdl2比较，若dl＜Tdl1或dl＞Tdl2，说明该小段可能存在锯齿缺陷，把该小段归类到缺陷边界候选集中；
其中，(x0,y0)为每小段起始像素点的坐标，(x1,y1)为每小段终止像素点的坐标，Tdl1为每小段线路长度的下限，Tdl2为每小段线路长度的上限；
步骤S352、针对步骤S351得到的缺陷边界候选集中的每小段，任意选取10对像素点计算位置坐标(x,y)的一阶导数，得到10组数据，再求数据的方差Varl，与方差阈值Tvarl比较，当Varl＞Tvarl时，则判定该小段存在锯齿缺陷。
更进一步的，所述设定的边界像素点数阈值Tn为50～110；所述设定的长度L为40～80，所述设定的长度阈值Tdl1、Tdl2分别为Tdl1＝L-10，Tdl2＝L-10；所述的方差阈值Tvar2为1。
本发明相对于现有技术具有如下的优点及效果：
本发明检测方法首先对柔性IC封装基板原始彩色图像进行滤波以及初步阈值分割处理，采用简单线性迭代聚类法(SLIC)得到超像素分割图；然后依据亮度特征确定铜面区域的超像素，结合全局特性提取铜面区域超像素的特征，计算超像素内部像素点的亮度差异度找出铜面内部的孔洞、氧化缺陷区域；之后依据像素的梯度和邻域信息找出位于铜面与背景交接处的超像素，获取位于铜面边缘处的边界像素点，通过扫描边界像素点的邻域获取连续的铜面线路，对铜面线路上的边缘像素点进行特征提取和分析，找出线路锯齿缺陷。由上述可见，本方法保留了图像的彩色信息及边缘细节，利用SLIC超像素分割方法，能够实现铜面区域的合理分割和铜面边缘的精准提取，根据图像的颜色分布和空间分布实现了对铜面孔洞、氧化缺陷和线路锯齿缺陷的定位，对布线密度高、图像亮度不均匀的柔性IC封装基板具有更高的检测精度，解决了现有技术中柔性IC封装基板缺陷检测精度低、针对性强的问题。
附图说明
图1是本发明方法的流程图。
图2是柔性IC封装基板的原始图像。
图3是柔性IC封装基板的超像素分割图。
图4是柔性IC封装基板的铜面区域超像素图。
图5是柔性IC封装基板的铜面缺陷检测示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例公开了一种基于超像素的柔性IC封装基板的铜面缺陷检测方法，如图1—图5所示，步骤如下：
步骤S1、首先对如图2所示的柔性IC封装基板原始图像进行滤波及初步阈值分割处理，然后采用简单线性迭代聚类法(SLIC)进行超像素分割，得到超像素分割图；
其中在本实施例中，本步骤对柔性IC封装基板图像的预处理和超像素分割具体过程如下：
步骤S11、首先对原始图像按一定比例缩放，大小N统一调整为514×613，然后采用高斯滤波器消除图像噪声，采用双边滤波器保留边缘信息，重新设定灰度值小于阈值Tl0的像素点的灰度为0，得到预处理图；
步骤S12、采用SLIC分割法对步骤S11的预处理图进行超像素分割，得到超像素的分割结果，即每个像素点所属超像素的类别，计算每个超像素的种子点的5维特征均值，具体过程如下：
步骤S121、针对于步骤S11的预处理图，首先进行颜色空间转换，从RGB空间变换为Lab空间，然后根据设定的超像素个数K及图像大小N初始化K个聚类种子点，具体为：
通过以下公式计算出相邻种子点的间距，即步长S，从图像左上角开始，初始种子点位置为
按先行后列的顺序等间隔初始化其他种子点；
调整更新落在边缘或噪声处的种子点，利用亮度信息计算所有像素点的梯度值，再在初始种子点的3 3邻域里找梯度最小值点，把它作为新的种子点；
步骤S122、选取像素点的颜色和位置信息构成5维特征{l,a,b,x,y}，在种子点2S×2S范围内计算覆盖到的像素点与种子点的距离D，像素点归类到与其距离最近的种子点区域中，类别定义为种子点的序号；
其中dc、ds分别为像素点与种子点之间的颜色、位置欧式距离，x,y分别表示像素点的x-y坐标，l,a,b分别表示像素点在Lab空间三个颜色通道上的平均值D为综合距离，m为保证超像素分割规整性的紧凑因子；
步骤S123、在所有像素点均遍历过且归类后，相同类别的像素点构成一个超像素，把同类别像素点的颜色、空间5维特征{l,a,b,x,y}对应相加求和后，除以该类别像素点的总个数，求得平均值
把该均值点作为该超像素新的种子点，然后再反复迭代步骤S122，更新像素点的聚类结果，直到达到迭代次数上限；
其中，
分别表示超像素所包含的像素点在Lab空间三个颜色通道上的平均值；
分别表示超像素所包含像素点的x-y坐标均值；
步骤S124、迭代完毕后，对聚类结果增强连通性，通过遍历所有超像素，计算其包含的像素点个数，找出像素点个数小于
的超像素，将此超像素合并至邻近超像素，得到最终的超像素分割图，如图3所示。
在本实施例中,设定的分割阈值Tl0为经验值44；设定的超像素分割个数K为300；设定的紧凑因子m为35，设定的迭代次数为10次。
步骤S2、针对于步骤S1分割后得到的超像素图，依据亮度信息确定铜面区域的超像素，然后提取各超像素特征，结合全局特性找出含有内部孔洞和氧化缺陷的超像素区域。
其中在本实施例中，本步骤对分割后得到的超像素图，结合全局特性找出铜面内部的孔洞、氧化等缺陷区域，具体过程如下：
步骤S21、根据分割后得到的各超像素亮度信息和超像素内部各像素点的邻域信息识别出位于背景的超像素，由此得到铜面区域的超像素分割图，具体为：
首先提取各超像素在Lab空间中的亮度均值
各像素点梯度e、各像素点八邻域梯度ea(a＝1,…,8)三种数据特征，与亮度阈值Tl1、梯度阈值Te对比，若同时满足：
e＜Te，ea＜Te，则判定该超像素内部同质性较高，且属于背景区域，然后将非背景区域内的超像素认定为铜面区域的超像素，记为
R1为自然数；
其中，所述设定的亮度阈值Tl1为30～50，所述设定的梯度阈值Te为10～20，在本实施例中Tl1＝40，Te＝10；
步骤S22、针对于步骤S21所得的铜面区域内超像素
计算各超像素
中像素点的在Lab空间的亮度方差
再对亮度方差
求平均值Avarc，设置自适应阈值
当满足
时，把该超像素归到缺陷超像素候选集，记为
R2为自然数；
步骤S23、针对于步骤S22得到的缺陷超像素候选集
进一步判定缺陷，设置亮度均值阈值Tl2，若某一超像素
的亮度均值
满足条件：
则为局部过亮的超像素，认定为非缺陷的超像素并从缺陷候选集中去除，由此得到含有孔洞、氧化缺陷的超像素，记为
R3为自然数。
更进一步的，所述设定的自适应阈值Tvar为方差均值的1.5～3倍；所述设定的亮度均值阈值Tl2为60～80；在本实例中Tvar为方差均值的1.5倍，Tl2＝70。
步骤S3、针对于步骤S2的铜面区域超像素分割图，依据梯度和邻域信息找到位于铜面与背景交接处的超像素，再获取位于铜面边缘处的超像素边界像素点，通过扫描边界像素点的邻域获取连续的铜面线路，然后对铜面线路上的边缘像素点进行特征提取和分析，找出线路锯齿缺陷。
其中在本实施例中，本步骤针对于图4所示铜面区域的超像素，首先找到其中位于铜面与背景交接处的超像素，再获取位于铜面线路上的边缘像素点，对边缘像素点进行特征提取和分析，找出线路锯齿缺陷，具体过程如下：
步骤S31、针对于铜面区域内的超像素
找出其相邻的超像素，通过以下公式计算包括背景在内的所有超像素的种子点到铜面区域超像素
的种子点的空间距离Dsp，若满足Dsp＜1.5×S，则当前超像素为铜面超像素
的邻域之一；
其中，S表示相邻种子点的距离，N为步骤S1所述的图像大小，K为步骤S1中所述的超像素个数，
为步骤S1所得的第k个超像素的种子点x-y坐标，
表示铜面区域第i个超像素
的种子点x-y坐标；
步骤S32、针对于步骤S31中与铜面超像素
相邻的超像素，进行特征提取与分析，找出位于铜面与背景交接处的超像素，具体为：
提取与铜面超像素
的相邻超像素的亮度均值
若既存在
又存在
的情况，则表示该铜面超像素
的邻域既有背景也有铜面区域的超像素，从而判定该超像素位于铜面与背景交接处，记为
R4为自然数；
其中，Tl1为步骤S21所述的亮度阈值；
步骤S33、针对于步骤S32获得的位于铜面与背景交接处的超像素
找出其中落于铜面边缘的边界像素点，通过获取各超像素
中各像素点的八邻域亮度信息lp(p＝1,…,8)，若某像素点的亮度值不为0，且该像素点的八邻域像素点亮度lp既存在lp＝0，也存在lp＞10的情况，则表明该像素点位于铜面边缘处，记为
步骤S34、针对于步骤S33获得的铜面边缘像素点
采用遍历扫描的方式，获取连续的铜面线路，具体过程如下：
步骤S341、首先根据像素点序号找到第一个铜面边缘像素点
并做标记，然后按顺时针方向扫描该像素点的八邻域，寻找后续边缘像素点，若邻域存在未被标记的边缘像素点，则把该邻域像素点作为新的扫描中心，再次进行八邻域扫描，依此循环，直至邻域无未被标记的边缘像素点或扫描到图像边界，获取到一条线路，然后进行新一轮的遍历与扫描，当所有边缘像素点均被扫描过后，可获得铜面线路候选集；
步骤S342、针对于步骤S341扫描得到的铜面线路候选集，首先统计每条线路中像素点个数n和各像素点的位置坐标，将像素点数n与线路像素数阈值Tn比较，若像素点数满足n＜Tn，则判定该线路为虚假铜面线路，从线路候选集中去除；针对于像素点数n＞Tn的线路，任选线路上一像素点作为起始点，按顺时针方向扫描该起始点的八邻域，遍历线路上的像素点，若出现终止像素点落于起始点像素点八邻域内的情况，判定该线路是闭合的，从线路候选集中去除，由此得到连续的铜面线路；
其中，所述设定的边界像素点数阈值Tn为50～110，在本实施例中为50；
步骤S35、针对于步骤S34获得的铜面线路，检测线路锯齿缺陷，首先通过长度信息得到缺陷边界候选集，再提取候缺陷边界候选集中的梯度特征并分析，进一步准确定位缺陷，具体过程为：
步骤S351、对所有铜面线路按设定的长度L平均分段，获取每小段的起始像素点与终止像素点的x-y坐标，计算两点的空间距离dl，与长度阈值Tdl1、Tdl2比较，若dl＜Tdl1或dl＞Tdl2，说明该小段可能存在锯齿缺陷，把该小段归类到缺陷边界候选集中；
其中，(x0,y0)为每小段起始像素点的坐标，(x1,y1)为每小段终止像素点的坐标，Tdl1为每小段线路长度的下限，Tdl2为每小段线路长度的上限；
步骤S352、针对于步骤S351得到的缺陷边界候选集中的每小段，任意选取10对像素点计算位置坐标(x,y)的一阶导数，得到10组数据，再求数据的方差Varl，与方差阈值Tvarl比较，当Varl＞Tvarl时，则判定该小段存在锯齿缺陷。
其中，设定的长度L为40～80，所述设定的长度阈值Tdl1、Tdl2分别为Tdl1＝L-10，Tdl2＝L-10；在本实施例中，L＝50，Tdl1＝40，Tdl2＝30，方差阈值Tvar2＝1。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (4)
1.一种基于超像素的柔性IC封装基板的铜面缺陷检测方法，其特征在于，步骤如下：
步骤S1、对柔性IC封装基板图像进行预处理及超像素分割，得到超像素分割图；
步骤S2、针对步骤S1分割后得到的超像素分割图，依据亮度信息确定铜面区域的超像素，然后提取各超像素特征，结合全局特性找出含有内部孔洞和氧化缺陷的超像素区域；
步骤S3、针对步骤S2的铜面区域的超像素，依据梯度和邻域信息找到位于铜面与背景交接处的超像素，再获取位于铜面边缘处的超像素边界像素点，通过扫描边界像素点的邻域获取连续的铜面线路，然后对铜面线路上的边缘像素点进行特征提取和分析，找出线路锯齿缺陷；
所述步骤S2中，针对步骤S1分割后得到的超像素分割图，依据亮度信息确定铜面区域的超像素，然后提取各超像素特征，结合全局特性找出含有内部孔洞和氧化缺陷的超像素区域，具体过程如下：
步骤S21、根据分割后得到的各超像素亮度信息和超像素内部各像素点的邻域信息识别出位于背景的超像素，由此得到铜面区域的超像素分割图，具体为：
首先提取各超像素在Lab空间中的亮度均值
各像素点梯度e、各像素点八邻域梯度ea，其中a＝1,…,8，然后与亮度阈值Tl1、梯度阈值Te对比，若同时满足：
e＜Te，ea＜Te，则判定该超像素内部同质性较高，且属于背景区域，然后将非背景区域内的超像素认定为铜面区域的超像素，记为
其中i为自然数；
步骤S22、针对步骤S21所得的铜面区域内超像素
计算各超像素
中像素点的在Lab空间的亮度方差
再对亮度方差
求平均值Avarc，设置自适应阈值
当满足
时，把该超像素归到缺陷超像素候选集，记为
其中j为自然数；
步骤S23、针对于步骤S22得到的缺陷超像素候选集
进一步判定缺陷，设置亮度均值阈值Tl2，若某一超像素
的亮度均值
满足条件：
则为局部过亮的超像素，认定为非缺陷的超像素并从缺陷候选集中去除，由此得到含有孔洞、氧化缺陷的超像素区域，记为
m为超像素分割规整性的紧凑因子,m为自然数；
所述步骤S3中，针对步骤S2的铜面区域的超像素，依据梯度和邻域信息找到位于铜面与背景交接处的超像素，再获取位于铜面边缘处的超像素边界像素点，通过扫描边界像素点的邻域获取连续的铜面线路，然后对铜面线路上的边缘像素点进行特征提取和分析，找出线路锯齿缺陷，具体过程如下：
步骤S31、针对铜面区域内的超像素
找出其相邻的超像素，通过以下公式计算包括背景在内的所有超像素的种子点到铜面区域超像素
的种子点的空间距离Dsp，若满足Dsp＜1.5×S，则当前超像素为铜面超像素
的邻域之一；
其中，S表示相邻种子点的距离，N为预处理后所述图像大小，K为步骤S1中所述的超像素个数，
为步骤S1所得的第k个超像素的种子点x-y坐标，
表示铜面区域第i个超像素
的种子点x-y坐标；
步骤S32、针对步骤S31中与铜面超像素
相邻的超像素，进行特征提取与分析，找出位于铜面与背景交接处的超像素，具体为：
提取与铜面超像素
的相邻超像素的亮度均值
若既存在
又存在
的情况，则表示该铜面超像素
的邻域既有背景也有铜面区域的超像素，从而判定该超像素位于铜面与背景交接处，记为
t为自然数；
其中，Tl1为步骤S21所述的亮度阈值；
步骤S33、针对于步骤S32获得的位于铜面与背景交接处的超像素
找出其中落于铜面边缘的边界像素点，通过获取各超像素
中各像素点的八邻域亮度信息lp，其中p＝1,…,8，若某像素点的亮度值不为0，且该像素点的八邻域像素点亮度lp既存在lp＝0，也存在lp＞10的情况，则表明该像素点位于铜面边缘处，记为
步骤S34、针对步骤S33获得的铜面边缘像素点
采用遍历扫描的方式，获取连续的铜面线路；
步骤S35、针对步骤S34获得的铜面线路，检测线路锯齿缺陷，首先通过长度信息得到缺陷边界候选集，再提取候缺陷边界候选集中的梯度特征并分析，进一步准确定位缺陷；
所述步骤S34，针对步骤S33获得的铜面边缘像素点
采用遍历扫描的方式，获取连续的铜面线路，具体过程如下：
步骤S341、首先根据像素点序号找到第一个铜面边缘像素点
并做标记，然后按顺时针方向扫描该像素点的八邻域，寻找后续边缘像素点，若邻域存在未被标记的边缘像素点，则把该邻域像素点作为新的扫描中心，再次进行八邻域扫描，依此循环，直至邻域无未被标记的边缘像素点或扫描到图像边界，获取到一条线路，然后进行新一轮的遍历与扫描，当所有边缘像素点均被扫描过后，获得铜面线路候选集；
步骤S342、针对于步骤S341扫描得到的铜面线路候选集，首先统计每条线路中像素点个数n和各像素点的位置坐标，将像素点数n与线路像素数阈值Tn比较，若像素点数满足n＜Tn，则判定该线路为虚假铜面线路，从线路候选集中去除；针对于像素点数n＞Tn的线路，任选线路上一像素点作为起始点，按顺时针方向扫描该起始点的八邻域，遍历线路上的像素点，若出现终止像素点落于起始点像素点八邻域内的情况，判定该线路是闭合的，从线路候选集中去除，由此得到连续的铜面线路；
步骤S35，针对步骤S34获得的铜面线路，检测线路锯齿缺陷，首先通过长度信息得到缺陷边界候选集，再提取候缺陷边界候选集中的梯度特征并分析，进一步准确定位缺陷，具体过程为：
步骤S351、对所有铜面线路按设定的长度L平均分段，获取每小段的起始像素点与终止像素点的x-y坐标，计算两点的空间距离dl，与长度阈值Tdl1、Tdl2比较，若dl＜Tdl1或dl＞Tdl2，说明该小段可能存在锯齿缺陷，把该小段归类到缺陷边界候选集中；
其中，(x0,y0)为每小段起始像素点的坐标，(x1,y1)为每小段终止像素点的坐标，Tdl1为每小段线路长度的下限，Tdl2为每小段线路长度的上限；
步骤S352、针对于步骤S351得到的缺陷边界候选集中的每小段，任意选取m对像素点计算位置坐标(x,y)的一阶导数，得到t组数据，再求数据的方差Varl，与方差阈值Tvarl比较，当Varl＞Tvarl时，则判定该小段存在锯齿缺陷。
2.根据权利要求1所述的铜面缺陷检测方法，其特征在于，所述步骤S1，对柔性IC封装基板图像进行预处理及超像素分割，得到超像素分割图，具体过程如下：
步骤S11、首先将柔性IC封装基板图像统一调整为514×613像素，然后采用高斯滤波器消除图像噪声，采用双边滤波器保留边缘信息，设定灰度值小于阈值Tl0的像素点的灰度为0，得到预处理图；
步骤S12、采用SLIC分割法对步骤S11的预处理图进行超像素分割，得到超像素分割图，对应得到每个像素点所属超像素的类别，计算每个超像素的种子点的5维特征均值
其中，超像素个数设定为K，超像素分割规整性的紧凑因子表示为m，
分别表示超像素所包含的像素点在Lab空间三个颜色通道上的平均值；
分别表示超像素所包含像素点的x-y坐标均值。
3.根据权利要求1所述的铜面缺陷检测方法，其特征在于，所述t为10。
4.根据权利要求1所述的铜面缺陷检测方法，其特征在于，亮度阈值Tl1为30～50，所述梯度阈值Te为10～20；所述自适应阈值Tvar为方差均值Avar1的1.5～3倍；所述设定的亮度均值阈值Tl2为60～80。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811363424.9A CN109658381B (zh) | 2018-11-16 | 2018-11-16 | 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811363424.9A CN109658381B (zh) | 2018-11-16 | 2018-11-16 | 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109658381A CN109658381A (zh) | 2019-04-19 |
| CN109658381B true CN109658381B (zh) | 2023-01-06 |
Family
ID=66111970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811363424.9A Active CN109658381B (zh) | 2018-11-16 | 2018-11-16 | 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109658381B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097548B (zh) * | 2019-05-08 | 2021-01-15 | 北华航天工业学院 | 一种基于机器视觉的钻孔缺陷检测系统及其检测方法 |
| CN110751619A (zh) * | 2019-08-28 | 2020-02-04 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种绝缘子缺陷检测方法 |
| CN110956078B (zh) * | 2019-10-09 | 2023-06-30 | 中国人民解放军战略支援部队信息工程大学 | 一种电力线检测方法及装置 |
| CN111882529B (zh) * | 2020-07-15 | 2024-06-07 | 苏州佳智彩光电科技有限公司 | 显示屏Mura缺陷检测方法及装置 |
| CN112819845B (zh) * | 2021-02-26 | 2023-10-27 | 华南理工大学 | 柔性封装基板轮廓、线宽线距缺陷检测方法及介质和设备 |
| CN112991283A (zh) * | 2021-03-04 | 2021-06-18 | 华南理工大学 | 基于超像素的柔性ic基板线宽检测方法、介质和设备 |
| CN112991302B (zh) * | 2021-03-22 | 2023-04-07 | 华南理工大学 | 基于超像素的柔性ic基板变色缺陷检测方法和装置 |
| CN113077461A (zh) * | 2021-04-29 | 2021-07-06 | 同济大学 | 一种基于半监督深度聚类的钢材表面质量检测方法 |
| CN113298809B (zh) * | 2021-06-25 | 2022-04-08 | 成都飞机工业（集团）有限责任公司 | 基于深度学习和超像素分割的复材超声图像缺陷检测方法 |
| CN114140462B (zh) * | 2021-12-10 | 2023-09-08 | 江苏牛犇轴承有限公司 | 一种基于图像处理的轴承磨损程度评估方法 |
| CN115115632B (zh) * | 2022-08-29 | 2023-04-07 | 海门市新亚镍丝网有限公司 | 一种纺织品接缝滑移检测伴随现象的分析方法 |
| CN116188468B (zh) * | 2023-04-27 | 2023-07-21 | 济宁市长荣电器科技有限公司 | 一种hdmi线缆传输分拣智能控制系统 |
| CN116703922B (zh) * | 2023-08-08 | 2023-10-13 | 青岛华宝伟数控科技有限公司 | 一种锯木缺陷位置智能定位方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8472718B2 (en) * | 2011-04-27 | 2013-06-25 | Sony Corporation | Superpixel segmentation methods and systems |
| CN104143186B (zh) * | 2014-07-04 | 2017-11-07 | 华南理工大学 | 一种slic超像素分块优化方法 |
| CN105590319B (zh) * | 2015-12-18 | 2018-06-29 | 华南理工大学 | 一种深度学习的图像显著性区域检测方法 |
| CN106875395B (zh) * | 2017-01-12 | 2020-04-14 | 西安电子科技大学 | 基于深度神经网络的超像素级sar图像变化检测方法 |
| CN107256547A (zh) * | 2017-05-26 | 2017-10-17 | 浙江工业大学 | 一种基于显著性检测的表面裂纹识别方法 |
| CN108447050A (zh) * | 2018-03-07 | 2018-08-24 | 湘潭大学 | 一种基于超像素的工件表面缺陷分割方法 |
-
2018
- 2018-11-16 CN CN201811363424.9A patent/CN109658381B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109658381A (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658381B (zh) | 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法 | |
| CN114723701B (zh) | 基于计算机视觉的齿轮缺陷检测方法和系统 | |
| CN113781402A (zh) | 芯片表面划痕缺陷的检测方法、装置和计算机设备 | |
| CN104778458B (zh) | 一种基于纹理特征的纺织品花纹检索方法 | |
| CN107305691A (zh) | 基于图像匹配的前景分割方法及装置 | |
| CN112991283A (zh) | 基于超像素的柔性ic基板线宽检测方法、介质和设备 | |
| CN113012124B (zh) | 一种鞋印孔洞和嵌入物特征检测及描述方法 | |
| CN112435272B (zh) | 一种基于图像轮廓分析的高压输电线连通域去除方法 | |
| CN113409267A (zh) | 一种基于深度学习的路面裂缝检测与分割方法 | |
| CN113052859A (zh) | 基于自适应种子点密度聚类超像素分割方法 | |
| CN115082477B (zh) | 一种基于去反光效果的半导体晶圆加工质量检测方法 | |
| CN110717900A (zh) | 基于改进Canny边缘检测算法的受电弓磨耗检测方法 | |
| CN117522864B (zh) | 基于机器视觉的欧松板表面瑕疵检测方法 | |
| CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
| CN115272350A (zh) | 一种计算机pcb主板生产质量检测方法 | |
| CN117853722A (zh) | 一种融合超像素信息的钢材金相组织分割方法 | |
| CN111738931A (zh) | 光伏阵列无人机航拍图像的阴影去除算法 | |
| WO2020164042A1 (zh) | 基于边界提取的区域合并图像分割算法 | |
| CN112784922A (zh) | 智能云端医疗影像的提取和分类方法 | |
| CN110349129B (zh) | 一种高密度柔性ic基板外观缺陷检测方法 | |
| CN109241865B (zh) | 一种弱对比度交通场景下的车辆检测分割算法 | |
| Kan et al. | Network models for monitoring high-dimensional image profiles | |
| CN115311293A (zh) | 一种印刷品图案的快速匹配方法 | |
| CN111915630B (zh) | 一种基于数据与模型联合驱动的陶瓷材料晶粒分割算法 | |
| CN114926360A (zh) | 基于噪声估计的图像降噪处理工作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |