CN112991302B - 基于超像素的柔性ic基板变色缺陷检测方法和装置 - Google Patents
基于超像素的柔性ic基板变色缺陷检测方法和装置 Download PDFInfo
- Publication number
- CN112991302B CN112991302B CN202110300079.XA CN202110300079A CN112991302B CN 112991302 B CN112991302 B CN 112991302B CN 202110300079 A CN202110300079 A CN 202110300079A CN 112991302 B CN112991302 B CN 112991302B
- Authority
- CN
- China
- Prior art keywords
- pixel
- color
- flexible
- substrate
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000758 substrate Substances 0.000 title claims abstract description 95
- 230000007547 defect Effects 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 title claims description 19
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000002845 discoloration Methods 0.000 claims abstract description 38
- 230000008859 change Effects 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000003908 quality control method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims description 4
- 230000004075 alteration Effects 0.000 claims 2
- 238000010606 normalization Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于超像素的柔性IC基板变色缺陷检测方法和装置,包括步骤:获取要检测变色缺陷的柔性IC基板源图像;对柔性IC基板源图像进行预处理;将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。本发明方法针对于要检测缺陷的柔性IC基板源图像,针对于预处理后提取ROI区域的图像,进行超像素图像的分割,以分割得到的超像素图像为基础,通过能量函数判定柔性IC基板变色缺陷,可以快速、准确以及全面的提取出柔性IC基板中的变色缺陷,避免由于变色缺陷位于边缘或者变色区域过大,导致变色缺陷误判的现象。
Description
技术领域
本发明涉及图像处理方法,特别涉及一种基于超像素的柔性IC基板变色缺陷检测方法和装置。
背景技术
高密度柔性IC基板在加工和保存运输的过程中,特别是蚀刻或者镀铜工艺的时候,由于工作人员的失误可能会导致基板外观收到其它颜色的侵蚀,严重的情况甚至会影响集成电路的使用寿命以及功能。外观变色缺陷(包括由于氧化,油墨,有色物质粘连引起的变色现象)的检测通常采用都是将图像映射到HSV颜色空间,然后对图像的特定颜色区域进行形态学处理和提取。对于缺陷轮廓完整位于外观金面内部的图像,该方法可以快速准确的定位。但是位于边缘,甚至是缺陷区域过大掩盖大部分重要金面信息的时候,由于外观金面的颜色信息被严重破坏,边缘轮廓和真实电路边缘轮廓混淆造成误判,缺陷区域使用上述方法会被判定为背景区域,从而影响缺陷检测算法的准确性。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足,提供一种基于超像素的柔性IC基板变色缺陷检测方法,该方法可以快速、准确以及全面的提取出柔性IC基板中的变色缺陷,避免由于变色缺陷位于边缘或者变色区域过大,导致变色缺陷误判的现象。
本发明的第二目的在于提供一种基于超像素的柔性IC基板变色缺陷检测装置。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
本发明的第一目的通过下述技术方案实现:一种基于超像素的柔性IC基板变色缺陷检测方法,包括步骤:
步骤S1、获取要检测变色缺陷的柔性IC基板源图像;
步骤S2、对柔性IC基板源图像进行预处理;
步骤S3、对预处理后的图像进行超像素图像的分割;
步骤S4、将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
优选的,步骤S2中柔性IC基板源图像进行预处理的过程如下:
步骤S21、首先采用中值滤波的方法对柔性IC基板源图像进行去噪处理;
步骤S22、将去噪处理后的图像进行色彩空间的映射,将RGB颜色空间映射到HSV颜色空间;
步骤S23、提取ROI区域并进行最大类间方差将图像二值化处理;其中ROI区域提取是指:根据柔性IC基板金面颜色特征,对金色颜色区域进行提取和分割。
更进一步的,步骤S22中,将RGB颜色空间映射到HSV颜色空间的方式如下:
V=max(R G B);
优选的,步骤S3中对预处理后的图像,基于色差分析的SLIC算法进行超像素图像分割的具体步骤如下:
步骤S31、按照ROI区域的面积和形状采用自适应算法选择各自连通域的种子的数量和坐标位置;
步骤S32、将图像从原来RGB颜色空间映射到CIELab颜色空间,针对每个像素构建一个6维特征向量:Pi=[hi,li,ai,bi,xi,yi],其中Pi表示像素i的6维特征向量,(xi,yi)表示像素i的坐标,li,ai,bi分别对应表示像素i的Lab颜色通道L分量值,a分量值和b分量值,hi是表示像素i的HSV颜色通道H分量值;
步骤S33、参考颜色质量控制检测标准CMC(l:c)色差计算,在原来的SLIC算法引入明度因子kl和彩色权重因子kc;设定图像的分割大小S和紧凑密度系数k,对于选择的种子进行局部聚类迭代,选择给定步长区域对种子点寻求梯度最小的像素点作为新的种子点;
其中,表示邻域像素点i与最近种子点j的明度差,表示邻域像素点与最近种子点的色度差,表示邻域像素点i与最近种子点j的色角差,SL、SC和SH分别表示像素明度、色彩和色差校正值;表示邻域像素点i与最近种子点j的空间信息差;
上式中:
SL,SC,SH计算公式如下:
SC=0.064·Ci/(1+0.013·Ci)+0.638;
SH=SC(T·f+1-f);
其中L表示CIELab颜色空间中l通道分量;式中的参数T,f计算方式如下所示:
其中,Ci表示像素点i的色度特征值,hi表示像素点i的色角特征值;
步骤S35、使用欧氏距离L2范数计算当前像素的最小尺度,并计算前一个聚类中心和当前聚类中心的残差△E:
△E=Eij-Eip;
优选的,步骤S4中将,判定柔性IC基板变色缺陷具体过程如下:
步骤S41、根据超像素颜色直方图构建颜色特征系数ρ,计算超像素块间的直方图相似程度ρ:
其中,Hista′是超像素a′的归一化H通道直方图,Histb′是超像素b′的归一化H通道直方图,
根据局部二进制模式计算每个超像素以最终的种子为中心的纹理特征系数μ:
其中,ic是超像素中心像素c的灰度值,iλ是超像素周围邻域像素λ的灰度值,s(·)是符号函数,具体定位为:
步骤S42、将超像素输入构建的能量函数,得到判据e2:
e2=κ1(ρ-ρm)2+κ2(μ-μmin)2;
其中ρm是超像素颜色特征均值,μmin是超像素块间的纹理特征最小值;κ1κ2是权重因子;
步骤S43、将超像素输入构建的能量函数得到的判据e2与阈值进行比较,若高于阈值,则判断对应超像素中存在变色缺陷;其中上述阈值根据柔性IC基板产品合格要求进行设定。
优选的,柔性IC基板源图像是柔性IC基板在显微镜范围内拍摄得到的,所述显微镜为金相显微镜,所使用的物镜放大倍数为20倍。
本发明第二目的通过以下技术方案实现:提供一种基于超像素的柔性IC基板变色缺陷检测装置,包括
获取模块,用于获取要检测变色缺陷的柔性IC基板源图像;
预处理模块,用于对柔性IC基板源图像进行预处理;
分割模块,用于对预处理后的图像进行超像素图像的分割;
判定模块,用于将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
优选的,所述预处理模块包括:
去噪处理模块,用于采用中值滤波的方法对柔性IC基板源图像进行去噪处理;
色彩空间映射模块,用于将去噪处理后的图像进行色彩空间的映射,将RGB颜色空间映射到HSV颜色空间;
ROI区域提取模块,用于提取ROI区域并进行最大类间方差将图像二值化处理;其中ROI区域提取是指:根据柔性IC基板金面颜色特征,对金色颜色区域进行提取和分割。
本发明第三目的通过以下技术方案实现:一种存储介质,存储有程序,所述程序被处理器执行时,实现本发明第一目的所述的基于超像素的柔性IC基板变色缺陷检测方法。
本发明第四目的通过以下技术方案实现:一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现本发明第一目的所述的基于超像素的柔性IC基板变色缺陷检测方法。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明基于超像素的柔性IC基板变色缺陷检测方法,首先获取要检测变色缺陷的柔性IC基板源图像;然后对柔性IC基板源图像进行预处理;接着对预处理后的图像进行超像素图像的分割;将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。由上述可知,本发明方法针对于要检测缺陷的柔性IC基板源图像,针对于预处理后提取ROI区域的图像,进行超像素图像的分割,以分割得到的超像素图像为基础,通过能量函数判定柔性IC基板变色缺陷,可以快速、准确以及全面的提取出柔性IC基板中的变色缺陷,避免由于变色缺陷位于边缘或者变色区域过大,导致变色缺陷误判的现象。
(2)本发明基于超像素的柔性IC基板变色缺陷检测方法中,在图像预处理时,将图像转换到HSV空间后,进行金色特定颜色特征提取,并且基于分割得到的超像素图像块为基础进行柔性IC基板变色缺陷的检测,能够弥补了特定颜色区域提取造成的边缘变色区域被识别为背景以及变色区域严重破坏图像颜色信息造成无法识别的问题。
(3)本发明基于超像素的柔性IC基板变色缺陷检测方法中,按照ROI区域的面积和形状采用自适应算法选择各自连通域的种子的数量和坐标位置,然后指定分割超像素大小S对种子的位置进行初始化,并限制种子点的更新迭代空间范围,并在特定的局部区域进行空间搜索,基于此,本发明方法能够在超像素图像分割时加快超像素迭代搜索的速度。
(4)本发明基于超像素的柔性IC基板变色缺陷检测方法中,在超像素图像分割过程中,参考了颜色质量控制检测标准CMC(l:c)色差计算方式,引入明度因子kl和彩色权重因子kc对超像素进行更新,能够更好地识别外观变色缺陷,更加符合人眼的识别效果。
(5)本发明基于超像素的柔性IC基板变色缺陷检测方法中,在分割得到超像素后,将超像素输入基于颜色和信息熵构建的能量函数,得到判据e2,最终将判据e2与阈值进行比较,若高于阈值,则判断对应超像素中存在变色缺陷;其中上述阈值根据柔性IC基板产品合格要求进行设定,基于上述操作,本发明方法能够更好地识别超像素间的变色严重性,并且克服了固定阈值带来的片面效果,能够自适应选择筛选出符合产品说明的不合格的缺陷区域。
附图说明
图1是本发明柔性IC基板变色缺陷检测方法的流程图。
图2是本发明柔性IC基板变色缺陷检测方法中图像预处理的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例1
本实施例公开了一种基于超像素的柔性IC基板变色缺陷检测方法,该方法可以由智能设备例如计算进行执行,如图1所示,包括步骤:
步骤S1、获取要检测变色缺陷的柔性IC基板源图像;本实施例中,柔性IC基板源图像是柔性IC基板在显微镜范围内拍摄得到的,显微镜为金相显微镜,所使用的物镜放大倍数为20倍,具体可以利用工业CCD相机拍摄,选用白色光源。
步骤S2、对柔性IC基板源图像进行预处理。本实施例中,如图2中所示,步骤S2中柔性IC基板源图像进行预处理的过程如下:
步骤S21、首先采用中值滤波的方法对柔性IC基板源图像进行去噪处理;在本实施例中,采用3*3大小的窗口进行中值滤波处理。
步骤S22、将去噪处理后的图像进行色彩空间的映射,将RGB颜色空间映射到HSV颜色空间,具体方式如下:
V=max(R G B);
其中,R、G、B分别对应表示RGB颜色通道R、G、B分量值,H、S、V分别对应表示HSV颜色通道H、S、V分量值。
步骤S23、提取ROI区域并进行最大类间方差将图像二值化处理;其中ROI区域提取是指:根据柔性IC基板金面颜色特征,对金色颜色区域进行提取和分割。
本实施例中,在白色光源下,提取的金面颜色区间在[26,34]。
步骤S3、对预处理后的图像进行超像素图像的分割;在本实施例中,基于色差分析的SLIC算法进行超像素图像分割的具体步骤如下:
步骤S31、按照ROI区域的面积和形状采用自适应算法选择各自连通域的种子的数量和坐标位置;
步骤S32、将图像从原来RGB颜色空间映射到CIELab颜色空间,针对每个像素构建一个6维特征向量:Pi=[hi,li,ai,bi,xi,yi],其中Pi表示像素i的6维特征向量,(xi,yi)表示像素i的坐标,li,ai,bi分别对应表示像素i的Lab颜色通道L分量值,a分量值和b分量值,hi是表示像素i的HSV颜色通道H分量值;
步骤S33、参考颜色质量控制检测标准CMC(l:c)色差计算,在原来的SLIC算法引入明度因子kl和彩色权重因子kc,这样得到的结果更加接近人眼观察检测的实际结果;设定图像的分割大小S和紧凑密度系数k,对于选择的种子进行局部聚类迭代,选择给定步长区域对种子点寻求梯度最小的像素点作为新的种子点。
在本实施例中,给定步长为3,即给定步长区域为3*3,图像的分割大小S可以设置为500,紧凑密度系数k可以设置为20。
其中,表示邻域像素点i与最近种子点j的明度差,表示邻域像素点与最近种子点的色度差,表示邻域像素点i与最近种子点j的色角差,SL、SC和SH分别表示像素明度、色彩和色差校正值;表示邻域像素点i与最近种子点j的空间信息差;
上式中:
SL,SC,SH计算公式如下:
SC=0.064·Ci/(1+0.013·Ci)+0.638;
SH=SC(T·f+1-f);
其中L表示CIELab颜色空间中l通道分量;式中的参数T,f计算方式如下所示:
其中,Ci表示像素点i的色度特征值,hi表示像素点i的色角特征值。
步骤S35、使用欧氏距离L2范数计算当前像素的最小尺度,并计算前一个聚类中心和当前聚类中心的残差△E:
△E=Eij-Eip;
步骤S4、将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷,具体过程如下:
步骤S41、根据超像素颜色直方图构建颜色特征系数ρ,计算超像素块间的直方图相似程度ρ:
其中,Hista′是超像素a′的归一化H通道直方图,Histb′是超像素b′的归一化H通道直方图。
根据局部二进制模式计算每个超像素以最终的种子为中心的纹理特征系数μ:
μ=∑λ2λs(iλ-ic);
其中,ic是超像素中心像素c的灰度值,iλ是超像素周围邻域像素λ的灰度值,假设邻域窗口的大小为m*m,则λ=0,1,2,...,m-1,s(·)是符号函数,具体定位为:
x为符号函数中的自变量。
步骤S42、将超像素输入构建的能量函数,得到判据e2:
e2=κ1(ρ-ρm)2+κ2(μ-μmin)2;
其中ρm是超像素颜色特征均值,μmin是超像素块间的纹理特征最小值;κ1κ2是权重因子,本实施例中κ1κ2可以分别设置为2/3,1/3。
步骤S43、将超像素输入构建的能量函数得到的判据e2与阈值进行比较,若高于阈值,则判断对应超像素中存在变色缺陷;其中上述阈值根据柔性IC基板产品合格要求进行设定,例如可以设置为50。
本领域技术人员可以理解,实现本实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,相应的程序可以存储于计算机可读存储介质中。应当注意,尽管在附图中以特定顺序描述了本实施例1的方法操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,描绘的步骤可以改变执行顺序,有些步骤也可以同时执行。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
实施例2
本实施例公开了一种基于超像素的柔性IC基板变色缺陷检测装置,包括:
获取模块,用于获取要检测变色缺陷的柔性IC基板源图像。
预处理模块,用于对柔性IC基板源图像进行预处理。
分割模块,用于对预处理后的图像进行超像素图像的分割,具体分割步骤如实施例1的步骤S31到S35所示,此处无需赘述。
判定模块,用于将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷,具体判定过程如步骤S41至步骤S43。
本实施例中,预处理模块包括:
去噪处理模块,用于采用中值滤波的方法对柔性IC基板源图像进行去噪处理;
色彩空间映射模块,用于将去噪处理后的图像进行色彩空间的映射,将RGB颜色空间映射到HSV颜色空间;
ROI区域提取模块,用于提取ROI区域并进行最大类间方差将图像二值化处理;其中ROI区域提取是指:根据柔性IC基板金面颜色特征,对金色颜色区域进行提取和分割。
本实施例上述各个模块的具体实现可以参见上述实施例1,在此不再一一赘述。需要说明的是,本实施例提供的装置仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
实施例3
本实施例公开了一种存储介质,存储有程序,所述程序被处理器执行时,实现实施例1所述的基于超像素的柔性IC基板变色缺陷检测方法,如下:
获取要检测变色缺陷的柔性IC基板源图像;
对柔性IC基板源图像进行预处理;
对预处理后的图像进行超像素图像的分割;
将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
上述过程中,具体的处理过程如实施例1所述,此处不再赘述。
在本实施例中,存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、U盘、移动硬盘等介质。
实施例4
本实施例公开了一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现实施例1所述的基于超像素的柔性IC基板变色缺陷检测方法,如下:
获取要检测变色缺陷的柔性IC基板源图像;
对柔性IC基板源图像进行预处理;
对预处理后的图像进行超像素图像的分割;
将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
上述过程中,具体的处理过程如实施例1所述,此处不再赘述。
本实施例中,计算设备可以是台式电脑、笔记本电脑、PDA手持终端、平板电脑等终端设备。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种基于超像素的柔性IC基板变色缺陷检测方法,其特征在于,包括步骤:
步骤S1、获取要检测变色缺陷的柔性IC基板源图像;
步骤S2、对柔性IC基板源图像进行预处理;
步骤S3、对预处理后的图像进行超像素图像的分割;基于色差分析的SLIC算法进行超像素图像分割的具体步骤如下:
步骤S31、按照ROI区域的面积和形状采用自适应算法选择各自连通域的种子的数量和坐标位置;
步骤S32、将图像从原来RGB颜色空间映射到CIELab颜色空间,针对每个像素构建一个6维特征向量:Pi=[hi,li,ai,bi,xi,yi],其中Pi表示像素i的6维特征向量,(xi,yi)表示像素i的坐标,li,ai,bi分别对应表示像素i的Lab颜色通道L分量值,a分量值和b分量值,hi表示像素点i的色角特征值;
步骤S33、参考颜色质量控制检测标准CMC(l:c)色差计算,在原来的SLIC算法引入明度因子kl和彩色权重因子kc;设定图像的分割大小S和紧凑密度系数k,对于选择的种子进行局部聚类迭代,选择给定步长区域对种子点寻求梯度最小的像素点作为新的种子点;
其中,表示邻域像素点i与最近种子点j的明度差,表示邻域像素点i与最近种子点j的色度差,表示邻域像素点i与最近种子点j的色角差,SL、SC和SH分别表示像素明度、色彩和色差校正值;表示邻域像素点i与最近种子点j的空间信息差;表示邻域像素点i与最近种子点j的空间距离;
上式中:
SL,SC,SH计算公式如下:
SC=0.064·Ci/(1+0.013·Ci)+0.638;
SH=SC(T·f+1-f);
其中L表示CIELab颜色空间中l通道分量;式中的参数T,f计算方式如下所示:
其中,Ci表示像素点i的色度特征值,hi表示像素点i的色角特征值;
步骤S35、使用欧氏距离L2范数计算当前像素的最小尺度,并计算前一个聚类中心和当前聚类中心的残差ΔE:
ΔE=Eij-Eip;
其中,Eij是表示像素点i和当前聚类中心j的相似度,Eip是表示像素点i和前一个聚类中心p的相似度;
步骤S4、将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
2.根据权利要求1所述的基于超像素的柔性IC基板变色缺陷检测方法,其特征在于,步骤S2中柔性IC基板源图像进行预处理的过程如下:
步骤S21、首先采用中值滤波的方法对柔性IC基板源图像进行去噪处理;
步骤S22、将去噪处理后的图像进行色彩空间的映射,将RGB颜色空间映射到HSV颜色空间;
步骤S23、提取ROI区域并进行最大类间方差将图像二值化处理;其中ROI区域提取是指:根据柔性IC基板金面颜色特征,对金色颜色区域进行提取和分割。
4.根据权利要求1所述的基于超像素的柔性IC基板变色缺陷检测方法,其特征在于,步骤S4中判定柔性IC基板变色缺陷具体过程如下:
步骤S41、根据超像素颜色直方图构建归一化H通道直方图,计算超像素块间的直方图相似程度ρ:
其中,Hista′是超像素a′的归一化H通道直方图,Histb′是超像素b′的归一化H通道直方图,
根据局部二进制模式计算每个超像素以最终的种子为中心的纹理特征系数μ:
μ=∑λ2λs(iλ-ic);
其中,ic是超像素中心像素c的灰度值,iλ是超像素周围邻域像素λ的灰度值,s(·)是符号函数,具体定位为:
步骤S42、将超像素输入构建的能量函数,得到判据e2:
e2=κ1(ρ-ρm)2+κ2(μ-μmin)2;
其中ρm是超像素颜色特征均值,μmin是超像素块间的纹理特征最小值;κ1κ2是权重因子;
步骤S43、将超像素输入构建的能量函数得到的判据e2与阈值进行比较,若高于阈值,则判断对应超像素中存在变色缺陷;其中上述阈值根据柔性IC基板产品合格要求进行设定。
5.根据权利要求1所述的基于超像素的柔性IC基板变色缺陷检测方法,其特征在于,柔性IC基板源图像是柔性IC基板在显微镜范围内拍摄得到的,所述显微镜为金相显微镜,所使用的物镜放大倍数为20倍。
6.一种基于超像素的柔性IC基板变色缺陷检测装置,其特征在于,包括
获取模块,用于获取要检测变色缺陷的柔性IC基板源图像;
预处理模块,用于对柔性IC基板源图像进行预处理;
分割模块,用于对预处理后的图像进行基于色差分析的SLIC算法的超像素图像的分割;基于色差分析的SLIC算法进行超像素图像分割的具体步骤如下:
按照ROI区域的面积和形状采用自适应算法选择各自连通域的种子的数量和坐标位置;
将图像从原来RGB颜色空间映射到CIELab颜色空间,针对每个像素构建一个6维特征向量:Pi=[hi,li,ai,bi,xi,yi],其中Pi表示像素i的6维特征向量,(xi,yi)表示像素i的坐标,li,ai,bi分别对应表示像素i的Lab颜色通道L分量值,a分量值和b分量值,hi表示像素点i的色角特征值;
参考颜色质量控制检测标准CMC(l:c)色差计算,在原来的SLIC算法引入明度因子kl和彩色权重因子kc;设定图像的分割大小S和紧凑密度系数k,对于选择的种子进行局部聚类迭代,选择给定步长区域对种子点寻求梯度最小的像素点作为新的种子点;
其中,表示邻域像素点i与最近种子点j的明度差,表示邻域像素点i与最近种子点j的色度差,表示邻域像素点i与最近种子点j的色角差,SL、SC和SH分别表示像素明度、色彩和色差校正值;表示邻域像素点i与最近种子点j的空间信息差;表示邻域像素点i与最近种子点j的空间距离;
上式中:
SL,SC,SH计算公式如下:
SC=0.064·Ci/(1+0.013·Ci)+0.638;
SH=SC(T·f+1-f);
其中L表示CIELab颜色空间中l通道分量;式中的参数T,f计算方式如下所示:
其中,Ci表示像素点i的色度特征值,hi表示像素点i的色角特征值;
使用欧氏距离L2范数计算当前像素的最小尺度,并计算前一个聚类中心和当前聚类中心的残差ΔE:
ΔE=Eij-Eip;
其中,Eij是表示像素点i和当前聚类中心j的相似度,Eip是表示像素点i和前一个聚类中心p的相似度;
判定模块,用于将分割之后得到的超像素图像输入能量函数判定柔性IC基板变色缺陷。
7.根据权利要求6所述的基于超像素的柔性IC基板变色缺陷检测装置,其特征在于,所述预处理模块包括:
去噪处理模块,用于采用中值滤波的方法对柔性IC基板源图像进行去噪处理;
色彩空间映射模块,用于将去噪处理后的图像进行色彩空间的映射,将RGB颜色空间映射到HSV颜色空间;
ROI区域提取模块,用于提取ROI区域并进行最大类间方差将图像二值化处理;其中ROI区域提取是指:根据柔性IC基板金面颜色特征,对金色颜色区域进行提取和分割。
8.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1~5中任一项所述的基于超像素的柔性IC基板变色缺陷检测方法。
9.一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现权利要求1~5中任一项所述的基于超像素的柔性IC基板变色缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110300079.XA CN112991302B (zh) | 2021-03-22 | 2021-03-22 | 基于超像素的柔性ic基板变色缺陷检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110300079.XA CN112991302B (zh) | 2021-03-22 | 2021-03-22 | 基于超像素的柔性ic基板变色缺陷检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112991302A CN112991302A (zh) | 2021-06-18 |
CN112991302B true CN112991302B (zh) | 2023-04-07 |
Family
ID=76334257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110300079.XA Active CN112991302B (zh) | 2021-03-22 | 2021-03-22 | 基于超像素的柔性ic基板变色缺陷检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112991302B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362347B (zh) * | 2021-07-15 | 2023-05-26 | 广东工业大学 | 一种基于超像素特征增强的图像缺陷区域分割方法和系统 |
CN113793337B (zh) * | 2021-11-18 | 2022-02-08 | 汶上海纬机车配件有限公司 | 基于人工智能的机车配件表面异常程度评估方法 |
CN114926417B (zh) * | 2022-05-09 | 2024-05-28 | 华南理工大学 | 高密度柔性fpc表面弱划痕的显微成像检测方法及系统 |
CN114943736B (zh) * | 2022-07-21 | 2022-10-25 | 山东嘉翔汽车散热器有限公司 | 一种汽车散热翅片生产质量检测方法及系统 |
CN115018828B (zh) * | 2022-08-03 | 2022-10-25 | 深圳市尹泰明电子有限公司 | 一种电子元器件的缺陷检测方法 |
CN115082480B (zh) * | 2022-08-23 | 2023-01-20 | 启东市鸿盛纺织有限公司 | 一种基于颜色共生矩阵的家纺耐摩擦色牢度检测方法 |
CN116703939B (zh) * | 2023-05-16 | 2024-08-20 | 绿萌科技股份有限公司 | 一种基于超像素区域色差状况的彩色水果图像分割方法 |
CN117152127B (zh) * | 2023-10-26 | 2024-01-16 | 深圳市兴东泰电子有限公司 | 基于机器视觉的ptfe成品外观缺陷检测方法 |
CN117252871B (zh) * | 2023-11-15 | 2024-02-13 | 深圳市精石光掩膜技术有限公司 | 一种半导体光掩膜基板检测方法、系统、设备及存储介质 |
CN118154594B (zh) * | 2024-05-10 | 2024-07-30 | 山东力乐包装股份有限公司 | 一种基于电数字数据处理的木质托盘缺陷分析系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019062092A1 (zh) * | 2017-09-30 | 2019-04-04 | 深圳市颐通科技有限公司 | 基于超像素-多色彩空间的人体轮廓提取方法 |
CN109886937A (zh) * | 2019-01-29 | 2019-06-14 | 国家电网有限公司 | 基于超像素分割图像识别的绝缘子缺陷检测方法 |
CN111311552A (zh) * | 2020-01-20 | 2020-06-19 | 华南理工大学 | 一种柔性ic基板圆形金面缺失情况下的圆轮廓检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4172761B2 (ja) * | 2002-10-08 | 2008-10-29 | 大日本スクリーン製造株式会社 | 欠陥検査装置、欠陥検査方法およびプログラム |
CN107292253B (zh) * | 2017-06-09 | 2019-10-18 | 西安交通大学 | 一种道路行驶区域的视觉检测方法 |
CN108681994B (zh) * | 2018-05-11 | 2023-01-10 | 京东方科技集团股份有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
CN109003268B (zh) * | 2018-07-19 | 2022-02-15 | 华南理工大学 | 一种超薄柔性ic基板外观颜色检测方法 |
CN109658381B (zh) * | 2018-11-16 | 2023-01-06 | 华南理工大学 | 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法 |
CN110349129B (zh) * | 2019-06-24 | 2023-06-16 | 华南理工大学 | 一种高密度柔性ic基板外观缺陷检测方法 |
-
2021
- 2021-03-22 CN CN202110300079.XA patent/CN112991302B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019062092A1 (zh) * | 2017-09-30 | 2019-04-04 | 深圳市颐通科技有限公司 | 基于超像素-多色彩空间的人体轮廓提取方法 |
CN109886937A (zh) * | 2019-01-29 | 2019-06-14 | 国家电网有限公司 | 基于超像素分割图像识别的绝缘子缺陷检测方法 |
CN111311552A (zh) * | 2020-01-20 | 2020-06-19 | 华南理工大学 | 一种柔性ic基板圆形金面缺失情况下的圆轮廓检测方法 |
Non-Patent Citations (1)
Title |
---|
陈宸 等.基于SLIC超像素算法和密度聚类的TA2钛板表面缺陷定量化评估研究.电子测量与仪器学报.2019,33(11),第128-135页. * |
Also Published As
Publication number | Publication date |
---|---|
CN112991302A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112991302B (zh) | 基于超像素的柔性ic基板变色缺陷检测方法和装置 | |
CN102426649B (zh) | 一种简单的高准确率的钢印数字自动识别方法 | |
CN108319973B (zh) | 一种树上柑橘果实检测方法 | |
CN108629343B (zh) | 一种基于边缘检测和改进Harris角点检测的车牌定位方法和系统 | |
CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
CN104794502A (zh) | 一种基于图像处理和模式识别技术的稻瘟病孢子显微图像识别方法 | |
CN113963042B (zh) | 基于图像处理的金属零件缺陷程度评估方法 | |
WO2013080868A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN111161222B (zh) | 一种基于视觉显著性的印刷辊筒缺陷检测方法 | |
CN115082451B (zh) | 一种基于图像处理的不锈钢汤勺缺陷检测方法 | |
CN115205194B (zh) | 基于图像处理的粘虫板覆盖率检测方法、系统及装置 | |
CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
CN108389215B (zh) | 一种边缘检测方法、装置、计算机存储介质及终端 | |
CN109975196B (zh) | 一种网织红细胞检测方法及其系统 | |
CN112488955A (zh) | 一种基于波长补偿的水下图像复原方法 | |
CN110930425B (zh) | 基于邻域向量内积局部对比度图像增强的损伤目标检测方法 | |
CN114066862A (zh) | 一种基于色域和轮廓特征的指示器识别方法及系统 | |
CN109903275B (zh) | 一种基于自适应多尺度滤波和直方图对比的酒醅发霉区域检测方法 | |
CN110298835B (zh) | 一种皮革表面破损检测方法、系统及相关装置 | |
CN116596899A (zh) | 基于荧光图像识别循环肿瘤细胞方法、装置、终端及介质 | |
CN115661110A (zh) | 一种透明工件识别与定位的方法 | |
CN115272362A (zh) | 一种数字病理全场图像有效区域分割方法、装置 | |
CN117689716B (zh) | 板件视觉定位识别抓取方法、控制系统及板件生产线 | |
Dannemiller et al. | A new method for the segmentation of algae images using retinex and support vector machine | |
CN117501326A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |