CN116542974A - 一种基于多尺度网格化的覆铜板表面缺陷检测方法 - Google Patents
一种基于多尺度网格化的覆铜板表面缺陷检测方法 Download PDFInfo
- Publication number
- CN116542974A CN116542974A CN202310817164.2A CN202310817164A CN116542974A CN 116542974 A CN116542974 A CN 116542974A CN 202310817164 A CN202310817164 A CN 202310817164A CN 116542974 A CN116542974 A CN 116542974A
- Authority
- CN
- China
- Prior art keywords
- copper
- pyramid
- layer
- grid
- clad
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 230000015556 catabolic process Effects 0.000 claims abstract description 16
- 238000006731 degradation reaction Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 10
- 230000005012 migration Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 9
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000007689 inspection Methods 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000005253 cladding Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000011162 core material Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明提供了一种基于多尺度网格化的覆铜板表面缺陷检测方法，包括S1，通过线扫相机收集拍摄好的覆铜板图像；S2，分割覆铜区和非覆铜区，将覆铜区旋转至正；S3，根据设定的网格参数，对图像覆铜区进行划分，并对划分出来的原始网格图进行金字塔操作；S4，计算原始网格图以及各层金字塔网格图的均值；S5，通过均值退化系数，融合原始网格图以及各层金字塔网格图的均值，得出最终背景均值，通过背景前景差异，检出缺陷；S6，对缺陷进行分类。本发明在减少运算量的同时，又保留了背景的局部信息，既提升了检测速度，又保证了精度的稳定。这在对材料有需要进行高速检测的时候，有良好的检测效果。
Description
技术领域
本发明涉及一种基于多尺度网格化的覆铜板表面缺陷检测方法。
背景技术
覆铜板作为印刷电路板的核心材料，其主要对印刷电路板起到互连导通，绝缘等作用，以至于对电路中的信号传输有比较大的影响。由覆铜板制作后的电路板，又被广泛应用于通信、医疗、军事、半导体等行业，几乎涉及了所有电子信息产品。所以覆铜板作为源头材料，其质量的好坏直接影响到了后期各个行业的发展。
覆铜板工艺产线中的质检方式，传统是通过人工视察材料表面的方式来定位缺陷，而缺陷的种类比较多，如划伤、脏污、黑点、白点、气泡等。但是，具有以下缺点：1.由于材料表面的属性问题，有些微弱的缺陷人的肉眼不一定能很好的觉察。2.材料相对较大，工人在寻找缺陷的时候需要对材料进行旋转，翻面等操作，而这些操作会造成对材料的二次伤害。3.人的精力是有限的，导致即使出现缺陷也没有察觉。4.过多的人力成本 5.都会导致产线运行效率低下。
目前，也有相关视觉对覆铜板质检的应用：通过视觉成像，逐个计算图像中覆铜板局部区域均值来作为板面背景，当板面上有缺陷的时候，由于灰度差的关系，缺陷至此被检出。如此，由于均值计算受到整块区域的影响，当缺陷的大小占比整个局部区域比较大的时候，均值计算的背景几乎都是缺陷的灰阶值，导致缺陷无法正常检出。而且该种方式由于逐像素滑动窗口做均值，当检测目标比较大时，非常耗时。
发明内容
本发明的目的是提供一种基于多尺度网格化的覆铜板表面缺陷检测方法，对于覆铜板表面缺陷，尽管不同缺陷的大小不同，相比于以往的覆铜板质检的视觉检测，速度更快，鲁棒性更高。为此，本发明采用以下技术方案：
一种基于多尺度网格化的覆铜板表面缺陷检测方法，其特征在于，包括以下步骤：
S1，通过线扫相机收集拍摄好的覆铜板图像；
S2，分割覆铜区和非覆铜区，将覆铜区旋转至正；
S3，根据设定的网格参数，对图像覆铜区进行划分， 并对划分出来的原始网格图进行金字塔操作；所述参数包括：原始网格图的宽，原始网格图的高/>，金字塔层级数量N，各层金字塔网格缩放系数/>，/>为金字塔网格层索引，均值退化系数V，其中，均值退化系数的选定取决于层数数量N；
S4，计算原始网格图以及各层金字塔网格图的均值；
S5，通过均值退化系数，融合原始网格图以及各层金字塔网格图的均值，得出最终背景均值，通过背景前景差异，检出缺陷；
S6，对缺陷进行分类。
进一步地，步骤S2具体为：
S2.1针对每张图片，通过阈值求解的方式，分离覆铜区和非覆铜区；阈值求解通过基于直方图的前后背景分割方式；
S2.2 分割完成之后，通过比对轮廓大小，筛选出覆铜区域，公式如下：
，
其中为目标轮廓，/>为选取出来的待比较轮廓，/>为轮廓的索引，/>为总共的轮廓数量，max为选取最大轮廓；
S2.3 提取完轮廓后，采用最小外接矩形算法确定覆铜区实际的方位状态，即轮廓是“正”矩形还是非“正”矩形，以及轮廓在图像中所处的位置；在得到轮廓角度和中心位置之后，通过建立仿射变换矩阵，将图像进行旋转平移，覆铜区此时将被旋转到“正”位，后续将覆铜区从图像中抠出，以便后续进行视觉瑕疵检测。所述“正”，表示以笛卡尔为坐标参考系， 矩形其中一条边与x轴的夹角为0度。
进一步地，以为原始网格图的宽，/>为原始网格图的高，将覆铜区划分K 个原始网格图， 针对每个原始网格图，进行金字塔操作；
金字塔层数 , />为每一层金字塔网格图的宽，/>为每一层金字塔网格图的高，金字塔层数的设定受限于金字塔网格图的宽高，当宽或高超过5的时候，层数被强制设置为1，并且停止金字塔操作， 否则以/>为缩放系数，/>为大于0，小于1的系数，/>为金字塔网格层的索引；将原始网格图缩放至N层；
均值退化系数V的计算依赖于层数N，为层数N的倒数。
进一步地，步骤S4中，对K * N 张图片进行4点插值平均算法，公式如下;
上述公式中，为金字塔网格图的四个顶点，/>表示不同顶点的像素值，/>分别表示顶点的x和y值；/>=1,2,3,4；K为原始网格图数，N为层数；
通过上述计算，所有原始网格图以及金字塔网格图都拥有一个背景值。
进一步地，步骤S5中，抽取原始网格图以及金字塔网格图的背景值，将这些背景值乘以退化系数并进行累加，得到最终背景值；公式如下：
，
上式中，avg为最终背景值，为每层的均值，V为均值退化系数，/>为金字塔网格层索引。
创建跟原始网格图一样大小的空图，并以avg为值，填满整个空图，形成缺陷背景图，将形成缺陷背景图与原始网格图做差分，设定黑白缺陷灰阶容差，检出缺陷。
进一步地，本发明使用基于深度学习模型mobileNetV2作为迁移模型；
所述迁移模型的网络迁移结构，由倒残差结构，金字塔结构，沙漏模块和分类模块组成；
其中沙漏模块的搭建，又依赖于3种类型的子模块，每个子模块的建立通过不同的网络层进行连接，分别是：
子模块1：扩维层，归一化层，relu6 激活函数层
子模块2：深度分离层，归一化层，relu6 激活函数层
子模块3：降维层，归一化层；
所述残差结构指沙漏结构的输入特征跟输出特征做element wise add操作，用于将特征进行融合，而分类层则是在网络尾端继续套接两个全连接层，根据缺陷种类做flatten处理。
进一步地，所述步骤S6具体为：
6.1.1）首先对输入的图像与一个卷积层进行串联，开始第一层的特征提取；
6.1.2）将3个子模块形成沙漏结构，同时将不同数量的沙漏结构串联成倒残差结构。用于获取不同维度的特征以及不会出现过大的参数量；
6.1.3）网络末端进行一个跳连接金字塔操作。 使得特征信息在抽象的同时，又保证不会抽象过多而丢失信息；
6.2）收集缺陷样本数据，并对这些数据进行类别标注，将这些预处理好的数据送入网络进行训练，网络将根据设定的损失函数来调整最终的输出；
所用的损失函数定义为：
，
其中为预测值，/>为真实的标签类别, />为类别个数，n为类别索引。当越小，说明括号内概率越大，也就表明样本在真实类别上的概率越大；
6.3）在训练完成之后，模型将被部署在实际运行环境，当有缺陷被正常检出时，该缺陷会被送入网络进行分类。 达到了最后的缺陷分类效果。
在对缺陷进行检测的时候，获取到的视觉图片受制于精度要求，数据量往往会比较大，采用本发明的方案，由于背景的制作不再需要对整块网格或者以滑动窗口的方式进行均值计算，通过使用上述提出的技术流程，在减少运算量的同时，又保留了背景的局部信息。既提升了检测速度，又保证了精度的稳定。这在对材料有需要进行高速检测的时候，有良好的检测效果。
附图说明
图1为本发明检测方法的流程图。
图2为分割覆铜区和非覆铜区的直方图。
图3-1和图3-2分别为像素步距图和原始网格图的划分。
图4为网格金字塔网格图的制作过程图。
图5为4点插值平均算法示意图。
图6-1、图6-2、图6-3和图6-4分别为缺陷检测流程中的原图，缺陷背景图，前景候选图和缺陷图。
图7为特征金字塔结构组成图。
图8为沙漏结构模块组成图。
图9为迁移模型模块组成图。
图10-1、图10-2、图10-3、图10-4分别为图像预处理中的原图，覆铜区候选图，旋转至正图，以及原始网格图的划分过程图。
图11-1、图11-2、 图11-3、图11-4分别为结合实际生产过程中分类缺陷中，凹点，凸点，褶皱，划伤的分类缺陷效果图。
具体实施方式
以下结合附图1，对本发明的基于多尺度网格化的覆铜板表面缺陷检测方法进行详细说明。覆铜板在生产过程中通过流水线进行连续传递，本发明的方法对覆铜板的缺陷进行在线实时检测。
S1. 通过线扫相机获取图片。本实施例中，使用4个线扫相机，以此覆盖整个材料的拍摄面，对材料的每个部位拍摄，获取清晰的4张图片。
S2：分割覆铜区和非覆铜区，将覆铜区旋转至正。
S2.1针对每张图片，通过阈值求解的方式，分离覆铜区和非覆铜区。阈值求解通过基于直方图的前后背景分割方式。所述直方图分割算法，对全图像素值进行0到255进行统计，背景的像素直方图和覆铜区的像素直方图将呈现双波峰现象。如图2所示，针对直方图，首先通过固定阈值T过滤噪声数值，小于T的像素值都被压制。随后对直方图求两次极大值，找到代表背景和覆铜区的位置，以两者的均值作为最终覆铜区和背景的分割阈值进行分离。以下为直方图求解公式：
其中代表直方图，/>表示具有灰度/>的像素个数，MN为所有的像素个数。在图2中，横坐标为像素值，纵坐标为当前像素值下，图像中像素个数。假定a为背景顶峰，b为覆铜区顶峰，以两者之间的均值t=(a+b)/2作为最终分割的阈值, 小于阈值的为背景，大于阈值的为覆铜区。
S2.2 分割完成之后，需要进行轮廓提取，此时提取出来的轮廓除了覆铜区还有可能是噪声区。鉴于覆铜在图像中属于大目标，所以通过比对轮廓大小，筛选出覆铜区域。公式如下：
，
其中为目标轮廓，/>为选取出来的待比较轮廓，/>为轮廓的索引，/>为总共的轮廓数量，max为选取最大轮廓。
S2.3 提取完轮廓后，需要确定覆铜区实际的方位状态，即轮廓是“正”矩形还是非“正”矩形，以及轮廓在图像中所处的位置。最小外接矩形算法可以很好的求解目标问题。在得到轮廓角度和中心位置之后，通过建立仿射变换矩阵， 将图像进行旋转平移，覆铜区此时将被旋转到“正”位。后续将覆铜区从图像中抠出，以便后续进行视觉瑕疵检测。以下为仿射变换矩阵的建立公式：，
矩阵中为筛选出的覆铜区的角度，tx，ty表示需要进行中心平移的相对量， x，y表示被做变换的坐标点，/>表示经过旋转平移后的点坐标。
做完上述操作后，得到覆铜区域图。
S3：设定原始网格图的宽，高/>，金字塔层级数量N，金字塔缩放系数/>，均值退化系数/>，其中退化系数的选定取决于层数数量/>。
如图3-2所示，原始网格图的宽和高分别为，/>。/></> && /></>，其中为覆铜区，/>为覆铜区的高。由此整个覆铜区被分成多个原始网格图，传统的背景制作需要根据滑动窗口逐像素获取图像块，如图3-1所示，如以现有技术采用的统计图像块总体均值作为背景值，导致过度耗时且容易受内部缺陷灰阶以及大小影响，而本发明提出的方法，避免了上述问题。
金字塔层数 ，/>为每一层金字塔网格图的宽，/>为每一层金字塔网格图的高，金字塔层数的设定受限于金字塔网格图的宽高，当宽或高超过5的时候，层数被强制设置为1，并且停止金字塔操作。
金字塔系数用于确立每层金字塔图的宽高，即，式中 />为金字塔网格图进行第/>层缩放后的宽，/>为金字塔网格图进行第/>层缩放后的高，/>为各层金字塔网格缩放系数及第j层对应的缩放系数，/>为大于0，小于1的系数。
均值退化系数V的计算依赖于层数N，为层数N的倒数。
对覆铜区进行原始网格图的划分：通过设定的原始网格图的宽高，每次以原始网格图的宽度为步长，在覆铜区沿着X轴方向移动，以原始网格图的高度/>为步长沿着Y轴进行移动，获取金字塔网格图4个角点的坐标。如此，覆铜区被分成了K份，也即K张原始网格图。
，
Ceil表示向上取整。
做完上述操作后，将获取到的原始网格图进行金字塔缩放操作。针对每张原始网格图，将其缩放成N张图片，每张图片的宽高计算公式如下：
，
其中 ，/>为原始网格图的宽和高，/>为各层金字塔网格缩放系数，/>为金字塔网格层的索引。值得注意的是，当/>或/>小于5个像素值的时候，停止金字塔行为。由每张原始网格图创建的一系列金字塔网格图为一组，K张原始网格图，即K组金字塔网格图，合计K * N张图， 过程见图4。
S4：对上述产生的K * N图计算每张图的均值。基于网格化的4点插值平均算法。以其中一张金字塔网格图为例，如图5所示，取四个顶点的像素灰度值，通过双线性插值插出/>网格中心点的灰度值，并将该灰度值作为当前金字塔网格图的背景值。
插值公式为：
上述公式中，表示为网格图的不同顶点的像素值，/>分别表示顶点的x和y值；/>=1,2,3,4。
通过上述计算，所有原始网格图以及金字塔网格图都拥有一个背景值。
S5：融合原始网格图以及金字塔网格图的背景值，作为原始区域的最终背景值。抽取原始网格图以及金字塔网格图的背景值，将这些背景值乘以退化系数并进行累加。得到最终背景值。公式如下：
，
上式中，avg为最终背景值，为每层的均值，V为退化系数，/>为金字塔网格层索引。
计算完毕的背景值将被用来填充在跟原始网格图一样大小的空图上，并将此图作为缺陷背景图，随后将原始网格图与缺陷背景图做差分，通过设定的灰阶容差， 容易找出候选的缺陷区域，将该区域原始网格图做逻辑与的操作，就可以得到最终的缺陷。
以下以实际生产过程中拍摄的原图中的其中一块原始网格图为例（参见图6-1），证明经由步骤S3，S4，S5计算出来的背景值来作为缺陷背景图，能良好的检测出缺陷。在图6-1的基础上创建跟原始网格图一样大小的空图，并以avg为值，填满整个空图，形成缺陷背景图（参见图6-2），将该图与原始网格图做像素级别差分，并且设定黑白缺陷灰阶容差，满足容差范围之内的为前景候选图（参见图6-3），将前景候选图与原始网格图做逻辑与的操作，最终可以得到缺陷，检测效果见图6-4。
S6：当检出完缺陷之后，需要对缺陷做分类。传统的分类通过人工特征提取的方式，比如缺陷的长宽比， 圆度， 凹度等。 将这些属性作为特征， 送入分类器进行分类训练。 然而由于特征属性的局限性， 会导致分类精度，而且鲁棒性以及可扩展性差，尤其是当实际工况中出现新缺陷的时候，无法很好的调整参数，导致以往设置好的分类条件被破坏。考虑到上述问题以及实际现场检测的实时性问题，本发明使用基于深度学习模型mobileNetV2作为迁移模型。在原先网基础上继续套链全连接层，并根据缺陷种类，重新设计分类层。具体如下：
所述基于mobileNetv2的网络迁移结构，由倒残差结构，特征金字塔结构（与前述金字塔不同，见图7），沙漏模块（见图8）和分类模块组成。
其中沙漏模块的搭建，又依赖于3种类型的子模块。每个子模块的建立通过不同的网络层进行连接。分别是：
子模块1：扩维层，归一化层，relu6 激活函数层
子模块2：深度分离层，归一化层，relu6 激活函数层
子模块3：降维层，归一化层。
所述残差结构指沙漏结构的输入特征跟输出特征做element wise add操作。 用于将特征进行融合。而分类层则是在网络尾端继续套接两个全连接层，根据缺陷种类做flatten处理。详细步骤具体为：
6.1.1）首先对输入的图像与一个卷积层进行串联，开始第一层的特征提取。
6.1.2）将3个子模块形成沙漏结构，同时将不同数量的沙漏结构串联成倒残差结构。用于获取不同维度的特征以及不会出现过大的参数量。
6.1.3）网络末端进行一个跳连接金字塔操作。 使得特征信息在抽象的同时，又保证不会抽象过多而丢失信息。
网络的结构如图9所示。在图9中，英文表示的意思为：
Conv2d：卷积层；Element_wise_add:逐元素叠加层；Avg_layer:池化层；Fclayer:全连接层；Flatten layer：分类层。
6.2）收集缺陷样本数据，并对这些数据进行类别标注，将这些预处理好的数据送入网络进行训练，网络将根据设定的损失函数来调整最终的输出。
所用的损失函数定义为：
其中为预测值，/>为真实的标签类别, />为类别个数， n为类别索引。当/>越小，说明括号内概率越大，也就表明样本在真实类别上的概率越大。
6.3）在训练完成之后，模型将被部署在实际运行环境，当有缺陷被正常检出时，该缺陷会被送入网络进行分类。达到了最后的缺陷分类效果。
以下结合实际生产的相关示例对本发明的检测方法进一步详细说明。
在检测初期，通过相机采集获取包含覆铜板的原图（参见图10-1），为了找到覆铜板在图像中的位置，首先需要对覆铜板的区域进行定位。定位过程首先通过对图像进行直方图前后背景分割，通过分割出来的前景，找到覆铜板的大概区域，对区域进行轮廓提取，最大的轮廓被视为覆铜板的区域（参见图10-2），至此轮廓的位置被确立。随后通过该轮廓，将原图进行仿射变换，将其旋转至“正”（参见图10-3），并将旋转完之后的覆铜区进行网格划分（参见图10-4）。获取每个网格原图（参见图6-1）并建立金字塔结构（过程参见图4），并通过这些金字塔结构，开始背景值的计算，并将计算完背景值进行背景填充，形成缺陷背景图（参见图6-2）。将网格原图与缺陷背景图做差分，形成差分图，此时如果网格原图中存在缺陷，会在差分图以较高灰阶值排布，满足缺陷灰阶容差的像素团将被视作前景候选图（参见图6-3），为展示最终缺陷效果，将前景候选图与网格原图做逻辑与的操作，可得到缺陷（参见图6-4）。将得到的一系列缺陷送入mobileNetV2迁移模型进行预测分类，完成对缺陷的最终类别分类，至此，完成缺陷所有的检出以及分类流程。
图11-1 为结合实际生产，经过上述检测流程之后，被正确分类出来的4张凹点缺陷图，可以看到缺陷图里面即使背景比较复杂且缺陷亮暗不均，但是最终都能很好的被检测出来且正确地被分到同一类。图11-2，图11-3，图11-4也是分别为经过本发明所述方法，被正确检测出来的4张凸点缺陷图，4张褶皱缺陷图和4张划伤缺陷图。可以看到本发明的方法对不同的缺陷种类也具有强鲁棒性，适用于其他不同类型的缺陷检测。
Claims (7)
1.一种基于多尺度网格化的覆铜板表面缺陷检测方法，其特征在于，包括以下步骤：
S1，通过线扫相机收集拍摄好的覆铜板图像；
S2，分割覆铜区和非覆铜区，将覆铜区旋转至正；
S3，根据设定的网格参数，对图像覆铜区进行划分， 并对划分出来的原始网格图进行金字塔操作；所述参数包括：原始网格图的宽，原始网格图的高/>，金字塔层级数量N，各层金字塔网格缩放系数/> ，/>为金字塔网格层索引，均值退化系数V，其中，均值退化系数的选定取决于层数数量N；
S4，计算原始网格图以及各层金字塔网格图的均值；
S5，通过均值退化系数，融合原始网格图以及各层金字塔网格图的均值，得出最终背景均值，通过背景前景差异，检出缺陷；
S6，对缺陷进行分类。
2.如权利要求1所述的一种基于多尺度网格化的覆铜板表面缺陷检测方法，其特征在于，步骤S2具体为：
S2.1针对每张图片，通过阈值求解的方式，分离覆铜区和非覆铜区；阈值求解通过基于直方图的前后背景分割方式；
S2.2 分割完成之后，通过比对轮廓大小，筛选出覆铜区域，公式如下：
，
其中为目标轮廓，/>为选取出来的待比较轮廓，/>为轮廓的索引，/>为总共的轮廓数量，max为选取最大轮廓；
S2.3 提取完轮廓后，采用最小外接矩形算法确定覆铜区实际的方位状态，即轮廓是“正”矩形还是非“正”矩形，以及轮廓在图像中所处的位置；在得到轮廓角度和中心位置之后，通过建立仿射变换矩阵，将图像进行旋转平移，覆铜区此时将被旋转到“正”位，后续将覆铜区从图像中抠出，以便后续进行视觉瑕疵检测。
3.如权利要求1所述的一种基于多尺度网格化的覆铜板表面缺陷检测方法，其特征在于，以为原始网格图的宽，/>为原始网格图的高，将覆铜区划分K 个原始网格图， 针对每个原始网格图，进行金字塔操作；
金字塔层数 , />为每一层金字塔网格图的宽，/>为每一层金字塔网格图的高，金字塔层数的设定受限于金字塔网格图的宽高，当宽或高超过5的时候，层数被强制设置为1，并且停止金字塔操作， 否则以/>为缩放系数，/>为大于0，小于1的系数，/>为金字塔网格层的索引；将原始网格图缩放至N层；
均值退化系数V的计算依赖于层数N，为层数N的倒数。
4.权利要求1所述的一种基于多尺度网格化的覆铜板表面缺陷检测方法，其特征在于，步骤S4中，对K * N 张图片进行4点插值平均算法，公式如下;
，
上述公式中，为金字塔网格图的四个顶点，/>表示不同顶点的像素值，/>分别表示顶点的x和y值；/>=1,2,3,4；K为原始网格图数，N为层数；
通过上述计算，所有原始网格图以及金字塔网格图都拥有一个背景值。
5.如权利要求1所述的一种基于多尺度网格化的覆铜板表面缺陷检测方法，其特征在于，步骤S5中，融合所有背景值，作为原始区域的最终背景值，抽取每层组金字塔网格图和原始网格图的背景值，将这些背景值乘以退化系数并进行累加，得到最终背景值；公式如下：
，
上式中，avg为最终背景值，为每层的均值，V为均值退化系数，/>为金字塔网格层索引；
创建跟原始网格图一样大小的空图，并以avg为值，填满整个空图，形成缺陷背景图，将缺陷背景图与原始网格图做差分，设定黑白缺陷灰阶容差，检出缺陷。
6.如权利要求1所述的一种基于多尺度网格化的覆铜板表面缺陷检测方法，其特征在于，使用基于深度学习模型mobileNetV2作为迁移模型；
所述迁移模型的网络迁移结构，由倒残差结构，金字塔结构，沙漏模块和分类模块组成；
其中沙漏模块的搭建，又依赖于3种类型的子模块，每个子模块的建立通过不同的网络层进行连接，分别是：
子模块1：扩维层，归一化层，relu6 激活函数层
子模块2：深度分离层，归一化层，relu6 激活函数层
子模块3：降维层，归一化层；
所述残差结构指沙漏结构的输入特征跟输出特征做element wise add操作， 用于将特征进行融合，而分类层则是在网络尾端继续套接两个全连接层，根据缺陷种类做flatten处理。
7.如权利要求6所述的一种基于多尺度网格化的覆铜板表面缺陷检测方法，其特征在于，所述步骤S6具体为：
6.1.1）首先对输入的图像与一个卷积层进行串联，开始第一层的特征提取；
6.1.2）将3个子模块形成沙漏结构，同时将不同数量的沙漏结构串联成倒残差结构，用于获取不同维度的特征以及不会出现过大的参数量；
6.1.3）网络末端进行一个跳连接金字塔操作， 使得特征信息在抽象的同时，又保证不会抽象过多而丢失信息；
6.2）收集缺陷样本数据，并对这些数据进行类别标注，将这些预处理好的数据送入网络进行训练，网络将根据设定的损失函数来调整最终的输出；
所用的损失函数定义为：，
其中为预测值，/>为真实的标签类别, />为类别个数， n为类别索引，当越小，说明括号内概率越大，也就表明样本在真实类别上的概率越大；
6.3）在训练完成之后，模型将被部署在实际运行环境，当有缺陷被正常检出时， 该缺陷会被送入网络进行分类， 达到了最后的缺陷分类效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310817164.2A CN116542974B (zh) | 2023-07-05 | 2023-07-05 | 一种基于多尺度网格化的覆铜板表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310817164.2A CN116542974B (zh) | 2023-07-05 | 2023-07-05 | 一种基于多尺度网格化的覆铜板表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116542974A true CN116542974A (zh) | 2023-08-04 |
| CN116542974B CN116542974B (zh) | 2023-09-26 |
Family
ID=87454483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310817164.2A Active CN116542974B (zh) | 2023-07-05 | 2023-07-05 | 一种基于多尺度网格化的覆铜板表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542974B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016217989A (ja) * | 2015-05-25 | 2016-12-22 | 株式会社メック | 欠陥検査装置および欠陥検査方法 |
| CN111695482A (zh) * | 2020-06-04 | 2020-09-22 | 华油钢管有限公司 | 一种管道缺陷识别方法 |
| CN111899225A (zh) * | 2020-06-30 | 2020-11-06 | 烟台市计量所 | 基于多尺度金字塔结构的核电管道缺陷检测方法 |
| WO2021135302A1 (zh) * | 2019-12-30 | 2021-07-08 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
| WO2021135372A1 (zh) * | 2019-12-30 | 2021-07-08 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
| CN114092389A (zh) * | 2021-09-13 | 2022-02-25 | 浙江大学 | 一种基于小样本学习的玻璃面板表面缺陷检测方法 |
| CN114638784A (zh) * | 2022-02-17 | 2022-06-17 | 中南大学 | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 |
| CN116152226A (zh) * | 2023-04-04 | 2023-05-23 | 东莞职业技术学院 | 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法 |
| CN116342542A (zh) * | 2023-03-28 | 2023-06-27 | 安徽工业大学 | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 |
-
2023
- 2023-07-05 CN CN202310817164.2A patent/CN116542974B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016217989A (ja) * | 2015-05-25 | 2016-12-22 | 株式会社メック | 欠陥検査装置および欠陥検査方法 |
| WO2021135302A1 (zh) * | 2019-12-30 | 2021-07-08 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
| WO2021135372A1 (zh) * | 2019-12-30 | 2021-07-08 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
| CN111695482A (zh) * | 2020-06-04 | 2020-09-22 | 华油钢管有限公司 | 一种管道缺陷识别方法 |
| CN111899225A (zh) * | 2020-06-30 | 2020-11-06 | 烟台市计量所 | 基于多尺度金字塔结构的核电管道缺陷检测方法 |
| CN114092389A (zh) * | 2021-09-13 | 2022-02-25 | 浙江大学 | 一种基于小样本学习的玻璃面板表面缺陷检测方法 |
| CN114638784A (zh) * | 2022-02-17 | 2022-06-17 | 中南大学 | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 |
| CN116342542A (zh) * | 2023-03-28 | 2023-06-27 | 安徽工业大学 | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 |
| CN116152226A (zh) * | 2023-04-04 | 2023-05-23 | 东莞职业技术学院 | 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| YING GAO ET AL.: "A Real-Time Defect Detection Method for Digital Signal Processing of Industrial Inspection Applications", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》, vol. 17, no. 5, pages 3450 - 3459, XP011840125, DOI: 10.1109/TII.2020.3013277 * |
| 郑亚睿 等: "基于双动态头Sparse R-CNN的表面缺陷检测算法", 《仪表技术与传感器》, no. 5, pages 97 - 105 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116542974B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
| CN113688807B (zh) | 一种自适应缺陷检测方法、装置、识别系统及存储介质 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN108665458A (zh) | 透明体表面缺陷提取及识别方法 | |
| CN112200790B (zh) | 布料缺陷检测方法、设备和介质 | |
| CN110969669A (zh) | 基于互信息配准的可见光与红外相机联合标定方法 | |
| CN111986170A (zh) | 一种基于深度神经网络Mask R-CNN的缺陷检测算法 | |
| CN112734761A (zh) | 工业品图像边界轮廓提取方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN111292228A (zh) | 镜头缺陷检测方法 | |
| CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其系统 | |
| CN116777877A (zh) | 电路板缺陷检测方法、装置、计算机设备及存储介质 | |
| CN116228780A (zh) | 基于计算机视觉的硅片缺陷检测方法及系统 | |
| CN114792310A (zh) | 一种LCD屏幕中边缘模糊的Mura缺陷检测方法 | |
| CN111354047B (zh) | 一种基于计算机视觉的摄像模组定位方法及系统 | |
| CN113112396B (zh) | 导电粒子的检测方法 | |
| CN112669272A (zh) | 一种aoi快速检测方法及快速检测系统 | |
| CN116542974B (zh) | 一种基于多尺度网格化的覆铜板表面缺陷检测方法 | |
| CN117152165A (zh) | 感光芯片缺陷的检测方法、装置、存储介质及电子设备 | |
| CN117252817A (zh) | 一种透明导电薄膜玻璃表面缺陷检测方法及系统 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
| CN115526854A (zh) | 一种基于二进制条纹的镜面缺陷检测方法、设备及介质 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN114219802B (zh) | 一种基于图像处理的蒙皮连接孔孔位检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |