CN111598856A - 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 - Google Patents
基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 Download PDFInfo
- Publication number
- CN111598856A CN111598856A CN202010382670.XA CN202010382670A CN111598856A CN 111598856 A CN111598856 A CN 111598856A CN 202010382670 A CN202010382670 A CN 202010382670A CN 111598856 A CN111598856 A CN 111598856A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- chip
- layer
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 318
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000005520 cutting process Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 238000011897 real-time detection Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G06T5/70—
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统，主要包括预处理部分、模型训练部分和实时检测部分，构建的缺陷导向多点定位神经网络包括缺陷定位子网络、缺陷裁剪模块、缺陷放大模块和缺陷标记子网络；本发明利用缺陷导向多点定位神经网络实现芯片表面缺陷检测，通过缺陷导向多点定位神经网络对芯片表面缺陷进行定位、裁剪、放大、标记、识别，提高了芯片表面缺陷检测的准确率，并且做到对芯片进行实时检测，对比人工检测，大大缩短了检测时间，提高了检测效率。
Description
技术领域
本发明属于芯片缺陷检测以及机器视觉领域，具体涉及一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统。
背景技术
自从21世纪以来，集成芯片产业高速发展，但因生产技术复杂、过程繁复，所以在芯片制造的各个环节中对芯片进行缺陷检测，过滤掉存在缺陷的产品，保证成品的可靠性，同时找出芯片生产过程中的工艺缺陷，便于及时改进。于是，芯片表面缺陷检测也成为了整个芯片产业中的一个重要领域。
在以往的芯片表面检测中，往往采用的是人工肉眼抽检，该检测方法有着检测实时性差、检测成功率低等缺点。随着芯片生产规模的扩大，传统的人工肉眼检测显然不适应现代的工业生产需求。
因此，正是在此背景下，将芯片表面缺陷检测和深度学习相结合，利用深度神经网络对芯片表面图像进行特征提取与识别，最终实现芯片表面不同宏观缺陷的检测和分类。
发明内容
基于现有的缺陷检测和深度学习技术，本发明提供了一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统。
为了达到上述发明目的，本发明采用以下技术方案：
一方面，本申请提出了一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法，该方法包括以下步骤：
(1)样本采集：使用环形白炽灯对目标芯片进行照明，使用工业摄像头进行图像采集，获取若干目标芯片彩色图像。
(2)样本预处理：进行图像缩放、图像滤波、图像光照矫正、图像倾斜矫正、芯片框选操作，得到预处理图像集。
(3)构造训练集：将预处理后的芯片图像人工标上标签；创建一张与芯片图像相同大小的二值图，黑色为背景色，缺陷由白色标出，作为芯片原图标签；复制二值图，缩放到14×14大小，作为缺陷掩码标签。
(4)构建缺陷导向多点定位神经网络，该网络包括缺陷定位子网络、缺陷裁剪模块、缺陷放大模块和缺陷标记子网络；
缺陷定位子网络：基于VGG19实现，将缩放为224×224×3的芯片图像作为VGG19的输入，首先使用VGG19最后一层卷积层输出作为提取的视觉特征，即提取出14×14×512维视觉特征，然后再使用全局平均池化将视觉特征转化为1×1×512维视觉映射，再使用两个512×512的全连接层将视觉映射转化为512维视觉特征通道权值，并利用该通道权值将视觉特征加权求和，合并视觉特征中512个通道，使14×14×512维视觉特征转化为14×14维缺陷掩码。
缺陷裁剪模块：将14×14维缺陷掩码作为输入，利用图像阈值分割、形态学处理、轮廓提取、外接矩形计算将缺陷掩码映射为若干缺陷检测窗口，利用缺陷检测窗口从原图上截取缺陷矩形图。
缺陷放大模块：将截取的缺陷矩形图放大至四倍边长。
缺陷标记子网络：该子网络包含四个卷积层和两个池化层，第一层是卷积核为3×3×32的卷积层，第二层是卷积核为3×3×16的卷积层，第三层是2×2的池化层，第四层是卷积核为3×3×8的卷积层，第五层是卷积核为3×3×1的卷积层，第六层是2×2的池化层；将放大后的缺陷矩形图作为输入，输出缺陷标记图像；将缺陷标记图像对应缺陷检测窗口复制到与原图相同大小的黑色图像上，得到完整芯片缺陷标记图。
(5)模型训练：利用步骤(3)构造的训练集对步骤(4)构建的缺陷导向多点定位神经网络进行训练，得到训练后的神经网络模型。
(6)缺陷检测：将待测试芯片图像输入训练好的模型中，获得缺陷数量、缺陷类型、缺陷位置以及缺陷尺寸信息，完成芯片表面缺陷检测。
进一步地，所述步骤(2)具体为：首先通过中值滤波算法对芯片图像进行噪声抑制，然后通过多尺度Retinex算法对芯片图像进行光照校正，接着使用Hough变换法对芯片图像进行倾斜校正，继续使用阈值分割和腐蚀、膨胀操作将芯片图像转化为二值图，最后使用Suzuki轮廓跟踪算法将芯片从背景中分割出来并调整为方形。
进一步地，所述缺陷裁剪模块的实现具体为：首先通过阈值分割将缺陷掩码二值化，然后使用Suzuki轮廓跟踪算法标记出缺陷掩码中的缺陷轮廓，接着使用Sklansky算法求出轮廓点集的凸包，最后使用旋转卡尺算法求出缺陷的最小外接矩形，根据该最小外接矩形的四个顶点，再做最小外接矩形，得到无偏转的矩形框，按照最小外接矩形在缺陷掩码中的位置，等比放大到芯片原图中，即得到芯片原图中缺陷的最小外接矩形，称这个最小外接矩形为缺陷检测窗口，用[Tx,Ty,Tm,Tn]表示，其中Tx、Ty表示缺陷检测窗口左上角位置坐标，Tm、Tn表示矩形窗口边长。
进一步地，所述缺陷放大模块中，将芯片原图按照缺陷检测窗口裁剪下来的缺陷矩形图用双线性插值法放大至四倍边长。
进一步地，所述步骤(5)中模型训练具体为：
通过优化以下损失函数来训练缺陷定位子网络：
其中，M*表示人工标定的缺陷掩码，M表示缺陷定位子网络最终输出的缺陷掩码，n为掩码中像素总数。
通过优化以下损失函数来训练缺陷标记子网络：
其中，Pi j*表示按照缺陷检测窗口从人工标定的芯片原图标签中截取的第j个缺陷区域标签，Pi j表示缺陷标记子网络输出的第j个缺陷标记图像，nj为第j个缺陷区域像素总数，m为缺陷数。
进一步地，依靠缺陷检测窗口可以知道缺陷的个数和位置；依靠对完整芯片缺陷标记图使用缺陷裁剪模块中相同的轮廓检测方法，可以知道缺陷的类型和尺寸。
进一步地，所述缺陷导向多点定位神经网络模型放大了高度局部的缺陷区域，从一个更精细的大尺度角度去观察缺陷，从而更准确的识别出缺陷的类型和尺寸；该模型不局限于特定芯片；该模型考虑多种因素，综合考量一颗芯片是否达到合格标准。
另一方面，本申请还提出了一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测系统，该系统包括：
样本采集单元：使用环形白炽灯对目标芯片进行照明，使用工业摄像头进行图像采集，获取若干目标芯片彩色图像。
样本预处理单元：进行图像缩放、图像滤波、图像光照矫正、图像倾斜矫正、芯片框选操作，得到预处理图像集。
训练集构造单元：将预处理后的芯片图像人工标上标签；创建一张与芯片图像相同大小的二值图，黑色为背景色，缺陷由白色标出，作为芯片原图标签；复制二值图，缩放到14×14大小，作为缺陷掩码标签。
缺陷导向多点定位神经网络构建单元，该单元包括缺陷定位子网络模块、缺陷裁剪模块、缺陷放大模块和缺陷标记子网络模块；
缺陷定位子网络模块：缺陷定位子网络基于VGG19实现，将缩放为224×224×3的芯片图像作为VGG19的输入，首先使用VGG19最后一层卷积层输出作为提取的视觉特征，即提取出14×14×512维视觉特征，然后再使用全局平均池化将视觉特征转化为1×1×512维视觉映射，再使用两个512×512的全连接层将视觉映射转化为512维视觉特征通道权值，并利用该通道权值将视觉特征加权求和，合并视觉特征中512个通道，使14×14×512维视觉特征转化为14×14维缺陷掩码。
缺陷裁剪模块：将14×14维缺陷掩码作为输入，利用图像阈值分割、形态学处理、轮廓提取、外接矩形计算将缺陷掩码映射为若干缺陷检测窗口，利用缺陷检测窗口从原图上截取缺陷矩形图。
缺陷放大模块：将截取的缺陷矩形图放大至四倍边长。
缺陷标记子网络模块：缺陷标记子网络包含四个卷积层和两个池化层，第一层是卷积核为3×3×32的卷积层，第二层是卷积核为3×3×16的卷积层，第三层是2×2的池化层，第四层是卷积核为3×3×8的卷积层，第五层是卷积核为3×3×1的卷积层，第六层是2×2的池化层；将放大后的缺陷矩形图作为输入，输出缺陷标记图像；将缺陷标记图像对应缺陷检测窗口复制到与原图相同大小的黑色图像上，得到完整芯片缺陷标记图。
模型训练单元：利用训练集对缺陷导向多点定位神经网络进行训练，得到训练后的神经网络模型。
缺陷检测单元：将待测试芯片图像输入训练好的模型中，获得缺陷数量、缺陷类型、缺陷位置以及缺陷尺寸信息，完成芯片表面缺陷检测。
此外，本申请还提出了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明与现有技术相比，本发明的有益效果是：本发明利用缺陷导向多点定位神经网络实现芯片表面缺陷检测，通过缺陷导向多点定位神经网络对芯片表面缺陷进行定位、裁剪、放大、标记、识别，提高了芯片表面缺陷检测的准确率，并且做到对芯片进行实时检测，对比人工检测，大大缩短了检测时间，提高了检测效率。
附图说明
图1是本发明实施例的缺陷导向多点定位神经网络的训练流程图；
图2是本发明实施例的缺陷导向多点定位神经网络的测试流程图；
图3是本发明实施例的缺陷导向多点定位神经网络的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
本申请提出的一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法，如图1、2所示，该方法主要包括预处理部分、模型训练部分和实时检测部分，具体实现过程如下：
(1)样本采集。使用环形白炽灯对目标芯片进行照明，尽可能消除芯片阴影。再使用工业摄像头进行图像采集，获取一定数量关于目标芯片的彩色图像。
(2)样本预处理。利用图像预处理算法，进行图像缩放、图像滤波、图像光照矫正、图像倾斜矫正、芯片框选操作等。处理所有采集到的芯片图像，得到预处理图像集。
在本申请实施例中，首先通过中值滤波算法对芯片图像进行噪声抑制，然后通过多尺度Retinex算法对芯片图像进行光照校正，接着使用Hough变换法对芯片图像进行倾斜校正，继续使用阈值分割和腐蚀、膨胀操作将芯片图像转化为二值图，最后使用Suzuki轮廓跟踪算法将芯片从背景中分割出来并调整为方形。
(3)构造训练集。将预处理后的芯片图像人工标上标签，即将芯片图像中缺陷部分进行人工标定形成样本标记，将一张样本图像和与之对应的样本标记称为一个样本。
其中，标签分为两部分：
①创建一张与芯片图像相同大小的二值图，黑色为背景色，缺陷由白色标出，作为芯片原图标签；
②将二值图复制一份，缩放到14×14大小，作为缺陷掩码的标签。
(4)构建缺陷导向多点定位神经网络，该网络包括缺陷定位子网络、缺陷裁剪模块、缺陷放大模块和缺陷标记子网络，网络结构如图3所示；
缺陷定位子网络：基于VGG19实现，将缩放为224×224×3的芯片图像作为VGG19的输入，首先使用VGG19最后一层卷积层输出作为提取的视觉特征，即提取出14×14×512维视觉特征，然后再使用全局平均池化将视觉特征转化为1×1×512维视觉映射，再使用两个512×512的全连接层将视觉映射转化为512维视觉特征通道权值，并利用该通道权值将视觉特征加权求和，合并视觉特征中512个通道，使14×14×512维视觉特征转化为14×14维缺陷掩码。缺陷定位子网络的最终输出为14×14维缺陷掩码，记为M。通过缺陷定位子网络进行多特征定位，精确定位缺陷位置。
缺陷裁剪模块：首先通过阈值分割将缺陷掩码二值化，然后使用Suzuki轮廓跟踪算法标记出缺陷掩码中的缺陷轮廓，接着使用Sklansky算法求出轮廓点集的凸包，最后使用旋转卡尺算法求出缺陷的最小外接矩形，根据该最小外接矩形的四个顶点，我们再做最小外接矩形，得到无偏转的矩形框，按照最小外接矩形在缺陷掩码中的位置，等比放大到芯片原图中，即得到芯片原图中缺陷的最小外接矩形，我们称这个最小外接矩形为缺陷检测窗口，用[Tx,Ty,Tm,Tn]来表示，其中Tx、Ty表示缺陷检测窗口左上角位置坐标，Tm、Tn表示矩形窗口边长。
缺陷放大模块：将芯片原图按照缺陷检测窗口裁剪下来的缺陷矩形图用双线性插值法放大至四倍边长，即放大至4Tm×4Tn×3。
缺陷标记子网络：该子网络一共包含四个卷积层和两个池化层，第一层是卷积核为3×3×32的卷积层，第二层是卷积核为3×3×16的卷积层，第三层是2×2的池化层，第四层是卷积核为3×3×8的卷积层，第五层是卷积核为3×3×1的卷积层，第六层是2×2的池化层；将放大后的缺陷矩形图作为输入，最终输出Tm×Tn的缺陷标记图像。
将缺陷标记图像对应缺陷检测窗口复制到与原图相同大小的黑色图像上，得到完整芯片缺陷标记图，如图3所示。
依靠缺陷检测窗口我们可以知道缺陷的个数和位置；依靠对完整芯片缺陷标记图使用缺陷裁剪模块中相同的轮廓检测方法，我们可以知道缺陷的类型和尺寸。
将预处理后的各图像数据输入缺陷导向多点定位神经网络，最终得到缺陷数量、缺陷类型、缺陷位置以及缺陷尺寸信息。
本发明提出的缺陷导向多点定位神经网络模型，该模型放大了高度局部的缺陷区域，从一个更精细的大尺度角度去观察缺陷，从而更准确的识别出缺陷的类型和尺寸；该模型不局限于特定芯片，是一种通用芯片检测方法；该模型考虑多种因素，综合考量一颗芯片是否达到合格标准。
(5)模型训练
利用步骤(3)构造的训练集对步骤(4)构建的缺陷导向多点定位神经网络进行训练，得到训练后的神经网络模型。具体地：
通过优化以下损失函数来训练缺陷定位子网络：
其中，M*表示人工标定的缺陷掩码，M表示缺陷定位子网络最终输出的缺陷掩码，n为掩码中像素总数。
通过优化以下损失函数来训练缺陷标记子网络：
其中，Pi j*表示按照缺陷检测窗口从人工标定的芯片原图标签中截取的第j个缺陷区域标签，Pi j表示缺陷标记子网络输出的第j个缺陷标记图像，nj为第j个缺陷区域像素总数，m为缺陷数。
(6)缺陷检测
将待测试芯片图像输入训练好的模型中，获得缺陷数量、缺陷类型、缺陷位置以及缺陷尺寸等信息，从而综合判断该芯片是否达到合格标准。
此外，本申请还提出了一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测系统，该系统包括：
样本采集单元。使用环形白炽灯对目标芯片进行照明，尽可能消除芯片阴影。再使用工业摄像头进行图像采集，获取一定数量关于目标芯片的彩色图像。
样本预处理单元。利用图像预处理算法，进行图像缩放、图像滤波、图像光照矫正、图像倾斜矫正、芯片框选操作等。处理所有采集到的芯片图像，得到预处理图像集。
训练集构造单元。将预处理后的芯片图像人工标上标签，即将芯片图像中缺陷部分进行人工标定形成样本标记，将一张样本图像和与之对应的样本标记称为一个样本。标签分为芯片原图标签和缺陷掩码的标签；创建一张与芯片图像相同大小的二值图，黑色为背景色，缺陷由白色标出，作为芯片原图标签；将二值图复制一份，缩放到14×14大小，作为缺陷掩码的标签。
缺陷导向多点定位神经网络构建单元。该单元包括缺陷定位子网络模块、缺陷裁剪模块、缺陷放大模块和缺陷标记子网络模块；
缺陷定位子网络模块：缺陷定位子网络基于VGG19实现，将缩放为224×224×3的芯片图像作为VGG19的输入，首先使用VGG19最后一层卷积层输出作为提取的视觉特征，即提取出14×14×512维视觉特征，然后再使用全局平均池化将视觉特征转化为1×1×512维视觉映射，再使用两个512×512的全连接层将视觉映射转化为512维视觉特征通道权值，并利用该通道权值将视觉特征加权求和，合并视觉特征中512个通道，使14×14×512维视觉特征转化为14×14维缺陷掩码。
缺陷裁剪模块：首先通过阈值分割将缺陷掩码二值化，然后使用Suzuki轮廓跟踪算法标记出缺陷掩码中的缺陷轮廓，接着使用Sklansky算法求出轮廓点集的凸包，最后使用旋转卡尺算法求出缺陷的最小外接矩形，根据该最小外接矩形的四个顶点，我们再做最小外接矩形，得到无偏转的矩形框，按照最小外接矩形在缺陷掩码中的位置，等比放大到芯片原图中，即得到芯片原图中缺陷的最小外接矩形，我们称这个最小外接矩形为缺陷检测窗口，用[Tx,Ty,Tm,Tn]来表示，其中Tx、Ty表示缺陷检测窗口左上角位置坐标，Tm、Tn表示矩形窗口边长。
缺陷放大模块：将芯片原图按照缺陷检测窗口裁剪下来的缺陷矩形图用双线性插值法放大至四倍边长，即放大至4Tm×4Tn×3。
缺陷标记子网络模块：缺陷标记子网络一共包含四个卷积层和两个池化层，第一层是卷积核为3×3×32的卷积层，第二层是卷积核为3×3×16的卷积层，第三层是2×2的池化层，第四层是卷积核为3×3×8的卷积层，第五层是卷积核为3×3×1的卷积层，第六层是2×2的池化层；将放大后的缺陷矩形图作为输入，最终输出Tm×Tn的缺陷标记图像。
将缺陷标记图像对应缺陷检测窗口复制到与原图相同大小的黑色图像上，得到完整芯片缺陷标记图。依靠缺陷检测窗口我们可以知道缺陷的个数和位置；依靠对完整芯片缺陷标记图使用缺陷裁剪模块中相同的轮廓检测方法，我们可以知道缺陷的类型和尺寸。
模型训练单元。利用训练集对缺陷导向多点定位神经网络进行训练，得到训练后的神经网络模型。具体地：
通过优化以下损失函数来训练缺陷定位子网络：
其中，M*表示人工标定的缺陷掩码，M表示缺陷定位子网络最终输出的缺陷掩码，n为掩码中像素总数。
通过优化以下损失函数来训练缺陷标记子网络：
其中，Pi j*表示按照缺陷检测窗口从人工标定的芯片原图标签中截取的第j个缺陷区域标签，Pi j表示缺陷标记子网络输出的第j个缺陷标记图像，nj为第j个缺陷区域像素总数，m为缺陷数。
缺陷检测单元。将待测试芯片图像输入训练好的模型中，获得缺陷数量、缺陷类型、缺陷位置以及缺陷尺寸等信息，从而综合判断该芯片是否达到合格标准。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (10)
1.一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法，其特征在于，该方法包括以下步骤：
(1)样本采集：使用环形白炽灯对目标芯片进行照明，使用工业摄像头进行图像采集，获取若干目标芯片彩色图像。
(2)样本预处理：进行图像缩放、图像滤波、图像光照矫正、图像倾斜矫正、芯片框选操作，得到预处理图像集。
(3)构造训练集：将预处理后的芯片图像人工标上标签；创建一张与芯片图像相同大小的二值图，黑色为背景色，缺陷由白色标出，作为芯片原图标签；复制二值图，缩放到14×14大小，作为缺陷掩码标签。
(4)构建缺陷导向多点定位神经网络，该网络包括缺陷定位子网络、缺陷裁剪模块、缺陷放大模块和缺陷标记子网络；
缺陷定位子网络：基于VGG19实现，将缩放为224×224×3的芯片图像作为VGG19的输入，首先使用VGG19最后一层卷积层输出作为提取的视觉特征，即提取出14×14×512维视觉特征，然后再使用全局平均池化将视觉特征转化为1×1×512维视觉映射，再使用两个512×512的全连接层将视觉映射转化为512维视觉特征通道权值，并利用该通道权值将视觉特征加权求和，合并视觉特征中512个通道，使14×14×512维视觉特征转化为14×14维缺陷掩码。
缺陷裁剪模块：将14×14维缺陷掩码作为输入，利用图像阈值分割、形态学处理、轮廓提取、外接矩形计算将缺陷掩码映射为若干缺陷检测窗口，利用缺陷检测窗口从原图上截取缺陷矩形图。
缺陷放大模块：将截取的缺陷矩形图放大至四倍边长。
缺陷标记子网络：该子网络包含四个卷积层和两个池化层，第一层是卷积核为3×3×32的卷积层，第二层是卷积核为3×3×16的卷积层，第三层是2×2的池化层，第四层是卷积核为3×3×8的卷积层，第五层是卷积核为3×3×1的卷积层，第六层是2×2的池化层；将放大后的缺陷矩形图作为输入，输出缺陷标记图像；将缺陷标记图像对应缺陷检测窗口复制到与原图相同大小的黑色图像上，得到完整芯片缺陷标记图。
(5)模型训练：利用步骤(3)构造的训练集对步骤(4)构建的缺陷导向多点定位神经网络进行训练，得到训练后的神经网络模型。
(6)缺陷检测：将待测试芯片图像输入训练好的模型中，获得缺陷数量、缺陷类型、缺陷位置以及缺陷尺寸信息，完成芯片表面缺陷检测。
2.根据权利要求1所述的一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法，其特征在于，所述步骤(2)具体为：首先通过中值滤波算法对芯片图像进行噪声抑制，然后通过多尺度Retinex算法对芯片图像进行光照校正，接着使用Hough变换法对芯片图像进行倾斜校正，继续使用阈值分割和腐蚀、膨胀操作将芯片图像转化为二值图，最后使用Suzuki轮廓跟踪算法将芯片从背景中分割出来并调整为方形。
3.根据权利要求1所述的一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法，其特征在于，所述缺陷裁剪模块的实现具体为：首先通过阈值分割将缺陷掩码二值化，然后使用Suzuki轮廓跟踪算法标记出缺陷掩码中的缺陷轮廓，接着使用Sklansky算法求出轮廓点集的凸包，最后使用旋转卡尺算法求出缺陷的最小外接矩形，根据该最小外接矩形的四个顶点，再做最小外接矩形，得到无偏转的矩形框，按照最小外接矩形在缺陷掩码中的位置，等比放大到芯片原图中，即得到芯片原图中缺陷的最小外接矩形，称这个最小外接矩形为缺陷检测窗口，用[Tx,Ty,Tm,Tn]表示，其中Tx、Ty表示缺陷检测窗口左上角位置坐标，Tm、Tn表示矩形窗口边长。
4.根据权利要求1所述的一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法，其特征在于，所述缺陷放大模块中，将芯片原图按照缺陷检测窗口裁剪下来的缺陷矩形图用双线性插值法放大至四倍边长。
5.根据权利要求1所述的一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法，其特征在于，所述步骤(5)中模型训练具体为：
通过优化以下损失函数来训练缺陷定位子网络：
其中，M*表示人工标定的缺陷掩码，M表示缺陷定位子网络最终输出的缺陷掩码，n为掩码中像素总数。
通过优化以下损失函数来训练缺陷标记子网络：
其中，
表示按照缺陷检测窗口从人工标定的芯片原图标签中截取的第j个缺陷区域标签，Pi j表示缺陷标记子网络输出的第j个缺陷标记图像，nj为第j个缺陷区域像素总数，m为缺陷数。
6.根据权利要求1所述的一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法，其特征在于，依靠缺陷检测窗口可以知道缺陷的个数和位置；依靠对完整芯片缺陷标记图使用缺陷裁剪模块中相同的轮廓检测方法，可以知道缺陷的类型和尺寸。
7.根据权利要求1所述的一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法，其特征在于，所述缺陷导向多点定位神经网络模型放大了高度局部的缺陷区域，从一个更精细的大尺度角度去观察缺陷，从而更准确的识别出缺陷的类型和尺寸；该模型不局限于特定芯片；该模型考虑多种因素，综合考量一颗芯片是否达到合格标准。
8.一种基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测系统，其特征在于，该系统包括：
样本采集单元：使用环形白炽灯对目标芯片进行照明，使用工业摄像头进行图像采集，获取若干目标芯片彩色图像。
样本预处理单元：进行图像缩放、图像滤波、图像光照矫正、图像倾斜矫正、芯片框选操作，得到预处理图像集。
训练集构造单元：将预处理后的芯片图像人工标上标签；创建一张与芯片图像相同大小的二值图，黑色为背景色，缺陷由白色标出，作为芯片原图标签；复制二值图，缩放到14×14大小，作为缺陷掩码标签。
缺陷导向多点定位神经网络构建单元，该单元包括缺陷定位子网络模块、缺陷裁剪模块、缺陷放大模块和缺陷标记子网络模块；
缺陷定位子网络模块：缺陷定位子网络基于VGG19实现，将缩放为224×224×3的芯片图像作为VGG19的输入，首先使用VGG19最后一层卷积层输出作为提取的视觉特征，即提取出14×14×512维视觉特征，然后再使用全局平均池化将视觉特征转化为1×1×512维视觉映射，再使用两个512×512的全连接层将视觉映射转化为512维视觉特征通道权值，并利用该通道权值将视觉特征加权求和，合并视觉特征中512个通道，使14×14×512维视觉特征转化为14×14维缺陷掩码。
缺陷裁剪模块：将14×14维缺陷掩码作为输入，利用图像阈值分割、形态学处理、轮廓提取、外接矩形计算将缺陷掩码映射为若干缺陷检测窗口，利用缺陷检测窗口从原图上截取缺陷矩形图。
缺陷放大模块：将截取的缺陷矩形图放大至四倍边长。
缺陷标记子网络模块：缺陷标记子网络包含四个卷积层和两个池化层，第一层是卷积核为3×3×32的卷积层，第二层是卷积核为3×3×16的卷积层，第三层是2×2的池化层，第四层是卷积核为3×3×8的卷积层，第五层是卷积核为3×3×1的卷积层，第六层是2×2的池化层；将放大后的缺陷矩形图作为输入，输出缺陷标记图像；将缺陷标记图像对应缺陷检测窗口复制到与原图相同大小的黑色图像上，得到完整芯片缺陷标记图。
模型训练单元：利用训练集对缺陷导向多点定位神经网络进行训练，得到训练后的神经网络模型。
缺陷检测单元：将待测试芯片图像输入训练好的模型中，获得缺陷数量、缺陷类型、缺陷位置以及缺陷尺寸信息，完成芯片表面缺陷检测。
9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010382670.XA CN111598856A (zh) | 2020-05-08 | 2020-05-08 | 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010382670.XA CN111598856A (zh) | 2020-05-08 | 2020-05-08 | 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111598856A true CN111598856A (zh) | 2020-08-28 |
Family
ID=72192116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010382670.XA Pending CN111598856A (zh) | 2020-05-08 | 2020-05-08 | 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598856A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200776A (zh) * | 2020-09-25 | 2021-01-08 | 杭州加速科技有限公司 | 芯片封装缺陷检测方法和检测装置 |
| CN112991287A (zh) * | 2021-03-08 | 2021-06-18 | 湘潭大学 | 一种基于全卷积神经网络的自动压痕测量方法 |
| CN113409290A (zh) * | 2021-06-29 | 2021-09-17 | 北京兆维电子(集团)有限责任公司 | 一种液晶屏外观缺陷检测方法、装置及存储介质 |
| CN113449699A (zh) * | 2021-08-30 | 2021-09-28 | 上海兴容信息技术有限公司 | 一种目标对象的能效分析方法和系统 |
| CN113465529A (zh) * | 2021-08-31 | 2021-10-01 | 武汉飞恩微电子有限公司 | 一种基于视觉识别的芯片应变测量方法与系统 |
| CN117036267A (zh) * | 2023-08-01 | 2023-11-10 | 广州伊索自动化科技有限公司 | 一种曲面印刷检测方法、系统及存储介质 |
| CN117094988A (zh) * | 2023-10-16 | 2023-11-21 | 成都电科星拓科技有限公司 | 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001351108A (ja) * | 2000-06-08 | 2001-12-21 | Toyota Motor Corp | 塗面欠陥検出方法 |
| CN103808263A (zh) * | 2014-01-20 | 2014-05-21 | 北京派得伟业科技发展有限公司 | 谷粒粒形参数的高通量检测方法 |
| CN104112113A (zh) * | 2013-04-19 | 2014-10-22 | 无锡南理工科技发展有限公司 | 一种基于改进型特征卷积神经网络图像识别方法 |
| CN106408086A (zh) * | 2016-09-12 | 2017-02-15 | 上海影城有限公司 | 用于图像优化的深度学习神经网络处理方法及系统 |
| CN108961238A (zh) * | 2018-07-02 | 2018-12-07 | 北京百度网讯科技有限公司 | 显示屏质量检测方法、装置、电子设备及存储介质 |
| CN109613004A (zh) * | 2018-12-13 | 2019-04-12 | 武汉精立电子技术有限公司 | 一种背光检中缺陷显示方法 |
| CN109816644A (zh) * | 2019-01-16 | 2019-05-28 | 大连理工大学 | 一种基于多角度光源影像的轴承缺陷自动检测系统 |
| US20190318469A1 (en) * | 2018-04-17 | 2019-10-17 | Coherent AI LLC | Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns |
| CN110766681A (zh) * | 2019-10-28 | 2020-02-07 | 福建帝视信息科技有限公司 | 一种基于三重损失网络的竹条表面缺陷检测方法 |
| CN111007073A (zh) * | 2019-12-23 | 2020-04-14 | 华中科技大学 | 一种増材制造过程中零件缺陷在线检测的方法及检测系统 |
-
2020
- 2020-05-08 CN CN202010382670.XA patent/CN111598856A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001351108A (ja) * | 2000-06-08 | 2001-12-21 | Toyota Motor Corp | 塗面欠陥検出方法 |
| CN104112113A (zh) * | 2013-04-19 | 2014-10-22 | 无锡南理工科技发展有限公司 | 一种基于改进型特征卷积神经网络图像识别方法 |
| CN103808263A (zh) * | 2014-01-20 | 2014-05-21 | 北京派得伟业科技发展有限公司 | 谷粒粒形参数的高通量检测方法 |
| CN106408086A (zh) * | 2016-09-12 | 2017-02-15 | 上海影城有限公司 | 用于图像优化的深度学习神经网络处理方法及系统 |
| US20190318469A1 (en) * | 2018-04-17 | 2019-10-17 | Coherent AI LLC | Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns |
| CN108961238A (zh) * | 2018-07-02 | 2018-12-07 | 北京百度网讯科技有限公司 | 显示屏质量检测方法、装置、电子设备及存储介质 |
| CN109613004A (zh) * | 2018-12-13 | 2019-04-12 | 武汉精立电子技术有限公司 | 一种背光检中缺陷显示方法 |
| CN109816644A (zh) * | 2019-01-16 | 2019-05-28 | 大连理工大学 | 一种基于多角度光源影像的轴承缺陷自动检测系统 |
| CN110766681A (zh) * | 2019-10-28 | 2020-02-07 | 福建帝视信息科技有限公司 | 一种基于三重损失网络的竹条表面缺陷检测方法 |
| CN111007073A (zh) * | 2019-12-23 | 2020-04-14 | 华中科技大学 | 一种増材制造过程中零件缺陷在线检测的方法及检测系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200776A (zh) * | 2020-09-25 | 2021-01-08 | 杭州加速科技有限公司 | 芯片封装缺陷检测方法和检测装置 |
| CN112991287A (zh) * | 2021-03-08 | 2021-06-18 | 湘潭大学 | 一种基于全卷积神经网络的自动压痕测量方法 |
| CN113409290A (zh) * | 2021-06-29 | 2021-09-17 | 北京兆维电子(集团)有限责任公司 | 一种液晶屏外观缺陷检测方法、装置及存储介质 |
| CN113409290B (zh) * | 2021-06-29 | 2023-12-15 | 北京兆维电子(集团)有限责任公司 | 一种液晶屏外观缺陷检测方法、装置及存储介质 |
| CN113449699A (zh) * | 2021-08-30 | 2021-09-28 | 上海兴容信息技术有限公司 | 一种目标对象的能效分析方法和系统 |
| CN113449699B (zh) * | 2021-08-30 | 2021-12-03 | 上海兴容信息技术有限公司 | 一种目标对象的能效分析方法和系统 |
| CN113465529A (zh) * | 2021-08-31 | 2021-10-01 | 武汉飞恩微电子有限公司 | 一种基于视觉识别的芯片应变测量方法与系统 |
| CN113465529B (zh) * | 2021-08-31 | 2021-11-23 | 武汉飞恩微电子有限公司 | 一种基于视觉识别的芯片应变测量方法与系统 |
| CN117036267A (zh) * | 2023-08-01 | 2023-11-10 | 广州伊索自动化科技有限公司 | 一种曲面印刷检测方法、系统及存储介质 |
| CN117094988A (zh) * | 2023-10-16 | 2023-11-21 | 成都电科星拓科技有限公司 | 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法 |
| CN117094988B (zh) * | 2023-10-16 | 2024-02-02 | 成都电科星拓科技有限公司 | 一种基于ResNet50网络模型的压敏电阻表面微观缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598856A (zh) | 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN110826416B (zh) | 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置 | |
| CN113450307B (zh) | 一种产品边缘缺陷检测方法 | |
| CN109377485B (zh) | 一种方便面包装缺陷机器视觉检测方法 | |
| CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| CN111626190A (zh) | 基于聚类分区进行刻度识别的水位监测方法 | |
| CN113240626B (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| CN114693610A (zh) | 一种基于机器视觉的焊缝表面缺陷检测方法、设备及介质 | |
| CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN110648323B (zh) | 一种缺陷检测分类系统及其方法 | |
| CN113239930A (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN112907519A (zh) | 一种基于深度学习的金属曲面缺陷分析系统及方法 | |
| CN112734729B (zh) | 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质 | |
| CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
| CN111415330A (zh) | 基于深度学习的铜箔外观缺陷检测方法 | |
| CN110276759B (zh) | 一种基于机器视觉的手机屏坏线缺陷诊断方法 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN115049640A (zh) | 一种基于深度学习的道路裂缝检测方法 | |
| CN116758045B (zh) | 一种半导体发光二极管的表面缺陷检测方法及系统 | |
| CN111553345A (zh) | 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法 | |
| CN111753572A (zh) | 一种基于深度学习的复杂背景低质量二维条码检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240404 Address after: Room 705-3, 7th Floor, Building 6, Ruiyun, No. 99 Furong Middle Third Road, Xishan Economic and Technological Development Zone, Wuxi City, Jiangsu Province, 214000 Applicant after: Wuxi ruitesipu Intelligent Technology Co.,Ltd. Country or region after: China Address before: 310018, No. 18 Jiao Tong Street, Xiasha Higher Education Park, Hangzhou, Zhejiang Applicant before: ZHEJIANG GONGSHANG University Country or region before: China |