CN113706490B - 一种晶片缺陷检测方法 - Google Patents
一种晶片缺陷检测方法 Download PDFInfo
- Publication number
- CN113706490B CN113706490B CN202110953360.3A CN202110953360A CN113706490B CN 113706490 B CN113706490 B CN 113706490B CN 202110953360 A CN202110953360 A CN 202110953360A CN 113706490 B CN113706490 B CN 113706490B
- Authority
- CN
- China
- Prior art keywords
- detection
- wafer
- model
- image
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 128
- 230000007547 defect Effects 0.000 title claims abstract description 89
- 238000013441 quality evaluation Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 25
- 239000011521 glass Substances 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 239000006002 Pepper Substances 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 230000003416 augmentation Effects 0.000 claims description 2
- 238000003707 image sharpening Methods 0.000 claims description 2
- 238000003064 k means clustering Methods 0.000 claims description 2
- 238000001303 quality assessment method Methods 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 235000012431 wafers Nutrition 0.000 description 72
- 238000009776 industrial production Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明揭示了一种晶片缺陷检测方法，包括样本图像质量评估，基于聚类算法对晶片区域图像进行操作，通过设置分类阈值筛选出质量合格的样本图像；两阶段单帧检测，基于Yolo v4的目标检测网络，先对样本图像中的晶片区域进行定位，而后对晶片区域中的缺陷进行检测定位；多帧融合策略，对待检测的晶片对象从不同角度拍摄获得视频序列，并利用视频序列采集n帧RGB的样本图像，经质量评估和两阶段单帧检测获得每帧样本图像的缺陷检测结果，继而基于投票的方式综合判定缺陷的存在与否，n为大于5的自然数。应用本发明晶片缺陷检测方案，能筛选去除质量较低的图像，并根据多帧检测结果综合判断缺陷，显著降低了误捡率，并提升了检测速度和精准程度。
Description
技术领域
本发明涉及一种计算机视觉的图像数据处理方法，尤其涉及一种基于视频序列对晶片进行缺陷检测的方法。
背景技术
随着工业生产中无人化和智能化操作的普及及对劳动力解放的进步，计算机视觉技术开始引入到工业生产的方方面面，并称之为工业视觉系统。目标检测技术作为计算机视觉中发展成熟的方向，同样被广泛应用到工业视觉检测中。随着工业视觉应用更加深入，对工业产品的缺陷检测方面设计一套准确有效、稳定可用的工业视觉检测系统十分重要。传统工业生产模式要在大量工业产品中检测出缺陷品需要的大量人工成本和时间成本，而基于目标检测的工业视觉检测技术的应用可以快速检测大量样本，并且识别缺陷的准确率极高。
晶片作为目前市场中份额巨大的产品，在工业生产中出现的缺陷会导致产品无法投入使用，所以晶片缺陷的检测异常重要。但是晶片表面的缺陷往往较小，在识别中特征提取往往比较困难，在周边环境复杂情况下很容易出现缺陷特征提取失败，定位错误的情况。所以主流的工业视觉检测中对于晶片的缺陷检测中往往要对图像做处理，缩小定位区域，在正式检测缺陷之前优化检测图像，以实现更加精准的缺陷定位识别。
针对类似晶片产品缺陷检测的主要技术手段有模版匹配、边缘检测等。早期认为缺陷区域相比于背景区域在某种手工特征上是完全可分的，所以可以使用图像处理手段选取出缺陷ROI区域，对选定的ROI区域使用图像滤波、图像频率域变换、平滑、锐化、灰度直方图等等手段对图像进行预处理，再使用简单的分类器进行缺陷识别。这种方法对于拍摄环境和角度要求严格，算法精准度低和泛化性差。随着算力的提升，基于神经网络的方案渐渐流行，例如RCNN、Faster RCNN、Yolo和SSD等一系列目标检测网络应用到晶片的缺陷检测中。对拍摄图像进行简单的处理和增广后，输入神经网络进行类别分类和位置回归。尽管此类方法优于传统图像处理方法，但由于目前工业生产中，缺陷样本少，并且缺陷区域往往过小，基于深度学习的目标检测方法应对不同类型晶片的缺陷检测仍具挑战性。
发明内容
鉴于上述现有技术的不足，本发明的目的旨在提出一种晶片缺陷检测方法，解决对于检测时图像条件过于严苛、模型不够鲁棒、小目标检测性能低的问题。
本发明实现上述目的的技术解决方案是：一种晶片缺陷检测方法，其特征在于检测原理包括：样本图像质量评估，基于聚类算法对晶片区域图像进行操作，通过设置分类阈值筛选出质量合格的样本图像；两阶段单帧检测，基于Yolo v4的目标检测网络，先对样本图像中的晶片区域进行定位，而后对晶片区域中的缺陷进行检测定位；多帧融合策略，对待检测的晶片对象从不同角度拍摄获得视频序列，并利用视频序列采集n帧RGB的样本图像，经质量评估和两阶段单帧检测获得每帧样本图像的缺陷检测结果，继而基于投票的方式综合判定缺陷的存在与否，n为大于5的自然数。
上述晶片缺陷检测方法，优选的检测过程包括：数据准备阶段，对样本图像进行采集、标注和增广，并对晶片区域的图像纹理作增强处理；
模型构建阶段，整体检测模型记为W，包括用于检测晶片区域的模型A，用于判断玻璃区域图像的环境是否为可观测图像的质量评估模型B，用于检测缺陷区域的模型C和用于基于投票方式的视频序列检测模型D，整体检测模型W的输入为对晶片对象表面采集所得视频序列I的连续帧图像P1，P2，P3，……Pn；
模型训练阶段，利用完成准备的数据分别对模型B、模型A、模型C进行训练，并将完成训练的三个模型与基于投票方式的视频序列检测模型D组合成为整体检测模型W；
及模型测试阶段，获取对应待检测的晶片对象的视频序列I及连续帧图像P1，P2，P3，……Pn，以单帧图像为检测周期依次定位晶片区域、质量评估和检测定位缺陷，并遍历视频序列I中所有单帧图像，再将n帧图像的检测结果输入模型D中，使用投票方式判断得出晶片对象的最终检测结果。
应用本发明晶片缺陷检测的技术解决方案，较之于传统方案具备显著的进步性：该方法利用基于Yolo v4的轻量级网络对晶片及缺陷的两阶段单帧检测，结合样本图像质量评估和多帧融合策略，能去除质量较低的图像，并根据多帧检测结果综合判断缺陷，显著降低了误捡率，并提升了检测速度和精准程度。
附图说明
图1为本发明晶片缺陷检测的模型流转示意图。
图2为本发明中质量评估模型B的算法流程图。
图3为本发明晶片基于视频序列检测的算法流程图。
具体实施方式
以下便结合附图对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握，从而对本发明的保护范围做出更为清晰的界定。
针对现有技术对晶片缺陷检测的诸多不足，本发明提出了一种基于计算机视觉、视频序列的晶片缺陷检测方法，以期提升检测性能，满足晶片微小化缺陷的检测需求。从所需应对解决的技术问题细节和检测原理概述说明如下。
由于晶片缺陷尺寸过小，而且晶片缺陷必然出现在晶片上。故而对应提出了基于Yolo v4轻量级网路的晶片缺陷两次检测方法，先检测玻璃面板的晶片区域（业界也常称为ROI区域），在ROI区域中再检测缺陷位置，通过两次检测实现缩小检测范围，将小尺寸检测问题转换为普通尺寸检测问题，提高缺陷检出率，降低缺陷的误检率。
由于不同角度、光照条件下拍摄图片的质量参差不齐，模糊不清的图像很容易造成误检。为此，对应提出了基于聚类算法的质量评估方法，将晶片区域图像进行聚类操作，通过无监督的方法筛选出高质量样本图像进行后续的缺陷评判，并去除模糊不清以及容易造成误检的低质量样本图像，大大降低误检率。
最关键地，考虑到晶片缺陷出现的位置不固定，部分视角下难以观测到缺陷。为此，提出了基于投票策略的视频序列缺陷检测方案构思。通过工业相机从不同角度拍摄视频，结合基于Yolo v4的两阶段单帧检测方法和基于聚类算法的质量评估技术，对每帧图像进行缺陷检测；进而根据多帧检测的结果，将投票策略应用到视频序列中、综合判定是否存在缺陷，避免了单帧检测误检的风险，且可以显著提升缺陷检测的准确率。
再从本发明晶片缺陷检测的完整过程来看，其大致包括数据准备、模型构建、训练和测试四个主要阶段。而各阶段的具体实现相对复杂，故展开详述如下。
1.数据准备阶段，主要包括对样本图像进行采集、标注和增广的一部分综合处理，和对晶片区域的图像纹理作增强处理两部分，具体的子步骤为。
1.1样本图像采集、标注和增广：对于视频序列I数据集，首先等间隔地从特定视频序列I中采集RGB的样本图像，间隔设置为0.5s。首先对所获得的全景的样本图像进行分类标注，因拍摄角度问题产生的模糊图像归类为不可观测图像设为0，角度较好可观测图像设为1，获得L张样本图像P及其对应的类别标注C，该L个样本图像组合成的集合记为：
；然后对采集到的RGB图像信息进行晶片区域和缺陷区域的标注：0代表晶片区域，1代表缺陷区域。获得N个样本图像/>及其对应的标注/>，该N个样本图像组成的集合记为：
；在此基础上，对于同一个样本图像中的缺陷位置进行数据增广，利用自适应阈值二值化方法和中值滤波去除采集到RGB样本图像中的晶片区域区域背景信息、保留边缘信息，然后利用边缘提取和霍夫检测算法计算出晶片区域的边角位置，将缺陷区域图像使用泊松融合算法复制到边角位置。获得M个与/>对应的晶片区域图片/>及其缺陷标注/>，该M个样本图像组成的集合记为：/>。
1.2晶片区域图像的图像纹理增强：利用图像图像锐化算法对数据集进行边缘信息增强，使用傅里叶变换去除低频信息，去除图像的无关背景信息，加强边缘纹理的特征。最终计算出M个晶片区域图像S及其对应的标注F，该M个样本图像组成的集合记为：
。
2.模型设计阶段，主要包括以下五个子步骤。
2.1定义整体的晶片缺陷检测模型W，四个主要组成部分包括：用于检测晶片区域的模型A；用于判断玻璃图像的环境是否为可观测图像的质量评估模型B；用于检测缺陷区域的模型C；用于基于投票策略的视频序列检测模型D。模型W的输入为由工业高清相机拍摄的晶片表面视频序列I的连续帧图像，n为大于5的自然数。
2.2模型A用于晶片区域的检测，利用Yolo v4轻量级网络模型对晶片区域进行定位，对单帧图像进行第一段检测。若定位成功则裁剪出晶片区域图像，进行纹理特征增强后得晶片区域图像S=｛S1，S2，S3，……Sn｝，作为输入转入步骤2.3；若没有检测出晶片区域，则转入步骤2.1。
2.3对输入的晶片区域图像S，利用模型B的质量评估模块对晶片区域图像进行质量评估判断，如果判断为可检测图像，则转入步骤2.4，开始进行晶片的缺陷检测；如果判断为不可检测图像，则继续读取下一帧的样本图像重复2.2操作。
2.4将质量评估后的晶片区域图像S输入模型C，使用Yolo v4轻量级网络模型对单帧图像进行第二阶段检测。若检测出缺陷位置，计算出晶片和缺陷在原始全景图像的位置，对全景图像进行标注显示。
2.5最后将n帧检测结果输入模型D根据投票策略对视频多帧图像检测结果进行综合判断，得出晶片样本的检测结果，判断依据主要结合不同图像检测结果以及检测的置信度，在视频序列的基础上得到整体性的检测结果，各模型详细流程见图1。
3.模型训练阶段：上述模型为A，模型B和模型C需要分别进行训练，其中模型A和模型C分别是单帧图像两阶段检测的两个检测模型，模型B为质量评估模型，具体子步骤如下。
3.1对模型B进行训练：将步骤1.1获得的标注完成的原始图像和对应类别信息的数据集D1中玻璃区域图像裁剪出得数据集，对数据集进行Hog特征提取得到特征数据集/>。而后使用K-Means聚类算法随机分类，观测聚类结果，选择符合标准的类中心作为模型B，模型B的算法流程详见图2。
3.2对模型A进行训练：将步骤1.1获得的标注完成的全景图像晶片区域目标检测数据集分为训练集T2和校验集V2输入Yolo v4的目标检测网络进行模型的第一阶段检测训练，当晶片区域类别的AP值达到较高的数值且该数值不随着训练过程再提升时，停止训练。
3.3对模型C进行训练：将步骤1.2获得的标注完成的晶片区域缺陷目标检测数据集D2分为训练集T3和椒盐基V3输入Yolo v4的目标检测网络进行模型的第二阶段检测训练，当缺陷类别的AP值达到较高的数值且该数值不随着训练过程再提升时，停止训练。
3.4完成训练获得模型A，模型B和模型C，再加上基于投票策略的视频序列检测模型D，组合成为完整的晶片缺陷检测模型W。
4模型测试阶段，为上述模型W的实际测试及投入应用过程，包括如下子步骤。
4.1工业高清相机拍摄工作台上待检测晶片，得到视频序列I，并获取其中的连续视频帧图像。
4.2将连续视频帧图像输入到步骤3.4的晶片缺陷检测模型W中。首先通过模型A对单帧图像P进行晶片区域定位，得到晶片区域图像S。
4.3得到晶片区域图像S后，输入模型B进行图像质量评估，判断晶片区域图像S中的部分或全部图片是否为模型C的可检测图像。
4.4将通过质量评估模块筛选的晶片区域图像S输入到模型C中，进行晶片表面的缺陷检测。得到单帧图像的检测结果，并重复上述操作直到遍历视频序列I中全部单帧图像检测完成。
4.5将所有单帧图像的检测结果输入到模型D中使用投票策略判断出工作台上待检测的晶片样本的最终检测结果，整体流程如图3所示。
综上关于本发明晶片缺陷检测方法结合图示的实施例详述可见，其具备突出的实质性特点和显著的进步性。该方法利用基于Yolo v4的轻量级网络对晶片及缺陷的两阶段单帧检测，结合样本图像质量评估和多帧融合策略，能去除质量较低的图像，并根据多帧检测结果综合判断缺陷，显著降低了误捡率，并提升了检测速度和精准程度。
除上述实施例外，本发明还可以有其它实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。
Claims (3)
1.一种晶片缺陷检测方法，其特征在于检测原理包括：
样本图像质量评估，基于聚类算法对晶片区域图像进行操作，通过设置分类阈值筛选出质量合格的样本图像；
两阶段单帧检测，基于Yolo v4的目标检测网络，先对样本图像中的晶片区域进行定位，而后对晶片区域中的缺陷进行检测定位；检测过程包括：
数据准备阶段，对样本图像进行采集、标注和增广，并对晶片区域的图像纹理作增强处理；其中，样本图像的采集包括利用工业高清相机对晶片对象切换两种以上角度拍摄获得视频序列I，并设置图样采集间隔获取若干单帧RGB的样本图像；
样本图像的标注包括基于拍摄角度差异图像可观测与否的分类标注，获得L个样本图像P及其对应的类别标注C，组成集合记为；基于晶片区域和缺陷区域的分类标注，获得N个样本图像/>及其对应的标注/>，组成集合记为/>；
样本图像的增广作用于同一个图像中的缺陷位置，包括利用自适应阈值二值化方法和中值滤波去除样本图像中晶片区域背景信息、保留边缘信息，而后利用边缘提取和霍夫检测算法计算得出晶片区域的边角位置，最后将缺陷区域使用泊松融合算法复制到边角位置，获得M个与对应的晶片区域图片/>及其缺陷标注/>，组成集合记为
；
模型构建阶段，整体检测模型记为W，包括用于检测晶片区域的模型A，用于判断玻璃区域图像的环境是否为可观测图像的质量评估模型B，用于检测缺陷区域的模型C和用于基于投票方式的视频序列检测模型D，整体检测模型W的输入为对晶片对象表面采集所得视频序列I的连续帧图像P1，P2，P3，……Pn；
模型训练阶段，利用完成准备的数据分别对模型B、模型A、模型C进行训练，并将完成训练的三个模型与基于投票方式的视频序列检测模型D组合成为整体检测模型W；
其中模型B的训练过程为：对集合D1裁剪玻璃区域图像裁剪得到数据集Dglass，再对数据集Dglass进行Hog特征提取得到特征数据集Df，利用K-Means聚类算法随机分类，观察聚类结果并完成模型B的训练；
模型A的训练过程为：将集合分为训练集T2和校验集V2并输入基于Yolo v4的目标检测网络，进行第一阶段检测训练，当晶片区域类别的AP值提升至上限时，停止训练；
模型C的训练过程为：集合D2分为训练集T3和椒盐基V3并输入基于Yolo v4的目标检测网络，进行第二阶段检测训练，当缺陷类别的AP值提升至上限时，停止训练；
及模型测试阶段，获取对应待检测的晶片对象的视频序列I及连续帧图像P1，P2，P3，……Pn，以单帧图像为检测周期依次定位晶片区域、质量评估和检测定位缺陷，并遍历视频序列I中所有单帧图像，再将n帧图像的检测结果输入模型D中，使用投票方式判断得出晶片对象的最终检测结果；
多帧融合策略，对待检测的晶片对象从不同角度拍摄获得视频序列，并利用视频序列采集n帧RGB的样本图像，经质量评估和两阶段单帧检测获得每帧样本图像的缺陷检测结果，继而基于投票的方式综合判定缺陷的存在与否，n为大于5的自然数。
2.根据权利要求1所述晶片缺陷检测方法，其特征在于：数据准备阶段中对图像纹理的增强处理为，利用图像锐化算法对数据集合进行边缘信息增强，使用傅里叶变换去除低频信息，去除图像的无关背景信息，加强边缘纹理的特征，计算得出M个晶片区域特征图像S及其对应的标注F，组成集合记为/>。
3.根据权利要求1所述晶片缺陷检测方法，其特征在于：模型构建阶段中模型A基于Yolo v4的目标检测网络对单帧的样本图像进行晶片区域定位的第一阶段检测，对于定位成功的裁剪出晶片区域的图像，进行纹理特征增强后得图片S1，S2，S3，……Sn；模型B设有用于质量评估的分类阈值，所述分类阈值与图像清晰度、可用于缺陷检测的程度相关；模型C基于Yolo v4的目标检测网络对经质量评估筛选所得单帧的图片进行缺陷定位的第二阶段检测，对于定位成功的计算得到晶片区域和缺陷的位置，对样本图像进行标注显示；将多帧样本图像的检测结果输入模型D，基于检测结果的区别及检测的置信度，综合判断缺陷的检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110953360.3A CN113706490B (zh) | 2021-08-19 | 2021-08-19 | 一种晶片缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110953360.3A CN113706490B (zh) | 2021-08-19 | 2021-08-19 | 一种晶片缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706490A CN113706490A (zh) | 2021-11-26 |
| CN113706490B true CN113706490B (zh) | 2024-01-12 |
Family
ID=78653436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110953360.3A Active CN113706490B (zh) | 2021-08-19 | 2021-08-19 | 一种晶片缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706490B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114720097B (zh) * | 2022-04-13 | 2023-06-09 | 安徽科瑞思创晶体材料有限责任公司 | 一种用于tgg晶片检测的光学检测系统 |
| CN115656214A (zh) * | 2022-09-07 | 2023-01-31 | 环旭电子股份有限公司 | 一种料盘上芯片的检测方法、系统、存储介质及智能终端 |
| CN115830030B (zh) * | 2023-02-22 | 2023-05-05 | 日照皓诚电子科技有限公司 | 一种石英晶片的外观质量评估方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| CN108985186A (zh) * | 2018-06-27 | 2018-12-11 | 武汉理工大学 | 一种基于改进YOLOv2的无人驾驶中行人检测方法 |
| CN111768381A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 零部件缺陷检测方法、装置及电子设备 |
| CN112703457A (zh) * | 2018-05-07 | 2021-04-23 | 强力物联网投资组合2016有限公司 | 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统 |
-
2021
- 2021-08-19 CN CN202110953360.3A patent/CN113706490B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| CN112703457A (zh) * | 2018-05-07 | 2021-04-23 | 强力物联网投资组合2016有限公司 | 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统 |
| CN108985186A (zh) * | 2018-06-27 | 2018-12-11 | 武汉理工大学 | 一种基于改进YOLOv2的无人驾驶中行人检测方法 |
| CN111768381A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 零部件缺陷检测方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| "基于机器视觉的颗粒物缺陷检测";李夏霖;《硕士电子期刊》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706490A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN110349126B (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
| CN109859171B (zh) | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 | |
| CN111161243B (zh) | 基于样本增强的工业产品表面缺陷检测方法 | |
| CN109961049B (zh) | 一种复杂场景下香烟品牌识别方法 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN114549522A (zh) | 基于目标检测的纺织品质量检测方法 | |
| CN108181316B (zh) | 一种基于机器视觉的竹条缺陷检测方法 | |
| CN114757900A (zh) | 基于人工智能的纺织品缺陷类型识别方法 | |
| CN110689524B (zh) | 一种无参考在线图像清晰度评价方法与系统 | |
| CN109598681B (zh) | 一种对称唐卡修复后图像的无参考质量评价方法 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN114910480A (zh) | 一种基于机器视觉的晶圆表面缺陷检测方法 | |
| CN111667475A (zh) | 一种基于机器视觉的大枣分级检测方法 | |
| CN110781913A (zh) | 一种拉链布带缺陷检测方法 | |
| CN113870202A (zh) | 一种基于深度学习技术的远端芯片缺陷检测系统 | |
| CN116228651A (zh) | 一种布匹缺陷检测方法、系统、设备及介质 | |
| CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN111739003B (zh) | 一种用于外观检测的机器视觉方法 | |
| CN111707672A (zh) | 风电回转支撑件表面缺陷检测方法 | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| CN116363097A (zh) | 一种光伏板的缺陷检测方法及系统 | |
| CN116433978A (zh) | 一种高质量瑕疵图像自动生成与自动标注方法及装置 | |
| CN114612415A (zh) | 基于深度残差网络与多通道图像融合的表面缺陷分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |