CN113177934A - 一种基于深度学习的引线框架缺陷定位及等级判定方法 - Google Patents
一种基于深度学习的引线框架缺陷定位及等级判定方法 Download PDFInfo
- Publication number
- CN113177934A CN113177934A CN202110552002.1A CN202110552002A CN113177934A CN 113177934 A CN113177934 A CN 113177934A CN 202110552002 A CN202110552002 A CN 202110552002A CN 113177934 A CN113177934 A CN 113177934A
- Authority
- CN
- China
- Prior art keywords
- defect
- deep learning
- lead frame
- grade
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及引线框架检测技术领域，尤其涉及一种基于深度学习的引线框架缺陷定位及等级判定方法，包括如下步骤：收集缺陷图像并进行缺陷位置、类别及面积掩膜的标注；基于标注图像进行深度学习量化模型的训练；利用深度学习量化模型对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积；基于等级判定规则和缺陷的位置、类别及量化面积对测试图像进行等级判定。本发明通过缺陷的位置、类别及量化信息进行缺陷的等级判定，从而去除检测后需要的人工复判的工作，提高复判效率；还可实现缺陷的类别判定，进而可以追溯缺陷来源工艺流程步骤，进行质量反馈。
Description
技术领域
本发明涉及引线框架检测技术领域，尤其涉及一种基于深度学习的引线框架缺陷定位及等级判定方法。
背景技术
引线框架作为很多集成电路的芯片载体，其质量是否可靠稳定决定了后续最终半导体产品的功能和性能，因此在实际生产过程中需要对引线框架物料进行质量检查。引线框架料片有很多的颗粒组成，尺寸很小，人工检查需要借助显微镜逐个颗粒进行目视判断，因此费时费力且很难保证检查的稳定性。为提高质检效率和稳定性，人们设计并制造了基于视觉的自动引线框架检测设备。
常规的引线框架检测设备对输入的引线框架物料进行自动检查，定位物料上的所有缺陷，然后交由人工判断缺陷是否影响功能及是否可以进行物理清理。通过对缺陷进行分类和等级判定，危害程度较高的直接报废，危害程度低或不影响功能的自动判为良品可以减少人工判断的工作量。引线框架的生产需要经过不同的工艺流程，如蚀刻、电镀。这些工艺流程的质量管控影响了生产的引线框架的质量，通过分析生产出的引线框架缺陷类型可以追溯是哪些流程出现了质量问题，因此实际缺陷的类别判定对反馈制程过程进行质量改进有重要的意义。此外，对生产出来的引线框架进行质量检查进而出货到下游客户，出货量影响生产工厂的效益。
现有设备主要基于传统的图像比对方法来定位引线框架料片中的缺陷辅助人工判断，该方法有以下几个不足：
1、只基于图像比对的方法对图像要求高，因为物料的变化会导致图像的变化从而难保证低漏检过杀的效果；
2、只能定位到缺陷位置无法进行类别判定进而进行产生原因的溯源；
3、无法基于缺陷程度和危害程度进行不同的处理，减少人工工作量。
为此，我们提出一种基于深度学习的引线框架缺陷定位及等级判定方法。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于深度学习的引线框架缺陷定位及等级判定方法，具有通过缺陷的位置、类别及量化信息进行缺陷的等级判定，提高复判效率，追溯缺陷来源工艺流程步骤，进行质量反馈的特点，解决了现有技术无法进行引线框架缺陷类别判定以及缺陷产生原因的溯源，影响产品质量和出货量的问题。
本发明提供如下技术方案：一种基于深度学习的引线框架缺陷定位及等级判定方法，包括如下步骤：
S1、收集缺陷图像并进行缺陷位置、类别及面积掩膜的标注；
S2、基于标注图像进行深度学习量化模型的训练；
S3、利用深度学习量化模型对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积；
S4、基于等级判定规则和缺陷的位置、类别及量化面积对测试图像进行等级判定。
优选的，所述步骤S2中训练前首先指定训练目标和停止准则，训练目标指量化模型的损失函数；停止准则指目标函数的可接受阈值或迭代次数；然后，进入训练迭代过程，每次迭代读取部分训练图像，前向传播计算这些图像上的目标函数数值，然后将损失函数的梯度反向传播更新网络的参数；最后达到停止准则后保存对应模型。
优选的，所述步骤S2中的深度学习量化模型包括缺陷位置回归模型、缺陷分类模型和缺陷面积估计模型。
优选的，所述步骤S3中通过缺陷位置回归模型输出回归缺陷坐标、通过缺陷分类模型估计缺陷类别、通过缺陷面积估计模型估计缺陷的面积。
优选的，所述步骤S4中通过对缺陷的属性数值进行逻辑判断，从而得到对应的等级判定。
本发明提供了一种基于深度学习的引线框架缺陷定位及等级判定方法，通过缺陷的位置、类别及量化信息进行缺陷的等级判定，从而去除检测后需要的人工复判的工作，提高复判效率；还可实现缺陷的类别判定，进而可以追溯缺陷来源工艺流程步骤，进行质量反馈。
附图说明
图1为本发明模型训练过程的流程示意图；
图2为本发明图像缺陷检测及等级判定过程的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：一种基于深度学习的引线框架缺陷定位及等级判定方法，包括如下步骤：
S1、收集缺陷图像并进行缺陷位置、类别及面积掩膜的标注；使用labelme等标注软件对缺陷图像的缺陷位置、类别及面积掩膜进行标注。
S2、基于标注图像进行深度学习量化模型的训练。如图1所示，训练前首先指定训练目标和停止准则，训练目标指量化模型的损失函数，比如面积估计相关的iou loss、缺陷位置回归误差loss、及缺陷的类别分类loss。停止准则指目标函数的可接受阈值或迭代次数；然后，进入训练迭代过程，每次迭代读取部分训练图像，前向传播计算这些图像上的目标函数数值，然后将损失函数的梯度反向传播更新网络的参数；最后达到停止准则后保存对应模型。
S3、对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积。将测试图像输入步骤二训练的模型中，进行前向推断，得到模型的输出，比如缺陷位置回归模型的回归缺陷坐标、缺陷分类模型估计的缺陷类别、缺陷面积估计模型的面积。
S4、基于等级判定规则和缺陷的位置、类别及量化面积对测试图像进行等级判定。通过对缺陷的属性数值进行逻辑判断，从而得到对应的等级判定。比如缺陷面积超过100，则进入复判；缺陷类别为连脚，该图像对应的物料可判定为报废。如图2所示。
基于同一批物料，该方案与已有技术系统进行检测验证，对比结果如下：
| 下机良率 | 报废 | 复判 | |
| 已有技术 | 44％ | 0 | 56％ |
| 本方案 | 58％ | 5％ | 37％ |
此外，同一产品经过缺陷分类反馈制程后刮花比例由50％-70％降到了25％以下。
本发明中，基于深度学习技术可以实现缺陷的定位、分类及面积估计得到缺陷更完备的属性，而不仅仅是只实现缺陷的定位。通过缺陷的位置、类别及量化信息进行缺陷的等级判定，从而去除检测后需要的人工复判的工作，提高复判效率。还可实现缺陷的类别判定，进而可以追溯缺陷来源工艺流程步骤，进行质量反馈。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种基于深度学习的引线框架缺陷定位及等级判定方法，其特征在于：包括如下步骤：
S1、收集缺陷图像并进行缺陷位置、类别及面积掩膜的标注；
S2、基于标注图像进行深度学习量化模型的训练；
S3、利用深度学习量化模型对测试图像进行推断，判断图像是否有缺陷及缺陷的位置、类别及量化面积；
S4、基于等级判定规则和缺陷的位置、类别及量化面积对测试图像进行等级判定。
2.根据权利要求1所述的一种基于深度学习的引线框架缺陷定位及等级判定方法，其特征在于：所述步骤S2中训练前首先指定训练目标和停止准则，训练目标指量化模型的损失函数；停止准则指目标函数的可接受阈值或迭代次数；然后，进入训练迭代过程，每次迭代读取部分训练图像，前向传播计算这些图像上的目标函数数值，然后将损失函数的梯度反向传播更新网络的参数；最后达到停止准则后保存对应模型。
3.根据权利要求1或2所述的一种基于深度学习的引线框架缺陷定位及等级判定方法，其特征在于：所述步骤S2中的深度学习量化模型包括缺陷位置回归模型、缺陷分类模型和缺陷面积估计模型。
4.根据权利要求1或2所述的一种基于深度学习的引线框架缺陷定位及等级判定方法，其特征在于：所述步骤S3中通过缺陷位置回归模型输出回归缺陷坐标、通过缺陷分类模型估计缺陷类别、通过缺陷面积估计模型估计缺陷的面积。
5.根据权利要求1或2所述的一种基于深度学习的引线框架缺陷定位及等级判定方法，其特征在于：所述步骤S4中通过对缺陷的属性数值进行逻辑判断，从而得到对应的等级判定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110552002.1A CN113177934A (zh) | 2021-05-20 | 2021-05-20 | 一种基于深度学习的引线框架缺陷定位及等级判定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110552002.1A CN113177934A (zh) | 2021-05-20 | 2021-05-20 | 一种基于深度学习的引线框架缺陷定位及等级判定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113177934A true CN113177934A (zh) | 2021-07-27 |
Family
ID=76929416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110552002.1A Pending CN113177934A (zh) | 2021-05-20 | 2021-05-20 | 一种基于深度学习的引线框架缺陷定位及等级判定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177934A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781479A (zh) * | 2021-11-09 | 2021-12-10 | 聚时科技(江苏)有限公司 | 一种基于图像分割算法的半导体外观缺陷量化方法 |
| CN113902765A (zh) * | 2021-12-10 | 2022-01-07 | 聚时科技(江苏)有限公司 | 基于全景分割的半导体自动分区方法 |
| CN115082392A (zh) * | 2022-06-14 | 2022-09-20 | 西安邮电大学 | 一种半导体引线框架镀银缺陷检测方法及系统 |
| CN116843615A (zh) * | 2023-05-16 | 2023-10-03 | 西安邮电大学 | 一种基于柔性光路的引线框架智能全检方法 |
| CN117115147A (zh) * | 2023-10-19 | 2023-11-24 | 山东华盛创新纺织科技有限公司 | 一种基于机器视觉的纺织品检测方法及系统 |
| TWI837941B (zh) * | 2021-11-12 | 2024-04-01 | 大陸商先進半導體材料（深圳）有限公司 | 引線框架的出貨方法 |
-
2021
- 2021-05-20 CN CN202110552002.1A patent/CN113177934A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781479A (zh) * | 2021-11-09 | 2021-12-10 | 聚时科技(江苏)有限公司 | 一种基于图像分割算法的半导体外观缺陷量化方法 |
| CN113781479B (zh) * | 2021-11-09 | 2022-04-12 | 聚时科技(江苏)有限公司 | 一种基于图像分割算法的半导体外观缺陷量化方法 |
| TWI837941B (zh) * | 2021-11-12 | 2024-04-01 | 大陸商先進半導體材料（深圳）有限公司 | 引線框架的出貨方法 |
| CN113902765A (zh) * | 2021-12-10 | 2022-01-07 | 聚时科技(江苏)有限公司 | 基于全景分割的半导体自动分区方法 |
| CN113902765B (zh) * | 2021-12-10 | 2022-04-12 | 聚时科技(江苏)有限公司 | 基于全景分割的半导体自动分区方法 |
| CN115082392A (zh) * | 2022-06-14 | 2022-09-20 | 西安邮电大学 | 一种半导体引线框架镀银缺陷检测方法及系统 |
| CN116843615A (zh) * | 2023-05-16 | 2023-10-03 | 西安邮电大学 | 一种基于柔性光路的引线框架智能全检方法 |
| CN116843615B (zh) * | 2023-05-16 | 2024-04-12 | 西安邮电大学 | 一种基于柔性光路的引线框架智能全检方法 |
| CN117115147A (zh) * | 2023-10-19 | 2023-11-24 | 山东华盛创新纺织科技有限公司 | 一种基于机器视觉的纺织品检测方法及系统 |
| CN117115147B (zh) * | 2023-10-19 | 2024-01-26 | 山东华盛创新纺织科技有限公司 | 一种基于机器视觉的纺织品检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113177934A (zh) | 一种基于深度学习的引线框架缺陷定位及等级判定方法 | |
| CN110992317B (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
| TWI525317B (zh) | 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 | |
| CN110648305B (zh) | 工业图像检测方法、系统与计算机可读记录介质 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| US10636133B2 (en) | Automated optical inspection (AOI) image classification method, system and computer-readable media | |
| US10656518B2 (en) | Automatic inline detection and wafer disposition system and method for automatic inline detection and wafer disposition | |
| CN112800716B (zh) | 一种集成电路版图布线中线网开路检测方法 | |
| CN115690670A (zh) | 一种晶圆瑕疵智能识别方法和系统 | |
| CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
| CN112579640A (zh) | 用于生产异常检测的方法和设备 | |
| CN106296689A (zh) | 瑕疵检测方法、系统及装置 | |
| CN115866502A (zh) | 一种麦克风零件表面缺陷在线检测流程 | |
| CN116342554A (zh) | 采用深度学习的晶圆规则性失效邻近管芯标记方法及相关装置 | |
| CN112016675A (zh) | 用于钢板表面缺陷检测的cnn模型训练方法和装置 | |
| TWI409661B (zh) | 物體製造缺陷的應用方法 | |
| CN116228682A (zh) | 一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法 | |
| CN115797326A (zh) | 一种基于改进yolox-s算法的金属铸件表面缺陷检测方法 | |
| WO2022061815A1 (zh) | 生产过程中的质量问题的分类方法和装置 | |
| CN114202544A (zh) | 一种基于自编码器的复杂工件缺陷检测方法 | |
| CN110728310B (zh) | 一种基于超参数优化的目标检测模型融合方法及融合系统 | |
| You et al. | Die-Level Defects Classification using Region-based Convolutional Neural Network | |
| TWI837941B (zh) | 引線框架的出貨方法 | |
| TWI843333B (zh) | 半導體芯片載板的缺陷驗證方法、檢測方法及aoi設備 | |
| He et al. | Fabric Defect Detection Based on Faster RCNN with CBAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |