CN113076989A - 一种基于ResNet网络的芯片缺陷图像分类方法 - Google Patents

一种基于ResNet网络的芯片缺陷图像分类方法 Download PDF

Info

Publication number
CN113076989A
CN113076989A CN202110341109.1A CN202110341109A CN113076989A CN 113076989 A CN113076989 A CN 113076989A CN 202110341109 A CN202110341109 A CN 202110341109A CN 113076989 A CN113076989 A CN 113076989A
Authority
CN
China
Prior art keywords
network
resnet network
resnet
layer
activation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110341109.1A
Other languages
English (en)
Inventor
赵菊敏
李灯熬
贾延润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202110341109.1A priority Critical patent/CN113076989A/zh
Publication of CN113076989A publication Critical patent/CN113076989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及深度学习技术领域，具体涉及一种基于ResNet网络的芯片缺陷图像分类方法，通过ResNet网络进行分类，包括将得到的样本数据分为训练集、验证集和测试集；样本预处理；将处理好的样本图像中的训练集和验证集，用于训练已经搭建好的网络模型中；将训练好的网络模型当做测试模型，将剩下的测试集用于测试网络中，最终通过激活函数输出分类结果；通过预处理，避免由于样本原始的图像尺寸较大，为了处理整个图像，需要耗费大量的计算工作和时间，通过数据增强，以防止过拟合发生的可能性，可以通过增加更多的特征信息来提高分类的性能；通过残差块解决梯度消失或者梯度爆炸的问题以及出现学习效率退化的问题。

Description

一种基于ResNet网络的芯片缺陷图像分类方法
技术领域
本发明涉及深度学习技术领域，具体涉及一种基于ResNet网络的芯片缺陷图像分类方法。
背景技术
集成电路芯片是通过半导体工艺将一定数量的电子元件集成在一起的具有特定功能的电路。从发明至今，集成电路芯片几乎无处不在，现代计算、交流、制造、互联网和交通系统全都依赖于集成电路芯片的存在。但是，在集成电路芯片制造过程的每个环节中都可能造成缺陷，缺陷的存在会直接影响寿命和可靠性。因此，集成电路芯片的检测尤为重要。
传统的生产中采用人工检测的方法进行检测。由于人工检测可变因素多，并且无法定量描述，影响了检测的准确性和可靠性，因此人工检测具有主观因素影响大，实时性差，劳动强度大，误检率高等缺点。在产品生产过程中，随着生产速度的提高以及越来越严格的质量要求，传统的人工检测方法已不能保质保量的完成生产任务。
机器视觉检测技术是一种无损检测技术，已经广泛应用于各个领域。在工业生产中，机器视觉检测的原理是采用机器视觉的方法对产品进行分析处理，检验产品是否符合质量要求，从而去除不合格的产品，对保障产品质量，提高产品合格率起到了关键作用。与人工视觉相比较，机器视觉的优点是准确、快速、可靠和数字化，具体来讲，具有以下四大优点：
1)解放了检测工人的枯燥乏味的工作；
2)更加安全，检测范围更广；
3)检测精度高；
4)满足工业质量高要求。
发明内容
本发明所要解决的技术问题是：提供一种基于ResNet网络的芯片缺陷图像分类方法。
为了解决上述技术问题，本发明采用的技术方案为：一种基于ResNet网络的芯片缺陷图像分类方法，通过ResNet网络进行分类，包括
将得到的样本数据分为训练集、验证集和测试集；
样本预处理；
将处理好的样本图像中的训练集和验证集，用于训练已经搭建好的网络模型中；
将训练好的网络模型当做测试模型，将剩下的测试集用于测试网络中，最终通过激活函数输出分类结果。
本发明的有益效果在于：通过预处理，避免由于样本原始的图像尺寸较大，为了处理整个图像，需要耗费大量的计算工作和时间，通过数据增强，以防止过拟合发生的可能性，可以通过增加更多的特征信息来提高分类的性能；通过旋转过后的图像块能提供各个方向的特征以增强训练数据的分类准确性；通过残差块解决梯度消失或者梯度爆炸的问题以及出现学习效率退化的问题。
附图说明
图1为本发明具体实施方式的一种基于ResNet网络的芯片缺陷图像分类方法的ReLU激活函数示意图；
图2为本发明具体实施方式的一种基于ResNet网络的芯片缺陷图像分类方法的残差块模型示意图；
图3为本发明具体实施方式的一种基于ResNet网络的芯片缺陷图像分类方法的ResNet的模型结构图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1以及图2，一种基于ResNet网络的芯片缺陷图像分类方法，通过ResNet网络进行分类，包括
将得到的样本数据分为训练集、验证集和测试集；
样本预处理；
将处理好的样本图像中的训练集和验证集，用于训练已经搭建好的网络模型中；
将训练好的网络模型当做测试模型，将剩下的测试集用于测试网络中，最终通过激活函数输出分类结果。
进一步的，所述ResNet网络包括：
激活函数，在ResNet网络中给定一组输入，神经元的激活函数定义一组输出；
残差块，消除ResNet网络的梯度消失或梯度爆炸的问题；
网络结构，通过激活函数输出结果。
进一步的，所述ResNet网络在输出层选用softmax激活函数，其中z定义输出层输入的向量；
softmax函数的表达式：
Figure BDA0002999128170000031
其余所有卷积层都使用ReLU激活函数
ReLU激活函数的表达式：
f(x)＝max(x,0)。
进一步的，所述网络结构使用ResNet网络模型，所述输入层输入层图片像素为224×224，第1层使用步长为2的7×7的卷积层，第2层使用步长为2的池化层进行下采样，第3-34层是ResNet残差块结构，第35层为平均池化层，第36层为全连接层构成的输出层，之后通过softmax激活函数输出结果。
进一步的，所述训练集、验证集和测试集的比例为90:5:5。
进一步的，所述样本预处理包括图像分割，将样本中的芯片缺陷图片中被标记出来的缺陷的感兴趣部分提取为易于训练尺寸的图像块。
进一步的，所述样本预处理还包括数据增强，所述数据增强包括翻转、旋转、缩放、裁剪、平移中的一种或多种。
进一步的，将提取的图像块分别旋转90°、180°、270°，每个旋转后的图像块都进行垂直翻转，从而得到八个不同的图像块。
从上述描述可知，通过预处理，避免由于样本原始的图像尺寸较大，为了处理整个图像，需要耗费大量的计算工作和时间，通过数据增强，以防止过拟合发生的可能性，可以通过增加更多的特征信息来提高分类的性能；通过旋转过后的图像块能提供各个方向的特征以增强训练数据的分类准确性；通过残差块解决梯度消失或者梯度爆炸的问题以及出现学习效率退化的问题。
实施例一
一种基于ResNet网络的芯片缺陷图像分类方法，通过ResNet网络进行分类，包括
将得到的样本数据分为90％的训练集、5％的验证集和5％的测试集；
样本预处理；
将处理好的样本图像中的90％的训练集和5％的验证集，用于训练已经搭建好的网络模型中；
将训练好的网络模型当做测试模型，将剩下5％的测试集用于测试网络中，最终通过激活函数输出分类结果。
所述芯片为高速激光器芯片。
所述样本预处理包括
(1)图像分割
原始的图像尺寸较大，为了处理整个图像，需要耗费大量的计算工作和时间，将芯片缺陷图片中被标记出来的缺陷的感兴趣部分提取为易于训练尺寸较小的图像块。
(2)数据增强
数据增强一般用于生成更大的数据集，以防止过拟合发生的可能性，可以通过增加更多的特征信息来提高分类的性能。
深度学习需要运用大量的参数，而使得这些参数可以正确工作则需要大量的数据来进行训练，而实际情况中数据并没有我们想象中的那么多，我们一般使用数据增强的方式来增加数据集。
常用的数据增强技术有以下几种：翻转、旋转、缩放、裁剪、平移。
本方案中使用旋转和翻转的来进行数据增强，我们把提取出来的特征图像分别旋转90°、180°、270°，每个旋转后的图像快都进行垂直翻转，从而得到八个不同的图像块，旋转过后的图像块能提供各个方向的特征以增强训练数据的分类准确性。
所述ResNet网络包括
(1)激活函数
在神经网络中给定一组输入，神经元的激活函数定义了一组输出，本专利所提出的ResNet网络在输出层选用softmax激活函数，其中z定义输出层输入的向量。
softmax函数的表达式：
Figure BDA0002999128170000051
其余所有卷积层都使用ReLU激活函数
ReLU激活函数的表达式：
f(x)＝max(x,0)
(2)残差块
在卷积神经网络中，层数越深意味着可以提取到更多有效地特征，但是传统的神经网络随着层数加深，训练集的准确率会出现下降的趋势。这是因为单纯地加深网络可能会出现梯度消失或者梯度爆炸的问题。虽然初始正则化和中间层正则化能在一定程度上解决梯度消失或者梯度爆炸的问题，但是会出现学习效率退化的问题。而ResNet网络的残差块模型的提出能够有效地解决以上问题。具体的残差结构如图2所示。
(3)网络结构
本文中我们使用ResNet网络模型。
输入层一般不算在网络的层数里，输入层图片像素为224×224，第1层使用步长为2的7×7的卷积层，第2层使用步长为2的池化层进行下采样，第3-34层是ResNet残差块结构，第35层为平均池化层，第36层为全连接层构成的输出层，之后通过softmax激活函数输出结果。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于ResNet网络的芯片缺陷图像分类方法，其特征在于，通过ResNet网络进行分类，包括
将得到的样本数据分为训练集、验证集和测试集；
样本预处理；
将处理好的样本图像中的训练集和验证集，用于训练已经搭建好的网络模型中；
将训练好的网络模型当做测试模型，将剩下的测试集用于测试网络中，最终通过激活函数输出分类结果。
2.根据权利要求1所述的基于ResNet网络的芯片缺陷图像分类方法，其特征在于，所述ResNet网络包括：
激活函数，在ResNet网络中给定一组输入，神经元的激活函数定义一组输出；
残差块，消除ResNet网络的梯度消失或梯度爆炸的问题；
网络结构，通过激活函数输出结果。
3.根据权利要求2所述的基于ResNet网络的芯片缺陷图像分类方法，其特征在于，所述ResNet网络在输出层选用softmax激活函数，其中z定义输出层输入的向量；
softmax函数的表达式：
Figure FDA0002999128160000011
其余所有卷积层都使用ReLU激活函数
ReLU激活函数的表达式：
f(x)＝max(x,0)。
4.根据权利要求3所述的基于ResNet网络的芯片缺陷图像分类方法，其特征在于，所述网络结构使用ResNet网络模型，所述输入层输入层图片像素为224×224，第1层使用步长为2的7×7的卷积层，第2层使用步长为2的池化层进行下采样，第3-34层是ResNet残差块结构，第35层为平均池化层，第36层为全连接层构成的输出层，之后通过softmax激活函数输出结果。
5.根据权利要求1所述的基于ResNet网络的芯片缺陷图像分类方法，其特征在于，所述训练集、验证集和测试集的比例为90:5:5。
6.根据权利要求1所述的基于ResNet网络的芯片缺陷图像分类方法，其特征在于，所述样本预处理包括图像分割，将样本中的芯片缺陷图片中被标记出来的缺陷的感兴趣部分提取为易于训练尺寸的图像块。
7.根据权利要求6所述的基于ResNet网络的芯片缺陷图像分类方法，其特征在于，所述样本预处理还包括数据增强，所述数据增强包括翻转、旋转、缩放、裁剪、平移中的一种或多种。
8.根据权利要求7所述的基于ResNet网络的芯片缺陷图像分类方法，其特征在于，将提取的图像块分别旋转90°、180°、270°，每个旋转后的图像块都进行垂直翻转，从而得到八个不同的图像块。
CN202110341109.1A 2021-03-30 2021-03-30 一种基于ResNet网络的芯片缺陷图像分类方法 Pending CN113076989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341109.1A CN113076989A (zh) 2021-03-30 2021-03-30 一种基于ResNet网络的芯片缺陷图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341109.1A CN113076989A (zh) 2021-03-30 2021-03-30 一种基于ResNet网络的芯片缺陷图像分类方法

Publications (1)

Publication Number Publication Date
CN113076989A true CN113076989A (zh) 2021-07-06

Family

ID=76611655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341109.1A Pending CN113076989A (zh) 2021-03-30 2021-03-30 一种基于ResNet网络的芯片缺陷图像分类方法

Country Status (1)

Country Link
CN (1) CN113076989A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902765A (zh) * 2021-12-10 2022-01-07 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN115115921A (zh) * 2022-07-05 2022-09-27 广东利扬芯片测试股份有限公司 基于残差网路的晶圆缺陷模式识别方法
CN116385442A (zh) * 2023-06-06 2023-07-04 青岛理工大学 一种基于深度学习的虚拟装配缺陷检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003083908A (ja) * 2001-09-12 2003-03-19 Hitachi Ltd 欠陥検査方法及びその装置
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN110766660A (zh) * 2019-09-25 2020-02-07 上海众壹云计算科技有限公司 基于融合深度学习模型的集成电路缺陷图像识别分类系统
CN111179229A (zh) * 2019-12-17 2020-05-19 中信重工机械股份有限公司 一种基于深度学习的工业ct缺陷检测方法
CN111709910A (zh) * 2020-05-18 2020-09-25 扬州小纳熊机器人有限公司 一种基于卷积神经网络的pcb板缺陷检测算法
CN111862025A (zh) * 2020-07-14 2020-10-30 中国船舶重工集团公司第七一六研究所 基于深度学习的pcb缺陷自动检测方法
CN112116560A (zh) * 2020-08-20 2020-12-22 华南理工大学 一种焊接图像缺陷识别方法、装置、存储介质及设备
CN112270404A (zh) * 2020-11-24 2021-01-26 南通大学 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003083908A (ja) * 2001-09-12 2003-03-19 Hitachi Ltd 欠陥検査方法及びその装置
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN110766660A (zh) * 2019-09-25 2020-02-07 上海众壹云计算科技有限公司 基于融合深度学习模型的集成电路缺陷图像识别分类系统
CN111179229A (zh) * 2019-12-17 2020-05-19 中信重工机械股份有限公司 一种基于深度学习的工业ct缺陷检测方法
CN111709910A (zh) * 2020-05-18 2020-09-25 扬州小纳熊机器人有限公司 一种基于卷积神经网络的pcb板缺陷检测算法
CN111862025A (zh) * 2020-07-14 2020-10-30 中国船舶重工集团公司第七一六研究所 基于深度学习的pcb缺陷自动检测方法
CN112116560A (zh) * 2020-08-20 2020-12-22 华南理工大学 一种焊接图像缺陷识别方法、装置、存储介质及设备
CN112270404A (zh) * 2020-11-24 2021-01-26 南通大学 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
文常保 等: "《人工神经网络理论及应用》", 31 March 2019, 西安电子科技大学出版社 *
陈慧岩 等: "《无人驾驶车辆理论与设计》", 31 March 2018, 北京理工大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902765A (zh) * 2021-12-10 2022-01-07 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN113902765B (zh) * 2021-12-10 2022-04-12 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN115115921A (zh) * 2022-07-05 2022-09-27 广东利扬芯片测试股份有限公司 基于残差网路的晶圆缺陷模式识别方法
CN116385442A (zh) * 2023-06-06 2023-07-04 青岛理工大学 一种基于深度学习的虚拟装配缺陷检测方法
CN116385442B (zh) * 2023-06-06 2023-08-18 青岛理工大学 一种基于深度学习的虚拟装配缺陷检测方法

Similar Documents

Publication Publication Date Title
Bergs et al. Digital image processing with deep learning for automated cutting tool wear detection
Sezer et al. Detection of solder paste defects with an optimization‐based deep learning model using image processing techniques
CN113076989A (zh) 一种基于ResNet网络的芯片缺陷图像分类方法
Rahman et al. Defects inspection in polycrystalline solar cells electroluminescence images using deep learning
Zhang et al. The application of one-class classifier based on CNN in image defect detection
CN109342456B (zh) 一种焊点缺陷检测方法、装置、设备及可读存储介质
CN111179251A (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN112037219B (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
Ren et al. Defect detection from X-ray images using a three-stage deep learning algorithm
CN111242185A (zh) 一种基于深度学习的缺陷快速初筛方法及系统
KR102657173B1 (ko) 제품 분류 시스템 및 방법
US11348349B2 (en) Training data increment method, electronic apparatus and computer-readable medium
CN107766860A (zh) 基于级联卷积神经网络的自然场景图像文本检测方法
US20230259760A1 (en) System and method for defect detection
Chen et al. Automatic defect detection system based on deep convolutional neural networks
CN114255212A (zh) 一种基于cnn的fpc表面缺陷检测方法及其系统
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN113516619A (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
Tsai et al. Wafer map defect classification with depthwise separable convolutions
Xu et al. Multiple guidance network for industrial product surface inspection with one labeled target sample
Ma et al. A hierarchical attention detector for bearing surface defect detection
CN114548231A (zh) 基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法
CN114332047A (zh) 一种表面缺陷检测模型的构建方法及其应用
CN113554054A (zh) 基于深度学习的半导体芯片金线缺陷分类方法及系统
Akhyar et al. Lightning YOLOv4 for a surface defect detection system for sawn lumber

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210706