CN111652846B - 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法 - Google Patents

一种基于特征金字塔卷积神经网络的半导体缺陷识别方法 Download PDF

Info

Publication number
CN111652846B
CN111652846B CN202010362947.2A CN202010362947A CN111652846B CN 111652846 B CN111652846 B CN 111652846B CN 202010362947 A CN202010362947 A CN 202010362947A CN 111652846 B CN111652846 B CN 111652846B
Authority
CN
China
Prior art keywords
neural network
defect
convolutional neural
semiconductor
characteristic pyramid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010362947.2A
Other languages
English (en)
Other versions
CN111652846A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202010362947.2A priority Critical patent/CN111652846B/zh
Publication of CN111652846A publication Critical patent/CN111652846A/zh
Application granted granted Critical
Publication of CN111652846B publication Critical patent/CN111652846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本发明公开一种基于特征金字塔卷积神经网络的半导体缺陷识别方法，属于图像分类技术领域，其主要针对对于半导体检测行业当中，缺陷在图片中的占比较小，致使现有算法处理图片时，缺陷容易被大尺寸正常特征或背景掩盖的问题，调整各尺寸的权重，加大小尺寸特征的权重占比，以更适应主要为微小缺陷的半导体检测系统。

Description

一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
技术领域
本发明涉及图像分类技术领域，尤其涉及一种基于特征金字塔卷积神经网络的半导体缺陷识别方法。
背景技术
现有半导体缺陷检测分类识别方法主要基于模板匹配，将设计图纸与生产结果逐像素对比，如果差异超过差异阈值则认为产品有生产缺陷，反之，则认为产品合格。现有算法主要是采用VGG-16网络结构逐层提取网络特征分类半导体缺陷。使用该方法提取特征时尺寸较小的特征会因周边强势特征的影响而弱化，现有算法难以准确识别微弱变化引起的半导体缺陷，容易出现大量的假缺陷(即过检)的情况。对于半导体生产线检测的效率造成了一定影响。
发明内容
综上所述，本发明所解决的技术问题是：提供一种基于特征金字塔卷积神经网络的半导体缺陷识别方法，其可以有效提高对于半导体缺陷的识别精度。
而本发明为解决上述技术问题所采用的技术方案为：
一种基于特征金字塔卷积神经网络的半导体缺陷识别方法，包括以下方法:
S1、采集半导体缺陷图片作为样本图片；
S2、标注样本图片的缺陷类型得到训练样本集；
S3、将训练样本集划分为训练集和测试集；
S4、基于卷积神经网络与特征金字塔相融合的算法构建缺陷分类模型；
S5、利用所述训练集和测试集训练和测试缺陷分类模型；
S6、利用训练后的缺陷分类模型分类待分类半导体缺陷图片。
进一步的，所述基于卷积神经网络与特征金字塔相融合的算法构建缺陷分类模型具体包括以下步骤：
L1、提取卷积神经网络中的特征图，所提取的各个特征图具有不同的分辨率；
L2、分别提取步骤L1生成的具有相同分辨率的卷积层组的最后一个卷积层特征并进行通道压缩，使其通道数变为1；
L3、将通道压缩后的各个特征图进行一维展开得到各个特征图的一维特征向量，并将其与卷积神经网络所输出的最后一维全连接层特征向量进行堆叠；
L4、将步骤L3堆叠得到的一维特征向量进行全连接层计算，然后输入至softmax分类器进行分类。
进一步的，在步骤L2中，在排除前2个分辨率最大的特征图组后，将步骤L1提取的各个卷积层的特征图进行通道压缩。
进一步的，在步骤L4中，所述全连接层计算的维度为2048维。
进一步的，所述卷积神经网络为VGG-16分类网络。
综上所述，由于采用了上述技术方案，本发明的有益效果为：
本发明针对于半导体检测行业当中，缺陷在图片中的占比较小，致使现有算法处理图片时，缺陷容易被大尺寸正常特征或背景掩盖的问题，本发明调整各尺寸的权重，加大小尺寸特征的权重占比，以更适应主要为微小缺陷的半导体检测系统。
附图说明
图1为本发明所提供实施例1的流程示意图；
图2位本发明所提供实施例1的算法结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
如图1所示，本发明所提供的一种基于特征金字塔卷积神经网络的半导体缺陷识别方法，其具体包括有以下步骤：
S1、采集半导体缺陷图片作为样本图片；
S2、标注样本图片的缺陷类型得到训练样本集；
S3、将训练样本集划分为训练集和测试集；
S4、基于卷积神经网络与特征金字塔相融合的算法构建缺陷分类模型；
S5、利用所述训练集和测试集训练和测试缺陷分类模型；
S6、利用训练后的缺陷分类模型分类待分类半导体缺陷图片。
其中，基于卷积神经网络与特征金字塔相融合的算法构建缺陷分类模型具体包括以下步骤：
L1、提取卷积神经网络中的特征图，所提取的各个特征图具有不同的分辨率；
L2、分别提取步骤L1生成的具有相同分辨率的卷积层组的最后一个卷积层特征图并进行通道压缩，使其通道数变为1；
L3、将通道压缩后的各个特征图进行一维展开，即对矩阵重新排列展开得到各个特征图的一维特征向量，并将其与卷积神经网络所输出的最后一维全连接层特征向量进行堆叠；
L4、将步骤L3堆叠得到的一维特征向量进行全连接层计算，然后输入至softmax分类器进行分类。
如图2所示，步骤L4中用于构建缺陷分类模型的算法以现有的VGG-16网络结构为基础，具体包括有13个卷积层，5个用于实现下采样的池化层及3个全连接层，输入网络结构的图片大小为224×224。
在本实施例1中，在VGG-16网络结构每次进行下采样前，提取分辨率不同的特征图作为特征金字塔，从而实现多尺度特征提取，在多尺度特征提取后，融合多层特征，使得较小尺寸的特征在最终分类时也能占有较大比重，微弱变化引起的缺陷也可以对最终的分类起到较大影响，进而实现对于半导体的精确分类，降低了假缺陷的出现概率。
实际操作中，采用新构建的模型检测半导体缺陷的准确率提升了2％—5％，过检率降低了50％以上，减少了工人复检工作量，提高了后续人工筛选的效率，从而提升整个生产线的效率以及工厂的产能。
基于卷积神经网络与特征金字塔相融合的算法为端到端的学习，在经过步骤S4构建模型后，将需要分类的图片和相应的分类标签输入网络训练模型，通过多轮训练后验证其指标结构便可应用于实际生产。
此外，作为优选实施例，在本实施例1中，为降低系统运算时间，在步骤L2中，在排除前两个分辨率最大的特征图组后，将步骤L1提取的各个卷积层的特征图进行通道压缩。具体的，步骤L1中所提取的特征图在经过通道压缩和一维展开后的大小分别为1×1×3136、1×1×784、1×1×196，而卷积神经网络所输出的一维特征向量具体为1×1×4096。
作为优选实施例，在本实施例1中，所述全连接层计算的维度为2048维，最后对接的分类器网络根据分类的类别数目确定。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (3)

1.一种基于特征金字塔卷积神经网络的半导体缺陷识别方法，其特征在于，包括以下方法:
S1、采集半导体缺陷图片作为样本图片；
S2、标注样本图片的缺陷类型得到训练样本集；
S3、将训练样本集划分为训练集和测试集；
S4、基于卷积神经网络与特征金字塔相融合的算法构建缺陷分类模型；
S5、利用所述训练集和测试集训练和测试缺陷分类模型；
S6、利用训练后的缺陷分类模型分类待分类半导体缺陷图片；
所述基于卷积神经网络与特征金字塔相融合的算法构建缺陷分类模型具体包括以下步骤：
L1、提取卷积神经网络中的特征图，所提取的各个特征图具有不同的分辨率；
L2、分别提取步骤L1生成的具有相同分辨率的卷积层组的最后一个卷积层特征图并进行通道压缩，使其通道数变为1；
L3、将通道压缩后的各个特征图进行一维展开得到各个特征图的一维特征向量，并将其与卷积神经网络所输出的最后一维全连接层特征向量进行堆叠；
L4、将步骤L3堆叠得到的一维特征向量进行全连接层计算，然后输入至softmax分类器进行分类。
2.根据权利要求1所述的一种基于特征金字塔卷积神经网络的半导体缺陷识别方法，其特征在于：在步骤L2中，在排除前2个分辨率最大的特征图组后，将步骤L1提取的各个卷积层的特征图进行通道压缩。
3.根据权利要求1至2中任意一项所述的一种基于特征金字塔卷积神经网络的半导体缺陷识别方法，其特征在于：所述卷积神经网络为VGG-16分类网络。
CN202010362947.2A 2020-04-30 2020-04-30 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法 Active CN111652846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010362947.2A CN111652846B (zh) 2020-04-30 2020-04-30 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010362947.2A CN111652846B (zh) 2020-04-30 2020-04-30 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法

Publications (2)

Publication Number Publication Date
CN111652846A CN111652846A (zh) 2020-09-11
CN111652846B true CN111652846B (zh) 2022-08-16

Family

ID=72343509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010362947.2A Active CN111652846B (zh) 2020-04-30 2020-04-30 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法

Country Status (1)

Country Link
CN (1) CN111652846B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329687B (zh) * 2020-11-16 2022-10-18 山东天岳先进科技股份有限公司 一种碳化硅衬底位错自动识别方法及系统
EP4050560B1 (en) 2021-01-08 2023-07-12 Changxin Memory Technologies, Inc. Wafer testing method and apparatus, and device and storage medium
CN115797708B (zh) * 2023-02-06 2023-04-28 南京博纳威电子科技有限公司 一种输配电同步数据采集方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统
CN109447078A (zh) * 2018-10-23 2019-03-08 四川大学 一种自然场景图像敏感文字的检测识别方法
CN109522958A (zh) * 2018-11-16 2019-03-26 中山大学 基于跨尺度特征融合的深度卷积神经网络目标检测方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN110070072A (zh) * 2019-05-05 2019-07-30 厦门美图之家科技有限公司 一种生成物体检测模型的方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN110543890A (zh) * 2019-07-22 2019-12-06 杭州电子科技大学 一种基于特征金字塔的深度神经网络图像匹配方法
WO2020034481A1 (zh) * 2018-08-13 2020-02-20 深圳市商汤科技有限公司 一种图像风格转换方及装置、设备、存储介质
CN110853011A (zh) * 2019-11-11 2020-02-28 河北工业大学 用于肺结节检测的卷积神经网络模型的构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147048B (zh) * 2018-07-23 2021-02-26 复旦大学 一种利用单张彩色图的三维网格重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统
WO2020034481A1 (zh) * 2018-08-13 2020-02-20 深圳市商汤科技有限公司 一种图像风格转换方及装置、设备、存储介质
CN109447078A (zh) * 2018-10-23 2019-03-08 四川大学 一种自然场景图像敏感文字的检测识别方法
CN109522958A (zh) * 2018-11-16 2019-03-26 中山大学 基于跨尺度特征融合的深度卷积神经网络目标检测方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN110070072A (zh) * 2019-05-05 2019-07-30 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN110543890A (zh) * 2019-07-22 2019-12-06 杭州电子科技大学 一种基于特征金字塔的深度神经网络图像匹配方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN110853011A (zh) * 2019-11-11 2020-02-28 河北工业大学 用于肺结节检测的卷积神经网络模型的构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Feature pyramid networks for object detection;Tsung-Yi Lin等;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171109;936-944 *
基于卷积神经网络的多尺度Logo检测算法;江玉朝等;《网络与信息安全学报》;20200415;116-124 *

Also Published As

Publication number Publication date
CN111652846A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652846B (zh) 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN109376580B (zh) 一种基于深度学习的电力塔架部件识别方法
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN111160301A (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
CN113313706B (zh) 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN116563641A (zh) 一种基于小目标检测的表面缺陷识别方法及系统
CN113780132A (zh) 一种基于卷积神经网络的车道线检测方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
US20240119584A1 (en) Detection method, electronic device and non-transitory computer-readable storage medium
CN112597904A (zh) 一种用于高炉料面图像的识别与分类方法
CN112308040A (zh) 一种基于高清图像的河流排污口检测方法及系统
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
CN115631411A (zh) 基于sten网络对不同环境中的绝缘子破损检测方法
CN112257711A (zh) 一种铁路货车地板破损故障检测方法
CN111461010A (zh) 一种基于模板跟踪的电力设备识别效率优化方法
CN108932471B (zh) 一种车辆检测方法
CN111160107A (zh) 一种基于特征匹配的动态区域检测方法
WO2022222036A1 (zh) 车位确定方法及装置
CN113326846A (zh) 一种基于机器视觉的桥梁表观病害快速检测方法
CN115082449B (zh) 一种电子元器件缺陷检测方法
CN111126173A (zh) 一种高精度人脸检测方法
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
CN111626175B (zh) 基于深度卷积神经网络的轴型识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 610000 No. 270, floor 2, No. 8, Jinxiu street, Wuhou District, Chengdu, Sichuan

Applicant after: Chengdu shuzhilian Technology Co.,Ltd.

Address before: 610000 No.2, 4th floor, building 1, Jule Road intersection, West 1st section of 1st ring road, Wuhou District, Chengdu City, Sichuan Province

Applicant before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant