CN111858990A - 一种基于卷积分类网络的晶圆图失效模式相似检索的方法 - Google Patents

一种基于卷积分类网络的晶圆图失效模式相似检索的方法 Download PDF

Info

Publication number
CN111858990A
CN111858990A CN202010738584.8A CN202010738584A CN111858990A CN 111858990 A CN111858990 A CN 111858990A CN 202010738584 A CN202010738584 A CN 202010738584A CN 111858990 A CN111858990 A CN 111858990A
Authority
CN
China
Prior art keywords
similarity
eigenvalues
wafer
classification network
wafer map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010738584.8A
Other languages
English (en)
Other versions
CN111858990B (zh
Inventor
谢箭
赵文政
刘林平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Information Technology Co Ltd
Original Assignee
Shanghai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Information Technology Co Ltd filed Critical Shanghai Information Technology Co Ltd
Priority to CN202010738584.8A priority Critical patent/CN111858990B/zh
Publication of CN111858990A publication Critical patent/CN111858990A/zh
Application granted granted Critical
Publication of CN111858990B publication Critical patent/CN111858990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本发明公开了一种基于卷积分类网络的晶圆图失效模式相似检索的方法，涉及半导体制造业技术领域。本发明针对晶圆失效模式的图像特征，构建了一种兼顾语义特征及局部细节特征的卷积分类网络，通过分类伪任务来提取图像特征，由于图像特征是高维的向量，采用传统的相似度量方法并不能在大规模的数据集相似检索中实用，为此，本发明对图像的卷积特征做了进一步的二值量化编码，采用局部敏感哈希算法，将高维向量压缩为低维向量，相似样本以较大概率分到同一分区桶中，减少检索池数据规模，因而大幅度的降低了相似检索的计算复杂度，相较于人工视检的方式搜索晶圆相似的失效模式，本发明是一种高效准确的自动化相似检索分析方法。

Description

一种基于卷积分类网络的晶圆图失效模式相似检索的方法
技术领域
本发明属于半导体制造业技术领域，具体涉及一种基于卷积分类网络的晶圆图失效模式相似检索的方法。
背景技术
对于集成电路的制造，晶圆图是在晶圆电性测试后生成的，它提供了导致不良的生产工艺、设备等生产过程中至关重要的视觉细节，有经验的工程师依据晶圆图的失效模式来识别潜在的系统性缺陷，例如，晶圆图中失效模式为Center的类型，其原因为化学机械过程中的非均匀性导致的，Edge-Ring模式可能为蚀刻问题引起，随着半导体制造业的快速发展，制程、工艺越来越复杂，依赖于人工视检的方式已成为产品良率提升的瓶颈，这种离线式的分析既耗时又不准确，因此，在半导体制造业中，准确而有效地对缺陷模式进行相似检索，是识别缺陷来源、提高整体成品率和可靠性的重要任务之一。
发明内容
本发明的发明目的是：为了替代人工视检的方式查找晶圆图中相似的失效模式，提出了一种基于卷积分类网络的晶圆图失效模式相似检索的方法。
本发明的技术方案为：一种基于卷积分类网络的晶圆图失效模式相似检索的方法，包括以下步骤：
S1、获取晶圆电性测试结果；
S2、将失效的die置为200，正常的die置为100，不在wafer区域的置0，并通过相应的公式完成数值上的归一化；
S3、对上述S2中预处理的数据带入事先已训练好的卷积分类网络中，得到输入晶圆图预定义的分类类型；
S4、卷积分类网络中，全局平均池化层之前的卷积输出作为输入晶圆图的特征值；
S5、将S4中16384维的原始特征值按32个点抽样后得到512维的特征值，对512维的特征值求其平均值，若特征值大于该平均值则置1，否则置0，完成特征值的二值编码；
S6、采用局部敏感哈希算法比较查询晶圆图特征值与特征库中的所有特征值的相似程度，若相似值大于0.5，则进入S7；
S7、输出与待查询晶圆图像相似的作为分组结果；
优选的，所述步骤S2中归一化的公式为：
Figure BDA0002606005420000021
其中，x,y为晶圆图的二维坐标，P代表所在坐标位置的像素值，N为对应位置归一化后的数值。
优选的，所述步骤S6的具体流程包括用局部敏感哈希算法，从两个维度来降低高维向量相似计算的复杂度，一方面通过最小哈希(minHASH)建立所有样本特征值的签名，压缩高维向量为低维向量，另一方面通过敏感哈希算法(LSH)将相似的样本映射到同一桶内，减少待检索的样本量。最后用Jaccard相似度来比较查询样本与待检索样本之间的相似程度。
本发明提供了一种基于卷积分类网络的晶圆图失效模式相似检索的方法。具备以下有益效果：
(1)、该基于卷积分类网络的晶圆图失效模式相似检索的方法，相对现有基于无监督聚类方式对失效模式进行相似检索而言，本文基于卷积分类网络能提供更精细的失效模式区分能力；在已有文献中，相似度量的方式采用基于距离或相关系数的方式，特别在大规模的高维向量相似计算中，这种方式是极其低效的，为此，本发明采用局部敏感哈希算法近似检索相似向量，克服了上述方法的缺点，使晶圆图失效模式在大规模的数据集中进行相似检索得以实现，为后续良率根因的共性分析奠定了坚实的数据基础。
附图说明
图1为本发明的流程图；
图2为本发明涉及的卷积分类网络的结构图；
图3为卷积分类网络中的conv_block_layer模块；
图4为conv_block_layer模块中的squeeze_excitation_layer层。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提供一种技术方案：一种基于卷积分类网络的晶圆图失效模式相似检索的方法，如图1所示，包括以下步骤：
第一步：获取晶圆电性测试结果。
第二步：将失效的die置为200，正常的die置为100，不在wafer区域的置0，生成晶圆灰度图像，将该灰度图通过图像插值算法缩放到128x128的分辨率，用下式完成数值上的归一化，作为后续分类网络的输入。
Figure BDA0002606005420000031
其中，x,y为晶圆图的二维坐标，P代表所在坐标位置的像素值，N为对应位置归一化后的数值。
第三步：对应图2-4，卷积分类网络由三个conv_block_layer模块、全局平均池化模块、分类层共同构建，其中conv_block_layer模块由两层卷积核为3x3的卷积操作，一层squeeze_excitation_layer堆叠而成。卷积分类网络设计主要兼顾失效模式语义信息、局部细节特征，通过squeeze_excitation_layer层对不同的特征通道赋予相应的权重，提升网络模型的分类能力。
更进一步地，卷积分类网络构建完成后，需根据预先定义的失效模式类型，收集并归类相应的数据作为训练集，当分类网络经过训练数据达到较好分类性能后，则固化分类网络中的参数用于模型的推理，将上述S2中预处理后的数据输入该分类模型中，输出该晶圆图对应的失效模式及分类概率值。
第四步：卷积分类网络中，将第三个conv_block_layer模块的输出作为输入晶圆图的特征值。
第五步：将步骤四中16384维的原始特征值按32个点抽样后得到512维的特征值，对512维的特征值求其平均值，若特征值大于该平均值则置1，否则置0，完成特征值的二值编码，历史特征库所记录的特征值也采用以上步骤完成计算并入库。
第六步：采用局部敏感哈希算法，从两个维度来降低高维向量相似计算的复杂度，一方面通过最小哈希(minHASH)建立所有样本特征值的签名，压缩高维向量为低维向量，另一方面通过敏感哈希算法(LSH)将相似的样本映射到同一桶内，减少待检索的样本量。最后用Jaccard相似度来比较查询样本与待检索样本之间的相似程度，若相似值大于0.5，则进入S7，Jaccard相似度计算公式为：
Jac(X,Y)＝|X∩Y|/|X∪Y|。
第七步：输出与待查询晶圆图像相似的结果作为分组结果。
发明针对晶圆失效模式的图像特征，构建了一种兼顾语义特征及局部细节特征的卷积分类网络，通过分类伪任务来提取图像特征，由于图像特征是高维的向量，采用传统的相似度量方法并不能在大规模的数据集相似检索中实用，为此，本发明对图像的卷积特征做了进一步的二值量化编码，采用局部敏感哈希算法，将高维向量压缩为低维向量，相似样本以较大概率分到同一分区桶中，减少检索池数据规模，因而大幅度的降低了相似检索的计算复杂度，相较于人工视检的方式搜索晶圆相似的失效模式，本发明是一种高效准确的自动化相似检索分析方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于卷积分类网络的晶圆图失效模式相似检索的方法，其特征在于：包括以下步骤：
S1、获取晶圆电性测试结果；
S2、对获取数据进行预处理；
S3、对上述S2中预处理的数据带入事先已训练好的卷积分类网络中，得到输入晶圆图预定义的分类类型；
S4、卷积分类网络中，全局平均池化层之前的卷积输出作为输入晶圆图的特征值；
S5、将S4中16384维的原始特征值按32个点抽样后得到512维的特征值，对512维的特征值求其平均值，若特征值大于该平均值则置1，否则置0，完成特征值的二值编码；
S6、采用局部敏感哈希算法比较查询晶圆图特征值与特征库中的所有特征值的相似程度，若相似值大于0.5，则进入S7；
S7、输出与待查询晶圆图像相似的作为分组结果。
2.根据权利要求1所述的一种基于卷积分类网络的晶圆图失效模式相似检索的方法，其特征在于：所述步骤S2的处理方式为将失效的die置为200，正常的die置为100，不在wafer区域的置0，并通过相应的公式完成数值上的归一化。
3.根据权利要求2所述的一种基于卷积分类网络的晶圆图失效模式相似检索的方法，其特征在于：所述步骤S2中归一化的公式为：
Figure FDA0002606005410000011
4.根据权利要求1所述的一种基于卷积分类网络的晶圆图失效模式相似检索的方法，其特征在于：所述步骤S6的具体流程包括用局部敏感哈希算法，从两个维度来降低高维向量相似计算的复杂度，一方面通过最小哈希(minHASH)建立所有样本特征值的签名，压缩高维向量为低微向量，另一方面通过敏感哈希算法(LSH)将相似的样本映射到同一桶内，减少待检索的样本量。最后用Jaccard相似度来比较查询样本与待检索样本之间的相似程度。
CN202010738584.8A 2020-07-28 2020-07-28 一种基于卷积分类网络的晶圆图失效模式相似检索的方法 Active CN111858990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010738584.8A CN111858990B (zh) 2020-07-28 2020-07-28 一种基于卷积分类网络的晶圆图失效模式相似检索的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010738584.8A CN111858990B (zh) 2020-07-28 2020-07-28 一种基于卷积分类网络的晶圆图失效模式相似检索的方法

Publications (2)

Publication Number Publication Date
CN111858990A true CN111858990A (zh) 2020-10-30
CN111858990B CN111858990B (zh) 2024-08-20

Family

ID=72948577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010738584.8A Active CN111858990B (zh) 2020-07-28 2020-07-28 一种基于卷积分类网络的晶圆图失效模式相似检索的方法

Country Status (1)

Country Link
CN (1) CN111858990B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988792A (zh) * 2021-04-15 2021-06-18 筏渡(上海)科技有限公司 一种晶圆良率问题数据库的搜索方法和装置
CN113514753A (zh) * 2021-04-15 2021-10-19 筏渡(上海)科技有限公司 一种晶圆失效功能的关系的确定方法和装置
CN116415660A (zh) * 2023-06-12 2023-07-11 合肥喆塔科技有限公司 基于晶圆缺陷知识库的构建及检索方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125411A (zh) * 2019-12-20 2020-05-08 昆明理工大学 一种深度强相关哈希学习的大规模图像检索方法
CN111198959A (zh) * 2019-12-30 2020-05-26 郑州轻工业大学 一种基于卷积神经网络的两阶段图像检索方法
CN111353082A (zh) * 2020-03-12 2020-06-30 全芯智造技术有限公司 良率分析的方法、装置和计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125411A (zh) * 2019-12-20 2020-05-08 昆明理工大学 一种深度强相关哈希学习的大规模图像检索方法
CN111198959A (zh) * 2019-12-30 2020-05-26 郑州轻工业大学 一种基于卷积神经网络的两阶段图像检索方法
CN111353082A (zh) * 2020-03-12 2020-06-30 全芯智造技术有限公司 良率分析的方法、装置和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖荣凡;沈希忠;: "基于深度卷积神经网络和局部敏感哈希的图像检索", 应用技术学报, no. 02, 30 June 2020 (2020-06-30) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988792A (zh) * 2021-04-15 2021-06-18 筏渡(上海)科技有限公司 一种晶圆良率问题数据库的搜索方法和装置
CN113514753A (zh) * 2021-04-15 2021-10-19 筏渡(上海)科技有限公司 一种晶圆失效功能的关系的确定方法和装置
CN112988792B (zh) * 2021-04-15 2022-05-31 筏渡(上海)科技有限公司 一种晶圆良率问题数据库的搜索方法和装置
CN116415660A (zh) * 2023-06-12 2023-07-11 合肥喆塔科技有限公司 基于晶圆缺陷知识库的构建及检索方法、设备及介质

Also Published As

Publication number Publication date
CN111858990B (zh) 2024-08-20

Similar Documents

Publication Publication Date Title
Wang et al. Data-driven prognostic method based on self-supervised learning approaches for fault detection
CN111858990B (zh) 一种基于卷积分类网络的晶圆图失效模式相似检索的方法
US11756182B2 (en) Pattern grouping method based on machine learning
CN109800648B (zh) 基于人脸关键点校正的人脸检测识别方法及装置
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络系统
CN109270079B (zh) 一种基于点云模型的工件表面缺陷精确检测方法
CN101140216A (zh) 基于数字图像处理技术的气液两相流流型识别方法
CN114596273B (zh) 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN114723833A (zh) 一种基于改进yolov5的深度学习晶圆焊点检测方法
CN113221614A (zh) 一种基于混合神经网络的电网绝缘子破损图像识别方法
CN111881906A (zh) 一种基于注意力机制图像检索的logo识别方法
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN110647897A (zh) 一种基于多部分注意力机制的零样本图像分类识别方法
Gu et al. Learning efficient rotation representation for point cloud via local-global aggregation
CN116563639A (zh) 一种轻量化多尺度密集网络高光谱遥感图像分类方法
Nafi et al. High accuracy swin transformers for image-based wafer map defect detection
CN110929801A (zh) 一种基于改进的Euclid距离KNN分类方法和系统
CN114897909B (zh) 基于无监督学习的曲轴表面裂纹监测方法及系统
CN116977693A (zh) 一种小样本高光谱图像分类方法、系统、设备及存储介质
CN114926702B (zh) 一种基于深度注意力度量的小样本图像分类方法
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
CN108256572B (zh) 一种基于改进朴素贝叶斯的室内视觉特征分类方法
CN118078328B (zh) 一种胃肠外科超声波仪器故障智能检测方法及系统
Lyu et al. A Novel Fault Diagnosis Method Based on Feature Fusion and Model Agnostic Meta-Learning
CN110751169B (zh) 一种基于多元变量间的关系变化的时序分类的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant