CN117576108B - 晶圆缺陷检测的可视化优化方法、装置和计算机设备 - Google Patents
晶圆缺陷检测的可视化优化方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117576108B CN117576108B CN202410067358.XA CN202410067358A CN117576108B CN 117576108 B CN117576108 B CN 117576108B CN 202410067358 A CN202410067358 A CN 202410067358A CN 117576108 B CN117576108 B CN 117576108B
- Authority
- CN
- China
- Prior art keywords
- defect
- predicted
- wafer image
- wafer
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 526
- 230000000007 visual effect Effects 0.000 title claims abstract description 165
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005457 optimization Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 122
- 239000011159 matrix material Substances 0.000 claims abstract description 106
- 238000004458 analytical method Methods 0.000 claims abstract description 41
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 3
- 235000012431 wafers Nutrition 0.000 description 292
- 238000012800 visualization Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请涉及一种晶圆缺陷检测的可视化优化方法、装置和计算机设备。所述方法包括：将待测晶圆图像集输入初步训练模型，得到预测结果集；所述预测结果集中的预测结果包括待测晶圆图像的至少一种预测缺陷类别；根据所选择的所述预测结果的分析维度，确定所述预测结果集是否更新为目标结果集；获取所述待测晶圆图像集的标签结果集，将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵基于可视化混淆矩阵，对初步训练模型进行优化得到晶圆缺陷预测模型。采用本方法能够实现晶圆缺陷检测结果的可视化分析，有针对地优化模型的检测精度，提高晶圆缺陷的检测效率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种晶圆缺陷检测的可视化优化方法、装置和计算机设备。
背景技术
晶圆是用于制造半导体元件的基本硅晶片，是集成电路(IC)中重要的基本元件。越来越复杂的芯片设计使半导体制造工艺极其复杂和昂贵，晶圆缺陷不可避免，晶圆缺陷会导致芯片产量降低。因此，对获取到的晶圆缺陷图像进行后期分析成为提高晶圆产量的必要手段。
随着半导体利用对图像分析技术的应用，可以实现对晶圆制造过程中的图像进行分类和缺陷检测，但目前的检测模型可能会存在缺陷误检/漏检/多检等情况，亟需一种对检测模型的检测结果进行可视化分析的方法，从而辅助优化检测模型的检测精度和模型问题的定位。
发明内容
基于此，有必要针对上述技术问题，提供一种能够将晶圆缺陷检测模型的检测结果可视化，实现检测结果的可视化分析，提高检测模型的检测精度，从而提高晶圆缺陷的检测效率的晶圆缺陷检测的可视化优化方法、装置和计算机设备。
第一方面，本申请提供了一种晶圆缺陷检测结果的可视化优化方法，所述方法包括：
将待测晶圆图像集输入初步训练模型，得到预测结果集；所述预测结果集中的预测结果包括待测晶圆图像的至少一种预测缺陷类别；
根据所选择的所述预测结果的分析维度，确定所述预测结果集是否更新为目标结果集；
获取所述待测晶圆图像集的标签结果集，将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵；
基于所述可视化混淆矩阵，对所述初步训练模型进行优化，得到晶圆缺陷预测模型。
在其中一个实施例中，所述预测结果的分析维度包括图片维度和缺陷维度，每个预测缺陷类别具有置信度值；
当选择图片维度，则根据待测晶圆图像的置信度值或离待测晶圆图像中心点距离确定每张待测晶圆图像对应的目标缺陷类别，将预测结果集更新为目标结果集。
在其中一个实施例中，将所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵之后，所述方法还包括：
基于可视化混淆矩阵对比待测晶圆图像的置信度值和离待测晶圆图像中心点距离对应的初步训练模型的检测质量，从待测晶圆图像的置信度值和离待测晶圆图像中心点距离中择一作为目标缺陷类别选择标准。
在其中一个实施例中，所述标签结果集中的标签结果包括各所述待测晶圆图像的至少一个标准缺陷类别，所述将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵包括：
将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵，确定同一所述待测晶圆图像的所述预测缺陷类别或所述目标缺陷类别与所述标准缺陷类别的是否匹配；
若匹配，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的所述预测缺陷类别或目标缺陷类别检测正确的行列位置所对应的元素；否则，增加所述可视化混淆矩阵中表示所述待测晶圆图像的所述预测缺陷类别或目标缺陷类别检测错误的行列位置所对应的元素。
在其中一个实施例中，所述预测结果还包括待测晶圆图像的至少一种所述预测缺陷类别对应的预测缺陷框，所述标签结果还包括所述标准缺陷类别对应的标准缺陷框，所述方法还包括：
将同一所述待测晶圆图像检测出的所述预测缺陷框与所述标准缺陷框进行匹配获取重叠度，基于所述预测缺陷框与所述标准缺陷框之间重叠度和对应的缺陷类别获取检测质量情况。
在其中一个实施例中，所述基于所述预测缺陷框与所述标准缺陷框之间重叠度和对应的缺陷类别获取检测质量情况包括：
若存在所述重叠度小于等于所述设定阈值的预测缺陷框，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框多检的行列位置的元素；
若存在重叠度大于所述设定阈值的预测缺陷框，则选择最大重叠度的预测缺陷框，将预测缺陷框的预测缺陷类别与标准缺陷类别进行匹配，若未匹配，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框错检的行列位置的元素，否则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框检测正确的行列位置的元素；
对于剩下未匹配的标准缺陷框，增加所述可视化混淆矩阵中表示所述待测晶圆图像的标准缺陷框漏检的行列位置的元素。
在其中一个实施例中，所述可视化混淆矩阵包括表示对应预测缺陷类别或目标缺陷类别与标准缺陷类别数量的元素，所述元素包含图像索引，所述基于所述可视化混淆矩阵，对所述初步训练模型进行优化包括：
选择所述可视化混淆矩阵中的目标元素，获取所述目标元素的图像索引；
根据所述图像索引对比显示所述目标元素所对应的各所述待测晶圆图像的预测结果或目标结果和标签结果；
从所述目标元素所对应的各所述待测晶圆图像的预测结果或目标结果和标签结果中获取待优化缺陷类别，对所述初步训练模型进行优化。
在其中一个实施例中，在所述将待测晶圆图像集输入初步训练模型之前，所述方法还包括：
根据对初始晶圆图像集的可视化分析结果，对所述初始晶圆图像集进行优化得到晶圆图像训练集，及选择对应的预训练模型算法；所述初始晶圆图像集的各晶圆图像中包括至少一种缺陷类别以及对应的缺陷框；
利用所述晶圆图像训练集以及所述预训练模型算法进行模型训练，得到所述初步训练模型。
在其中一个实施例中，所述根据对初始晶圆图像集的可视化分析结果，对所述初始晶圆图像集进行优化得到晶圆图像训练集，及选择对应的预训练模型算法包括：
对所述初始晶圆图像集进行可视化统计，得到所述可视化分析结果，所述可视化分析结果包括缺陷类别统计图和/或缺陷框锚点图像和/或缺陷框长宽比统计图和/或缺陷框中心点位置统计图；
根据所述可视化分析结果对所述初始晶圆图像集中各缺陷类别的数量、比例进行调整得到所述晶圆图像训练集，并确定所述预训练模型算法。
在其中一个实施例中，根据待测晶圆图像的置信度值确定每张待测晶圆图像对应的目标缺陷类别包括：
将待测晶圆图像集输入所述初步训练模型，输出各待测晶圆图像的至少一种预测缺陷类别、各所述预测缺陷类别的预测缺陷框和各所述预测缺陷框的初始置信度；
根据设置的各所述预测缺陷类别的权重对各所述初始置信度进行加权处理，得到各所述预测缺陷框的更新置信度；
选择所述更新置信度最大的预测缺陷框作为所述待测晶圆图像的目标缺陷框，并将对应的预测缺陷类别作为所述待测晶圆图像的目标缺陷类别。
在其中一个实施例中，根据离待测晶圆图像中心点距离确定每张待测晶圆图像对应的目标缺陷类别包括：
将待测晶圆图像集输入所述初步训练模型，输出各待测晶圆图像的至少一种预测缺陷类别、各所述预测缺陷类别的预测缺陷框；
获取各所述待测晶圆图像的图像中心点；
计算各所述待测晶圆图像的各所述预测缺陷框到对应的所述图像中心点的距离值，将所述距离值最小所对应的预测缺陷框作为所述待测晶圆图像的目标缺陷框，并将对应的预测缺陷类别作为所述待测晶圆图像的目标缺陷类别。
第二方面，本申请还提供了一种晶圆缺陷检测的可视化优化装置，所述装置包括：
预测结果获取模块，用于将待测晶圆图像集输入初步训练模型，得到预测结果集；所述预测结果集中的预测结果包括待测晶圆图像的至少一种预测缺陷类别；
预测结果更新模块，用于根据所选择的所述预测结果的分析维度，确定所述预测结果集是否更新为目标结果集；
可视化矩阵生成模块，用于获取所述待测晶圆图像集的标签结果集，将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵；
缺陷检测优化模块，用于基于所述可视化混淆矩阵，对所述初步训练模型进行优化，得到晶圆缺陷预测模型。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的内容。
上述晶圆缺陷检测的可视化优化方法、装置和计算机设备，通过将待测晶圆图像集输入初步训练模型，得到预测结果集；所述预测结果集中的预测结果包括待测晶圆图像的至少一种预测缺陷类别；根据所选择的所述预测结果的分析维度，确定所述预测结果集是否更新为目标结果集；获取所述待测晶圆图像集的标签结果集；将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵；基于所述可视化混淆矩阵，对所述初步训练模型进行优化，得到晶圆缺陷预测模型，实现了晶圆缺陷检测结果可视化分析，从而优化了模型的检测精度，提高晶圆缺陷的检测效率。
附图说明
图1为一个实施例中晶圆缺陷检测结果的可视化方法的应用环境图；
图2为一个实施例中晶圆缺陷检测结果的可视化方法的流程示意图；
图3为其中一个实施例中根据待测晶圆图像的置信度值确定每张待测晶圆图像对应的目标缺陷类别的具体流程示意图；
图4为另一个实施例中根据离待测晶圆图像中心点距离确定每张待测晶圆图像对应的目标缺陷类别的具体流程示意图；
图5为一个实施例中将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵的具体流程示意图；
图6为其中一个实施例中基于所述预测缺陷框与所述标准缺陷框之间重叠度和对应的缺陷类别获取检测质量情况的具体流程示意图；
图7为一个实施例中基于所述可视化混淆矩阵，对所述初步训练模型进行优化的具体流程示意图；
图8为一个实施例中将待测晶圆图像集输入初步训练模型之前的具体流程示意图；
图9为一个示例实施例中可视化混淆矩阵的示意图；
图10为另一个实施例中可视化混淆矩阵的示意图；
图11为一个实施例中晶圆缺陷检测结果的可视化装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请实施例提供的晶圆缺陷检测的可视化优化方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统106可以存储服务器104需要处理的数据。数据存储系统106可以集成在服务器104上，也可以放在云上或其他网络服务器上。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种晶圆缺陷检测的可视化优化方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤201，将待测晶圆图像集输入初步训练模型，得到预测结果集；所述预测结果集中的预测结果包括待测晶圆图像的至少一种预测缺陷类别。
其中，每个预测缺陷类别具有置信度值。所述预测结果还包括所述预测缺陷类别对应的预测缺陷框。
具体地，在进行晶圆图像的缺陷结果可视化分析时可以从两个维度出发，其一是图片维度，即用一张晶圆图像表示一种缺陷类别。其二是缺陷维度，即获取一张晶圆图像上的所有缺陷类别。
步骤202，根据所选择的所述预测结果的分析维度，确定所述预测结果集是否更新为目标结果集。
若以图片维度进行缺陷结果可视化，则将预测结果集更新为目标结果集，即对每个待测晶圆图像的预测结果中选择一种预测缺陷类别作为目标缺陷类别。若以缺陷维度进行缺陷结果可视化时，则预测结果集不进行更新，包括待测晶圆图像的所有预测缺陷类别。
步骤203，获取所述待测晶圆图像集的标签结果集，将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵。
具体地，对待测晶圆图像集中的各待测晶圆图像进行缺陷类别标注，生成标签结果集，标签结果集中的各标签结果包括待测晶圆图像的至少一种标准缺陷类别。其中，所述标签结果还包括所述标准缺陷类别对应的标准缺陷框。
具体地，若以图片维度进行缺陷结果可视化，则判断各待测晶圆图像中唯一的目标缺陷类别与标签结果集中对应的至少一种标准缺陷类别是否相匹配，并根据匹配结果生成可视化混淆矩阵。或者，若以缺陷维度进行缺陷结果可视化，则判断各待测晶圆图像中每一个目标缺陷类别与各标准缺陷类别是否相匹配，并根据匹配结果生成可视化混淆矩阵。
步骤204，基于所述可视化混淆矩阵，对所述初步训练模型进行优化，得到晶圆缺陷预测模型。
具体地，从可视化混淆矩阵中选择目标行列位置上的元素，并选择该元素下待测晶圆图像的标签结果与预测结果或目标结果进行可视化缺陷展示，确定待优化的模型检测类别以及模型算法问题定位，对所述初步训练模型进行优化，得到晶圆缺陷预测模型。
如在得到可视化混淆矩阵以后，在可视化混淆矩阵中，可以发现有漏检，误检，错检等预测错误情况。可通过预测错误类别和缺陷形状相似度的判断确定初步训练模型的优化方向，甚至配套查看初始晶圆图像集的可视化分析，多阶段在数据层面对训练模型进行优化。
对于漏检情况，主要有如下优化情况：通过查看可视化混淆矩阵具体漏检的类别图片情况，当是因为此种缺陷形状在训练集中出现情况很少，或者基本没有出现过时，就需要补充此种形状的数据。同时配套查看初始晶圆图像集的可视化分析，当因为此类缺陷的数据量比较少，那就可以从两个方面来解决，一个数据层面增加此类数据量，另一个是从算法层面来解决，比如使用focal loss函数。对于误检的情况，同样先查看可视化混淆矩阵，看被误检的类别图片缺陷形状是否和被检测为的列表相似，如果相似就需要界定这两种缺陷，清洗之前打标是否有没有问题。对于错检情况，同样也是查看可视化混淆矩阵，分析背景被错检的类别，可以增加这样形状的图片作为负样本放在训练数据中重新训练。
上述晶圆缺陷检测的可视化优化方法中，通过将待测晶圆图像集输入初步训练模型，得到预测结果集；所述预测结果集中的预测结果包括待测晶圆图像的至少一种预测缺陷类别；根据所选择的所述预测结果的分析维度，确定所述预测结果集是否更新为目标结果集；获取所述待测晶圆图像集的标签结果集，将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵；基于所述可视化混淆矩阵，对所述初步训练模型进行优化，得到晶圆缺陷预测模型，实现了多维度的晶圆缺陷检测结果可视化分析，从而针对性地优化模型的检测方向和检测精度，提高晶圆缺陷的检测效率。
在一个实施例中，当选择图片维度，则根据待测晶圆图像的置信度值或离待测晶圆图像中心点距离确定每张待测晶圆图像对应的目标缺陷类别，将预测结果集更新为目标结果集。
在其中一个实施例中，如图3所示，若选择图片维度，根据待测晶圆图像的置信度值确定每张待测晶圆图像对应的目标缺陷类别，具体包括以下步骤：
步骤301，将待测晶圆图像集输入所述初步训练模型，输出各待测晶圆图像的至少一种预测缺陷类别、各所述预测缺陷类别的预测缺陷框和各所述预测缺陷框的初始置信度。
步骤302，根据设置的各所述预测缺陷类别的权重对各所述初始置信度进行加权处理，得到各所述预测缺陷框的更新置信度。
步骤303，选择所述更新置信度最大的预测缺陷框作为所述待测晶圆图像的目标缺陷框，并将对应的预测缺陷类别作为所述待测晶圆图像的目标缺陷类别。
具体地，在以图片维度对模型进行优化时，将测晶圆图像集输入到所述初步训练模型，输出各待测晶圆图像的缺陷结果中仍包括至少一种预测缺陷类别、各所述预测缺陷类别的预测缺陷框和各所述预测缺陷框的初始置信度。通过设置各预测缺陷类型的权重对各预测缺陷框的初始置信度进行调整，得到更新置信度。为每一张待测晶圆图像选择更新置信度最大的预测缺陷框作为目标缺陷框，并将该预测缺陷框的预测缺陷类别作为目标缺陷类别，从而实现了将预测结果集更新为目标结果集的过程。
在另一个实施例中，如图4所示，若选择图片维度，根据离待测晶圆图像中心点距离确定每张待测晶圆图像对应的目标缺陷类别，具体包括以下步骤：
步骤401，将待测晶圆图像集输入所述初步训练模型，输出各待测晶圆图像的至少一种预测缺陷类别、各所述预测缺陷类别的预测缺陷框。
步骤402，获取各所述待测晶圆图像的图像中心点。
步骤403，计算各所述待测晶圆图像的各所述预测缺陷框到对应的所述图像中心点的距离值，将所述距离值最小所对应的预测缺陷框作为所述待测晶圆图像的目标缺陷框，并将对应的预测缺陷类别作为所述待测晶圆图像的目标缺陷类别。
具体地，在以图片维度对模型进行优化时，将待测晶圆图像集输入到所述初步训练模型，输出各待测晶圆图像的缺陷结果中仍包括至少一种预测缺陷类别以及各所述预测缺陷类别的预测缺陷框。获取各待测晶圆图像的图像中心点，计算各待测晶圆图像的各预测缺陷框到对应的图像中心点的距离值，将距离值最小所对应的预测缺陷框作为该待测晶圆图像的目标缺陷框，并将该预测缺陷框的预测缺陷类别作为该待测晶圆图像的目标缺陷类别，从而实现了将预测结果集更新为目标结果集的过程。
在一个实施例中，若以图片维度对模型进行优化时，将所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵之后，所述方法还包括：
基于可视化混淆矩阵对比待测晶圆图像的置信度值和离待测晶圆图像中心点距离对应的初步训练模型的检测质量，从待测晶圆图像的置信度值和离待测晶圆图像中心点距离中择一作为目标缺陷类别选择标准。
具体地，在根据待测晶圆图像的置信度值或离待测晶圆图像中心点距离确定每张待测晶圆图像对应的目标缺陷类别，从而生成不同的可视化混淆矩阵时，分别基于两种可视化混淆矩阵确定对应的初步训练模型的晶圆缺陷检测质量，从两种图片维度的模型优化方式中选择一种作为目标缺陷类别选择标准，提高最终的晶圆缺陷预测模型的缺陷预测精度。
在一个实施例中，如图5所示，步骤203将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵，具体包括以下步骤：
步骤501，将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵，确定同一所述待测晶圆图像的所述预测缺陷类别或所述目标缺陷类别与所述标准缺陷类别的是否匹配。
步骤502，若匹配，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的所述预测缺陷类别或目标缺陷类别检测正确的行列位置所对应的元素；否则，增加所述可视化混淆矩阵中表示所述待测晶圆图像的所述预测缺陷类别或目标缺陷类别检测错误的行列位置所对应的元素。
示例性地，以图片维度对模型进行优化时，各待测晶圆图像的预测结果中仅包含一种目标缺陷类别以及该目标缺陷类别对应的目标缺陷框。因此可以先比较同一待测晶圆图像的目标检测框与对应的标签结果中的至少一个标准缺陷框是否匹配，再判断该目标缺陷框的目标缺陷类别与对应的标准缺陷框的标准缺陷类别是否匹配。在目标缺陷类别与标准缺陷类别相匹配时，增加所述可视化混淆矩阵中表示所述待测晶圆图像的目标缺陷类别检测正确的行列位置所对应的元素。否则，增加所述可视化混淆矩阵中表示所述待测晶圆图像的目标缺陷类别检测错误的行列位置所对应的元素。
在一个实施例中，若选择缺陷维度，所述方法还包括：将同一所述待测晶圆图像检测出的所述预测缺陷框与所述标准缺陷框进行匹配获取重叠度，基于所述预测缺陷框与所述标准缺陷框之间重叠度和对应的缺陷类别获取检测质量情况。
其中，如图6所示，所述基于所述预测缺陷框与所述标准缺陷框之间重叠度和对应的缺陷类别获取检测质量情况，具体包括以下步骤：
步骤601，若存在所述重叠度小于等于所述设定阈值的预测缺陷框，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框多检的行列位置的元素。
步骤602，若存在重叠度大于所述设定阈值的预测缺陷框，则选择最大重叠度的预测缺陷框，将预测缺陷框的预测缺陷类别与标准缺陷类别进行匹配，若未匹配，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框错检的行列位置的元素，否则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框检测正确的行列位置的元素。
步骤603，对于剩下未匹配的标准缺陷框，增加所述可视化混淆矩阵中表示所述待测晶圆图像的标准缺陷框漏检的行列位置的元素。
示例性地，以缺陷维度对模型进行优化时，各预测结果为待测晶圆图像输入初步训练模型后直接得到的各预测缺陷框以及对应的各预测缺陷类别。因此先获取同一待测晶圆图像的各预测缺陷框与各标准缺陷框之间的重叠度，设置重叠度的设定阈值，将各重叠度与设定阈值进行比较，重叠度大于设定阈值的预测缺陷框为有效缺陷框，并从中选择最大重叠度的预测缺陷框，将预测缺陷框的预测缺陷类别与标准缺陷类别进行匹配。若预测缺陷框的预测缺陷类别与标准缺陷类别未匹配成功，则增加可视化混淆矩阵中表示待测晶圆图像的预测缺陷框错检的行列位置的元素，否则增加可视化混淆矩阵中表示待测晶圆图像的预测缺陷框检测正确的行列位置的元素。
由于以缺陷维度对模型进行优化时，待测晶圆图像包括至少一种目标缺陷类别以及对应的目标缺陷框，为了提高优化后模型的检测效率，还需要考虑与标签结果相比，预测结果存在预测缺陷类别多检和/或漏检的情况。因此若比较结束后，待测晶圆图像的标签结果中存在剩余未匹配的标准缺陷框，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的标准缺陷框漏检的行列位置的元素。因此通过本实施例的方法实现了晶圆图像预测结果的可靠性分析和判别，提高确定模型优化方向的准确率和效率，从而进一步提高利用晶圆缺陷检测模型进行晶圆缺陷预测的预测精度。
在一个实施例中，如图7所示，所述可视化混淆矩阵包括表示对应预测缺陷类别或目标缺陷类别与标准缺陷类别数量的元素，所述元素包含图像索引，步骤204基于所述可视化混淆矩阵，对所述初步训练模型进行优化，具体包括以下步骤：
步骤701，选择所述可视化混淆矩阵中的目标元素，获取所述目标元素的图像索引。
步骤702，根据所述图像索引对比显示所述目标元素所对应的各所述待测晶圆图像的预测结果或目标结果和标签结果。
步骤703，从所述目标元素所对应的各所述待测晶圆图像的预测结果或目标结果和标签结果中获取待优化缺陷类别，对所述初步训练模型进行优化。
具体地，在可视化混淆矩阵中，每个行列位置上的元素为待测晶圆图像的数量，为了更直观地展示预测结果或目标结果与标签结果的不同，为各元素增加了图像索引。利用图像索引实现目标行列位置上目标元素各所述待测晶圆图像的预测结果或目标结果和标签结果的可视化。根据目标元素所对应的各待测晶圆图像的预测结果和标签结果中进一步确定待优化缺陷类别，对所述初步训练模型进行优化更新。
在一个实施例中，如图8所示，在步骤201将待测晶圆图像集输入初步训练模型之前，所述方法还包括：
步骤801，根据对初始晶圆图像集的可视化分析结果，对所述初始晶圆图像集进行优化得到晶圆图像训练集，及选择对应的预训练模型算法；所述初始晶圆图像集的各晶圆图像中包括至少一种缺陷类别以及对应的缺陷框。
具体地，对所述初始晶圆图像集进行可视化统计，得到所述可视化分析结果，所述可视化分析结果包括缺陷类别统计图和/或缺陷框锚点图像和/或缺陷框长宽比统计图和/或缺陷框中心点位置统计图。
根据所述可视化分析结果对所述初始晶圆图像集中各缺陷类别的数量、比例进行调整得到所述晶圆图像训练集，并确定所述预训练模型算法。
步骤802，利用所述晶圆图像训练集以及所述预训练模型算法进行模型训练，得到所述初步训练模型。
示例性地，选择图片维度利用初始晶圆图像集对预训练模型进行训练时，对初始晶圆图像集中的各初始晶圆图像按照每张图像的缺陷类别进行统计，得到缺陷类别统计图。该缺陷类别统计图可以是柱状图、饼图、折线图或者其他统计图类型，能够直观看到各缺陷类别数量的分布情况。通过对各缺陷类别的图像数量进行调整可以解决初始晶圆图像集类别不平衡的问题。将调整后的初始晶圆图像集作为晶圆图像训练集，并确定预训练模型的模型算法，利用晶圆图像训练集以及所述预训练模型算法进行模型训练，得到初步训练模型。
示例性地，选择缺陷维度利用初始晶圆图像集对预训练模型进行训练时，对初始晶圆图像集中存在各个缺陷类别进行可视化统计，得到缺陷类别统计图，该缺陷类别统计图可以是柱状图、饼图、折线图或者其他统计图类型，能够直观看到各缺陷类别数量的分布情况。同时对初始晶圆图像集中各个缺陷框进行可视化统计，得到缺陷框长宽比统计图、缺陷框中心点位置统计图以及各个初始晶圆图像中的缺陷框锚点图像。
调节各个初始晶圆图像的缺陷标注框锚点图像的比例大小，保持得到的晶圆图像训练集中各个图像的缺陷框锚点图像大小相同，提升预训练模型缺陷检测的精准度。通过缺陷标注框中心点位置统计图，调整预训练模型对图像各个区域的缺陷检测权重，提升缺陷检测的准确率。通过缺陷标注框长宽比统计图可以确定缺陷的大小，从而确定预训练模型的训练算法，例如超过设定阈值的缺陷属于小目标缺陷，则选用小目标缺陷的检测算法作为预训练模型算法。将调整后的初始晶圆图像集作为晶圆图像训练集，利用晶圆图像训练集以及所述预训练模型算法进行模型训练，得到初步训练模型。
在一个示例实施例中，提供一种图片维度的晶圆缺陷检测的可视化优化方法，具体包括以下步骤：
S10，绘制初始晶圆图像集的缺陷类别柱状图，并根据缺陷类别柱状图平均各缺陷类别的图像数量得到晶圆图像训练集。将晶圆图像训练集输入预训练模型中训练得到初步训练模型。
S11，将待测晶圆图像集输入初步训练模型，输出得到各待测晶圆图像的至少一种预测缺陷类别、各预测缺陷类别的预测缺陷框和各预测缺陷框的初始置信度。根据设置的各预测缺陷类别的权重对各初始置信度进行加权处理，得到各预测缺陷框的更新置信度。将更新置信度最大的预测缺陷框以及对应的预测缺陷类别作为待测晶圆图像的目标缺陷框和目标缺陷类别，即预测结果。
或者将待测晶圆图像集输入初步训练模型，输出得到各待测晶圆图像的至少一种预测缺陷类别、各预测缺陷类别的预测缺陷框。计算各待测晶圆图像的各预测缺陷框到对应的图像中心点的距离值，将距离值最小所对应的预测缺陷框作为该待测晶圆图像的目标缺陷框，并将该预测缺陷框的预测缺陷类别作为该待测晶圆图像的目标缺陷类别。
S12，获取待测晶圆图像集的标签结果集。
S13，比较同一待测晶圆图像的目标检测框与对应的标签结果中的至少一个标准缺陷框是否匹配，若是，判断该目标缺陷框的目标缺陷类别与对应的标准缺陷框的标准缺陷类别是否匹配并根据匹配结果生成可视化混淆矩阵。若匹配，增加可视化混淆矩阵中表示待测晶圆图像的目标缺陷类别检测正确的行列位置所对应的元素。否则，增加可视化混淆矩阵中表示待测晶圆图像的目标缺陷类别检测错误的行列位置所对应的元素。
如图9所示，为一示例实施例中可视化混淆矩阵的示意图，其中，元素所在行表示目标缺陷类别，包括a~q种缺陷，元素所在列表示标准缺陷类别，包括A~Q种缺陷，各行列位置的元素表示对应目标缺陷类别和标准缺陷类别的待测晶圆图像的数量。可视化混淆矩阵的对角线表示目标缺陷类别与标准缺陷类别相同，待测晶圆图像检测正确，其余非对角线位置表示目标缺陷类别与标准缺陷类别不同，待测晶圆图像检测错误。例如，第c行第C列上存储有423对待测晶圆图像检测正确的预测结果以及对应的标签结果。第g行第C列上存储由25对待测晶圆图像检测错误的预测结果以及对应的标签结果。
S14，从可视化混淆矩阵中选择目标行列位置上的元素，并选择该元素下待测晶圆图像标签结果与预测结果进行可视化缺陷展示，确定待优化的模型检测类别以及模型算法问题定位，对所述初步训练模型进行优化，得到晶圆缺陷预测模型。
在另一个示例实施例中，提供一种缺陷维度的晶圆缺陷检测的可视化优化方法，具体包括以下步骤：
S20，获取初始晶圆图像集中每个缺陷类别的缺陷类别柱状图、各个初始晶圆图像中的缺陷框锚点图像、缺陷标注框中心点位置统计图以及缺陷标注框长宽比统计图，对初始晶圆图像集进行调整得到晶圆图像训练集，并确定预训练模型的模型算法。晶圆图像训练集输入预训练模型中训练得到初步训练模型。
S21，将待测晶圆图像集输入初步训练模型，输出得到预测结果集，各预测结果包括至少一个预测缺陷框和对应的预测缺陷类别。
S22，获取同一待测晶圆图像的各预测缺陷框与各标准缺陷框之间的重叠度，设置重叠度的设定阈值，将各重叠度与设定阈值进行比较，重叠度大于设定阈值的预测缺陷框为有效缺陷框，并从中选择最大重叠度的预测缺陷框，将预测缺陷框的预测缺陷类别与标准缺陷类别进行匹配。若预测缺陷框的预测缺陷类别与标准缺陷类别未匹配成功，则增加可视化混淆矩阵中表示待测晶圆图像的预测缺陷框错检的行列位置的元素，否则增加可视化混淆矩阵中表示待测晶圆图像的预测缺陷框检测正确的行列位置的元素。若待测晶圆图像的标签结果中存在剩余未匹配的标准缺陷框，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的标准缺陷框漏检的行列位置的元素。
如图10所示，为另一示例实施例的可视化混淆矩阵，元素所在行表示预测缺陷类别，包括a~q种缺陷，其中LJ行表示漏检，元素所在列表示标准缺陷类别，包括A~Q种缺陷，其中DJ列表示多检，各行列位置的元素表示对应预测缺陷类别和标准缺陷类别的待测晶圆图像的数量。可视化混淆矩阵的对角线表示同一待测晶圆图像的各预测缺陷类别与对应的标准缺陷类别相匹配，待测晶圆图像检测正确；可视化混淆矩阵的最下侧一行表示待测晶圆图像的标准缺陷框漏检；可视化混淆矩阵的最右侧一列表示待测晶圆图像的预测缺陷框多检；其余位置表示预测缺陷类别与标准缺陷类别不同，待测晶圆图像检测错误。
S23，从可视化混淆矩阵中选择目标行列位置上的元素，并选择该元素下待测晶圆图像标签结果与预测结果进行可视化缺陷展示，确定待优化的模型检测类别以及模型算法问题定位，对所述初步训练模型进行优化，得到晶圆缺陷预测模型。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的晶圆缺陷检测结果的可视化方法的晶圆缺陷检测结果的可视化装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个晶圆缺陷检测结果的可视化装置实施例中的具体限定可以参见上文中对于晶圆缺陷检测结果的可视化方法的限定，在此不再赘述。
在一个实施例中，如图11所示，提供了一种晶圆缺陷检测结果的可视化装置，包括：预测结果获取模块111、预测结果更新模块112、可视化矩阵生成模块113以及缺陷检测优化模块114，其中：
预测结果获取模块111，用于将待测晶圆图像集输入初步训练模型，得到预测结果集；所述预测结果集中的预测结果包括待测晶圆图像的至少一种预测缺陷类别。
预测结果更新模块112，用于根据所选择的所述预测结果的分析维度，确定所述预测结果集是否更新为目标结果集。
可视化矩阵生成模块113，用于获取所述待测晶圆图像集的标签结果集，将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵。
缺陷检测优化模块114，用于基于所述可视化混淆矩阵，对所述初步训练模型进行优化，得到晶圆缺陷预测模型。
在其中一个实施例中，所述预测结果的分析维度包括图片维度和缺陷维度，每个预测缺陷类别具有置信度值，所述预测结果更新模块112还用于：
当选择图片维度，则根据待测晶圆图像的置信度值或离待测晶圆图像中心点距离确定每张待测晶圆图像对应的目标缺陷类别，将预测结果集更新为目标结果集。
在其中一个实施例中，所述预测结果更新模块112还用于：基于可视化混淆矩阵对比待测晶圆图像的置信度值和离待测晶圆图像中心点距离对应的初步训练模型的检测质量，从待测晶圆图像的置信度值和离待测晶圆图像中心点距离中择一作为目标缺陷类别选择标准。
在其中一个实施例中，所述标签结果集中的标签结果包括各所述待测晶圆图像的至少一个标准缺陷类别，所述可视化矩阵生成模块113还用于：将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵，确定同一所述待测晶圆图像的所述预测缺陷类别或所述目标缺陷类别与所述标准缺陷类别的是否匹配；若匹配，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的所述预测缺陷类别或目标缺陷类别检测正确的行列位置所对应的元素；否则，增加所述可视化混淆矩阵中表示所述待测晶圆图像的所述预测缺陷类别或目标缺陷类别检测错误的行列位置所对应的元素。
在其中一个实施例中，所述预测结果还包括待测晶圆图像的至少一种预测缺陷类别对应的预测缺陷框，所述可视化矩阵生成模块113还用于：将同一所述待测晶圆图像检测出的所述预测缺陷框与所述标准缺陷框进行匹配获取重叠度，基于所述预测缺陷框与所述标准缺陷框之间重叠度和对应的缺陷类别获取检测质量情况。
在其中一个实施例中，所述可视化矩阵生成模块113还用于：若存在所述重叠度小于等于所述设定阈值的预测缺陷框，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框多检的行列位置的元素；若存在重叠度大于所述设定阈值的预测缺陷框，则选择最大重叠度的预测缺陷框，将预测缺陷框的预测缺陷类别与标准缺陷类别进行匹配，若未匹配，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框错检的行列位置的元素，否则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框检测正确的行列位置的元素；对于剩下未匹配的标准缺陷框，增加所述可视化混淆矩阵中表示所述待测晶圆图像的标准缺陷框漏检的行列位置的元素。
在其中一个实施例中，所述可视化混淆矩阵包括表示对应预测缺陷类别或目标缺陷类别与标准缺陷类别数量的元素，所述元素包含图像索引，所述缺陷检测优化模块114还用于：选择所述可视化混淆矩阵中的目标元素，获取所述目标元素的图像索引；根据所述图像索引对比显示所述目标元素所对应的各所述待测晶圆图像的预测结果或目标结果和标签结果；从所述目标元素所对应的各所述待测晶圆图像的预测结果或目标结果和标签结果中获取待优化缺陷类别，对所述初步训练模型进行优化。
在其中一个实施例中，所述预测结果获取模块111还用于：根据对初始晶圆图像集的可视化分析结果，对所述初始晶圆图像集进行优化得到晶圆图像训练集，及选择对应的预训练模型算法；所述初始晶圆图像集的各晶圆图像中包括至少一种缺陷类别以及对应的缺陷框；利用所述晶圆图像训练集以及所述预训练模型算法进行模型训练，得到所述初步训练模型。
在其中一个实施例中，所述预测结果获取模块111还用于：对所述初始晶圆图像集进行可视化统计，得到所述可视化分析结果，所述可视化分析结果包括缺陷类别统计图和/或缺陷框锚点图像和/或缺陷框长宽比统计图和/或缺陷框中心点位置统计图；根据所述可视化分析结果对所述初始晶圆图像集中各缺陷类别的数量、比例进行调整得到所述晶圆图像训练集，并确定所述预训练模型算法。
在其中一个实施例中，所述预测结果获取模块111还用于：将待测晶圆图像集输入所述初步训练模型，输出各待测晶圆图像的至少一种预测缺陷类别、各所述预测缺陷类别的预测缺陷框和各所述预测缺陷框的初始置信度；根据设置的各所述预测缺陷类别的权重对各所述初始置信度进行加权处理，得到各所述预测缺陷框的更新置信度；选择所述更新置信度最大的预测缺陷框作为所述待测晶圆图像的目标缺陷框，并将对应的预测缺陷类别作为所述待测晶圆图像的目标缺陷类别。
在其中一个实施例中，所述预测结果获取模块111还用于：将待测晶圆图像集输入所述初步训练模型，输出各待测晶圆图像的至少一种预测缺陷类别、各所述预测缺陷类别的预测缺陷框；获取各所述待测晶圆图像的图像中心点；计算各所述待测晶圆图像的各所述预测缺陷框到对应的所述图像中心点的距离值，将所述距离值最小所对应的预测缺陷框作为所述待测晶圆图像的目标缺陷框，并将对应的预测缺陷类别作为所述待测晶圆图像的目标缺陷类别。
上述晶圆缺陷检测结果的可视化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种晶圆缺陷检测结果的可视化方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各实施例中所述方法对应的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例中所述方法对应的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种晶圆缺陷检测的可视化优化方法，其特征在于，所述方法包括：
将待测晶圆图像集输入初步训练模型，得到预测结果集；所述预测结果集中的预测结果包括待测晶圆图像的至少一种预测缺陷类别；
根据所选择的所述预测结果的分析维度，确定所述预测结果集是否更新为目标结果集；所述预测结果的分析维度包括图片维度和缺陷维度，当选择所述图片维度，将预测结果集更新为目标结果集；当选择所述缺陷维度时，不更新所述预测结果集；
获取所述待测晶圆图像集的标签结果集，将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵；
基于所述可视化混淆矩阵，对所述初步训练模型进行优化，得到晶圆缺陷预测模型。
2.根据权利要求1所述的晶圆缺陷检测的可视化优化方法，其特征在于，每个预测缺陷类别具有置信度值；
当选择图片维度，则根据待测晶圆图像的置信度值或离待测晶圆图像中心点距离确定每张待测晶圆图像对应的目标缺陷类别，将预测结果集更新为目标结果集。
3.根据权利要求2所述的晶圆缺陷检测的可视化优化方法，其特征在于，将所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵之后，所述方法还包括：
基于可视化混淆矩阵对比待测晶圆图像的置信度值和离待测晶圆图像中心点距离对应的初步训练模型的检测质量，从待测晶圆图像的置信度值和离待测晶圆图像中心点距离中择一作为目标缺陷类别选择标准。
4.根据权利要求2所述的晶圆缺陷检测的可视化优化方法，其特征在于，所述标签结果集中的标签结果包括各所述待测晶圆图像的至少一个标准缺陷类别，所述将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵包括：
将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵，确定同一所述待测晶圆图像的所述预测缺陷类别或所述目标缺陷类别与所述标准缺陷类别的是否匹配；
若匹配，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的所述预测缺陷类别或目标缺陷类别检测正确的行列位置所对应的元素；否则，增加所述可视化混淆矩阵中表示所述待测晶圆图像的所述预测缺陷类别或目标缺陷类别检测错误的行列位置所对应的元素。
5.根据权利要求4所述的晶圆缺陷检测的可视化优化方法，其特征在于，所述预测结果还包括待测晶圆图像的至少一种预测缺陷类别对应的预测缺陷框，所述标签结果还包括所述标准缺陷类别对应的标准缺陷框，所述方法还包括：
将同一所述待测晶圆图像检测出的所述预测缺陷框与所述标准缺陷框进行匹配获取重叠度，基于所述预测缺陷框与所述标准缺陷框之间重叠度和对应的缺陷类别获取检测质量情况。
6.根据权利要求5所述的晶圆缺陷检测的可视化优化方法，其特征在于，所述基于所述预测缺陷框与所述标准缺陷框之间重叠度和对应的缺陷类别获取检测质量情况包括：
若存在所述重叠度小于等于设定阈值的预测缺陷框，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框多检的行列位置的元素；
若存在重叠度大于所述设定阈值的预测缺陷框，则选择最大重叠度的预测缺陷框，将预测缺陷框的预测缺陷类别与标准缺陷类别进行匹配，若未匹配，则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框错检的行列位置的元素，否则增加所述可视化混淆矩阵中表示所述待测晶圆图像的预测缺陷框检测正确的行列位置的元素；
对于剩下未匹配的标准缺陷框，增加所述可视化混淆矩阵中表示所述待测晶圆图像的标准缺陷框漏检的行列位置的元素。
7.根据权利要求2所述的晶圆缺陷检测的可视化优化方法，其特征在于，所述可视化混淆矩阵包括表示对应预测缺陷类别或目标缺陷类别与标准缺陷类别数量的元素，所述元素包含图像索引，所述基于所述可视化混淆矩阵，对所述初步训练模型进行优化包括：
选择所述可视化混淆矩阵中的目标元素，获取所述目标元素的图像索引；
根据所述图像索引对比显示所述目标元素所对应的各所述待测晶圆图像的预测结果或目标结果和标签结果；
从所述目标元素所对应的各所述待测晶圆图像的预测结果或目标结果和标签结果中获取待优化缺陷类别，对所述初步训练模型进行优化。
8.根据权利要求2所述的晶圆缺陷检测的可视化优化方法，其特征在于，在所述将待测晶圆图像集输入初步训练模型之前，所述方法还包括：
根据对初始晶圆图像集的可视化分析结果，对所述初始晶圆图像集进行优化得到晶圆图像训练集，及选择对应的预训练模型算法；所述初始晶圆图像集的各晶圆图像中包括至少一种缺陷类别以及对应的缺陷框；
利用所述晶圆图像训练集以及所述预训练模型算法进行模型训练，得到所述初步训练模型。
9.根据权利要求8所述的晶圆缺陷检测的可视化优化方法，其特征在于，所述根据对初始晶圆图像集的可视化分析结果，对所述初始晶圆图像集进行优化得到晶圆图像训练集，及选择对应的预训练模型算法包括：
对所述初始晶圆图像集进行可视化统计，得到所述可视化分析结果，所述可视化分析结果包括缺陷类别统计图和/或缺陷框锚点图像和/或缺陷框长宽比统计图和/或缺陷框中心点位置统计图；
根据所述可视化分析结果对所述初始晶圆图像集中各缺陷类别的数量、比例进行调整得到所述晶圆图像训练集，并确定所述预训练模型算法。
10.根据权利要求2所述的晶圆缺陷检测的可视化优化方法，其特征在于，根据待测晶圆图像的置信度值确定每张待测晶圆图像对应的目标缺陷类别包括：
将待测晶圆图像集输入所述初步训练模型，输出各待测晶圆图像的至少一种预测缺陷类别、各所述预测缺陷类别的预测缺陷框和各所述预测缺陷框的初始置信度；
根据设置的各所述预测缺陷类别的权重对各所述初始置信度进行加权处理，得到各所述预测缺陷框的更新置信度；
选择所述更新置信度最大的预测缺陷框作为所述待测晶圆图像的目标缺陷框，并将对应的预测缺陷类别作为所述待测晶圆图像的目标缺陷类别。
11.根据权利要求2所述的晶圆缺陷检测的可视化优化方法，其特征在于，根据离待测晶圆图像中心点距离确定每张待测晶圆图像对应的目标缺陷类别包括：
将待测晶圆图像集输入所述初步训练模型，输出各待测晶圆图像的至少一种预测缺陷类别、各所述预测缺陷类别的预测缺陷框；
获取各所述待测晶圆图像的图像中心点；
计算各所述待测晶圆图像的各所述预测缺陷框到对应的所述图像中心点的距离值，将所述距离值最小所对应的预测缺陷框作为所述待测晶圆图像的目标缺陷框，并将对应的预测缺陷类别作为所述待测晶圆图像的目标缺陷类别。
12.一种晶圆缺陷检测的可视化优化装置，其特征在于，所述装置包括：
预测结果获取模块，用于将待测晶圆图像集输入初步训练模型，得到预测结果集；所述预测结果集中的预测结果包括待测晶圆图像的至少一种预测缺陷类别；
预测结果更新模块，用于根据所选择的所述预测结果的分析维度，确定所述预测结果集是否更新为目标结果集；所述预测结果的分析维度包括图片维度和缺陷维度，当选择所述图片维度，将预测结果集更新为目标结果集；当选择所述缺陷维度时，不更新所述预测结果集；
可视化矩阵生成模块，用于获取所述待测晶圆图像集的标签结果集，将所述预测结果集或所述目标结果集与所述标签结果集进行比较，生成可视化混淆矩阵；
缺陷检测优化模块，用于基于所述可视化混淆矩阵，对所述初步训练模型进行优化，得到晶圆缺陷预测模型。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求11中任一项所述的方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410067358.XA CN117576108B (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
| CN202410523044.6A CN118469918A (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
| CN202410523051.6A CN118469919A (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410067358.XA CN117576108B (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410523051.6A Division CN118469919A (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
| CN202410523044.6A Division CN118469918A (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117576108A CN117576108A (zh) | 2024-02-20 |
| CN117576108B true CN117576108B (zh) | 2024-05-28 |
Family
ID=89862964
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410523044.6A Pending CN118469918A (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
| CN202410523051.6A Pending CN118469919A (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
| CN202410067358.XA Active CN117576108B (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410523044.6A Pending CN118469918A (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
| CN202410523051.6A Pending CN118469919A (zh) | 2024-01-17 | 2024-01-17 | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (3) | CN118469918A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893536B (zh) * | 2024-03-14 | 2024-05-28 | 深圳市森美协尔科技有限公司 | 检测晶圆平整度的方法及相关装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108648168A (zh) * | 2018-03-15 | 2018-10-12 | 北京京仪仪器仪表研究总院有限公司 | Ic晶圆表面缺陷检测方法 |
| CN109934293A (zh) * | 2019-03-15 | 2019-06-25 | 苏州大学 | 图像识别方法、装置、介质及混淆感知卷积神经网络 |
| JP2020536328A (ja) * | 2018-08-27 | 2020-12-10 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | バッテリー検出方法及び装置 |
| CN112101360A (zh) * | 2020-11-17 | 2020-12-18 | 浙江大华技术股份有限公司 | 一种目标检测方法、装置以及计算机可读存储介质 |
| EP3836019A1 (de) * | 2019-12-09 | 2021-06-16 | Siemens Aktiengesellschaft | Verfahren und assistenzsystem zur überprüfung von mustern auf fehlerhaftigkeit |
| CN116012721A (zh) * | 2023-03-28 | 2023-04-25 | 浙江大学湖州研究院 | 一种基于深度学习的水稻叶片病斑检测方法 |
| CN116128839A (zh) * | 2023-01-20 | 2023-05-16 | 杭州广立微电子股份有限公司 | 晶圆缺陷识别方法、装置、电子设备以及存储介质 |
| CN116309513A (zh) * | 2023-03-31 | 2023-06-23 | 成都京东方智慧科技有限公司 | 电子元件缺陷的检测方法、装置、设备及存储介质 |
| CN116468714A (zh) * | 2023-04-19 | 2023-07-21 | 深圳供电局有限公司 | 绝缘子缺陷检测方法、系统和计算机可读存储介质 |
| CN116542980A (zh) * | 2023-07-06 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
| WO2023155069A1 (zh) * | 2022-02-16 | 2023-08-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的手机电池表面缺陷检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12106534B2 (en) * | 2021-04-19 | 2024-10-01 | Apple Inc. | Cinematic image framing for wide field of view (FOV) cameras |
-
2024
- 2024-01-17 CN CN202410523044.6A patent/CN118469918A/zh active Pending
- 2024-01-17 CN CN202410523051.6A patent/CN118469919A/zh active Pending
- 2024-01-17 CN CN202410067358.XA patent/CN117576108B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108648168A (zh) * | 2018-03-15 | 2018-10-12 | 北京京仪仪器仪表研究总院有限公司 | Ic晶圆表面缺陷检测方法 |
| JP2020536328A (ja) * | 2018-08-27 | 2020-12-10 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | バッテリー検出方法及び装置 |
| CN109934293A (zh) * | 2019-03-15 | 2019-06-25 | 苏州大学 | 图像识别方法、装置、介质及混淆感知卷积神经网络 |
| EP3836019A1 (de) * | 2019-12-09 | 2021-06-16 | Siemens Aktiengesellschaft | Verfahren und assistenzsystem zur überprüfung von mustern auf fehlerhaftigkeit |
| CN112101360A (zh) * | 2020-11-17 | 2020-12-18 | 浙江大华技术股份有限公司 | 一种目标检测方法、装置以及计算机可读存储介质 |
| WO2023155069A1 (zh) * | 2022-02-16 | 2023-08-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的手机电池表面缺陷检测方法 |
| CN116128839A (zh) * | 2023-01-20 | 2023-05-16 | 杭州广立微电子股份有限公司 | 晶圆缺陷识别方法、装置、电子设备以及存储介质 |
| CN116012721A (zh) * | 2023-03-28 | 2023-04-25 | 浙江大学湖州研究院 | 一种基于深度学习的水稻叶片病斑检测方法 |
| CN116309513A (zh) * | 2023-03-31 | 2023-06-23 | 成都京东方智慧科技有限公司 | 电子元件缺陷的检测方法、装置、设备及存储介质 |
| CN116468714A (zh) * | 2023-04-19 | 2023-07-21 | 深圳供电局有限公司 | 绝缘子缺陷检测方法、系统和计算机可读存储介质 |
| CN116542980A (zh) * | 2023-07-06 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
Non-Patent Citations (3)
| Title |
|---|
| 基于改进粒子群算法的多阈值灰度图像分割;王树亮;赵合计;;计算机应用;20121231(S2);153-156 * |
| 基于组合机器学习算法的软件缺陷预测模型;傅艺绮;董威;尹良泽;杜雨晴;;计算机研究与发展;20170315(03);180-188 * |
| 基于锚点集优化的硅片图像缺陷检测方法;王晓茹;张雪英;黄丽霞;赵利军;肖方生;王安红;;计算机工程与设计;20201016(10);77-83 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117576108A (zh) | 2024-02-20 |
| CN118469918A (zh) | 2024-08-09 |
| CN118469919A (zh) | 2024-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117576108B (zh) | 晶圆缺陷检测的可视化优化方法、装置和计算机设备 | |
| JP2020126601A (ja) | 不良検知方法および不良検知装置 | |
| CN114898357B (zh) | 缺陷识别方法、装置、电子设备及计算机可读存储介质 | |
| CN111259903A (zh) | 识别表计示数方法、装置、可读存储介质和计算机设备 | |
| US20140199792A1 (en) | Defect pattern evaluation method, defect pattern evaluation apparatus, and recording media | |
| CN117557538A (zh) | Pcb表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN117437455A (zh) | 一种晶圆缺陷模式的确定方法、装置、设备及可读介质 | |
| CN116205918B (zh) | 基于图卷积的多模态融合半导体检测方法、装置及介质 | |
| CN116977336A (zh) | 摄像头缺陷检测方法、装置、计算机设备及存储介质 | |
| CN116051959A (zh) | 一种目标检测方法、装置 | |
| CN117132564A (zh) | 基于YOLOv3的蓝宝石衬底表面缺陷检测方法及系统 | |
| CN116797973A (zh) | 应用于环卫智慧管理平台的数据挖掘方法及系统 | |
| CN114925153B (zh) | 基于业务的地理信息数据质量检测方法、装置和设备 | |
| US20230029163A1 (en) | Wafer map analysis system using neural network and method of analyzing wafer map using the same | |
| CN114463764A (zh) | 表格线检测方法、装置、计算机设备和存储介质 | |
| CN114140336A (zh) | 一种基于红外图像的坏点处理方法及装置 | |
| CN112084364A (zh) | 对象分析方法、局部图像搜索方法、设备及存储介质 | |
| CN116563278B (zh) | 检测结果显示方法、装置、计算机设备和存储介质 | |
| CN116051518B (zh) | 木马位置定位方法、装置、计算机设备和存储介质 | |
| US12080042B2 (en) | Method for retrieving images from database | |
| CN117557786B (zh) | 物料质量检测方法、装置、计算机设备及存储介质 | |
| CN116612474B (zh) | 对象检测方法、装置、计算机设备及计算机可读存储介质 | |
| JP7344501B1 (ja) | プログラム、方法、情報処理装置、システム | |
| CN115063432B (zh) | 对准标记图形的识别方法及装置、计算机设备和存储介质 | |
| CN118470547A (zh) | 水稻穗粒的识别计数方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |