CN115423755A - 晶圆微加工结构缺陷检测方法及其装置、设备、介质 - Google Patents

晶圆微加工结构缺陷检测方法及其装置、设备、介质 Download PDF

Info

Publication number
CN115423755A
CN115423755A CN202210945689.XA CN202210945689A CN115423755A CN 115423755 A CN115423755 A CN 115423755A CN 202210945689 A CN202210945689 A CN 202210945689A CN 115423755 A CN115423755 A CN 115423755A
Authority
CN
China
Prior art keywords
micro
defect
image
target
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210945689.XA
Other languages
English (en)
Inventor
黄冰
杨延竹
于波
张华�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Geling Jingrui Vision Co ltd
Original Assignee
Shenzhen Geling Jingrui Vision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Geling Jingrui Vision Co ltd filed Critical Shenzhen Geling Jingrui Vision Co ltd
Priority to CN202210945689.XA priority Critical patent/CN115423755A/zh
Publication of CN115423755A publication Critical patent/CN115423755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本申请实施例提供一种晶圆微加工结构缺陷检测方法及其装置、设备、介质，所述晶圆微加工结构缺陷检测方法包括：获取初始图像，对初始图像进行分割，得到待检测微加工结构图像，当接收到缺陷检测指令时，对待检测微加工结构图像进行第一缺陷检测，得到第一检测结果，若第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测，得到第二检测结果，若第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值，根据第一得分值得到目标检测结果，能够自动进行微加工结构的缺陷检测，与人工检测方式相比，提高了检测效率和准确率。

Description

晶圆微加工结构缺陷检测方法及其装置、设备、介质
技术领域
本发明涉及半导体制造技术领域，尤其涉及一种晶圆微加工结构缺陷检测方法及其装置、计算机设备、存储介质。
背景技术
微纳加工工艺是指加工尺度为微米至纳米量的加工技术，在半导体相干产业中主要用于在硅基晶圆表面进行微加工，制造微纳器件与微纳机电系统。微纳加工结构的质量直接影响到微纳器件和微纳机电系统的性能，因此需要进行加工质量检测。目前对于微加工结构的质量检测，大部分采用人工检测方式，通过显微镜目测等非自动化手段对微加工结构形貌进行缺陷检测，这种检测方式不仅效率低，而且人工检测具有随机性和偶然性，难以形成统一的量化标准，造成检测结果不稳定，容易受人为主观因素的影响。
发明内容
本申请实施例的主要目的在于提出一种晶圆微加工结构缺陷检测方法及其装置、计算机设备、存储介质，能够自动对微加工结构表面的缺陷进行自动检测，提高检测效率和准确率。
为实现上述目的，本申请实施例的第一方面提出了一种晶圆微加工结构缺陷检测方法，所述方法包括：
获取初始图像；
对所述初始图像进行分割，得到待检测微加工结构图像；
当接收到缺陷检测指令时，对所述待检测微加工结构图像进行第一缺陷检测，得到第一检测结果；
若所述第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对所述待检测微加工结构图像进行第二缺陷检测，得到第二检测结果；
若所述第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值；
根据所述第一得分值得到目标检测结果。
在一些实施例，所述对所述初始图像进行分割，得到待检测微加工结构图像，包括：
获取第一局部阈值；
根据所述第一局部阈值对所述初始图像进行区域二值化分割，得到微加工结构特征点；
计算所述微加工结构特征点组成的第一连通区域的第一面积；
根据所述第一面积从多个所述第一连通区域中筛选出目标微加工结构区域；
根据所述目标微加工结构区域得到待检测微加工结构图像。
在一些实施例，所述根据所述第一局部阈值对所述初始图像进行区域二值化分割，得到微加工结构特征点，包括：
若所述初始图像中第一像素点的灰度值大于或者等于第一局部阈值，则将所述第一像素点作为微加工结构特征点；
若所述初始图像中第二像素点的灰度值小于所述第一局部阈值，则将所述第二像素点作为背景特征点。
在一些实施例，所述根据所述第一面积从多个所述第一连通区域中筛选出目标微加工结构区域，包括：
将所述第一面积大于面积阈值的第一连通区域作为目标微加工结构区域。
在一些实施例，所述当接收到缺陷检测指令时，对所述待检测微加工结构图像进行第一缺陷检测，得到第一检测结果，包括：
当接收到缺陷检测指令时，获取第二局部阈值；
若所述待检测微加工结构图像中第三像素点的灰度值小于所述第二局部阈值，则将所述第三像素点作为缺陷像素点；
计算所述缺陷像素点组成的第二连通区域的第二面积；
根据所述第二面积从多个所述第二连通区域中筛选出目标缺陷区域；
根据所述目标缺陷区域得到第一检测结果。
在一些实施例，所述根据所述第一得分值得到目标检测结果，包括：
若所述第一得分值大于或者等于预设的第二得分值，则所述目标检测结果为微加工结构有缺陷；
若所述第一得分值小于预设的所述第二得分值，则所述目标检测结果为微加工结构无缺陷。
在一些实施例，所述目标缺陷检测模型通过以下步骤训练得到：
当接收到采样指令时，对所述待检测微加工结构图像进行缺陷类型标注和缺陷位置信息标注，得到样本微加工结构图像；
根据预设的扩充方法对所述样本微加工结构图像进行扩充，得到扩充图像，并根据类聚方法获取所述扩充图像的先验框；
获取预设的目标缺陷检测模型的超参数；
根据迁移学习方法初始化所述目标缺陷检测模型的网络参数，得到初始化网络参数；
根据所述扩充图像、所述超参数、所述先验框和所述初始化网络参数对所述目标缺陷检测模型进行训练，更新所述目标缺陷检测模型的网络参数，当达到训练停止条件时，得到所述目标缺陷检测模型。
本申请实施例的第二方面提出了一种晶圆微加工结构缺陷检测装置，所述装置包括：
图像获取模块，用于获取初始图像；
图像分割模块，用于对所述初始图像进行分割，得到待检测微加工结构图像；
第一检测模块，用于当接收到缺陷检测指令时，对所述待检测微加工结构图像进行第一缺陷检测，得到第一检测结果；
第二检测模块，用于若所述第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对所述待检测微加工结构图像进行第二缺陷检测，得到第二检测结果；
得分获取模块，用于若所述第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值；
目标检测模块，用于根据所述第一得分值得到目标检测结果。
本申请实施例的第三方面提出了一种计算机设备，所述计算机设备包括存储器和处理器，其中，所述存储器中存储有程序，所述程序被所述处理器执行时所述处理器用于执行如本申请第一方面实施例任一项所述的方法。
本申请实施例的第四方面提出了一种存储介质，该存储介质为计算机可读存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本申请第一方面实施例任一项所述的方法。
本申请实施例提出的晶圆微加工结构缺陷检测方法及其装置、计算机设备、存储介质，通过获取初始图像，对初始图像进行分割，得到待检测微加工结构图像，当接收到缺陷检测指令时，对待检测微加工结构图像进行第一缺陷检测，得到第一检测结果，若第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测，得到第二检测结果，若第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值，根据第一得分值得到目标检测结果，能够自动进行微加工结构的缺陷检测，与人工检测方式相比，提高了检测效率和准确率。
附图说明
图1是本申请实施例提供的晶圆微加工结构缺陷检测方法的第一流程图；
图2是图1中步骤S120的具体方法的流程图；
图3是图2中步骤S220的具体方法的流程图；
图4是图1中步骤S130的具体方法的流程图；
图5是图1中步骤S160的具体方法的流程图；
图6是本申请实施例提供的晶圆微加工结构缺陷检测方法的第二流程图；
图7是本申请实施例提供的晶圆微加工结构缺陷检测装置的模块结构图；
图8是本申请实施例提供的晶圆微加工结构缺陷检测设备的硬件示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
微纳加工工艺是指加工尺度为微米至纳米量的加工技术，在半导体相干产业中主要用于在硅基晶圆表面进行微加工，制造微纳器件与微纳机电系统。微纳加工结构的质量直接影响到微纳器件和微纳机电系统的性能，因此需要进行加工质量检测。目前对于微加工结构的质量检测，大部分采用人工检测方式，通过显微镜目测等非自动化手段对微加工结构形貌进行缺陷检测，这种检测方式不仅效率低，而且人工检测具有随机性和偶然性，难以形成同一的量化标准，造成检测结果不稳定，容易受人为主观因素的影响。
基于此，本申请实施例的主要目的在于提出一种晶圆微加工结构缺陷检测方法，通过获取初始图像，对初始图像进行分割，得到待检测微加工结构图像，当接收到缺陷检测指令时，对待检测微加工结构图像进行第一缺陷检测，得到第一检测结果，若第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测，得到第二检测结果，若第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值，根据第一得分值得到目标检测结果，能够自动进行微加工结构的缺陷检测，与人工检测方式相比，提高了检测效率和准确率，同时能够适应不同规格的微加工结构缺陷检测，并克服微加工结构表面和背景不一致的干扰。
参照图1，根据本申请实施例第一方面实施例的晶圆微加工结构缺陷检测方法，应用于晶圆微加工结构缺陷检测装置，晶圆微加工结构缺陷检测方法包括但不限于步骤S110至步骤S160。
S110，获取初始图像；
S120，对初始图像进行分割，得到待检测微加工结构图像；
S130，当接收到缺陷检测指令时，对待检测微加工结构图像进行第一缺陷检测，得到第一检测结果；
S140，若第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测，得到第二检测结果；
S150，若第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值；
S160，根据第一得分值得到目标检测结果。
在步骤S110中，获取初始图像，其中初始图像可以是摄像头采集的图像。
在步骤S120中，由于初始图像中除了微加工结构特征点外，还存在背景特征点，为了避免背景特征点对缺陷检测结果的影响，需要从初始图像中分割出待检测微加工结构图像。
在步骤S130中，判断接收到的指令，当接收到缺陷检测指令，晶圆微加工结构缺陷检测装置进入检测模式，对待检测微加工结构图像进行第一缺陷检测，得到第一检测结果。当接收到采样指令时，晶圆微加工结构缺陷检测装置进入采样模式，进行目标缺陷检测模型的训练，训练过程如下：对待检测微加工结构图像进行缺陷类型标注和缺陷位置信息标注，得到样本微加工结构图像，根据预设的扩充方法对样本微加工结构图像进行扩充，得到扩充图像，并根据类聚方法获取扩充图像的先验框，获取预设的目标缺陷检测模型的超参数，根据迁移学习方法初始化目标缺陷检测模型的网络参数，得到初始化网络参数，根据扩充图像、超参数、先验框和初始化网络参数对目标缺陷检测模型进行训练，更新目标缺陷检测模型的网络参数，当达到训练停止条件时，得到目标缺陷检测模型。
需要说明的是，若无目标缺陷检测模型或者需要样本对目标缺陷检测模型进行优化，则选择采样模式，若已经有目标缺陷检测模型，则选择检测模式。
需要进一步说明的是，当接收到采样指令时，可以将待检测微加工结构图像存储入计算机本地进行保存，采用LabelImage标注工具对待检测微加工结构图像进行缺陷类型标注例如脏污、划痕、毛刺、异形等，并对缺陷位置信息进行标注。
若目标缺陷检测模型为YOLOv4-tiny，则YOLOv4-tiny的训练过程如下：获取样本微加工结构图像，对样本微加工结构图像采用随机镜像和180度旋转进行图片扩充，得到扩充图像；将扩充图像随机划分为训练集、测试集和验证集，其中训练集、测试集和验证集的划分比例为80％、10％和10％；对于训练集，随机从缺陷位置信息中获取标注的宽度值和高度值作为初始类聚的中心，再根据K-means类聚方法不断进行迭代计算直到迭代次数结束或者类聚尺寸不再改变，得到模型训练需要的六种不同尺寸的先验框；配置YOLOv4-tiny的超参数，将epoch设置为200，将batchsize设置为32，将mini-batchsize设置为16，将学习率初始化为0.001，每三个epoch学习率衰减为原来的0.95倍；根据迁移学习进行网络参数初始化，将采用VOC数据集训练的YOLOv4-tiny的backbone参数作为初始化参数；每5个epoch保存一次模型，直到训练到epoch为200，则停止模型训练；模型训练完成后，利用模型对测试集和验证集的图片进行预测，若预测的缺陷类型及缺陷结果框和实际需要检测的一致，则说明该模型可用于缺陷检测，若训练效果不佳，则检查模型标注标签、调整超参数，重新进行目标缺陷检测模型的训练。通过YOLOv4-tiny对微加工结构缺陷进行检测，能够提高检测效果和检测速度，实现微加工结构缺陷的实时自动检测。
在步骤S140中，第一缺陷检测是为了对待检测微加工结构图像中的大缺陷或者明显特征缺陷进行初步筛选，若第一检测结果为微加工结构有缺陷，则不进行后续流程，以提高微加工结构缺陷检测的效率。若第一检测结果为微加工结构无缺陷，为了避免漏检有缺陷的微加工结构，提高检测结果的准确性，加载目标缺陷检测模型，根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测以进行缺陷识别和分类，得到第二检测结果。
在步骤S150至S160中，若第二检测结果为微加工结构有缺陷，为了避免将无缺陷微加工结构错检为有缺陷微加工结构，则对目标缺陷检测模型输出的第二检测结果进行进一步校验，通过获取目标缺陷检测模型输出的微加工结构缺陷的第一得分值，根据第一得分值得到目标检测结果，提高了目标检测结果的准确率。若第二检测结果为微加工结构无缺陷，则直接输出目标检测结果为微加工结构无缺陷。
本申请实施例提出的晶圆微加工结构缺陷检测方法，通过获取初始图像，对初始图像进行分割，得到待检测微加工结构图像，当接收到缺陷检测指令时，对待检测微加工结构图像进行第一缺陷检测，得到第一检测结果，若第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测，得到第二检测结果，若第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值，根据第一得分值得到目标检测结果，能够自动进行微加工结构的缺陷检测，与人工检测方式相比，提高了检测效率和准确率，同时能够适应不同规格的微加工结构缺陷检测，并克服微加工结构表面和背景不一致的干扰。
在一些实施例中，如图2所示，步骤S120具体包括但不限于步骤S210至步骤S250。
S210，获取第一局部阈值；
S220，根据第一局部阈值对初始图像进行区域二值化分割，得到微加工结构特征点；
S230，计算微加工结构特征点组成的第一连通区域的第一面积；
S240，根据第一面积从多个第一连通区域中筛选出目标微加工结构区域；
S250，根据目标微加工结构区域得到待检测微加工结构图像。
在步骤S210至S250中，通过预设的第一局部阈值对初始图像进行区域二值化分割，得到微加工结构特征点和背景特征点，计算相邻微加工结构特征点组成的第一连通区域的第一面积，将第一面积大于面积阈值的第一连通区域作为目标微加工结构区域，将第一面积小于或者等于面积阈值的第一连通区域以及背景特征点组成的区域作为背景区域，根据目标微加工结构区域和背景区域得到待检测微加工结构图像。若相邻微加工结构特征点组成的多个第一连通区域的第一面积均小于或者等于面积阈值，说明初始图像中不存在微加工结构，从初始图像中提取不到微加工结构，表示晶圆上此位置的微加工结构缺失，晶圆当前位置微加工结构的检测结果为不合格，不进行后续检测。需要说明的是，面积阈值用于过滤微加工结构区域和背景区域，本领域技术人员可根据实际情况自行设置。通过对初始图像进行分割，避免了初始图像中的背景干扰对缺陷检测结果的影响，提高了缺陷检测结果的稳定性，使缺陷检测结果具有高鲁棒性。
需要说明的是，为了便于后续目标缺陷检测模型的训练以及缺陷检测，可以将待检测微加工结构图像的尺寸大小调整至预设的尺寸。
在一些实施例中，如图3所示，步骤S220具体包括但不限于步骤S310至步骤S320。
S310，若初始图像中第一像素点的灰度值大于或者等于第一局部阈值，则将第一像素点作为微加工结构特征点；
S320，若初始图像中第二像素点的灰度值小于第一局部阈值，则将第二像素点作为背景特征点。
在步骤S310至步骤S320中，采用第一局部阈值对初始图像进行区域二值化分割，若初始图像中像素点的灰度值大于或者等于第一局部阈值，则该像素点为微加工结构特征点，若初始图像中像素点的灰度值小于第一局部阈值，则该像素点为背景特征点。
在一些实施例中，如图4所示，步骤S130具体包括但不限于步骤S410至步骤S450。
S410，当接收到缺陷检测指令时，获取第二局部阈值；
S420，若待检测微加工结构图像中第三像素点的灰度值小于第二局部阈值，则将第三像素点作为缺陷像素点；
S430，计算缺陷像素点组成的第二连通区域的第二面积；
S440，根据第二面积从多个第二连通区域中筛选出目标缺陷区域；
S450，根据目标缺陷区域得到第一检测结果。
在步骤S410至S450中，当接收到缺陷检测指令时，通过第二局部阈值对待检测微加工结构图像进行初步二值化缺陷检测即第一缺陷检测，若待检测微加工结构图像中像素点的灰度值小于第二局部阈值，则该像素点为缺陷像素点，若待检测微加工结构图像中像素点的灰度值大于或者等于第二局部阈值，则该像素点为正常像素点，计算相邻缺陷像素点组成的第二连通区域的第二面积，将第二面积大于预设面积阈值的第二连通区域作为目标缺陷区域，根据目标缺陷区域得到第一检测结果为晶圆上此位置的微加工结构有缺陷。可以理解的是，正常像素点组成的区域内均无缺陷像素点，若第二连通区域的第二面积均小于或者等于预设面积阈值，则在第二连通区域内均未检测到缺陷像素点，第一检测结果为晶圆上此位置的微加工结构无缺陷。
在一些实施例中，如图5所示，步骤S160具体包括但不限于步骤S510至步骤S520。
S510，若第一得分值大于或者等于预设的第二得分值，则目标检测结果为微加工结构有缺陷；
S520，若第一得分值小于预设的第二得分值，则目标检测结果为微加工结构无缺陷。
在步骤S510至S520中，若目标缺陷检测模型输出的第一得分值大于或者等于第二得分值，说明根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测得到的第二检测结果正确，则目标检测结果为晶圆上此位置的微加工结构有缺陷，并对该微加工结构的缺陷类型进行统计分类，以得到有缺陷微加工结构的缺陷类型。若第一得分值小于第二得分值，说明根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测得到的第二检测结果错误，则目标检测结果为晶圆此位置的微加工结构无缺陷。
下面参考图6以一个具体的实施例详细描述根据本发明实施例的晶圆微加工结构缺陷检测方法，晶圆微加工结构缺陷检测方法包括但不限于步骤S6010至步骤S6140，值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。
S6010，获取1200万工业面阵相机采集的初始MEMS微加工结构图像；
S6020，根据第一局部阈值对初始MEMS微加工结构图像进行区域二值化分割，得到微加工结构特征点和背景特征点，计算微加工结构特征点组成的第一连通区域的第一面积；
S6030，判断是否存在第一面积大于第一面积阈值；若判断结果为是，则执行步骤S6040；若判断结果为否，则执行步骤S6050；
S6040，将第一面积大于第一面积阈值的第一连通区域作为目标微加工结构区域，将第一面积小于或者等于面积阈值的第一连通区域以及背景特征点组成的区域作为背景区域，根据目标微加工结构区域和背景区域得到待检测微加工结构图像；
S6050，输出微加工结构缺失；
S6060，判断接收的指令是否为缺陷检测指令，若判断结果为是，则执行步骤S6070；若判断结果为否，则执行步骤S6140；
S6070，根据第二局部阈值对待检测微加工结构图像进行第一缺陷检测，得到缺陷像素点和正常像素点，计算缺陷像素点组成的第二连通区域的第二面积；
S6080，判断是否存在第二面积大于第二面积阈值；若判断结果为是，则执行步骤S6090；若判断结果为否，则执行步骤S6100；
S6090，将第二面积大于预设面积阈值的第二连通区域作为目标缺陷区域，根据目标缺陷区域得到第一缺陷检测的第一检测结果为微加工结构有缺陷。
S6100，将进行第一缺陷检测后的待检测微加工结构图像输入训练完成的YOLOv4-tiny进行第二缺陷检测，若第二缺陷检测的第二检测结果为微加工结构无缺陷，则输出微加工结构无缺陷，若第二缺陷检测的第二检测结果为微加工结构有缺陷，则获取YOLOv4-tiny输出的缺陷得分值；
S6110，判断缺陷得分值是否小于得分阈值，若判断结果为是，则执行步骤S6120；若判断结果为否，则执行步骤S6130。
S6120，输出微加工结构无缺陷；
S6130，输出微加工结构有缺陷；
S6140，对待检测微加工结构图像进行缺陷类型标注和缺陷位置信息标注，得到样本微加工结构图像，根据样本微加工结构图像对YOLOv4-tiny进行训练。
本申请实施例还提供一种晶圆微加工结构缺陷检测装置，如图7所示，所述晶圆微加工结构缺陷检测装置可以实现上述晶圆微加工结构缺陷检测方法，该装置包括图像获取模块710、图像分割模块720、第一检测模块730、第二检测模块740、得分获取模块750和目标检测模块760。其中图像获取模块710用于获取初始图像；图像分割模块720用于对初始图像进行分割，得到待检测微加工结构图像；第一检测模块730用于当接收到缺陷检测指令时，对待检测微加工结构图像进行第一缺陷检测，得到第一检测结果；第二检测模块740用于若第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测，得到第二检测结果；得分获取模块750用于若第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值；目标检测模块760用于根据第一得分值得到目标检测结果。
本申请实施例的晶圆微加工结构缺陷检测装置用于执行上述实施例中的晶圆微加工结构缺陷检测方法，其具体处理过程与上述实施例中的晶圆微加工结构缺陷检测方法相同，此处不再一一赘述。
本申请实施例提出的晶圆微加工结构缺陷检测装置，通过获取初始图像，对初始图像进行分割，得到待检测微加工结构图像，当接收到缺陷检测指令时，对待检测微加工结构图像进行第一缺陷检测，得到第一检测结果，若第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对待检测微加工结构图像进行第二缺陷检测，得到第二检测结果，若第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值，根据第一得分值得到目标检测结果，能够自动进行微加工结构的缺陷检测，与人工检测方式相比，提高了检测效率和准确率，同时能够适应不同规格的微加工结构缺陷检测，并克服微加工结构表面和背景不一致的干扰。
本申请实施例还提供一种晶圆微加工结构缺陷检测设备，如图8所示，所述微加工结构缺陷检测设备可以实现上述晶圆微加工结构缺陷检测方法，该设备包括拍照相机810、晶圆820、晶圆移动XY平台830、工业计算机840、运动控制器850和激光打标机860。工业计算机840分别与拍照相机810、运动控制器850和激光打标机860建立通信连接，以向拍照相机810发送拍照指令，向运动控制器850发送运动指令，向激光打标机860发送激光打标指令；拍照相机810接收到拍照指令后对处于当前相机位置下的拍照视野870的微加工结构进行拍照得到初始图像；晶圆820位于晶圆移动XY平台830，运动控制器850接收到运动指令后，控制晶圆移动XY平台830进行x轴方向和y轴方向的移动，以使晶圆820的部分微加工结构到达当前相机位置下的拍照视野870；激光打标机860接收到激光打标指令后，对有缺陷的微加工结构进行激光打标，以标记不合格微加工结构。
将晶圆820放置于晶圆移动XY平台830，工业计算机840向运动控制器850发送运动指令，运动控制器850接收到运动指令后，控制晶圆移动XY平台830移动到晶圆820左下角的第一行，然后向左移动x轴，同时工业计算机840控制拍照相机810进行拍照，并执行上述晶圆微加工结构缺陷检测方法，实现对晶圆820第一行每根微加工结构的缺陷检测。工业计算机840控制晶圆移动XY平台830移动到晶圆820左下角的第二行，对第二行的微加工结构进行缺陷检测。以此类推，拍照相机810能够完成对整个晶圆820的扫描，以完成对晶圆820的缺陷检测。晶圆820缺陷检测完成后，工业计算机840控制晶圆移动XY平台830移动，以将有缺陷的微加工结构移动到激光打标机860的正下方，激光打标机860接收到来自工业计算机840发送的激光打标指令后，对有缺陷的微加工结构进行激光打标，将该有缺陷的微加工结构标记为不合格，直至完成所有有缺陷微加工结构的标记。当激光打标机860标记完所有有缺陷的微加工结构后，工业计算机840控制晶圆移动XY平台830移动，以将晶圆820移出晶圆移动XY平台830。
需要说明的是，工业计算机与拍照相机、运动控制器的通信连接方式可以为TCP通信，工业计算机与激光打标机建立通信连接的方式可以为USB通信连接。激光打标机对有缺陷微加工结构进行激光打标，以标记该有缺陷微加工结构不合格，其中不合格的标识可以为NG。
需要进一步说明的是，一个晶圆上有八千到五万枚数量不等的微加工结构，而拍照相机一次只能拍摄晶圆中的几个微加工结构，因此需要通过工业计算机控制晶圆移动XY平台移动，使晶圆上的微加工结构能够到达相机的拍照视野位置处，从而实现对整个晶圆的缺陷检测。
本申请实施例还提供了一种计算机设备，包括：
至少一个处理器，以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有指令，指令被至少一个处理器执行，以使至少一个处理器执行指令时实现如本申请第一方面实施例中任一项的方法。
该计算机设备包括：处理器、存储器、输入/输出接口、通信接口和总线。
处理器，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器，可以采用ROM(Read Only Memory，只读存储器)、静态存储设备、动态存储设备或者RAM(Random Access Memory，随机存取存储器)等形式实现。存储器可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器中，并由处理器来调用执行本申请实施例的晶圆微加工结构缺陷检测方法；
输入/输出接口，用于实现信息输入及输出；
通信接口，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和
总线，在设备的各个组件(例如处理器、存储器、输入/输出接口和通信接口)之间传输信息；
其中处理器、存储器、输入/输出接口和通信接口通过总线实现彼此之间在设备内部的通信连接。
本申请实施例还提供一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行本申请实施例的晶圆微加工结构缺陷检测方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图1至图6中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.晶圆微加工结构缺陷检测方法，其特征在于，所述方法包括：
获取初始图像；
对所述初始图像进行分割，得到待检测微加工结构图像；
当接收到缺陷检测指令时，对所述待检测微加工结构图像进行第一缺陷检测，得到第一检测结果；
若所述第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对所述待检测微加工结构图像进行第二缺陷检测，得到第二检测结果；
若所述第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值；
根据所述第一得分值得到目标检测结果。
2.根据权利要求1所述的晶圆微加工结构缺陷检测方法，其特征在于，所述对所述初始图像进行分割，得到待检测微加工结构图像，包括：
获取第一局部阈值；
根据所述第一局部阈值对所述初始图像进行区域二值化分割，得到微加工结构特征点；
计算所述微加工结构特征点组成的第一连通区域的第一面积；
根据所述第一面积从多个所述第一连通区域中筛选出目标微加工结构区域；
根据所述目标微加工结构区域得到待检测微加工结构图像。
3.根据权利要求2所述的晶圆微加工结构缺陷检测方法，其特征在于，所述根据所述第一局部阈值对所述初始图像进行区域二值化分割，得到微加工结构特征点，包括：
若所述初始图像中第一像素点的灰度值大于或者等于第一局部阈值，则将所述第一像素点作为微加工结构特征点；
若所述初始图像中第二像素点的灰度值小于所述第一局部阈值，则将所述第二像素点作为背景特征点。
4.根据权利要求2所述的晶圆微加工结构缺陷检测方法，其特征在于，所述根据所述第一面积从多个所述第一连通区域中筛选出目标微加工结构区域，包括：
将所述第一面积大于面积阈值的第一连通区域作为目标微加工结构区域。
5.根据权利要求1所述的晶圆微加工结构缺陷检测方法，其特征在于，所述当接收到缺陷检测指令时，对所述待检测微加工结构图像进行第一缺陷检测，得到第一检测结果，包括：
当接收到缺陷检测指令时，获取第二局部阈值；
若所述待检测微加工结构图像中第三像素点的灰度值小于所述第二局部阈值，则将所述第三像素点作为缺陷像素点；
计算所述缺陷像素点组成的第二连通区域的第二面积；
根据所述第二面积从多个所述第二连通区域中筛选出目标缺陷区域；
根据所述目标缺陷区域得到第一检测结果。
6.根据权利要求1至5任一项所述的晶圆微加工结构缺陷检测方法，其特征在于，所述根据所述第一得分值得到目标检测结果，包括：
若所述第一得分值大于或者等于预设的第二得分值，则所述目标检测结果为微加工结构有缺陷；
若所述第一得分值小于预设的所述第二得分值，则所述目标检测结果为微加工结构无缺陷。
7.根据权利要求1至5任一项所述的晶圆微加工结构缺陷检测方法，其特征在于，所述目标缺陷检测模型通过以下步骤训练得到：
当接收到采样指令时，对所述待检测微加工结构图像进行缺陷类型标注和缺陷位置信息标注，得到样本微加工结构图像；
根据预设的扩充方法对所述样本微加工结构图像进行扩充，得到扩充图像，并根据类聚方法获取所述扩充图像的先验框；
获取预设的目标缺陷检测模型的超参数；
根据迁移学习方法初始化所述目标缺陷检测模型的网络参数，得到初始化网络参数；
根据所述扩充图像、所述超参数、所述先验框和所述初始化网络参数对所述目标缺陷检测模型进行训练，更新所述目标缺陷检测模型的网络参数，当达到训练停止条件时，得到所述目标缺陷检测模型。
8.晶圆微加工结构缺陷检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取初始图像；
图像分割模块，用于对所述初始图像进行分割，得到待检测微加工结构图像；
第一检测模块，用于当接收到缺陷检测指令时，对所述待检测微加工结构图像进行第一缺陷检测，得到第一检测结果；
第二检测模块，用于若所述第一检测结果为微加工结构无缺陷，则根据目标缺陷检测模型对所述待检测微加工结构图像进行第二缺陷检测，得到第二检测结果；
得分获取模块，用于若所述第二检测结果为微加工结构有缺陷，则获取微加工结构缺陷的第一得分值；
目标检测模块，用于根据所述第一得分值得到目标检测结果。
9.计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中，所述存储器中存储有程序，所述程序被所述处理器执行时所述处理器用于执行：
如权利要求1至7中任一项所述的方法。
10.存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行：
如权利要求1至7中任一项所述的方法。
CN202210945689.XA 2022-08-08 2022-08-08 晶圆微加工结构缺陷检测方法及其装置、设备、介质 Pending CN115423755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210945689.XA CN115423755A (zh) 2022-08-08 2022-08-08 晶圆微加工结构缺陷检测方法及其装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210945689.XA CN115423755A (zh) 2022-08-08 2022-08-08 晶圆微加工结构缺陷检测方法及其装置、设备、介质

Publications (1)

Publication Number Publication Date
CN115423755A true CN115423755A (zh) 2022-12-02

Family

ID=84196415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210945689.XA Pending CN115423755A (zh) 2022-08-08 2022-08-08 晶圆微加工结构缺陷检测方法及其装置、设备、介质

Country Status (1)

Country Link
CN (1) CN115423755A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485779A (zh) * 2023-05-11 2023-07-25 哈尔滨工业大学重庆研究院 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN116703925A (zh) * 2023-08-08 2023-09-05 菲特（天津）检测技术有限公司 一种轴承缺陷检测方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485779A (zh) * 2023-05-11 2023-07-25 哈尔滨工业大学重庆研究院 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN116485779B (zh) * 2023-05-11 2024-01-30 哈尔滨工业大学重庆研究院 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN116703925A (zh) * 2023-08-08 2023-09-05 菲特（天津）检测技术有限公司 一种轴承缺陷检测方法、装置、电子设备及存储介质
CN116703925B (zh) * 2023-08-08 2023-10-31 菲特（天津）检测技术有限公司 一种轴承缺陷检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN115423755A (zh) 晶圆微加工结构缺陷检测方法及其装置、设备、介质
CN106127780B (zh) 一种曲面表面缺陷自动检测方法及其装置
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
WO2012169088A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
CN112348787A (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
JP7435303B2 (ja) 検査装置、ユニット選択装置、検査方法、及び検査プログラム
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN107194432B (zh) 一种基于深度卷积神经网络的冰箱门体识别方法及系统
CN115035092A (zh) 基于图像的瓶体检测方法、装置、设备及存储介质
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN115578326A (zh) 一种道路病害识别方法、系统、设备及存储介质
CN111462056A (zh) 工件表面缺陷检测方法、装置、设备及存储介质
CN111612787A (zh) 混凝土裂纹高分图像无损语义分割方法、装置及存储介质
CN111062437A (zh) 一种基于深度学习的桥梁结构病害自动目标检测模型
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN113159146A (zh) 样本生成、目标检测模型训练、目标检测方法及装置
Jian et al. Deep Learning Model for Determining Defects of Vision Inspection Machine Using Only a Few Samples.
CN114972350B (zh) 模具异常检测方法、装置、设备及存储介质
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
CN111126286A (zh) 车辆动态检测方法、装置、计算机设备及存储介质
CN116342540A (zh) 包装膜缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination