CN117957436A - 低对比度非参考缺陷检测 - Google Patents
低对比度非参考缺陷检测 Download PDFInfo
- Publication number
- CN117957436A CN117957436A CN202280063122.8A CN202280063122A CN117957436A CN 117957436 A CN117957436 A CN 117957436A CN 202280063122 A CN202280063122 A CN 202280063122A CN 117957436 A CN117957436 A CN 117957436A
- Authority
- CN
- China
- Prior art keywords
- image
- machine learning
- segments
- learning network
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 101
- 238000001514 detection method Methods 0.000 title abstract description 15
- 238000010801 machine learning Methods 0.000 claims abstract description 68
- 239000004065 semiconductor Substances 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 48
- 238000007689 inspection Methods 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
Abstract
本文公开了用于在制造过程期间检查半导体器件诸如CMOS图像传感器的缺陷检测技术的示例。缺陷可以包括常见缺陷,诸如划痕、污垢等,以及低对比度缺陷,诸如水印。该检测技术可以使用监督式机器学习网络。
Description
相关申请的交叉引用
本申请要求2021年7月19日提交的美国临时专利申请序列号63/223,121的优先权的权益,该美国临时专利申请的内容全文以引用方式并入本文。
技术领域
本公开整体涉及半导体器件的缺陷检测,特别是低对比度缺陷。
背景技术
随着半导体器件尺寸的减小和复杂性的增加,即使很小的缺陷也会不利地影响它们的性能。例如,一些设备在制造期间经历水洗或清洁,这可能留下水印缺陷。这些缺陷被认为是低对比度缺陷的示例,因为缺陷和非缺陷区域之间的对比度差异最小,使得它们难以检测。半导体器件在制造过程期间经常被检查以检测缺陷。
但是一些检查技术难以精确地检测低对比度缺陷。此外,一些检查技术可能使用参考图像来检测变化或缺陷,从而使其难以使用。
发明内容
本公开描述了一种用于检测半导体器件中的缺陷的方法,该方法包括:生成半导体器件的图像的多个二值切片;以及基于该图像的统计对比度特性将该多个二值切片中的每个二值切片分割成段;将这些段的子集输入到机器学习网络中,其中这些段的子集包括与该子集中未包括的其他段相比具有更高对比度分布的段;以及接收识别该图像中至少一个缺陷的存在或不存在的机器学习网络的输出。
本公开还描述来了一种检查系统,该检查系统包括用以捕获半导体器件的图像的检测器;机器的一个或多个处理器;以及存储指令的存储器,这些指令在由一个或多个处理器执行时使机器执行包括以下步骤的操作:生成半导体器件的图像的多个二值切片;基于该图像的统计对比度特性将该多个二值切片中的每个二值切片分割成段;将这些段的子集输入到机器学习网络中,其中这些段的子集包括与该子集中未包括的其他段相比具有更高对比度分布的段;以及接收识别该图像中至少一个缺陷的存在或不存在的机器学习网络的输出。
本公开还描述了一种体现指令的机器存储介质,这些指令在由机器执行时致使机器执行包括以下步骤的操作:生成该半导体器件的图像的多个二值切片;基于该图像的统计对比度特性,分割该多个二值切片中的每个二值切片以创建段;将这些段的子集输入到机器学习网络中,其中这些段的子集包括与该子集中未包括的其他段相比具有更高对比度分布的段;以及接收识别该图像中至少一个缺陷的存在或不存在的机器学习网络的输出。
附图说明
附图中的各个附图仅示出了本公开的示例具体实施,而不应被视为限制其范围。
图1示出了根据本主题的示例的检查系统。
图2示出了根据本主题的示例的预处理过程。
图3示出了根据本主题的示例的使用机器学习网络来检测图像中的缺陷的框架。
图4示出了根据本主题的示例的训练过程的流程图。
图5示出了根据本主题的示例的缺陷检测过程的流程图。
图6示出了根据本主题的示例的缺陷检测结果。
图7示出了包括其上可执行本文所述技术中的任何一种或多种技术(例如,方法)的机器的示例的框图。
具体实施方式
本文公开了用于在制造过程期间检查半导体器件诸如CMOS图像传感器的缺陷检测技术的示例。缺陷可以包括常见缺陷,诸如划痕、污垢等,以及低对比度缺陷,诸如水印。该检测技术可以在不使用参考图像的情况下使用监督式机器学习网络来检测缺陷。
描述了检测技术的训练模式和正常操作模式。首先,机器学习网络被配置并训练为在训练模式期间检测各种缺陷。在训练模式中,使用待检查的半导体器件(例如管芯)的类型的一个或多个训练图像。训练图像可以经历预处理以增强图像的对比度,并经历其他类型的变换以增强图像的一个或多个特定特征。可以取图像的二值切片,每个二值切片对应于不同的灰度级范围。然后可以使用统计特性来分割每个二值切片,其中每个段由图像的该区域的对比度分布来定义。具有已知缺陷的段被相应地标记,并且没有已知缺陷的段也被相应地标记。这些段被馈送到多层机器学习网络中,并且基于标签(例如,缺陷或无缺陷)来设置输出。机器学习网络训练自身以基于段和段的缺陷标签来检测缺陷。
其次,在正常操作模式中,可以以与训练模式中类似的方式执行预处理、二值切片和分割的前几个步骤,它们基于预定义的规则和算法执行。然后可以将基于相对对比度分布的段子集馈送到经训练的机器学习网络中。基于机器学习网络的训练和配置,其随后可在检查期间检测半导体器件的图像中的缺陷。因此,该检测技术可以在不使用参考图像的情况下快速、准确地检测低对比度缺陷。
图1示出了例如可用于执行本文其他地方所示和所述的一种或多种技术的检查系统100的示例部分。在该示例中,显示了检查系统100,其检查衬底102,例如半导体管芯(例如,用于CMOS图像传感器)。
检查系统100可以包括照明源110以发射投射到衬底102上的辐射束(例如,电磁波)。辐射束可以被认为是产生询问束以询问衬底的表面。照明源110可以包括单色或宽带光源。例如,照明源110可以是在一个或多个波长范围工作的LED或多个LED。在另一个示例中,照明源110可以包括多个光源以提供不同波长、强度、偏振状态等的辐射束。
检查系统100还可以包括检测器112以检测并收集来自衬底102的再辐射(例如,返回电磁波或二次电磁波),并且生成衬底102或其一部分的图像。检测器112可以包括2D相机,诸如基于CMOS的相机或TDI(时间延迟和积分)行扫描相机。检测器112可以包括光学和滤波部件,以用于收集来自衬底102的再辐射并将其聚焦到包含在检测器112内的图像传感器(诸如CCD阵列或CMOS或其他场效应晶体管元件)上。
在实施方案中,检测器112还可以包括一个或多个相机镜头。检测器112可以安装成使得其中包含的图像传感器(例如,CCD阵列或CMOS元件)相对于垂直于衬底102的顶表面的假想线成预定角度(例如,相对于表面法线成45°角)。在实施方案中,检测器112也可以包括多个相机,其中每个相机相对于表面法线以相同或不同预定角度安装。
检测器112可以耦合到测试仪器120。测试仪器120可包括计算机处理单元(CPU)122、图形处理单元(GPU)124、现场可编程门阵列(FPGA)131(或其他合适的加速器,诸如数据处理单元(DPU)、人工神经网络(ANN)等)、存储器126、显示器128、输入设备130和通信接口132(例如,高性能网络(HPC))。测试仪器120也可包括前端电路系统,诸如发射信号链、接收信号链、开关电路系统、数字和模拟电路系统等。发射信号链可以为照明源110提供控制信号。接收信号链可以从检测器112接收图像信号。
前端电路系统可耦合到一个或多个处理器电路(诸如CPU 122、GPU 124和FPGA131)并由它们控制。CPU 122可以被提供为一个或多个多核处理器。GPU 124和FPGA 131可用于加速图像数据的处理和本文所述的机器学习网络的性能。本文所示和所述的技术可由与GPU 124协同工作的CPU 122执行,以实现更快的处理。
CPU 122和GPU 124可耦合到存储器126,诸如以执行指令,这些指令致使测试仪器120执行波束发射、辐射/图像采集、处理或存储与检查相关的数据中的一项或多项操作,或以其他方式执行本文所示和所述的技术。测试仪器120可诸如使用有线或无线通信接口132通信地耦合到系统100的其他部分。
例如,可在测试仪器120上板载实现或使用诸如使用计算设施140(例如通用计算设备,诸如服务器、云处理系统、数据仓库、膝上型计算机、平板计算机、智能电话、台式计算机等)的其他处理或存储设施来实现本文所示和所述的一种或多种技术的性能。例如,在测试仪器120上板载执行将不可取地很慢或超出测试仪器120的能力的处理任务可(例如,在单独的系统上)远程执行,诸如响应于来自测试仪器120的请求。类似地,可使用通信地耦合到测试仪器120的远程设施来实现成像数据或中间数据的存储。测试仪器120也可包括显示器128(诸如用于呈现配置信息或结果)和输入设备130(诸如包括键盘、轨迹球、功能键或软键、鼠标接口、触摸屏、触针等中的一者或多者,用于接收操作者命令、配置信息或对查询的响应)。
如上所述,测试仪器120可以接收正在检查中的衬底102的一个或多个图像。测试仪器120可以执行如本文所示和所述的一种或多种技术以检测一个或多个图像中的缺陷,包括低对比度缺陷。
图2示出了根据本主题的示例的图像的预处理过程200。可以获得原始图像202。例如,原始图像202可由检查系统的检测器(例如,检测器112)产生,如上文参考图1所述。在一个示例中,可以通过变换技术操纵原始图像202以在抽象希尔伯特空间中形成经变换的图像。例如,变换可以包括傅立叶变换、拉普拉斯变换、与理论上生成或经验上获得的已知形状的2D相关、或其他合适的变换技术。对于彩色图像,这些过程可应用于由相机提供的原始颜色中的一者或原始颜色的组合。
原始图像202(或经变换的图像)随后可以由真实空间和/或希尔伯特空间中的一个或多个滤波器(包括线性和非线性滤波器)进行滤波。例如,原始图像202(或经变换图像)可以由第一滤波器252(滤波器1)滤波以生成第一中间图像集合:分别为暗场图像204和明场图像206。第一滤波器252可以被提供为不同带宽中的一个或多个线性滤波器,例如,高通、低通、带通滤波器。第一中间图像集合202、204随后可以由第二滤波器254(滤波器2)组合并滤波以生成第二中间图像208。第二滤波器254可以被提供为一个或多个线性滤波器。第二中间图像208可由第三滤波器256(滤波器3)滤波以生成经预处理图像210。第三滤波器256可以被提供为一个或多个非线性滤波器。预处理可使图像中的对比度更显著,因此有助于如本文所述检测图像中的低对比度缺陷。
接下来,将描述用于检测图像中的缺陷(包括诸如水印的低对比度缺陷)的技术。可以使用监督式机器学习来检测缺陷。
图3示出了使用机器学习网络来检测图像中的缺陷的框架300。框架300可以在训练模式中用于训练机器学习网络,并且随后可以在正常操作模式中用于检测正在检查中的设备的图像中的缺陷。稍后参照图4和图5描述训练模式和正常操作模式的示例。
框架300可包括预处理器302、二值化单元304、分割单元306和机器学习网络308。初始图像352(例如,原始图像)可被提供给预处理器302。预处理器302对初始图像352进行滤波以增强图像对比度并生成经预处理图像354,例如如上文参考图2所述。接下来,经预处理图像354可被提供给二值化单元304以用对应于不同灰度级的不同阈值对经预处理图像354进行二值化以生成至多n个二值切片356.1至356.n。切片的数目(n)可以是可编程的,并且可以基于检查的灵敏水平和待检查的设备的类型来设置。
分割单元306可以基于经预处理图像的统计特性分割每个切片以生成段358.1至358.m。可以基于与经预处理图像中的对应区域的对比度有关的统计特性(例如,直方图、标准偏差、平均值、最小值-最大值)和每个切片的统计特性(例如,像素密度、熵)来执行分割。因此,每个段可以由图像的该相应区域的对比度分布来定义。例如,经预处理图像的直方图特性和切片中的亮像素的数目可用于定义段。直方图特性可以表示对比度数值数据的近似分布。当图像切片的一个区域不同于另一个相邻区域时,这些区域可以被定义为不同的段。因此,每个段可以包括类似的对比度特性。
分割单元306还可以基于经预处理灰度图像中的段及对应区域的特性将经分割的切片358.1至358.m划分成两个段群组(或子集)。具有较高对比度分布的段可以被分类为属于第一子集,并且具有较低对比度分布的段可以被分类为属于第二子集。可以分别基于落在对比度阈值之上或之下的对比度特性来确定较高或较低对比度分布。
来自每个经分割切片358.1至358.m的二值段的第一子集(例如,具有更高对比度分布)随后可以被输入到机器学习网络308中。机器学习网络308可被提供为多层机器学习模型。例如,机器学习网络308可以包括具有两个隐藏层的四个层:输入层、特征提取层、特征关系层和判定层。可将来自每个切片中的段的第一子集的像素信息发送到输入层。输入层中的每个节点可以对应于输入的段的像素。机器学习网络308可以以迭代方式在其层中训练其偏置和系数。判定层可以输出关于在相应的段内存在或不存在缺陷的判定。在处理与每个二值切片的第一子集相关联的段且生成相应段中存在或不存在缺陷的判定之后,可以生成缺陷结果360。缺陷结果360可以从初始图像352中提取检测到的缺陷。缺陷结果360可以是以高对比度示出检测到的缺陷的二值图像。在一个实施方案中,可将缺陷结果360输入到算法中以对缺陷进行分类。
如上所述,框架300可以首先在训练模式中用于训练机器学习网络308以检测缺陷,并且随后可以在正常操作模式中用于检测图像中的缺陷,作为检查过程的一部分。机器学习网络的训练可以是监督过程,并且可以在执行检查过程的非现场执行。训练可以使用具有已知缺陷的训练图像集合(例如,一个或多个训练图像)来训练机器学习网络。
图4示出了训练过程400的流程图。可以利用训练图像集合多次执行训练过程400。在402处,可以如上所述接收并预处理训练图像。训练图像可以对应于在正常操作模式期间待检查的相同或相似类型的设备的图像。可以基于特定类型的缺陷(诸如水印、划痕、污垢等)的存在来选择训练图像。预处理可以包括一系列线性和/或非线性滤波以增强图像对比度,如上所述。
在404处,训练图像可以被二值化以生成训练图像的多个二值切片。可以用对应于不同灰度级的不同阈值对训练图像进行二值化。每个二值切片可以对应于不同阈值或灰度级。阈值的数目可以是可编程的,并且可以基于检查的灵敏水平和待检查的设备的类型来设置。
在406处,可基于与经预处理图像中的每个切片以及对应区域的特性相关的统计特性(例如,直方图、标准偏差、平均值、最小值-最大值)来分割每个二值切片。因此,每个段可以由图像的该相应区域的对比度分布来定义。例如,可以使用图像的直方图特性来定义段。直方图特性可以表示对比度数值数据的近似分布。因此,每个段可以包括类似的对比度特性。当图像的一个区域不同于另一个相邻区域时,这些区域可以被定义为不同的段。
在408处,可以基于段的对比度分布将段划分成两个群组或子集。具有较高对比度分布的段可以被分类为属于第一子集,并且具有较低对比度分布的段可以被分类为属于第二子集。可以使用对比度阈值来确定较高或较低对比度分布。
在410处,对于每个段,可以接收与该段中存在或不存在缺陷相关的标签。标签可以通过手动过程生成。可用缺陷标签(例如,“1”)来标记具有已知缺陷的段,并且可用无缺陷标签(例如,“0”)来标记不具有已知缺陷的段。
在412处,可将段输入到机器学习网络中,如本文中所述。在414处,可生成基于第一子集的每个段(例如,缺陷或无缺陷)的标签的参考输出并将其提供给机器学习网络。
在416处,机器学习网络可执行迭代操作,直到机器学习网络的输出与基于标签的参考输出基本匹配。机器学习网络可以调整其偏置和其层中的系数以针对每个段生成与其相应参考输出基本匹配的输出。
可以针对训练图像集合重复过程400以训练机器学习网络。训练图像可以包括不同的缺陷以训练机器学习网络检测具有不同特性和强度的不同类型的缺陷。在机器学习网络完成训练过程之后,其可在正常操作模式中使用以在制造期间检测半导体器件的图像中的缺陷。
图5示出了正常操作模式中的缺陷检测过程500的流程图。在502处,可以接收正在检查中的设备的图像并如上所述进行预处理。图像可由检查系统的检测器捕获,如上文参考图1所述。预处理可以包括一系列线性和/或非线性滤波以增强图像对比度,如上所述。
在504处,图像可以被二值化以生成训练图像的多个二值切片。可以用对应于不同灰度级的不同阈值对图像进行二值化。每个二值切片可以对应于不同阈值或灰度级。阈值的数目可以是可编程的,并且可以基于检查的灵敏水平和待检查的设备的类型来设置。
在506处,可以基于与经预处理图像的对比度相关的统计特性和每个切片自身的特性(例如,直方图、标准偏差、平均值、最小值-最大值、熵)来分割每个二值切片。因此,每个段可以由图像的该相应区域的对比度分布来定义。例如,可以使用切片的统计特性来定义段。直方图特性可以表示对比度数值数据的近似分布。因此,每个段可以包括类似的特性。当图像切片的一个区域不同于另一个相邻区域时,这些区域可以被定义为不同的段。
在508处,可以基于段的对比度分布将段划分成两个群组或子集。具有较高对比度分布的段可以被分类为属于第一子集,并且具有较低对比度分布的段可以被分类为属于第二子集。可以使用对比度阈值来确定较高或较低对比度分布。
在510处,可以将段的第一子集(例如,较高对比度分布)输入到机器学习网络中,如本文中所述。在512处,机器学习网络基于其训练可使用其层执行操作以输出关于在相应段内存在或不存在缺陷的判定。基于关于在相应段中存在或不存在缺陷的判定,可以生成缺陷结果。缺陷结果可以从初始图像中提取检测到的缺陷。缺陷结果可以是示出检测到的缺陷的二值图像。缺陷结果进一步按类型进行分类。
图6示出了本文所述的缺陷检测技术的结果的示例。原始图像602、604示出了由上述检测器拍摄的正在检查中的设备的图像。如图所示,原始图像602、604中的缺陷可能难以辨别。结果图像652、654示出了使用如本文所述的经训练的机器学习网络的缺陷检测技术的结果。例如,结果图像652、654示出了二值图像中的水印缺陷,其中缺陷为白色。
如本文所述,对机器学习网络的输入的二值化和分割提高了检测技术的速度。通过使用段的子集(而不是整个图像),机器学习网络的操作和训练可以更快地执行并且使用更少的计算资源。机器学习网络可以生成二值图像,其中缺陷(包括低对比度缺陷)更容易辨别。例如,可使用本文所述的检测技术在几毫秒内检查包含5000个单独管芯的晶片。
本文所示和所述的技术可使用如图1所示的检查系统100的一部分或整体或以其他方式使用如下文关于图7所述的机器700来执行。图7示出了包括其上可执行本文所述技术中的任何一种或多种技术(例如,方法)的机器700的示例的框图。在各种示例中,机器700可作为独立设备操作或可连接(例如,联网)到其他机器。在联网部署中,机器700可在服务器-客户端网络环境中以服务器机器、客户端机器或两者的能力来操作。在一个示例中,机器700可充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器700可以是个人计算机(PC)、平板设备、机顶盒(STB)、个人数字助理(PDA)、移动电话、web设备、网络路由器、交换机或网桥,或能够(顺序地或以其他方式)执行指定该机器要采取的行动的指令的任何机器。此外,虽然仅示出了单个机器,但术语“机器”还应被理解为包括单独地或联合地执行一个(或多个)指令集以执行本文所述方法的任何一种多种的机器的任何集合,诸如云计算、软件即服务(SaaS)、其他计算机集群配置。
本文所述的示例可包括逻辑或多个部件或机制,或者可由逻辑或多个部件或机制来操作。电路系统是在包括硬件(例如,简单电路、门、逻辑等)的有形实体中实现的电路的集合。电路系统成员关系可能随着时间和潜在的硬件变化而变化。电路系统包括在操作时可单独或组合地执行指定操作的成员。在一个示例中,电路系统的硬件可以不可变地被设计成执行特定操作(例如,硬连线)。在一个示例中,包括电路系统的硬件可包括可变连接的物理部件(例如,执行单元、晶体管、简单电路等),这些物理部件包括被物理地修改(例如,以磁性方式、以电子方式,诸如经由物理状态的改变或另一物理特性的变换等)以编码特定操作的指令的计算机可读介质。在连接物理部件时,硬件组成的基础电特性可例如从绝缘特性变为导电特性或反之亦然。指令使得嵌入式硬件(例如,执行单元或加载机制)能够经由可变连接在硬件中创建电路系统的成员,以在操作时执行特定操作的部分。因此,当设备工作时,计算机可读介质通信地耦合到电路系统的其他部件。在一个示例中,任何物理部件可用于多于一个电路系统的多于一个成员中。例如,在操作中,执行单元可在一个时间点用于第一电路系统的第一电路中,并且在不同时间由第一电路系统中的第二电路或由第二电路系统中的第三电路重新使用。
机器(例如,计算机系统)700可包括硬件处理器702(例如,中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器内核或它们的任何组合)、主存储器704和静态存储器706,它们中的一些或全部可经由互连件(例如,总线)708彼此通信。机器700还可包括显示单元710、数字字母混合输入设备712(例如,键盘)和用户界面(UI)导航设备714(例如,鼠标)。在一个示例中,显示单元710、输入设备712和UI导航设备714可以是触摸屏显示器。机器700可另外包括存储设备(例如,驱动单元)726、信号生成设备718(例如,扬声器)、网络接口设备720和一个或多个传感器716,诸如全球定位系统(GPS)传感器、罗盘、加速度计或其他传感器。机器700可包括输出控制器728,诸如串行(例如,通用串行总线(USB))、并行或其他有线或无线(例如,红外(IR)、近场通信(NFC)等)连接以传送信息给或控制一个或多个外围设备(例如,打印机、读卡器等)。
存储设备722可包括机器可读介质,在该机器可读介质上存储了体现本文所述的技术或功能中的任一者或多者或被本文所述的技术或功能中的任一者或多者利用的数据结构或指令724(例如,软件)的一个或多个集。在机器700执行指令724期间,指令还可完全或至少部分地驻留在主存储器704内、在静态存储器706内、或在硬件处理器702内。在一个示例中,硬件处理器702、主存储器704、静态存储器706或存储设备722中的一者或任何组合可构成机器可读介质。
虽然机器可读介质被示为单个介质,但术语“机器可读介质”可包括被配置为存储一个或多个指令724的单个介质或多个介质(例如,集中式或分布式数据库,和/或相关联的高速缓存和服务器)。
术语“机器可读介质”可包括能够存储、编码或携带供机器700执行的指令并且致使机器700执行本公开的技术中的任一种或多种技术的数据结构的任何介质,或者能够存储、编码或携带由此类指令使用或与此类指令相关联的数据结构的任何介质。非限制性机器可读介质示例可包括固态存储器以及光学介质和磁介质。因此,机器可读介质不是瞬时传播信号。大规模机器可读介质的具体示例可包括:非易失性存储器,诸如半导体存储器设备(例如,电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存存储器设备;磁或其他相变或状态改变存储器电路;磁盘,诸如内部硬盘和可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM盘。
指令724还可使用传输介质经由网络接口设备720利用多个传输协议(例如,帧中继、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任一者在通信网络726上传输或接收。示例通信网络可包括局域网(LAN)、广域网(WAN)、分组数据网络(例如,互联网)、移动电话网络(例如,蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如,被称为的电气和电子工程师协会(IEEE)802.22标准系列、被称为/>的IEEE 802.26标准系列)、IEEE 802.25.4标准系列、对等(P2P)网络等。在一个示例中,网络接口设备720可包括一个或多个物理插孔(例如,以太网、同轴或电话插孔)或一个或多个天线以连接到通信网络726。在一个示例中,网络接口设备720可包括多个天线,以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一种技术进行无线通信。术语“传输介质”应被理解为包括能够存储、编码或携带供机器700执行的指令的任何无形介质,并且包括数字或模拟通信信号或其他无形介质以有利于此类软件的通信。
各种注意事项
以上非限制性方面中的每个方面可为独立的或者可以各种排列或组合与本文档中所述的其他方面或其他主题中的一者或多者组合。
以上详细描述包括对构成该详细描述的一部分的附图的参考。附图以举例的方式示出了可实践本发明的特定具体实施。这些具体实施通常也被称为“示例”。此类示例可包括除了所示或所述的要素之外的要素。然而,本发明人还设想了仅提供所示或所述的那些要素的示例。此外,本发明人还设想了使用相对于特定示例(或其一个或多个方面)或相对于文本所示或所述的其他示例(或其一个或多个方面)所示或所述的那些要素(或其一个或多个方面)的任何组合或排列的示例。
在本文档与以引用方式并入本文的任何文档之间的用法不一致的情况下,以本文档中的用法为准。
在本文档中,术语“一个”或“一种”如在专利文档中常见的那样使用以包括一个或多个,独立于“至少一个”或“一个或多个”的任何其他实例或用法。在本文档中,除非另外指明,否则术语“或”用于指非排他性的或者使得“A或B”包括“A但不包括B”、“B但不包括A”以及“A和B”。在本文档中,术语“包括”和“在其中”用作相应术语“包含”和“其中”的通俗易懂的英语等同物。此外,在以下权利要求中,术语“包括”和“包含”是开放式的,即,包括除了在一个权利要求中在此类术语之后列出的那些要素之外的要素的系统、设备、制品、组合物、配制物或过程仍被认为落入该权利要求的范围内。此外,在以下权利要求中,术语“第一”、“第二”和“第三”等仅用作标签,而不旨在对其对象施加数值要求。
本文所述的方法示例可以至少部分地是机器或计算机实现的。一些示例可包括用指令编码的计算机可读介质或机器可读介质,这些指令用于配置电子设备以执行如以上示例中所述的方法。此类方法的具体实施可包括代码,诸如微代码、汇编语言代码、高级语言代码等。此类代码可包括用于执行各种方法的计算机可读指令。代码可形成计算机程序产品的部分。此外,在一个示例中,诸如在执行期间或在其他时间,代码可以有形方式存储在一个或多个易失性、非暂态或非易失性有形计算机可读介质上。这些有形计算机可读介质的示例可包括但不限于硬盘、可移动磁盘、可移动光盘(例如,高密度盘和数字视频盘)、磁带盒、存储卡或棒、随机存取存储器(RAM)、只读存储器(ROM)等。
以上描述旨在举例而非限制。例如,上述示例(或其一个或多个方面)可彼此组合使用。可使用其他具体实施,诸如本领域的普通技术人员在阅读以上描述之后。提供说明书摘要以使得读者快速确定技术公开的实质。提交时应理解它不用于解释或限制权利要求的范围或含义。此外,在以上具体实施方式中,可将各种特征组合在一起以精简本公开。这不应被解释为意指未要求保护的公开特征对于任何权利要求都是必要的。相反,本发明的主题可存在于少于特定公开的具体实施的所有特征中。因此,以下权利要求由此作为示例或具体实施结合到具体实施方式中,其中每个权利要求独立地作为单独的具体实施,并且设想此类具体实施可以各种组合或排列彼此组合。
Claims (20)
1.一种检测半导体器件中的缺陷的方法,所述方法包括:
生成所述半导体器件的图像的多个二值切片;
基于所述图像的统计对比度特性将所述多个二值切片中的每个二值切片分割成段;
将所述段的子集输入到机器学习网络中,其中所述段的所述子集包括与所述子集中未包括的其他段相比具有更高对比度分布的段;以及
接收识别所述图像中至少一个缺陷的存在或不存在的所述机器学习网络的输出。
2.根据权利要求1所述的方法,其中所述机器学习网络包括多层机器学习模型,并且其中每个二值切片对应于不同的灰度级。
3.根据权利要求1所述的方法,其中所述机器学习网络通过以下步骤被训练为利用至少一个训练图像使用监督式机器学习技术来检测缺陷:
生成所述至少一个训练图像的多个二值切片以创建训练图像切片;
基于所述至少一个训练图像的统计对比度特性对所述训练图像切片中的每个切片进行分割;
接收具有已知缺陷的一个或多个段的缺陷标签,并接收不具有所述已知缺陷的一个或多个段的无缺陷标签;
将所述至少一个训练图像的所述段输入到所述机器学习网络中;以及
基于所述段的所述标签向所述机器学习网络提供参考输出,
其中所述机器学习网络执行迭代操作,直到其输出与所述参考输出基本匹配。
4.根据权利要求1所述的方法,其中所述缺陷是低对比度水印缺陷。
5.根据权利要求1所述的方法,所述方法还包括:
变换所述图像以增强所述图像的至少一个特征;以及
预处理所述图像,包括用一系列线性和非线性滤波器来对所述图像进行滤波。
6.根据权利要求1所述的方法,其中所述统计对比度特性由直方图、范围、标准偏差、最小值-最大值、平均值以及暗像素与亮像素的比率中的一者或多者限定。
7.根据权利要求1所述的方法,其中使用图形处理单元(GPU)和计算机处理单元(CPU)来执行所述方法。
8.一种检查系统,所述检查系统包括:
检测器,所述检测器用于捕获半导体器件的图像;
机器的一个或多个处理器;和
存储指令的存储器,所述指令在由所述一个或多个处理器执行时使所述机器执行包括以下步骤的操作:
生成所述半导体器件的所述图像的多个二值切片;
基于所述图像的统计对比度特性将所述多个二值切片中的每个二值切片分割成段;
将所述段的子集输入到机器学习网络中,其中所述段的所述子集包括与所述子集中未包括的其他段相比具有更高对比度分布的段;以及
接收识别所述图像中至少一个缺陷的存在或不存在的所述机器学习网络的输出。
9.根据权利要求8所述的检查系统,其中所述机器学习网络包括多层机器学习模型,并且其中每个二值切片对应于不同的灰度级。
10.根据权利要求8所述的检查系统,其中所述机器学习网络通过以下步骤被训练为利用至少一个训练图像使用监督式机器学习技术来检测缺陷:
生成所述至少一个训练图像的多个二值切片以创建训练图像切片;
基于所述至少一个训练图像的统计对比度特性对所述训练图像切片中的每个切片进行分割;
接收具有已知缺陷的一个或多个段的缺陷标签,并接收不具有所述已知缺陷的一个或多个段的无缺陷标签;
将所述至少一个训练图像的所述段输入到所述机器学习网络中;以及
基于所述段的所述标签向所述机器学习网络提供参考输出,
其中所述机器学习网络执行迭代操作,直到其输出与所述参考输出基本匹配。
11.根据权利要求8所述的检查系统,其中所述缺陷是低对比度水印缺陷。
12.根据权利要求8所述的检查系统,所述操作还包括:
变换所述图像以增强所述图像的至少一个特征;以及
预处理所述图像,包括用一系列线性和非线性滤波器来对所述图像进行滤波。
13.根据权利要求8所述的检查系统,其中所述统计对比度特性由直方图、范围、标准偏差、最小值-最大值、平均值以及暗像素与亮像素的比率中的一者或多者限定。
14.根据权利要求8所述的检查系统,其中所述一个或多个处理器包括图形处理单元(GPU)。
15.一种体现指令的机器存储介质,所述指令在由机器执行时致使所述机器执行包括以下步骤的操作:
生成半导体器件的图像的多个二值切片;
基于所述图像的统计对比度特性,分割所述多个二值切片中的每个二值切片以创建段;
将所述段的子集输入到机器学习网络中,其中所述段的所述子集包括与所述子集中未包括的其他段相比具有更高对比度分布的段;以及
接收识别所述图像中至少一个缺陷的存在或不存在的所述机器学习网络的输出。
16.根据权利要求15所述的机器存储介质,其中所述机器学习网络包括多层机器学习模型,并且其中每个二值切片对应于不同的灰度级。
17.根据权利要求15所述的机器存储介质,其中所述机器学习网络通过以下步骤被训练为利用至少一个训练图像使用监督式机器学习技术来检测缺陷:
生成所述至少一个训练图像的多个二值切片以创建训练图像切片;
基于所述至少一个训练图像的统计对比度特性对所述训练图像切片中的每个切片进行分割;
接收具有已知缺陷的一个或多个段的缺陷标签,并接收不具有所述已知缺陷的一个或多个段的无缺陷标签;
将所述至少一个训练图像的所述段输入到所述机器学习网络中;以及
基于所述段的所述标签向所述机器学习网络提供参考输出,
其中所述机器学习网络执行迭代操作,直到其输出与所述参考输出基本匹配。
18.根据权利要求15所述的机器存储介质,其中所述缺陷是低对比度水印缺陷。
19.根据权利要求15所述的机器存储介质,还包括:
预处理所述图像,包括用一系列线性和非线性滤波器来对所述图像进行滤波。
20.根据权利要求15所述的机器存储介质,其中所述统计对比度特性由直方图、范围、标准偏差、最小值-最大值、平均值以及暗像素与亮像素的比率中的一者或多者限定。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163223121P | 2021-07-19 | 2021-07-19 | |
US63/223,121 | 2021-07-19 | ||
PCT/US2022/073857 WO2023004294A1 (en) | 2021-07-19 | 2022-07-18 | Low contrast non-referential defect detection |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117957436A true CN117957436A (zh) | 2024-04-30 |
Family
ID=84892180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280063122.8A Pending CN117957436A (zh) | 2021-07-19 | 2022-07-18 | 低对比度非参考缺陷检测 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230012917A1 (zh) |
EP (1) | EP4374159A1 (zh) |
KR (1) | KR20240038020A (zh) |
CN (1) | CN117957436A (zh) |
TW (1) | TW202314234A (zh) |
WO (1) | WO2023004294A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI798650B (zh) * | 2021-02-25 | 2023-04-11 | 環球晶圓股份有限公司 | 自動光學檢測方法、自動光學檢測系統及記錄媒體 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100121250A (ko) * | 2009-05-08 | 2010-11-17 | 호서대학교 산학협력단 | 큐에프엔 반도체 패키지의 외형 결함 검사를 위한 비전 시스템 및 이를 이용한 결함 분류 방법 |
US11080830B2 (en) * | 2018-04-25 | 2021-08-03 | Perkinelmer Cellular Technologies Germany Gmbh | Systems and methods for segmentation and analysis of 3D images |
KR102150673B1 (ko) * | 2018-10-02 | 2020-09-01 | (주)지엘테크 | 외관불량 검사방법 및 외관불량 검사 시스템 |
CN109741344B (zh) * | 2018-12-28 | 2022-03-18 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、医疗影像设备及存储介质 |
CN113950704A (zh) * | 2019-06-07 | 2022-01-18 | 卡尔蔡司Smt有限责任公司 | 具有改良3d体积图像重建精度的横截面成像 |
-
2022
- 2022-07-18 WO PCT/US2022/073857 patent/WO2023004294A1/en active Application Filing
- 2022-07-18 CN CN202280063122.8A patent/CN117957436A/zh active Pending
- 2022-07-18 KR KR1020247005544A patent/KR20240038020A/ko active Search and Examination
- 2022-07-18 EP EP22846779.1A patent/EP4374159A1/en active Pending
- 2022-07-18 US US17/867,444 patent/US20230012917A1/en active Pending
- 2022-07-19 TW TW111127063A patent/TW202314234A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
EP4374159A1 (en) | 2024-05-29 |
KR20240038020A (ko) | 2024-03-22 |
US20230012917A1 (en) | 2023-01-19 |
WO2023004294A1 (en) | 2023-01-26 |
TW202314234A (zh) | 2023-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113095438B (zh) | 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质 | |
KR102254773B1 (ko) | 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법 | |
CN111383209B (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
US11132786B2 (en) | Board defect filtering method based on defect list and circuit layout image and device thereof and computer-readable recording medium | |
KR101836096B1 (ko) | 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 | |
KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
JP5275017B2 (ja) | 欠陥検査方法及びその装置 | |
CN113711234B (zh) | 纱线质量控制 | |
Ali et al. | Automated fruit grading system | |
CN106355579A (zh) | 烟条表面褶皱的缺陷检测方法 | |
TWI743837B (zh) | 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體 | |
CN112150460A (zh) | 检测方法、检测系统、设备和介质 | |
US20230012917A1 (en) | Low contrast non-referential defect detection | |
Tang et al. | Anomaly detection of core failures in die casting X-ray inspection images using a convolutional autoencoder | |
Li et al. | A two-stage crack detection method for concrete bridges using Convolutional Neural Networks | |
JP7298176B2 (ja) | 欠点検査装置および学習済みモデル | |
KR101822963B1 (ko) | 이진 영상을 이용한 결함 탐지장치 및 방법 | |
JP2020112483A (ja) | 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム | |
JP7404817B2 (ja) | 学習装置、検出装置、学習方法、及び学習プログラム | |
Ettalibi et al. | AI and Computer Vision-based Real-time Quality Control: A Review of Industrial Applications | |
KR20180063869A (ko) | 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 | |
JP7415286B2 (ja) | カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法 | |
CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
Frias et al. | A high accuracy image hashing and random forest classifier for crack detection in concrete surface images | |
Mowa et al. | Blind Image Quality Assessment Using a CNN and Edge Distortion. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |