CN116433674A - 半导体硅晶圆检测方法、装置、计算机设备及介质 - Google Patents
半导体硅晶圆检测方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN116433674A CN116433674A CN202310707502.7A CN202310707502A CN116433674A CN 116433674 A CN116433674 A CN 116433674A CN 202310707502 A CN202310707502 A CN 202310707502A CN 116433674 A CN116433674 A CN 116433674A
- Authority
- CN
- China
- Prior art keywords
- result
- image
- noise reduction
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 239000004065 semiconductor Substances 0.000 title claims abstract description 49
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 title claims abstract description 42
- 229910052710 silicon Inorganic materials 0.000 title claims abstract description 42
- 239000010703 silicon Substances 0.000 title claims abstract description 42
- 230000009467 reduction Effects 0.000 claims abstract description 291
- 238000000034 method Methods 0.000 claims abstract description 75
- 230000007547 defect Effects 0.000 claims abstract description 69
- 238000003708 edge detection Methods 0.000 claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000011176 pooling Methods 0.000 claims description 229
- 238000000605 extraction Methods 0.000 claims description 170
- 230000004913 activation Effects 0.000 claims description 104
- 230000006870 function Effects 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 76
- 230000004927 fusion Effects 0.000 claims description 44
- 238000007689 inspection Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 21
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 16
- 238000010606 normalization Methods 0.000 description 8
- 230000003213 activating effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 102100035241 3-oxoacyl-[acyl-carrier-protein] reductase Human genes 0.000 description 1
- 101710138614 3-oxoacyl-[acyl-carrier-protein] reductase Proteins 0.000 description 1
- 101150007921 CBR2 gene Proteins 0.000 description 1
- 102100021973 Carbonyl reductase [NADPH] 1 Human genes 0.000 description 1
- 102100035249 Carbonyl reductase [NADPH] 3 Human genes 0.000 description 1
- 101000896985 Homo sapiens Carbonyl reductase [NADPH] 1 Proteins 0.000 description 1
- 101000737274 Homo sapiens Carbonyl reductase [NADPH] 3 Proteins 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 101100516032 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CBR1 gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012458 free base Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
- H01L22/10—Measuring as part of the manufacturing process
- H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能技术领域,尤其涉及一种半导体硅晶圆检测方法、装置、计算机设备及介质。该方法从待检测晶圆的芯片图像中随机选择目标图像、第一参考图像和第二参考图像,对第一降噪卷积层和第二降噪卷积层进行训练,以得到训练好的第一降噪卷积层和训练好的第二降噪卷积层对目标图像处理,得到降噪图像,将目标图像和降噪图像相减,得到噪声图像,对目标图像进行边缘检测,得到边缘检测图像,将目标图像、噪声图像和边缘检测图像输入晶圆缺陷检测模型,输出目标图像对应的晶圆缺陷检测结果,以参考图像作为标签图像,通过颜色域转换避免降噪卷积层学习到恒等映射,提高噪声图像预测的准确率,进而提高了晶圆缺陷检测的准确率。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种半导体硅晶圆检测方法、装置、计算机设备及介质。
背景技术
随着半导体工业的快速发展,半导体制造工艺也变得越来越复杂,例如,芯片电路单元的制造尺寸越来越小,导致芯片电路单元在制造过程中更容易出现缺陷,因此半导体缺陷检测已广泛应用于包括但不限于CPU、存储器、逻辑集成电路等各种半导体器件的工艺流程中。
但是,由于晶圆表面待检测缺陷特征复杂,各种缺陷的形态、像素占比各不相同,而且采集到的晶圆表面图像包含随机噪声,导致采用常规缺陷检测方法容易出现误检,难以实现高精度的晶圆缺陷检测,而现有去噪方法通常需要采集真实低噪图像以实现高精度的去噪,但真实低噪图像的采集条件过于苛刻,一种替代方式为假定噪声分布进行去噪处理,但假定的噪声分布图像与真实低噪图像仍然会存在差异,导致晶圆缺陷检测的准确率较低。因此,如何提高晶圆缺陷检测的准确率成为了亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供了一种半导体硅晶圆检测方法、装置、计算机设备及介质,以解决晶圆缺陷检测的准确率较低的问题。
第一方面,本发明实施例提供一种半导体硅晶圆检测方法,所述半导体硅晶圆检测方法包括:
获取待检测晶圆中N个不同芯片对应的芯片图像,从所有芯片图像中随机选择一张芯片图像作为目标图像,从除所述目标图像外的所有芯片图像中随机选择两张芯片图像,分别作为第一参考图像和第二参考图像,N为大于二的整数;
将所述目标图像输入第一降噪卷积层进行特征映射处理,得到第一降噪结果,将所述第一参考图像转换至HSV色彩空间,得到色彩空间转换结果,根据所述色彩空间转换结果和所述第一降噪结果,计算得到第一降噪损失;
将所述第一降噪结果输入第二降噪卷积层进行特征映射处理,得到第二降噪结果,根据所述第二降噪结果和所述第二参考图像,计算得到第二降噪损失;
根据所述第一降噪损失和所述第二降噪损失,对所述第一降噪卷积层和所述第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层;
将所述目标图像依次输入所述训练好的第一降噪卷积层和所述训练好的第二降噪卷积层,得到降噪图像,将所述目标图像和所述降噪图像相减,得到噪声图像;
对所述目标图像进行灰度处理,得到灰度图像,对所述灰度图像进行边缘检测,得到边缘检测图像,将所述目标图像、所述噪声图像和所述边缘检测图像输入晶圆缺陷检测模型,得到所述目标图像对应的晶圆缺陷检测结果。
第二方面,本发明实施例提供一种半导体硅晶圆检测装置,所述半导体硅晶圆检测装置包括:
图像选择模块,用于获取待检测晶圆中N个不同芯片对应的芯片图像,从所有芯片图像中随机选择一张芯片图像作为目标图像,从除所述目标图像外的所有芯片图像中随机选择两张芯片图像,分别作为第一参考图像和第二参考图像,N为大于二的整数;
第一损失计算模块,用于将所述目标图像输入第一降噪卷积层进行特征映射处理,得到第一降噪结果,将所述第一参考图像转换至HSV色彩空间,得到色彩空间转换结果,根据所述色彩空间转换结果和所述第一降噪结果,计算得到第一降噪损失;
第二损失计算模块,用于将所述第一降噪结果输入第二降噪卷积层进行特征映射处理,得到第二降噪结果,根据所述第二降噪结果和所述第二参考图像,计算得到第二降噪损失;
模型训练模块,用于根据所述第一降噪损失和所述第二降噪损失,对所述第一降噪卷积层和所述第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层;
图像降噪模块,用于将所述目标图像依次输入所述训练好的第一降噪卷积层和所述训练好的第二降噪卷积层,得到降噪图像,将所述目标图像和所述降噪图像相减,得到噪声图像;
晶圆检测模块,用于对所述目标图像进行灰度处理,得到灰度图像,对所述灰度图像进行边缘检测,得到边缘检测图像,将所述目标图像、所述噪声图像和所述边缘检测图像输入晶圆缺陷检测模型,得到所述目标图像对应的晶圆缺陷检测结果。
第三方面,本发明实施例提供一种计算机设备,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的半导体硅晶圆检测方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的半导体硅晶圆检测方法。
本发明实施例与现有技术相比存在的有益效果是:
获取待检测晶圆中N个不同芯片对应的芯片图像,从所有芯片图像中随机选择一张芯片图像作为目标图像,从除所述目标图像外的所有芯片图像中随机选择两张芯片图像,分别作为第一参考图像和第二参考图像,将所述目标图像输入第一降噪卷积层进行特征映射处理,得到第一降噪结果,将所述第一参考图像转换至HSV色彩空间,得到色彩空间转换结果,根据所述色彩空间转换结果和所述第一降噪结果,计算得到第一降噪损失,将所述第一降噪结果输入第二降噪卷积层进行特征映射处理,得到第二降噪结果,根据所述第二降噪结果和所述第二参考图像,计算得到第二降噪损失,根据所述第一降噪损失和所述第二降噪损失,对所述第一降噪卷积层和所述第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层,将所述目标图像依次输入所述训练好的第一降噪卷积层和所述训练好的第二降噪卷积层,得到降噪图像,将所述目标图像和所述降噪图像相减,得到噪声图像,对所述目标图像进行灰度处理,得到灰度图像,对所述灰度图像进行边缘检测,得到边缘检测图像,将所述目标图像、所述噪声图像和所述边缘检测图像输入晶圆缺陷检测模型,得到所述目标图像对应的晶圆缺陷检测结果,基于噪声先验信息,将芯片图像作为参考图像对第一降噪卷积层和第二降噪卷积层训练时进行监督,无需采集真实噪声图像,并且以第一参考图像的色彩空间转换结果和第二参考图像作为第一降噪卷积层和第二降噪卷积层训练时的标签图像,避免第一降噪卷积层和第二降噪卷积层学习到恒等映射,从而使得第一降噪卷积层和第二降噪卷积层学习到准确的噪声图像,进而提高了以噪声图像为部分输入的晶圆缺陷检测模型的准确率,也即提高了晶圆缺陷检测的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种半导体硅晶圆检测方法的一应用环境示意图;
图2是本发明实施例一提供的一种半导体硅晶圆检测方法的流程示意图;
图3是本发明实施例一提供的一种半导体硅晶圆检测方法中通过面阵工业相机采集到的第一示例图像及其对应的第一噪声图像、第一边缘图像和第一检测图像的示意图;
图4是本发明实施例一提供的一种半导体硅晶圆检测方法中通过面阵工业相机采集到的第二示例图像及其对应的第二噪声图像、第二边缘图像和第二检测图像的示意图;
图5是本发明实施例一提供的一种半导体硅晶圆检测方法中第三编码器分支的结构示意图;
图6是本发明实施例一提供的一种半导体硅晶圆检测方法中第一编码器分支的结构示意图;
图7是本发明实施例一提供的一种半导体硅晶圆检测方法中第二编码器分支的结构示意图;
图8是本发明实施例二提供的一种半导体硅晶圆检测方法中第一降噪卷积层的结构示意图;
图9是本发明实施例三提供的一种半导体硅晶圆检测装置的结构示意图;
图10是本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
应当理解,当在本发明说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本发明说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
应理解,以下实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
为了说明本发明的技术方案,下面通过具体实施例来进行说明。
本发明实施例一提供的一种半导体硅晶圆检测方法,可应用在如图1的应用环境中,其中,客户端与服务端进行通信。其中,客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、云端终端设备、个人数字助理(personal digital assistant,PDA)等计算机设备。服务端可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
客户端和服务端可以部署于半导体生产场景下,执行半导体硅晶圆检测任务,客户端可以与图像采集设备连接,图像采集设备可以包括摄像头、录影机、手持摄影终端、摄影机等,在本实施例中,图像采集设备采用摄像头以正射方式进行硅晶圆图像的采集工作。
参见图2,是本发明实施例一提供的一种半导体硅晶圆检测方法的流程示意图,上述半导体硅晶圆检测方法可以应用于图1中的服务端,服务端对应的计算机设备与客户端连接,以获取客户端通过图像采集设备采集到的芯片图像,服务端对应的计算机设备中部署有第一降噪卷积层、第二降噪卷积层和晶圆缺陷检测模型,第一降噪卷积层和第二降噪卷积层可以用于对输入图像进行图像噪声去除处理,晶圆缺陷检测模型可以用于对输入图像进行晶圆缺陷检测处理。如图2所示,该半导体硅晶圆检测方法可以包括以下步骤:
步骤S201,获取待检测晶圆中N个不同芯片对应的芯片图像,从所有芯片图像中随机选择一张芯片图像作为目标图像,从除目标图像外的所有芯片图像中随机选择两张芯片图像,分别作为第一参考图像和第二参考图像。
其中,待检测晶圆可以是指需要进行缺陷检测的半导体晶圆,待检测晶圆内包含多个不同的芯片,芯片图像可以是指对应单个芯片采集到的图像,目标图像可以是指待进行缺陷检测的芯片图像,第一参考图像和第二参考图像可以用于后续去噪卷积层的微调,N为大于二的整数。
具体地,单张芯片图像的数据尺寸可以表示为[C,H,W],其中,C可以表示芯片图像的通道数,通常情况下C取值为3,H可以表示芯片图像的高,W可以表示芯片图像的宽,在具体实施过程中,可以将多张芯片图像作为一个批次并行输入,则并行输入的图片数量可以表示为[N,C,H,W],其中,N可以是指并行输入的芯片图像的数量。
在本实施例中,获取待检测晶圆的原始图像和待检测晶圆的设计图纸,针对任一芯片,根据设计图纸,在原始图像中确定芯片对应的子区域,从原始图像中对芯片对应的子区域进行裁剪,得到芯片对应的子图像,确定子图像为对应芯片的芯片图像。
原始图像可以是指针对待检测晶圆采集到的图像,设计图纸可以是GDS图纸,GDS图纸中包含了待检测晶圆中各个芯片的位置信息,从而可以根据设计图纸,在原始图像中确定每个芯片对应的子区域。
子图像可以是指原始图像中的部分区域,一个子图像内包含一个芯片的图像信息,特别地,在裁剪过程中,需要确保子图像之间的尺寸一致。
上述获取待检测晶圆中N个不同芯片对应的芯片图像,从所有芯片图像中随机选择一张芯片图像作为目标图像,从除目标图像外的所有芯片图像中随机选择两张芯片图像,分别作为第一参考图像和第二参考图像的步骤,以芯片图像作为后续晶圆缺陷检测的对象,芯片图像能够根据设计图纸提供的位置信息从原始图像中提取得到,能够有效隔离不同芯片图像信息互相干扰的情况,并且直接获取到多个同类型芯片的芯片图像,也便于后续基于芯片图像类间比较结果进行去噪卷积层的微调训练,提高了芯片图像的去噪效果,进而提升半导体晶圆检测的准确率。
步骤S202,将目标图像输入第一降噪卷积层进行特征映射处理,得到第一降噪结果,将第一参考图像转换至HSV色彩空间,得到色彩空间转换结果,根据色彩空间转换结果和第一降噪结果,计算得到第一降噪损失。
其中,第一降噪卷积层可以用于提取目标图像的颜色域转换信息,第一降噪结果可以是指目标图像进行颜色域转换的结果,色彩空间转换结果可以是指第一参考图像转换至HSV色彩空间的结果,第一降噪损失用于监督第一降噪卷积层学习到将输入图像从RGB颜色空间到HSV颜色空间的转换能力,第一降噪损失可以计算色彩空间转换结果和第一降噪结果之间的均方误差得到。
具体地,第一降噪卷积层包含五个子卷积层和各个子卷积层的输入和输出之间的残差连接层,每个子卷积层包括卷积处理层、批归一化层、激活函数层,第一降噪卷积层的输入数据尺寸和输出数据尺寸一致,激活函数层可以采用ReLU函数实现。
需要说明的是,目标图像在输入第一降噪卷积层时需要进行归一化处理,也即将像素值放缩为[0,1]内,放缩可以通过像素值除以255的方式实现,同样地,色彩空间转换结果也需要进行归一化处理。
上述将目标图像输入第一降噪卷积层进行特征映射处理,得到第一降噪结果,将第一参考图像转换至HSV色彩空间,得到色彩空间转换结果,根据色彩空间转换结果和第一降噪结果,计算得到第一降噪损失的步骤,通过使用不同颜色空间的图像作为降噪卷积层学习的标签,使第一降噪卷积层学习到从RGB颜色空间到HSV颜色空间的转换信息,避免降噪卷积层学习到恒等映射,导致直接输出包含噪声的输入图像原图,提高了降噪卷积层的去噪能力。
步骤S203,将第一降噪结果输入第二降噪卷积层进行特征映射处理,得到第二降噪结果,根据第二降噪结果和第二参考图像,计算得到第二降噪损失。
其中,第二降噪卷积层也可以用于提取目标图像的颜色域转换信息,第二降噪结果可以是指目标图像由HSV色彩空间转换至RGB色彩空间的结果,第二降噪损失用于监督第二降噪卷积层学习到将输入图像从HSV颜色空间到RGB颜色空间的转换能力,第二降噪损失可以计算第二降噪结果和第二参考图像之间的均方误差得到。
具体地,第二降噪卷积层与第一降噪卷积层的架构相同,也包含五个子卷积层和各个子卷积层的输入和输出之间的残差连接层,每个子卷积层包括卷积处理层、批归一化层、激活函数层,第二降噪卷积层的输入数据尺寸和输出数据尺寸一致,需要说明的是,第二参考图像也需要进行归一化处理。
上述将第一降噪结果输入第二降噪卷积层进行特征映射处理,得到第二降噪结果,根据第二降噪结果和第二参考图像,计算得到第二降噪损失的步骤,通过使用与目标图像相同颜色空间的图像作为第二降噪卷积层学习的标签,使降噪卷积层学习到从HSV颜色空间到RGB颜色空间的转换信息,避免降噪卷积层学习到恒等映射,导致直接输出包含噪声的输入图像原图,提高了降噪卷积层的去噪能力。
步骤S204,根据第一降噪损失和第二降噪损失,对第一降噪卷积层和第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层。
其中,训练好的第一降噪卷积层和训练好的第二降噪卷积层可以组成微调训练好的降噪网络。
具体地,将第一降噪损失和第二降噪损失相加,以相加结果作为第一降噪卷积层和第二降噪卷积层联合训练的损失,采用梯度下降法和反向传播算法,对第一降噪卷积层和第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层,梯度下降法可以采用随机梯度下降法。
上述根据第一降噪损失和第二降噪损失,对第一降噪卷积层和第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层的步骤,对降噪网络进行微调,使得降噪网络直接适应于当前待检测晶圆的芯片图像,提高了降噪网络使用的泛化性。
步骤S205,将目标图像依次输入训练好的第一降噪卷积层和训练好的第二降噪卷积层,得到降噪图像,将目标图像和降噪图像相减,得到噪声图像。
其中,降噪图像可以是指目标图像去除噪声后的图像,噪声图像可以是指目标图像包含噪声信息的图像。
具体地,根据先验信息,目标图像可以视作无噪声的基础图像和噪声图像相加得到的,因此,直接以目标图像和降噪图像相减,即可得到噪声图像。
步骤S206,对目标图像进行灰度处理,得到灰度图像,对灰度图像进行边缘检测,得到边缘检测图像,将目标图像、噪声图像和边缘检测图像输入晶圆缺陷检测模型,得到目标图像对应的晶圆缺陷检测结果。
其中,灰度图像可以是指目标图像的单通道灰度表示,边缘检测可以采用如Sobel算子、Canny算子等传统图像处理方法提取边缘检测图像,也可以采用基于深度学习的边缘检测模型提取边缘检测图像,边缘检测图像可以包含目标图像中的边缘信息。
晶圆缺陷检测模型可以用于对输入的目标图像进行缺陷检测,晶圆缺陷检测结果可以表示目标图像对应芯片的缺陷检测结果。
具体地,由于灰度图像为单通道图像,其数据尺寸为[1,H,W],则边缘检测图像的数据尺寸也为[1,H,W]。
参见图3,是本发明实施例一提供的一种半导体硅晶圆检测方法中通过面阵工业相机采集到的第一示例图像及其对应的第一噪声图像、第一边缘图像和第一检测图像的示意图,其中,第一示例图像可以是指上述目标图像,第一噪声图像可以是指从第一示例图像中提取到的噪声图像,第一边缘图像可以是指对第一示例图像的灰度图像进行边缘检测得到的边缘检测图像,第一检测图像可以是指第一示例图像对应的晶圆缺陷检测结果。
参见图4,是本发明实施例一提供的一种半导体硅晶圆检测方法中通过面阵工业相机采集到的第二示例图像及其对应的第二噪声图像、第二边缘图像和第二检测图像的示意图,其中,第二示例图像可以是指上述目标图像,第二噪声图像可以是指从第二示例图像中提取到的噪声图像,第二边缘图像可以是指对第二示例图像的灰度图像进行边缘检测得到的边缘检测图像,第二检测图像可以是指第二示例图像对应的晶圆缺陷检测结果。
需要说明的是,上述第一示例图像、第二示例图像可以作为同一批次图像处理,二者可以互为参考图像,例如,以第一示例图像作为目标图像处理时,可以将第二示例图像作为第一参考图像或者第二参考图像。
可选的是,晶圆缺陷检测模型包括第一编码器分支、第二编码器分支、第三编码器分支和解码器分支;
将目标图像、噪声图像和边缘检测图像输入预训练好的晶圆缺陷检测模型,得到目标图像对应的晶圆缺陷检测结果,包括:
将目标图像输入第一编码器分支进行特征提取,得到第一图像特征;
将噪声图像输入第二编码器分支进行特征提取,得到第二图像特征;
将边缘检测图像输入第三编码器分支进行特征提取,得到第三图像特征;
将第一图像特征、第二图像特征和第三图像特征融合,得到融合结果,将融合结果输入解码器分支进行特征重构,得到晶圆缺陷检测结果。
其中,第一编码器分支、第二编码器分支、第三编码器分支分别用于提取目标图像、噪声图像和边缘检测图像的图像特征信息,也即第一图像特征、第二图像特征和第三图像特征,融合结果可以同时表征目标图像、噪声图像和边缘检测图像的图像特征信息,解码器分支可以用于对融合结果进行特征重构,以得到重构结果,重构结果也即晶圆缺陷检测结果。
可选的是,第三编码器分支包括第一卷积层和第二卷积层;
将边缘检测图像输入第三编码器分支进行特征提取,得到第三图像特征,包括:
对边缘检测图像进行最大池化操作,得到第一最大池化结果,对第一最大池化结果进行最近邻上采样,得到第一上采样结果,使用激活函数对第一上采样结果进行激活处理,得到第一激活结果;
将第一激活结果输入第一卷积层进行特征提取,得到第一卷积结果,对第一卷积结果进行平均池化处理,得到平均池化结果,使用激活函数对平均池化结果进行激活处理,得到第二激活结果;
将第二激活结果和第一激活结果相乘,得到第一相乘结果,将第一相乘结果输入第二卷积层进行特征提取,得到第二卷积结果,以第二卷积结果作为第三图像特征。
其中,边缘检测图像的数据尺寸可以表示为[1,H,W],经最大池化操作处理后,第一最大池化结果的数据尺寸可以表示为[1,H/4,W/4],经过最近邻上采样后,数据尺寸恢复为[1,H,W],经激活函数激活处理后,数据尺寸不变,仍为[1,H,W],在本实施例中,激活函数可以采用sigmoid激活函数。
将边缘检测图像表示为d,第一激活结果表示为,则第一激活结果和边缘检测图像之间的关系可以表示为:/>,其中,maxpool函数可以表示最大池化操作,upsample函数可以表示最近邻上采样操作,/>函数可以表示上述sigmoid激活函数。
第一卷积层和第二卷积层的架构一致,均包含卷积处理层、批归一化层、激活函数层,其中激活函数层采用ReLU激活函数实现,经第一卷积层处理后,第一卷积结果的数据尺寸为[3,H,W],对第一卷积结果进行平均池化处理后,得到的平均池化结果数据尺寸为[3,1,1],相应地,使用激活函数对平均池化结果进行激活处理后,得到的第二激活结果数据尺寸也为[3,1,1]。
将第二激活结果和第一激活结果相乘,得到第一相乘结果,其数据尺寸为[3,H,W],将第一相乘结果输入第二卷积层进行特征提取,得到第二卷积结果,其数据尺寸为[1,H/8,W/8],第二卷积结果可以视作注意力权值图,也即根据边缘信息确定特征图各部分的注意力程度。
本实施例中,通过边缘信息确定特征图各部分的注意力程度,从而通过特征图给予不同检测区域不同的关注,进而提高晶圆缺陷检测的准确率。
可选的是,第一编码器分支包括第三卷积层、第四卷积层、第五卷积层和第六卷积层;
将目标图像输入第一编码器分支进行特征提取,得到第一图像特征,将第一图像特征和第三图像特征融合,包括:
将目标图像输入第三卷积层进行特征提取,得到第三卷积结果,对第三卷积结果进行最大池化处理,得到第二最大池化结果;
将第二最大池化结果输入第四卷积层进行特征提取,得到第四卷积结果,对第四卷积结果进行最大池化处理,得到第三最大池化结果;
将第三最大池化结果和第三图像特征相乘,得到第二相乘结果,将第二相乘结果输入第五卷积层进行特征提取,得到第五卷积结果,对第五卷积结果进行最大池化处理,得到第四最大池化结果;
将第四最大池化结果输入第六卷积层进行特征提取,得到第六卷积结果,对第六卷积结果进行最大池化处理,得到第五最大池化结果,确定第五最大池化结果为初始融合结果。
其中,第三卷积层、第四卷积层、第五卷积层和第六卷积层的架构一致,均包含卷积处理层、批归一化层、激活函数层,其中激活函数层采用ReLU激活函数实现。
具体地,目标图像数据尺寸为[3,H,W],将目标图像输入第三卷积层进行特征提取,得到第三卷积结果,其数据尺寸为[64,H/2,W/2],对第三卷积结果进行最大池化处理,得到第二最大池化结果,其数据尺寸为[64,H/4,W/4]。
将第二最大池化结果输入第四卷积层进行特征提取,得到第四卷积结果,其数据尺寸为[128,H/4,W/4],对第四卷积结果进行最大池化处理,得到第三最大池化结果, 其数据尺寸为[128,H/8,W/8]。
第三最大池化结果和第三图像特征的宽高相同,因此可以将第三图像特征视作权值图进行相乘,得到第二相乘结果,其数据尺寸为[128,H/8,W/8],将第二相乘结果输入第五卷积层进行特征提取,得到第五卷积结果,其数据尺寸保持不变,仍为[128,H/8,W/8],对第五卷积结果进行最大池化处理,得到第四最大池化结果,其数据尺寸为[128,H/16,W/16]。
将第四最大池化结果输入第六卷积层进行特征提取,得到第六卷积结果,其数据尺寸为[256,H/16,W/16],对第六卷积结果进行最大池化处理,得到第五最大池化结果,其数据尺寸为[256,H/32,W/32],确定第五最大池化结果为初始融合结果。
参见图6,是本发明实施例一提供的一种半导体硅晶圆检测方法中第一编码器分支的结构示意图,其中,CBR3可以表示第三卷积层,CBR4可以表示第四卷积层,CBR5可以表示第五卷积层,CBR6可以表示第六卷积层,*可以表示第三最大池化结果和第三图像特征相乘。
本实施例中,将基于边缘信息获取到的第三图像特征,也即注意力权值图在目标图像的特征提取过程进行融合,从而提高了特征信息融合的效果,使得得到的初始融合结果具备更强的图像特征表征能力,提升对各种形态缺陷的检测效果,进而提高晶圆缺陷检测的准确率。
可选的是,第二编码器分支包括第七卷积层、第八卷积层和第九卷积层;
将噪声图像输入第二编码器分支进行特征提取,得到第二图像特征,将第一图像特征、第二图像特征和第三图像特征融合,得到融合结果,包括:
将噪声图像通过第七卷积层进行特征提取,得到第七卷积结果;
将第七卷积结果通过第八卷积层进行特征提取,得到第八卷积结果;
将第八卷积结果通过第九卷积层进行特征提取,得到第九卷积结果;
相应地,将第二最大池化结果输入第四卷积层进行特征提取,得到第四卷积结果,对第四卷积结果进行最大池化处理,得到第三最大池化结果,包括:
将第七卷积结果和第二最大池化结果相加,得到第一相加结果,将第一相加结果输入第四卷积层进行特征提取,得到第四卷积结果,对第四卷积结果进行最大池化处理,得到第三最大池化结果;
相应地,将第三最大池化结果和第三图像特征相乘,得到第二相乘结果,将第二相乘结果输入第五卷积层进行特征提取,得到第五卷积结果,对第五卷积结果进行最大池化处理,得到第四最大池化结果,包括:
将第三最大池化结果和第八卷积结果相加,得到第二相加结果,将第二相加结果和第三图像特征相乘,得到第二相乘结果,将第二相乘结果输入第五卷积层进行特征提取,得到第五卷积结果,对第五卷积结果进行最大池化处理,得到第四最大池化结果;
相应地,将第四最大池化结果输入第六卷积层进行特征提取,得到第六卷积结果,对第六卷积结果进行最大池化处理,得到第五最大池化结果,确定第五最大池化结果为初始融合结果,包括:
将第九卷积结果和第四最大池化结果相加,得到第三相加结果,将第三相加结果输入第六卷积层进行特征提取,得到第六卷积结果,对第六卷积结果进行最大池化处理,得到第五最大池化结果,确定第五最大池化结果为初始融合结果。
其中,第七卷积层、第八卷积层、第九卷积层的架构一致,也均包含卷积处理层、批归一化层、激活函数层,其中激活函数层采用ReLU激活函数实现。
具体地,将噪声图像的数据尺寸为 [3,H,W],通过第七卷积层进行特征提取,得到第七卷积结果,其数据尺寸为[1,H/4,W/4],将第七卷积结果通过第八卷积层进行特征提取,得到第八卷积结果,其数据尺寸为[1,H/8,W/8],将第八卷积结果通过第九卷积层进行特征提取,得到第九卷积结果,其数据尺寸为[1,H/16,W/16]。
第七卷积结果和第二最大池化结果的特征尺寸一致,均为[H/4,W/4],因此可以通过相加方式进行特征融合,得到第一相加结果,其数据尺寸为[64,H/4,W/4],再将第一相加结果输入第四卷积层进行特征提取,得到第四卷积结果。
同理,第三最大池化结果和第八卷积结果的特征尺寸一致,均为[H/8,W/8],因此也可以通过相加方式进行特征融合,得到第二相加结果,其数据尺寸为[128,H/8,W/8],将第二相加结果和第三图像特征相乘,得到第二相乘结果,将第二相乘结果输入第五卷积层进行特征提取,得到第五卷积结果。
同理,第九卷积结果和第四最大池化结果的特征尺寸一致,均为[H/16,W/16],因此也可以通过相加方式进行特征融合,得到第二相加结果,其数据尺寸为[128,H/16,W/16],将第三相加结果输入第六卷积层进行特征提取,得到第六卷积结果。
参见图7,是本发明实施例一提供的一种半导体硅晶圆检测方法中第二编码器分支的结构示意图,其中,CBR7可以表示第七卷积层,CBR8可以表示第八卷积层,CBR9可以表示第九卷积层,+可以表示相加操作,*可以表示相乘操作。
本实施例中,将基于噪声信息提取到的特征,在目标图像的特征提取过程进行融合,从而提高了特征信息融合的效果,使得得到的初始融合结果具备更强的图像特征表征能力,提升模型预测的稳定性和泛化性,进而提高晶圆缺陷检测的准确率。
可选的是,晶圆缺陷检测模型还包括特征上采样层;
在确定第五最大池化结果为初始融合结果之后,还包括:
对初始融合结果进行最大池化处理,得到第六最大池化结果,对第六最大池化结果进行最大池化处理,得到第七最大池化结果;
将初始融合结果、第六最大池化结果和第七最大池化结果拼接,得到拼接结果,将拼接结果输入特征上采样层进行上采样处理,得到第二上采样结果,确定第二上采样结果为融合结果。
其中,特征上采样层可以包括卷积处理层、批归一化层、激活函数层和上采样层,激活函数层仍然采用ReLU激活函数实现。
具体地,初始融合结果的数据尺寸可以表示为[256,H/32,W/32],而第六最大池化结果和第七最大池化结果的数据尺寸均与初始融合结果的数据尺寸一致,则拼接结果的数据尺寸可以表示为[768,H/32,W/32],将拼接结果输入特征上采样层进行上采样处理,得到第二上采样结果,其数据尺寸可以表示为[256,H/16,W/16],确定第二上采样结果为融合结果。
本实施例采用U-Net架构实现晶圆缺陷检测结果的输出,晶圆缺陷检测结果本质上是语义分割图像,将融合结果和第六卷积结果拼接后,得到数据尺寸为[512,H/16,W/16]的拼接结果,通过第二特征上采样层处理,得到数据尺寸为[128,H/8,W/8]的上采样结果,将该上采样结果和第五卷积结果拼接后,得到数据尺寸为[256,H/8,W/8]的拼接结果,通过第三特征上采样层处理,得到数据尺寸为[128,H/4,W/4]的上采样结果,将该上采样结果和第四卷积结果拼接后,得到数据尺寸为[256,H/4,W/4]的拼接结果,通过第四特征上采样层处理,得到数据尺寸为[3,H,W]的上采样结果,将该上采样结果和目标图像相加后,得到数据尺寸仍为[3,H,W]的相加结果,通过卷积处理,得到数据尺寸为[1,H,W]的晶圆缺陷检测结果,其中,第二特征上采样层、第三特征上采样层和第四特征上采样层与上述特征上采样层架构一致,但参数不同。
本实施例中,通过结合中间特征的方式进行特征上采样,使得上采样过程充分利用到中间特征信息,进而提高晶圆缺陷检测的准确率。
上述对目标图像进行灰度处理,得到灰度图像,对灰度图像进行边缘检测,得到边缘检测图像,将目标图像、噪声图像和边缘检测图像输入晶圆缺陷检测模型,得到目标图像对应的晶圆缺陷检测结果的步骤,提取高维语义信息并进行高维信息的融合,使得晶圆缺陷检测模型能够利用更为丰富的特征信息进行缺陷检测,提高了晶圆缺陷检测的准确率。
本实施例中,基于噪声先验信息,将芯片图像作为参考图像对第一降噪卷积层和第二降噪卷积层训练时进行监督,无需采集真实噪声图像,并且以第一参考图像的色彩空间转换结果和第二参考图像作为第一降噪卷积层和第二降噪卷积层训练时的标签图像,避免第一降噪卷积层和第二降噪卷积层学习到恒等映射,从而使得第一降噪卷积层和第二降噪卷积层学习到准确的噪声图像,进而提高了以噪声图像为部分输入的晶圆缺陷检测模型的准确率,也即提高了晶圆缺陷检测的准确率。
参见图8,是本发明实施例二提供的一种半导体硅晶圆检测方法中的第一降噪卷积层的结构示意图, 其中,CBR-1可以表示第一特征提取层,CBR-2可以表示第二特征提取层,CBR-3可以表示第三特征提取层,tanh可以表示第一函数层,sigmoid可以表示第二函数层,+可以表示相加操作,*可以表示相乘操作。
该方法中,第一降噪卷积层和第二降噪卷积层的架构相同,第一降噪卷积层包括第一特征提取层、第二特征提取层、第三特征提取层、最大池化层、平均池化层、第一特征上采样层、第一函数层和第二函数层,第二降噪卷积层包括第四特征提取层、第五特征提取层、第六特征提取层、最大池化层、平均池化层、第二特征上采样层、第一激活函数层和第二激活函数层,第一降噪卷积层和第二降噪卷积层的训练过程包括:
步骤S901,将目标图像输入第一特征提取层,输出第一特征提取结果,将第一特征提取结果输入第二特征提取层,输出第二特征提取结果;
步骤S902,将目标图像输入最大池化层,得到第一参考池化结果,将第一参考池化结果输入第一特征上采样层,输出第一参考上采样结果,采用第一函数层对第一参考上采样结果进行处理,得到第一参考激活结果;
步骤S903,将第一参考激活结果输入第三特征提取层,输出第三特征提取结果,将第三特征提取结果输入平均池化层,输出第二参考池化结果,采用第二函数层对第二参考池化结果进行处理,得到第二参考激活结果;
步骤S904,将第二参考激活结果和目标图像相乘,得到第一参考相乘结果,将第一参考相乘结果和第二特征提取结果相加,得到第一降噪结果,根据色彩空间转换结果和第一降噪结果,计算得到第一降噪损失;
步骤S905,将第一降噪结果输入第四特征提取层,输出第四特征提取结果,将第四特征提取结果输入第五特征提取层,输出第五特征提取结果;
步骤S906,将第一降噪结果输入最大池化层,得到第三参考池化结果,将第三参考池化结果输入第二特征上采样层,输出第二参考上采样结果,采用第一函数层对第二参考上采样结果进行处理,得到第三参考激活结果;
步骤S907,将第三参考激活结果输入第六特征提取层,输出第六特征提取结果,将第六特征提取结果输入平均池化层,输出第四参考池化结果,采用第二函数层对第四参考池化结果进行处理,得到第四参考激活结果;
步骤S908,将第四参考激活结果和目标图像相乘,得到第二参考相乘结果,将第二参考相乘结果和第五特征提取结果相加,得到第二降噪结果,根据第二参考图像和第二降噪结果,计算得到第二降噪损失;
步骤S909,根据第一降噪损失和第二降噪损失,对第一降噪卷积层和第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层。
其中,第一特征上采样层和第二特征上采样层可以采用最近邻上采样,第一函数层可以采用Tanh激活函数,第二函数层可以采用Sigmoid激活函数。
具体地,在本实施例中,目标图像尺寸设为[3,H,W],将目标图像输入第一特征提取层,输出第一特征提取结果,其数据尺寸为[3,H,W],将第一特征提取结果输入第二特征提取层,输出第二特征提取结果,其数据尺寸为[3,H,W],将目标图像输入最大池化层,得到第一参考池化结果,其数据尺寸为[3,H/4,W/4],将第一参考池化结果输入第一特征上采样层,输出第一参考上采样结果,其数据尺寸为[3,H,W],采用第一激活函数层对第一参考上采样结果进行处理,得到第一参考激活结果, 其数据尺寸为[3,H,W],将第一参考激活结果输入第三特征提取层,输出第三特征提取结果,其数据尺寸为[3,H,W],将第三特征提取结果输入平均池化层,输出第二参考池化结果,其数据尺寸为[3,1,1],采用第二函数层对第二参考池化结果进行处理,得到第二参考激活结果,其数据尺寸为[3,1,1],将第二参考激活结果和目标图像相乘,得到第一参考相乘结果,其数据尺寸为[3,H,W],将第一参考相乘结果和第二特征提取结果相加,得到第一降噪结果,其数据尺寸为[3,H,W]。
将第一降噪结果输入第四特征提取层,输出第四特征提取结果,其数据尺寸为[3,H,W],将第四特征提取结果输入第五特征提取层,输出第五特征提取结果,其数据尺寸为[3,H,W],将第一降噪结果输入最大池化层,得到第三参考池化结果,其数据尺寸为[3,H/4,W/4],将第三参考池化结果输入第二特征上采样层,输出第二参考上采样结果,其数据尺寸为[3,H,W],采用第一函数层对第二参考上采样结果进行处理,得到第三参考激活结果,其数据尺寸为[3,H,W],将第三参考激活结果输入第六特征提取层,输出第六特征提取结果,其数据尺寸为[3,H,W],将第六特征提取结果输入平均池化层,输出第四参考池化结果,其数据尺寸为[3,1,1],采用第二函数层对第四参考池化结果进行处理,得到第四参考激活结果,其数据尺寸为[3,1,1],将第四参考激活结果和目标图像相乘,得到第二参考相乘结果,其数据尺寸为[3,H,W],将第二参考相乘结果和第五特征提取结果相加,得到第二降噪结果,其数据尺寸为[3,H,W]。
将第四参考激活结果表示为,则第四参考激活结果和目标图像之间的关系可以表示为:/>,其中,/>函数可以表示最大池化层处理,/>函数可以表示第一特征上采样层处理,/>函数可以表示第一函数层处理,/>函数可以表示第三特征提取层处理,/>函数可以表示第二函数层处理。
在本实施例中,第一降噪损失可以表示为:,其中/>为色彩空间转换结果的H色相通道的值,/>为第三降噪结果的H色相通道的值,/>为色彩空间转换结果的S饱和度通道的值,/>为第三降噪结果的S饱和度通道的值,/>为色彩空间转换结果的V明度通道的值,/>为第三降噪结果的V明度通道的值,/>为正则化权重系数,/>为L2正则化项,为L1正则化。
在本实施例中,第二降噪损失可以表示为:,其中/>为第二参考图像的R颜色通道的值,/>为第四降噪结果的R颜色通道的值,/>为第二参考图像的G颜色通道的值,/>为第四降噪结果的G颜色通道的值,/>为第二参考图像的B颜色通道的值,/>为第四降噪结果的B颜色通道的值,/>为正则化权重系数,/>为L2正则化项,/>为L1正则化。
对应于上文实施例的半导体硅晶圆检测方法,图10示出了本发明实施例三提供的半导体硅晶圆检测装置的结构框图,上述半导体硅晶圆检测装置应用于服务端,服务端对应的计算机设备与客户端连接,以获取客户端通过图像采集设备采集到的芯片图像,服务端对应的计算机设备中部署有第一降噪卷积层、第二降噪卷积层和晶圆缺陷检测模型,第一降噪卷积层和第二降噪卷积层可以用于对输入图像进行图像噪声去除处理,晶圆缺陷检测模型可以用于对输入图像进行晶圆缺陷检测处理。为了便于说明,仅示出了与本发明实施例相关的部分。
参见图9,该半导体硅晶圆检测装置包括:
图像选择模块91,用于获取待检测晶圆中N个不同芯片对应的芯片图像,从所有芯片图像中随机选择一张芯片图像作为目标图像,从除目标图像外的所有芯片图像中随机选择两张芯片图像,分别作为第一参考图像和第二参考图像,N为大于二的整数;
第一损失计算模块92,用于将目标图像输入第一降噪卷积层进行特征映射处理,得到第一降噪结果,将第一参考图像转换至HSV色彩空间,得到色彩空间转换结果,根据色彩空间转换结果和第一降噪结果,计算得到第一降噪损失;
第二损失计算模块93,用于将第一降噪结果输入第二降噪卷积层进行特征映射处理,得到第二降噪结果,根据第二降噪结果和第二参考图像,计算得到第二降噪损失;
模型训练模块94,用于根据第一降噪损失和第二降噪损失,对第一降噪卷积层和第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层;
图像降噪模块95,用于将目标图像依次输入训练好的第一降噪卷积层和训练好的第二降噪卷积层,得到降噪图像,将目标图像和降噪图像相减,得到噪声图像;
晶圆检测模块96,用于对目标图像进行灰度处理,得到灰度图像,对灰度图像进行边缘检测,得到边缘检测图像,将目标图像、噪声图像和边缘检测图像输入晶圆缺陷检测模型,得到目标图像对应的晶圆缺陷检测结果。
可选的是,第一降噪卷积层包括第一特征提取层、第二特征提取层、第三特征提取层、最大池化层、平均池化层、第一特征上采样层、第一函数层和第二函数层,第二降噪卷积层包括第四特征提取层、第五特征提取层、第六特征提取层、最大池化层、平均池化层、第二特征上采样层、第一激活函数层和第二激活函数层;
上述第一损失计算模块92、第二损失计算模块93和模型训练模块94,包括:
第一特征提取单元,用于将目标图像输入第一特征提取层,输出第一特征提取结果,将第一特征提取结果输入第二特征提取层,输出第二特征提取结果;
第一参考激活单元,将目标图像输入最大池化层,得到第一参考池化结果,将第一参考池化结果输入第一特征上采样层,输出第一参考上采样结果,采用第一函数层对第一参考上采样结果进行处理,得到第一参考激活结果;
第二参考激活单元,将第一参考激活结果输入第三特征提取层,输出第三特征提取结果,将第三特征提取结果输入平均池化层,输出第二参考池化结果,采用第二函数层对第二参考池化结果进行处理,得到第二参考激活结果;
第一损失确定单元,将第二参考激活结果和目标图像相乘,得到第一参考相乘结果,将第一参考相乘结果和第二特征提取结果相加,得到第一降噪结果,根据色彩空间转换结果和第一降噪结果,计算得到第一降噪损失;
第二特征提取单元,用于将第一降噪结果输入第四特征提取层,输出第四特征提取结果,将第四特征提取结果输入第五特征提取层,输出第五特征提取结果;
第三参考激活单元,用于将第一降噪结果输入最大池化层,得到第三参考池化结果,将第三参考池化结果输入第二特征上采样层,输出第二参考上采样结果,采用第一函数层对第二参考上采样结果进行处理,得到第三参考激活结果;
第四参考激活单元,用于将第三参考激活结果输入第六特征提取层,输出第六特征提取结果,将第六特征提取结果输入平均池化层,输出第四参考池化结果,采用第二函数层对第四参考池化结果进行处理,得到第四参考激活结果;
第二损失确定单元,用于将第四参考激活结果和目标图像相乘,得到第二参考相乘结果,将第二参考相乘结果和第五特征提取结果相加,得到第二降噪结果,根据第二参考图像和第二降噪结果,计算得到第二降噪损失;
参考训练单元,用于根据第一降噪损失和第二降噪损失,对第一降噪卷积层和第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层。
可选的是,晶圆缺陷检测模型包括第一编码器分支、第二编码器分支、第三编码器分支和解码器分支;
上述晶圆检测模块96包括:
第一特征提取单元,用于将目标图像输入第一编码器分支进行特征提取,得到第一图像特征;
第二特征提取单元,用于将噪声图像输入第二编码器分支进行特征提取,得到第二图像特征;
第三特征提取单元,用于将边缘检测图像输入第三编码器分支进行特征提取,得到第三图像特征;
特征融合单元,用于将第一图像特征、第二图像特征和第三图像特征融合,得到融合结果,将融合结果输入解码器分支进行特征重构,得到晶圆缺陷检测结果。
可选的是,第三编码器分支包括第一卷积层和第二卷积层;
上述第三特征提取单元包括:
第一激活子单元,用于对边缘检测图像进行最大池化操作,得到第一最大池化结果,对第一最大池化结果进行最近邻上采样,得到第一上采样结果,使用激活函数对第一上采样结果进行激活处理,得到第一激活结果;
第二激活子单元,用于将第一激活结果输入第一卷积层进行特征提取,得到第一卷积结果,对第一卷积结果进行平均池化处理,得到平均池化结果,使用激活函数对平均池化结果进行激活处理,得到第二激活结果;
第三特征确定子单元,用于将第二激活结果和第一激活结果相乘,得到第一相乘结果,将第一相乘结果输入第二卷积层进行特征提取,得到第二卷积结果,以第二卷积结果作为第三图像特征。
可选的是,第一编码器分支包括第三卷积层、第四卷积层、第五卷积层和第六卷积层;
上述晶圆检测模块96包括:
第一池化单元,用于将目标图像输入第三卷积层进行特征提取,得到第三卷积结果,对第三卷积结果进行最大池化处理,得到第二最大池化结果;
第二池化单元,用于将第二最大池化结果输入第四卷积层进行特征提取,得到第四卷积结果,对第四卷积结果进行最大池化处理,得到第三最大池化结果;
第三池化单元,用于将第三最大池化结果和第三图像特征相乘,得到第二相乘结果,将第二相乘结果输入第五卷积层进行特征提取,得到第五卷积结果,对第五卷积结果进行最大池化处理,得到第四最大池化结果;
第四池化单元,用于将第四最大池化结果输入第六卷积层进行特征提取,得到第六卷积结果,对第六卷积结果进行最大池化处理,得到第五最大池化结果,确定第五最大池化结果为初始融合结果。
可选的是,第二编码器分支包括第七卷积层、第八卷积层和第九卷积层;
上述晶圆检测模块96包括:
第一卷积单元,用于将噪声图像通过第七卷积层进行特征提取,得到第七卷积结果;
第二卷积单元,用于将第七卷积结果通过第八卷积层进行特征提取,得到第八卷积结果;
第三卷积单元,用于将第八卷积结果通过第九卷积层进行特征提取,得到第九卷积结果;
相应地,上述第二池化单元包括:
第一相加子单元,用于将第七卷积结果和第二最大池化结果相加,得到第一相加结果,将第一相加结果输入第四卷积层进行特征提取,得到第四卷积结果,对第四卷积结果进行最大池化处理,得到第三最大池化结果;
相应地,上述第三池化单元包括:
第二相加子单元,用于将第三最大池化结果和第八卷积结果相加,得到第二相加结果,将第二相加结果和第三图像特征相乘,得到第二相乘结果,将第二相乘结果输入第五卷积层进行特征提取,得到第五卷积结果,对第五卷积结果进行最大池化处理,得到第四最大池化结果;
相应地,上述第四池化单元包括:
第三相加子单元,用于将第九卷积结果和第四最大池化结果相加,得到第三相加结果,将第三相加结果输入第六卷积层进行特征提取,得到第六卷积结果,对第六卷积结果进行最大池化处理,得到第五最大池化结果,确定第五最大池化结果为初始融合结果。
可选的是,晶圆缺陷检测模型还包括特征上采样层;
上述晶圆检测模块96还包括:
第五池化单元,用于对初始融合结果进行最大池化处理,得到第六最大池化结果,对第六最大池化结果进行最大池化处理,得到第七最大池化结果;
上采样单元,用于将初始融合结果、第六最大池化结果和第七最大池化结果拼接,得到拼接结果,将拼接结果输入特征上采样层进行上采样处理,得到第二上采样结果,确定第二上采样结果为融合结果。
需要说明的是,上述模块、单元、子单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图10为本发明实施例三提供的一种计算机设备的结构示意图。如图10所示,该实施例的计算机设备包括:至少一个处理器(图10中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序,处理器执行计算机程序时实现上述任意各个半导体晶圆检测方法实施例中的步骤。
该计算机设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图10仅仅是计算机设备的举例,并不构成对计算机设备的限定,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU,该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等,其中,内存储器可以是计算机设备的内存,内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘,在另一些实施例中也可以是计算机设备的外部存储设备,例如,计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
本发明实现上述实施例方法中的全部或部分流程,也可以通过一种计算机程序产品来完成,当计算机程序产品在计算机设备上运行时,使得计算机设备执行时实现可实现上述方法实施例中的步骤。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种半导体硅晶圆检测方法,其特征在于,所述半导体硅晶圆检测方法包括:
获取待检测晶圆中N个不同芯片对应的芯片图像,从所有芯片图像中随机选择一张芯片图像作为目标图像,从除所述目标图像外的所有芯片图像中随机选择两张芯片图像,分别作为第一参考图像和第二参考图像,N为大于二的整数;
将所述目标图像输入第一降噪卷积层进行特征映射处理,得到第一降噪结果,将所述第一参考图像转换至HSV色彩空间,得到色彩空间转换结果,根据所述色彩空间转换结果和所述第一降噪结果,计算得到第一降噪损失;
将所述第一降噪结果输入第二降噪卷积层进行特征映射处理,得到第二降噪结果,根据所述第二降噪结果和所述第二参考图像,计算得到第二降噪损失;
根据所述第一降噪损失和所述第二降噪损失,对所述第一降噪卷积层和所述第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层;
将所述目标图像依次输入所述训练好的第一降噪卷积层和所述训练好的第二降噪卷积层,得到降噪图像,将所述目标图像和所述降噪图像相减,得到噪声图像;
对所述目标图像进行灰度处理,得到灰度图像,对所述灰度图像进行边缘检测,得到边缘检测图像,将所述目标图像、所述噪声图像和所述边缘检测图像输入晶圆缺陷检测模型,得到所述目标图像对应的晶圆缺陷检测结果。
2.根据权利要求1所述的半导体硅晶圆检测方法,其特征在于,所述第一降噪卷积层包括第一特征提取层、第二特征提取层、第三特征提取层、最大池化层、平均池化层、第一特征上采样层、第一函数层和第二函数层,第二降噪卷积层包括第四特征提取层、第五特征提取层、第六特征提取层、最大池化层、平均池化层、第二特征上采样层、第一激活函数层和第二激活函数层;
所述将所述目标图像输入第一降噪卷积层进行特征映射处理,得到第一降噪结果,将所述第一参考图像转换至HSV色彩空间,得到色彩空间转换结果,根据所述色彩空间转换结果和所述第一降噪结果,计算得到第一降噪损失,将所述第一降噪结果输入第二降噪卷积层进行特征映射处理,得到第二降噪结果,根据所述第二降噪结果和所述第二参考图像,计算得到第二降噪损失,根据所述第一降噪损失和所述第二降噪损失,对所述第一降噪卷积层和所述第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层,包括:
将所述目标图像输入所述第一特征提取层,输出第一特征提取结果,将所述第一特征提取结果输入所述第二特征提取层,输出第二特征提取结果;
将所述目标图像输入最大池化层,得到第一参考池化结果,将所述第一参考池化结果输入所述第一特征上采样层,输出第一参考上采样结果,采用所述第一函数层对所述第一参考上采样结果进行处理,得到第一参考激活结果;
将所述第一参考激活结果输入所述第三特征提取层,输出第三特征提取结果,将所述第三特征提取结果输入所述平均池化层,输出第二参考池化结果,采用所述第二函数层对所述第二参考池化结果进行处理,得到第二参考激活结果;
将所述第二参考激活结果和所述目标图像相乘,得到第一参考相乘结果,将所述第一参考相乘结果和所述第二特征提取结果相加,得到所述第一降噪结果,根据所述色彩空间转换结果和第一降噪结果,计算得到所述第一降噪损失;
将所述第一降噪结果输入所述第四特征提取层,输出第四特征提取结果,将所述第四特征提取结果输入所述第五特征提取层,输出第五特征提取结果;
将所述第一降噪结果输入所述最大池化层,得到第三参考池化结果,将所述第三参考池化结果输入所述第二特征上采样层,输出第二参考上采样结果,采用所述第一函数层对所述第二参考上采样结果进行处理,得到第三参考激活结果;
将所述第三参考激活结果输入所述第六特征提取层,输出第六特征提取结果,将所述第六特征提取结果输入所述平均池化层,输出第四参考池化结果,采用所述第二函数层对所述第四参考池化结果进行处理,得到第四参考激活结果;
将所述第四参考激活结果和所述目标图像相乘,得到第二参考相乘结果,将所述第二参考相乘结果和所述第五特征提取结果相加,得到所述第二降噪结果,根据所述第二参考图像和所述第二降噪结果,计算得到所述第二降噪损失;
根据所述第一降噪损失和所述第二降噪损失,对所述第一降噪卷积层和所述第二降噪卷积层进行训练,得到所述训练好的第一降噪卷积层和所述训练好的第二降噪卷积层。
3.根据权利要求1至2任一项所述的半导体硅晶圆检测方法,其特征在于,所述晶圆缺陷检测模型包括第一编码器分支、第二编码器分支、第三编码器分支和解码器分支;
所述将所述目标图像、所述噪声图像和所述边缘检测图像输入预训练好的晶圆缺陷检测模型,得到所述目标图像对应的晶圆缺陷检测结果,包括:
将所述目标图像输入所述第一编码器分支进行特征提取,得到第一图像特征;
将所述噪声图像输入所述第二编码器分支进行特征提取,得到第二图像特征;
将所述边缘检测图像输入所述第三编码器分支进行特征提取,得到第三图像特征;
将所述第一图像特征、所述第二图像特征和所述第三图像特征融合,得到融合结果,将所述融合结果输入所述解码器分支进行特征重构,得到所述晶圆缺陷检测结果。
4.根据权利要求3所述的半导体硅晶圆检测方法,其特征在于,所述第三编码器分支包括第一卷积层和第二卷积层;
所述将所述边缘检测图像输入所述第三编码器分支进行特征提取,得到第三图像特征,包括:
对所述边缘检测图像进行最大池化操作,得到第一最大池化结果,对所述第一最大池化结果进行最近邻上采样,得到第一上采样结果,使用激活函数对所述第一上采样结果进行激活处理,得到第一激活结果;
将所述第一激活结果输入所述第一卷积层进行特征提取,得到第一卷积结果,对所述第一卷积结果进行平均池化处理,得到平均池化结果,使用所述激活函数对所述平均池化结果进行激活处理,得到第二激活结果;
将所述第二激活结果和所述第一激活结果相乘,得到第一相乘结果,将所述第一相乘结果输入所述第二卷积层进行特征提取,得到第二卷积结果,以所述第二卷积结果作为所述第三图像特征。
5.根据权利要求3所述的半导体硅晶圆检测方法,其特征在于,所述第一编码器分支包括第三卷积层、第四卷积层、第五卷积层和第六卷积层;
将所述目标图像输入所述第一编码器分支进行特征提取,得到第一图像特征,将所述第一图像特征和所述第三图像特征融合,包括:
将所述目标图像输入所述第三卷积层进行特征提取,得到第三卷积结果,对所述第三卷积结果进行最大池化处理,得到第二最大池化结果;
将所述第二最大池化结果输入所述第四卷积层进行特征提取,得到第四卷积结果,对所述第四卷积结果进行最大池化处理,得到第三最大池化结果;
将所述第三最大池化结果和所述第三图像特征相乘,得到第二相乘结果,将所述第二相乘结果输入所述第五卷积层进行特征提取,得到第五卷积结果,对所述第五卷积结果进行最大池化处理,得到第四最大池化结果;
将所述第四最大池化结果输入所述第六卷积层进行特征提取,得到第六卷积结果,对所述第六卷积结果进行最大池化处理,得到第五最大池化结果,确定所述第五最大池化结果为初始融合结果。
6.根据权利要求5所述的半导体硅晶圆检测方法,其特征在于,所述第二编码器分支包括第七卷积层、第八卷积层和第九卷积层;
将所述噪声图像输入所述第二编码器分支进行特征提取,得到第二图像特征,将所述第一图像特征、所述第二图像特征和所述第三图像特征融合,得到融合结果,包括:
将所述噪声图像通过所述第七卷积层进行特征提取,得到第七卷积结果;
将所述第七卷积结果通过所述第八卷积层进行特征提取,得到第八卷积结果;
将所述第八卷积结果通过所述第九卷积层进行特征提取,得到第九卷积结果;
相应地,所述将所述第二最大池化结果输入所述第四卷积层进行特征提取,得到第四卷积结果,对所述第四卷积结果进行最大池化处理,得到第三最大池化结果,包括:
将所述第七卷积结果和所述第二最大池化结果相加,得到第一相加结果,将所述第一相加结果输入所述第四卷积层进行特征提取,得到所述第四卷积结果,对所述第四卷积结果进行最大池化处理,得到所述第三最大池化结果;
相应地,所述将所述第三最大池化结果和所述第三图像特征相乘,得到第二相乘结果,将所述第二相乘结果输入所述第五卷积层进行特征提取,得到第五卷积结果,对所述第五卷积结果进行最大池化处理,得到第四最大池化结果,包括:
将所述第三最大池化结果和所述第八卷积结果相加,得到第二相加结果,将所述第二相加结果和所述第三图像特征相乘,得到所述第二相乘结果,将所述第二相乘结果输入所述第五卷积层进行特征提取,得到所述第五卷积结果,对所述第五卷积结果进行最大池化处理,得到所述第四最大池化结果;
相应地,所述将所述第四最大池化结果输入所述第六卷积层进行特征提取,得到第六卷积结果,对所述第六卷积结果进行最大池化处理,得到第五最大池化结果,确定所述第五最大池化结果为初始融合结果,包括:
将所述第九卷积结果和所述第四最大池化结果相加,得到第三相加结果,将所述第三相加结果输入所述第六卷积层进行特征提取,得到所述第六卷积结果,对所述第六卷积结果进行最大池化处理,得到所述第五最大池化结果,确定所述第五最大池化结果为所述初始融合结果。
7.根据权利要求5所述的半导体硅晶圆检测方法,其特征在于,所述晶圆缺陷检测模型还包括特征上采样层;
在所述确定所述第五最大池化结果为初始融合结果之后,还包括:
对所述初始融合结果进行最大池化处理,得到第六最大池化结果,对所述第六最大池化结果进行最大池化处理,得到第七最大池化结果;
将所述初始融合结果、所述第六最大池化结果和所述第七最大池化结果拼接,得到拼接结果,将所述拼接结果输入所述特征上采样层进行上采样处理,得到第二上采样结果,确定所述第二上采样结果为所述融合结果。
8.一种半导体硅晶圆检测装置,其特征在于,所述半导体硅晶圆检测装置包括:
图像选择模块,用于获取待检测晶圆中N个不同芯片对应的芯片图像,从所有芯片图像中随机选择一张芯片图像作为目标图像,从除所述目标图像外的所有芯片图像中随机选择两张芯片图像,分别作为第一参考图像和第二参考图像,N为大于二的整数;
第一损失计算模块,用于将所述目标图像输入第一降噪卷积层进行特征映射处理,得到第一降噪结果,将所述第一参考图像转换至HSV色彩空间,得到色彩空间转换结果,根据所述色彩空间转换结果和所述第一降噪结果,计算得到第一降噪损失;
第二损失计算模块,用于将所述第一降噪结果输入第二降噪卷积层进行特征映射处理,得到第二降噪结果,根据所述第二降噪结果和所述第二参考图像,计算得到第二降噪损失;
模型训练模块,用于根据所述第一降噪损失和所述第二降噪损失,对所述第一降噪卷积层和所述第二降噪卷积层进行训练,得到训练好的第一降噪卷积层和训练好的第二降噪卷积层;
图像降噪模块,用于将所述目标图像依次输入所述训练好的第一降噪卷积层和所述训练好的第二降噪卷积层,得到降噪图像,将所述目标图像和所述降噪图像相减,得到噪声图像;
晶圆检测模块,用于对所述目标图像进行灰度处理,得到灰度图像,对所述灰度图像进行边缘检测,得到边缘检测图像,将所述目标图像、所述噪声图像和所述边缘检测图像输入晶圆缺陷检测模型,得到所述目标图像对应的晶圆缺陷检测结果。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的半导体硅晶圆检测方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的半导体硅晶圆检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310707502.7A CN116433674B (zh) | 2023-06-15 | 2023-06-15 | 半导体硅晶圆检测方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310707502.7A CN116433674B (zh) | 2023-06-15 | 2023-06-15 | 半导体硅晶圆检测方法、装置、计算机设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116433674A true CN116433674A (zh) | 2023-07-14 |
CN116433674B CN116433674B (zh) | 2023-08-18 |
Family
ID=87092972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310707502.7A Active CN116433674B (zh) | 2023-06-15 | 2023-06-15 | 半导体硅晶圆检测方法、装置、计算机设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116433674B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530287A (zh) * | 2016-10-24 | 2017-03-22 | 武汉新芯集成电路制造有限公司 | 一种基于晶圆内部缺陷检测的图像自动识别系统 |
CN110807741A (zh) * | 2019-10-15 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 图像处理网络的训练方法、图像去噪方法及装置 |
CN111667424A (zh) * | 2020-05-28 | 2020-09-15 | 武汉大学 | 一种基于无监督的真实图像去噪方法 |
CN113269691A (zh) * | 2021-05-27 | 2021-08-17 | 北京卫星信息工程研究所 | 一种基于卷积稀疏进行噪声仿射拟合的sar图像去噪方法 |
KR20210116923A (ko) * | 2020-03-18 | 2021-09-28 | 에스케이텔레콤 주식회사 | 디노이징 네트워크의 학습 방법, 및 이미지 처리 방법 및 그 장치 방법 |
CN115063413A (zh) * | 2022-08-04 | 2022-09-16 | 宁波鑫芯微电子科技有限公司 | 一种超大规模晶圆异常数据的特征提取方法 |
CN115115921A (zh) * | 2022-07-05 | 2022-09-27 | 广东利扬芯片测试股份有限公司 | 基于残差网路的晶圆缺陷模式识别方法 |
CN115223251A (zh) * | 2022-07-29 | 2022-10-21 | 平安科技(深圳)有限公司 | 签名检测模型的训练方法和装置、电子设备及存储介质 |
CN115439336A (zh) * | 2021-06-04 | 2022-12-06 | Oppo广东移动通信有限公司 | 一种用于图像去噪处理的方法、电子设备、装置及计算系统 |
CN116188325A (zh) * | 2023-03-31 | 2023-05-30 | 东北大学 | 一种基于深度学习和图像颜色空间特性的图像去噪方法 |
-
2023
- 2023-06-15 CN CN202310707502.7A patent/CN116433674B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530287A (zh) * | 2016-10-24 | 2017-03-22 | 武汉新芯集成电路制造有限公司 | 一种基于晶圆内部缺陷检测的图像自动识别系统 |
CN110807741A (zh) * | 2019-10-15 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 图像处理网络的训练方法、图像去噪方法及装置 |
KR20210116923A (ko) * | 2020-03-18 | 2021-09-28 | 에스케이텔레콤 주식회사 | 디노이징 네트워크의 학습 방법, 및 이미지 처리 방법 및 그 장치 방법 |
CN111667424A (zh) * | 2020-05-28 | 2020-09-15 | 武汉大学 | 一种基于无监督的真实图像去噪方法 |
CN113269691A (zh) * | 2021-05-27 | 2021-08-17 | 北京卫星信息工程研究所 | 一种基于卷积稀疏进行噪声仿射拟合的sar图像去噪方法 |
CN115439336A (zh) * | 2021-06-04 | 2022-12-06 | Oppo广东移动通信有限公司 | 一种用于图像去噪处理的方法、电子设备、装置及计算系统 |
CN115115921A (zh) * | 2022-07-05 | 2022-09-27 | 广东利扬芯片测试股份有限公司 | 基于残差网路的晶圆缺陷模式识别方法 |
CN115223251A (zh) * | 2022-07-29 | 2022-10-21 | 平安科技(深圳)有限公司 | 签名检测模型的训练方法和装置、电子设备及存储介质 |
CN115063413A (zh) * | 2022-08-04 | 2022-09-16 | 宁波鑫芯微电子科技有限公司 | 一种超大规模晶圆异常数据的特征提取方法 |
CN116188325A (zh) * | 2023-03-31 | 2023-05-30 | 东北大学 | 一种基于深度学习和图像颜色空间特性的图像去噪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116433674B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
US11651477B2 (en) | Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks | |
US11393100B2 (en) | Automatically generating a trimap segmentation for a digital image by utilizing a trimap generation neural network | |
CN112465828A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
CN111369545A (zh) | 边缘缺陷检测方法、装置、模型、设备及可读存储介质 | |
RU2008143205A (ru) | Эффективное кодирование множества видов | |
CN107578053B (zh) | 轮廓提取方法及装置、计算机装置及可读存储介质 | |
CN111754531A (zh) | 图像实例分割方法和装置 | |
CN113298728B (zh) | 一种视频优化方法、装置、终端设备及存储介质 | |
CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
CN114581646A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
CN113191235A (zh) | 杂物检测方法、装置、设备及存储介质 | |
CN117197462A (zh) | 基于多尺度特征融合和对齐的轻量地基云分割方法及系统 | |
WO2023019682A1 (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
CN114511702A (zh) | 一种基于多尺度分权注意力的遥感图像分割方法和系统 | |
CN114519717A (zh) | 一种图像处理方法及装置、计算机设备、存储介质 | |
CN111414823B (zh) | 人体特征点的检测方法、装置、电子设备以及存储介质 | |
CN112884702A (zh) | 一种基于内窥镜图像的息肉识别系统和方法 | |
CN116309612A (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
CN117197470A (zh) | 一种基于结肠镜图像的息肉分割方法、设备及介质 | |
CN116433674B (zh) | 半导体硅晶圆检测方法、装置、计算机设备及介质 | |
CN112634126B (zh) | 人像减龄处理方法、训练方法、装置、设备及存储介质 | |
KR20180012638A (ko) | 누적 채널 특징점을 이용한 영상 인식에서의 객체 검출 방법 및 장치 | |
CN118379696B (zh) | 一种船舶目标检测方法、装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |