CN116433661A - 多任务学习的半导体晶圆检测方法、装置、设备及介质 - Google Patents

多任务学习的半导体晶圆检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN116433661A
CN116433661A CN202310690456.4A CN202310690456A CN116433661A CN 116433661 A CN116433661 A CN 116433661A CN 202310690456 A CN202310690456 A CN 202310690456A CN 116433661 A CN116433661 A CN 116433661A
Authority
CN
China
Prior art keywords
feature map
enhancement
convolution
image
weight value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310690456.4A
Other languages
English (en)
Other versions
CN116433661B (zh
Inventor
何良雨
崔健
刘彤
张文刚
王戬鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengrui Lingchuang Zhuhai Technology Co ltd
Original Assignee
Fengrui Lingchuang Zhuhai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengrui Lingchuang Zhuhai Technology Co ltd filed Critical Fengrui Lingchuang Zhuhai Technology Co ltd
Priority to CN202310690456.4A priority Critical patent/CN116433661B/zh
Publication of CN116433661A publication Critical patent/CN116433661A/zh
Application granted granted Critical
Publication of CN116433661B publication Critical patent/CN116433661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，尤其涉及一种多任务学习的半导体晶圆检测方法、装置、设备及介质。将不同模态数据的细节特征与不同模态数据的融合特征的提取作为不同的任务，对表征光强特征的图像与表征偏振特征的图像进行特征提取，得到对应的特征图，将特征图进行图像增强，并对增强后的图像进行细节重建，得到光强特征图与偏振特征图中的细节纹理特征图，作为第一任务，进行迭代处理，直至迭代次数达到预设阈值，将细节纹理特征图再次进行图像增强，提取每次迭代后的增强图像的高语义特征，将提取的高语义特征进行融合，提取融合特征，作为第二任务，得到包含纹理细节和信息互补的融合特征，对融合特征进行缺陷检测，从而提高缺陷检测精度。

Description

多任务学习的半导体晶圆检测方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种多任务学习的半导体晶圆检测方法、装置、设备及介质。
背景技术
半导体行业是现代技术领域的重要组成部分，为从消费电子产品到工业自动化等广泛应用提供了支持。在半导体晶圆生产过程中，由于材料、工艺等因素的影响，可能会产生各种缺陷，如点缺陷、线缺陷、面缺陷等。如果这些缺陷没有被及时发现和处理，就会降低晶圆的性能和可靠性，导致晶圆产品质量下降。因此，半导体晶圆缺陷检测是半导体晶圆制造中至关重要的一环。近年来，随着计算机视觉技术的发展，基于卷积神经网络的半导体晶圆缺陷检测方法已经得到了广泛的应用。
现有技术中，一般通过卷积神经网络提取半导体晶圆表面图像的特征信息进行缺陷检测，但对于半导体晶圆这种微、纳米级别图像，单一特征信息很难将其有效分析，从而导致缺陷检测精度较低，因此，在使用计算机视觉技术对半导体晶圆进行缺陷检测时，如何提高半导体晶圆缺陷检测精度成为亟需解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种多任务学习的半导体晶圆检测方法、装置、设备及介质，以解决对半导体晶圆进行缺陷检测过程中，检测精度较低的问题。
本申请实施例的第一方面提供了一种多任务学习的半导体晶圆检测方法 ，所述的半导体晶圆检测方法包括：
获取待检测物体的表征光强特征的第一图像与表征偏振特征的第二图像；
对所述第一图像与所述第二图像分别进行特征提取，得到对应所述第一图像的第一特征图与对应所述第二图像的第二特征图；
对所述第一特征图与所述第二特征图分别进行在空间维度上的全局平均池化操作与全局最大值池化操作，得到对应所述第一特征图的第一平均池化特征图和第一最大值池化特征图，以及对应所述第二特征图的第二平均池化特征图和第二最大值池化特征图；
根据所述第一特征图的第一平均池化特征图和第一最大值池化特征图，计算所述第一特征图在通道维度上的权重值，得到第一权重值，根据所述第二特征图的第二平均池化特征图和第二最大值池化特征图，计算所述第二特征图在通道维度上的权重值，得到第二权重值；
根据所述第一权重值与所述第一特征图，计算得到第一通道增强特征图，根据所述第二权重值和第二特征图，计算得到第二通道增强特征图；
对第一通道增强特征图与所述第二通道增强特征图分别进行空间维度的增强，得到对应第一通道增强特征图的第一增强特征图与对应第二通道增强特征图的第二增强特征图；
将迭代次数增加一次，若所述迭代次数小于预设阈值，则对所述第一增强特征图和所述第二增强特征图分别进行细节重建，得到对应第一增强特征图的第一重建特征图与对应第二增强特征图的第二重建特征图；
将所述第一重建特征图作为所述第一图像，将所述第二重建特征图作为所述第二图像，返回执行对所述第一图像与所述第二图像分别进行特征提取的步骤，直至所述迭代次数等于所述预设阈值，得到每次迭代对应的第一增强特征图和第二增强特征图；
针对一次迭代，将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，将所有融合特征图进行融合，得到最终的融合特征图；
根据所述最终的融合特征进行缺陷检测，得到缺陷检测结果。
本申请实施例的第二方面提供了一种多任务学习的半导体晶圆检测装置，所述半导体晶圆检测装置包括：
提取模块，用于对所述第一图像与所述第二图像分别进行特征提取，得到对应所述第一图像的第一特征图与对应所述第二图像的第二特征图；
空间池化模块，用于对所述第一特征图与所述第二特征图分别进行在空间维度上的全局平均池化操作与全局最大值池化操作，得到对应所述第一特征图的第一平均池化特征图和第一最大值池化特征图，以及对应所述第二特征图的第二平均池化特征图和第二最大值池化特征图；
通道激活模块，用于根据所述第一特征图的第一平均池化特征图和第一最大值池化特征图，计算所述第一特征图在通道维度上的权重值，得到第一权重值，根据所述第二特征图的第二平均池化特征图和第二最大值池化特征图，计算所述第二特征图在通道维度上的权重值，得到第二权重值；
通道增强模块，用于根据所述第一权重值与所述第一特征图，计算得到第一通道增强特征图，根据所述第二权重值和第二特征图，计算得到第二通道增强特征图；
空间增强模块，用于对第一通道增强特征图与所述第二通道增强特征图分别进行空间维度的增强，得到对应第一通道增强特征图的第一增强特征图与对应第二通道增强特征图的第二增强特征图；
重建模块，用于将迭代次数增加一次，若所述迭代次数小于预设阈值，则对所述第一增强特征图和所述第二增强特征图分别进行细节重建，得到对应第一增强特征图的第一重建特征图与对应第二增强特征图的第二重建特征图；
迭代模块，用于将所述第一重建特征图作为所述第一图像，将所述第二重建特征图作为所述第二图像，返回执行对所述第一图像与所述第二图像分别进行特征提取的步骤，直至所述迭代次数等于所述预设阈值，得到每次迭代对应的第一增强特征图和第二增强特征图；
融合模块，用于针对一次迭代，将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，将所有融合特征图进行融合，得到最终的融合特征图；
检测模块，用于根据所述最终的融合特征进行缺陷检测，得到缺陷检测结果。
第三方面，本发明实施例提供一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的多任务学习的半导体晶圆检测方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的多任务学习的半导体晶圆检测方法。
本发明与现有技术相比存在的有益效果是：
获取待检测物体的表征光强特征的第一图像与表征偏振特征的第二图像，对第一图像与第二图像分别进行特征提取，得到对应第一图像的第一特征图与对应第二图像的第二特征图，对第一特征图与第二特征图分别进行图像增强处理，得到对应第一特征图的第一增强特征图与对应第二特征图的第二增强特征图，将迭代次数增加一次，若迭代次数小于预设阈值，则对第一增强特征图和第二增强特征图分别进行细节重建，得到对应第一增强特征图的第一重建特征图与对应第二增强特征图的第二重建特征图，将第一重建特征图作为第一图像，将第二重建特征图作为第二图像，返回执行对第一图像与第二图像分别进行特征提取的步骤，直至迭代次数等于预设阈值，得到每次迭代对应的第一增强特征图和第二增强特征图，针对一次迭代，将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，将所有融合特征图进行融合，得到最终的融合特征图，根据最终的融合特征进行缺陷检测，得到缺陷检测结果。本申请中，将不同模态数据的细节特征与不同模态数据的融合特征的提取作为不同的任务，对表征光强特征的图像与表征偏振特征的图像进行特征提取，得到对应的特征图，将特征图进行图像增强，并对增强后的图像进行细节重建，得到光强特征图与偏振特征图中的细节纹理特征图，作为第一任务，进行迭代处理，直至迭代次数达到预设阈值，将细节纹理特征图再次进行图像增强，提取每次迭代后的增强图像的高语义特征，将提取的高语义特征进行融合，提取融合特征，作为第二任务，得到包含纹理细节和信息互补的融合特征，对融合特征进行缺陷检测，从而提高缺陷检测精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种多任务学习的半导体晶圆检测方法的一应用环境示意图；
图2是本申请实施例一提供的一种多任务学习的半导体晶圆检测方法的流程示意图；
图3是本申请实施例二提供的一种得到每次迭代对应的第一增强特征图和第二增强特征图的流程示意图；
图4是本申请实施例三提供的半导体晶圆检测结果对比图；
图5是本申请实施例四提供的第一增强特征图和第二增强特征图进行融合的流程示意图；
图6是本申请实施例五提供的一种多任务学习的半导体晶圆检测装置的结构框图。
图7是本申请实施例六提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
本发明实施例一提供的一种多任务学习的半导体晶圆检测方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）等终端设备。服务端可以用独立的服务器或者是多个服务器生成的服务器集群来实现。
参见图2，是本发明实施例一提供的一种多任务学习的半导体晶圆检测方法的流程示意图，上述多任务学习的半导体晶圆检测方法可以应用于图1中的服务端，上述服务端连接相应的客户端，如图2所示，该多任务学习的半导体晶圆检测方法可以包括以下步骤。
S201：获取待检测物体的表征光强特征的第一图像与表征偏振特征的第二图像。
在步骤S201中，第一图像为表征光强特征的图像，第二图像为表征偏振特征的图像。
本实施例中，通过RGB相机对待检测物体进行拍照得到第一图像，通过偏振相机得到对应偏振图像，其中，待检测物体是半导体晶圆。
S202：对第一图像与第二图像分别进行特征提取，得到对应第一图像的第一特征图与对应第二图像的第二特征图。
在步骤S202中，对第一图像与第二图像分别进行特征提取，提取第一图像与第二图像的原始特征，以便于利用原始特征进行进一步特征提取。
本实施例中，对第一图像与第二图像进行卷积特征提取，并对卷积后的特征进行归一化与激活处理，得到对应第一图像的第一特征图与对应第二图像的第二特征图。
可选地，对第一图像与第二图像分别进行特征提取，得到对应第一图像的第一特征图与对应第二图像的第二特征图，包括：
对第一图像进行卷积特征提取，得到第一卷积特征图，对第一卷积特征图进行批归一化处理，得到第一归一化特征图，对第一归一化特征图进行激活处理，得到第一激活特征图，将第一激活特征图确定为第一特征图；
对第二图像进行卷积特征提取，得到第二卷积特征图，对第二卷积特征图进行批归一化处理，得到第二归一化特征图，对第二归一化特征图进行激活处理，得到第二激活特征图，将第二激活特征图确定为第二特征图。
本实施例中，使用第一特征提取网络提取第一图像中的特征，其中，第一特征提取网络包括卷积层，归一化层与激活层，其中，卷积层中卷积核的大小为
Figure SMS_1
的卷积核，通过卷积层对第一图像进行卷积特征提取，得到第一卷积特征图，第一卷积特征图作为归一化层的输入，归一化层对第一卷积特征图进行归一化处理，得到第一归一化特征图，第一归一化特征图作为激活层的输入，激活层对第一归一化特征图进行激活处理，得到第一激活特征图，将第一激活特征图确定为第一特征图，其中激活函数为Leaky ReLU激活函数。
使用第二特征提取网络提取第二图像中的特征，其中，第二特征提取网络包括卷积层，归一化层与激活层，其中，卷积层中卷积核的大小为
Figure SMS_2
的卷积核，通过卷积层对第二图像进行卷积特征提取，得到第二卷积特征图，第二卷积特征图作为归一化层的输入，归一化层对第二卷积特征图进行归一化处理，得到第二归一化特征图，第二归一化特征图作为激活层的输入，激活层对第二归一化特征图进行激活处理，得到第二激活特征图，将第二激活特征图确定为第二特征图，其中激活函数为Leaky ReLU激活函数。
S203：对第一特征图与第二特征图分别进行在空间维度上的全局平均池化操作与全局最大值池化操作，得到对应第一特征图的第一平均池化特征图和第一最大值池化特征图，以及对应第二特征图的第二平均池化特征图和第二最大值池化特征图。
本实施例中，将维度为H×W×C的第一特征图进行空间维度上的全局平均池化操作与全局最大值池化操作，得到大小为1×1×C的第一平均池化特征图与第一最大值池化特征图，对第一平均池化特征图与第一最大值池化特征图进行通道降维处理，通道降维时，使用多层感知网络进行降维处理，其中多层感知网络由两个连续的3×3的卷积层组成，通过多层感知网络进行通道降维后，得到大小为
Figure SMS_3
的降维后的第一平均池化特征图与第一最大值池化特征图。
将维度为H×W×C的第二特征图进行空间维度上的全局平均池化操作与全局最大值池化操作，得到大小为1×1×C的第二平均池化特征图与第二最大值池化特征图，对第二平均池化特征图与第二最大值池化特征图进行通道降维处理，通道降维时，使用多层感知网络进行降维处理，其中多层感知网络由两个连续的3×3的卷积层组成，通过多层感知网络进行通道降维后，得到大小为的降维后
Figure SMS_4
的第二平均池化特征图与第二最大值池化特征图，
S204：根据第一特征图的第一平均池化特征图和第一最大值池化特征图，计算第一特征图在通道维度上的权重值，得到第一权重值，根据第二特征图的第二平均池化特征图和第二最大值池化特征图，计算第二特征图在通道维度上的权重值，得到第二权重值。
本实施例中，将降维后的第一平均池化特征图与第一最大值池化特征图进行相加得到对应的大小为1×1×C的融合特征，使用激活函数对融合特征进行激活，得到第一特征图在通道维度上的权重值，即第一权重值，其中第一权重值的计算公式如下：
Figure SMS_5
,其中，/>
Figure SMS_6
为第一权重值，/>
Figure SMS_7
为sigmoid激活函数，/>
Figure SMS_8
为多层感知网络，/>
Figure SMS_9
为全局平均池化函数，
Figure SMS_10
为全局最大值池化函数，/>
Figure SMS_11
为第一特征图。
将降维后的第二平均池化特征图与第二最大值池化特征图进行相加得到对应的大小为1×1×C的融合特征，使用激活函数对融合特征进行激活，得到第二特征图在通道维度上的权重值，即第二权重值，其中第二权重值的计算公式如下：
Figure SMS_12
,其中，/>
Figure SMS_13
为第二权重值，/>
Figure SMS_14
为sigmoid激活函数，/>
Figure SMS_15
为多层感知网络，/>
Figure SMS_16
为全局平均池化函数，
Figure SMS_17
为全局最大值池化函数，/>
Figure SMS_18
为第二特征图。
S205：根据第一权重值与第一特征图，计算得到第一通道增强特征图，根据第二权重值和第二特征图，计算得到第二通道增强特征图。
本实施例中，根据第一特征图与第一权重值，计算得到第一通道增强特征图，计算公式如下：
Figure SMS_19
,其中，/>
Figure SMS_20
为第一通道增强特征图，/>
Figure SMS_21
为第一权重值，/>
Figure SMS_22
为第一特征图，其中第一通道增强特征图的大小为H×W×C。
根据第二特征图与第二权重值，计算得到第二通道增强特征图，计算公式如下：
Figure SMS_23
,其中，/>
Figure SMS_24
为第二通道增强特征图，/>
Figure SMS_25
为第二权重值，/>
Figure SMS_26
为第二特征图，其中第二通道增强特征图的大小为H×W×C。
S206：对第一通道增强特征图与第二通道增强特征图分别进行空间维度的增强，得到对应第一通道增强特征图的第一增强特征图与对应第二通道增强特征图的第二增强特征图。
本实施例中，对第一特征图与第二特征图进行图像增强处理时，包括在通道维度与空间维度上的特征增强，在通道维度上，对第一特征图与第二特征图中的每个通道中的特征进行处理，通道维度上的特征增强是对空间维度上的特征补充，得到对应第一特征图的第一通道增强特征图与对应第二特征图的第二通道增强特征图。
在对第一特征图与第二特征图进行在通道维度上特征增强后，再对增强后的第一通道增强特征图与第二通道增强特征图在空间维度上的特征增强，空间维度上的特征增强是对通道维度上的特征补充，得到对应第一通道增强特征图的第一增强特征图与对应第二通道增强特征图的第二增强特征图。
对特征图进行增强处理，以便于提取特征图中的高语义特征，从而将高语义特征进行特征融合。本实施例中，对第一特征图进行图像增强处理，提取第一特征图中的高语义特征，得到第一增强特征图，对第二特征图进行图像增强处理，提取第二特征图中的高语义特征，得到第二增强特征图，以便于第一增强特征图与第二增强特征图可以融合多层次的信息，增强图像的特征表达能力。
可选地，对第一通道增强特征图与第二通道增强特征图分别进行空间维度的增强，得到对应第一通道增强特征图的第一增强特征图与对应第二通道增强特征图的第二增强特征图，包括：
对第一通道增强特征图与第二通道增强特征图分别进行在通道维度上的全局平均池化操作与全局最大值池化操作，得到对应第一通道增强特征图的第三平均池化特征图和第三最大值池化特征图，以及对应第二通道增强特征图的第四平均池化特征图和第四最大值池化特征图；
根据第一通道增强特征图的第三平均池化特征图和第三最大值池化特征图，计算第一通道增强特征图在空间维度上的权重值，得到第三权重值，根据第二通道增强特征图的第四平均池化特征图和第四最大值池化特征图，计算第二增强特征图在空间维度上的权重值，得到第四权重值；
根据第三权重值与第一通道增强特征图，计算得到第一增强特征图，根据第四权重值与第二通道增强特征图，计算得到第二增强特征图。
本实施例中，将维度为
Figure SMS_28
的第一通道增强特征图进行通道维度上的全局平均池化操作与全局最大值池化操作，得到大小为/>
Figure SMS_30
的第三平均池化特征图和第三最大值池化特征图，将第三平均池化特征图和第三最大值池化特征图拼接，得到拼接后的融合特征，将拼接后的融合特征通过/>
Figure SMS_32
的卷积降维，得到通道数为1的降维后的融合特征，使用激活函数对降维后的融合特征进行激活，得到第一通道增强特征图在空间维度上的权重值，即第三权重值，其中第三权重值的计算公式如下：
Figure SMS_34
，其中，/>
Figure SMS_35
为第三权重值，/>
Figure SMS_36
为sigmoid激活函数，/>
Figure SMS_37
为通道融合函数，/>
Figure SMS_27
为卷积操作，
Figure SMS_29
为全局平均池化函数，/>
Figure SMS_31
为全局最大值池化函数，/>
Figure SMS_33
为第一通道增强特征图。
根据第一通道增强特征图与第三权重值，计算得到第一增强特征图，计算公式如下：
Figure SMS_38
，其中，/>
Figure SMS_39
为第一增强特征图，/>
Figure SMS_40
为第三权重值，/>
Figure SMS_41
为第一通道增强特征图，其中第一增强特征图的大小为/>
Figure SMS_42
。
本实施例中，将维度为
Figure SMS_44
的第二通道增强特征图进行通道维度上的全局平均池化操作与全局最大值池化操作，得到大小为/>
Figure SMS_45
的第四平均池化特征图和第四最大值池化特征图，将第四平均池化特征图和第四最大值池化特征图拼接，得到拼接后的融合特征，将拼接后的融合特征通过/>
Figure SMS_48
的卷积降维，得到通道数为1的降维后的融合特征，使用激活函数对降维后的融合特征进行激活，得到第二通道增强特征图在空间维度上的权重值，即第四权重值，其中第四权重值的计算公式如下：
Figure SMS_50
，其中，/>
Figure SMS_51
为第四权重值，/>
Figure SMS_52
为sigmoid激活函数，/>
Figure SMS_53
为通道融合函数，/>
Figure SMS_43
为卷积操作，
Figure SMS_46
为全局平均池化函数，/>
Figure SMS_47
为全局最大值池化函数，/>
Figure SMS_49
为二通道增强特征图。
根据第二通道增强特征图与第四权重值，计算得到第二增强特征图，计算公式如下：
Figure SMS_54
，其中，/>
Figure SMS_55
为第二增强特征图，/>
Figure SMS_56
为第四权重值，/>
Figure SMS_57
为第二通道增强特征图，其中第二增强特征图的大小为/>
Figure SMS_58
。
S207：将迭代次数增加一次，若迭代次数小于预设阈值，则对第一增强特征图和第二增强特征图分别进行细节重建，得到对应第一增强特征图对应的第一重建特征图与对应第二增强特征图对应的第二重建特征图。
在步骤S207中，进行多次图像增强处理，以便提取更准确的高语义特征，将迭代次数增加一次，若迭代次数小于预设阈值，则对第一增强特征图和第二增强特征图分别进行细节重建，以便对增强后的特征图进行纹理重建。
本实施例中，预设阈值设置为4次，当迭代次数小于4时，对第一增强特征图和第二增强特征图分别进行细节重建，得到对应第一增强特征图对应的第一重建特征图与对应第二增强特征图对应的第二重建特征图。
本实施例中，若迭代次数小于预设阈值，则对第一增强特征图和第二增强特征图分别进行细节重建，得到对应第一增强特征图对应的第一重建特征图与对应第二增强特征图对应的第二重建特征图，因此，当预设阈值设置为4时，可以得到4个对应的第一增强特征图与对应第二增强特征图。
可选地，对第一增强特征图和第二增强特征图分别进行细节重建，得到对应第一增强特征图对应的第一重建特征图与对应第二增强特征图对应的第二重建特征图，包括：
获取预设步长的第一卷积核、第二卷积核、第三卷积核与第四卷积核；
使用第一卷积核对第一增强特征图和第二增强特征图进行卷积操作，得到第一增强特征图对应的第一卷积光强特征图与第二增强特征图对应的第一卷积偏振特征图；
使用第二卷积核对第一增强特征图和第二增强特征图进行卷积操作，得到第一增强特征图对应的第二卷积光强特征图与第二增强特征图对应的第二卷积偏振特征图；
使用第三卷积核对第一增强特征图和第二增强特征图进行卷积操作，得到第一增强特征图对应的第三卷积光强特征图与第二增强特征图对应的第三卷积偏振特征图；
使用第四卷积核对第一增强特征图和第二增强特征图进行卷积操作，得到第一增强特征图对应的第四卷积光强特征图与第二增强特征图对应的第四卷积偏振特征图；
对第一卷积光强特征图、第二卷积光强特征图、第三卷积光强特征图与第四卷积光强特征图进行亚像素卷积操作，得到第一重建特征图，对第一卷积偏振特征图、第二卷积偏振特征图、第三卷积偏振特征图与第四卷积偏振特征图进行亚像素卷积操作，得到第二重建特征图。
本实施例中，获取步长为2的第一卷积核、第二卷积核、第三卷积核与第四卷积核，第一卷积核、第二卷积核、第三卷积核与第四卷积核为
Figure SMS_60
卷积核，使用不同的/>
Figure SMS_61
卷积核，得到不同的卷积特征图，使用4个不同的/>
Figure SMS_62
卷积核对第一增强特征图进行特征提取，得到4个维度为/>
Figure SMS_63
的卷积光强特征图，例如，使用第一卷积核对第一增强特征图进行卷积操作，得到第一增强特征图对应的第一卷积光强特征图a，使用第二卷积核对第一增强特征图进行卷积操作，得到第一增强特征图对应的第二卷积光强特征图b，使用第三卷积核对第一增强特征图进行卷积操作，得到第一增强特征图对应的第三卷积光强特征图c，使用第四卷积核对第一增强特征图进行卷积操作，得到第一增强特征图对应的第四卷积光强特征图d，其中，a，b，c，d特征图如下所示：/>
Figure SMS_64
Figure SMS_65
/>
Figure SMS_66
/>
Figure SMS_59
对特征图a，b，c，d进行亚像素卷积操作，得到超分辨率重建后的维度为
Figure SMS_67
的第一重建特征图，第一重建特征图的大小如下所示：
Figure SMS_68
，其中，/>
Figure SMS_69
为第一重建特征图。
使用步长为2的第一卷积核、第二卷积核、第三卷积核与第四卷积核对第二增强特征图进行特征提取，得到4个维度为
Figure SMS_70
的卷积偏振特征图，如同对第一增强特征图进行细节重建中的处理，对4个维度为/>
Figure SMS_71
的卷积偏振特征图进行亚像素卷积操作，得到超分辨率重建后的/>
Figure SMS_72
维度为的第二重建特征图，第二重建特征图的大小如下所示：/>
Figure SMS_73
，其中，/>
Figure SMS_74
为第二重建特征图。
S208：将第一重建特征图作为第一图像，将第二重建特征图作为第二图像，返回执行对第一图像与第二图像分别进行特征提取的步骤，直至迭代次数等于预设阈值，得到每次迭代对应的第一增强特征图和第二增强特征图。
在步骤S208中，在每一次迭代时，将第一重建特征图与应第二增强特征图分别作为第一图像与第二图像进行特征提取，将提取出的特征图进行图像增强处理，得到该次迭代中的第一增强特征图与对应第二增强特征图，直至迭代次数等于预设阈值，得到每次迭代对应的第一增强特征图和第二增强特征图。
本实施例中，参见图3是本申请实施例二提供的一种得到每次迭代对应的第一增强特征图和第二增强特征图的流程示意图，将第一重建特征图R6作为第一图像，对第一重建特征图R6进行特征提取，得到特征图R7，将特征图R7进行图像增强处理，得到增强特征图R9，将增强特征图R9进行细节重建，得到重建特征图R10，将重建特征图R10进行再次迭代，将重建特征图R10作为第一图像进行特征提取，得到特征图R11，将特征图R11进行图像增强处理，得到增强特征图R13，将增强特征图R13进行细节重建，得到重建特征图R14，将重建特征图R14进行再次迭代，将重建特征图R14作为第一图像进行特征提取，得到特征图R15，将特征图R15进行图像增强处理，得到增强特征图R17。
将第二重建特征图X6作为第二图像，对第二重建特征图X6进行特征提取，得到特征图X7，将特征图X7进行图像增强处理，得到增强特征图X9，将增强特征图X9进行细节重建，得到重建特征图X10，将重建特征图X10进行再次迭代，将重建特征图X10作为第二图像进行特征提取，得到特征图X11，将特征图X11进行图像增强处理，得到增强特征图X13，将增强特征图X13进行细节重建，得到重建特征图X14，将重建特征图X14进行再次迭代，将重建特征图X14作为第二图像进行特征提取，得到特征图X15，将特征图X15进行图像增强处理，得到增强特征图X17。
S209：针对一次迭代，将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，将所有融合特征图进行融合，得到最终的融合特征图。
在步骤S209中，每一次迭代都生成一个第一增强特征图和第二增强特征图，为了提取更多光强特征与偏振特征中的特征，将每一次迭代后的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，融合特征图中包含光强特征与偏振特征，多模态的特征融合，可以提高特征提取的准确性。
本实施例中，针对一次迭代，将对应的第一增强特征图和第二增强特征图进行融合，以便于提取不同模态中的特征，增强待检测物体中的特征。将每一次迭代中的融合特征图进行融合，得到最终的融合特征图。其中，将每一次迭代中的融合特征图进行融合时，可以进行相加融合。
可选地，将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，包括：
对第一增强特征图与第二增强特征图分别进行卷积操作，得到对应第一增强特征图的第一卷积结果特征图与第二增强特征图的第二卷积结果特征图；
对第一卷积结果特征图与第二卷积结果特征图进行全局平均池化操作，得到对应第一卷积结果特征图的第一池化特征图与对应第二卷积结果特征图的第二池化特征图；
计算第一池化特征图与第二卷积结果特征图之间的关联度，得到第一关联度矩阵，计算第一卷积结果特征图与第二池化特征图之间的关联度，得到第二关联度矩阵；
根据第一关联度矩阵与第二关联度矩阵，计算融合特征，得到对应融合特征图。
本实施例中，在对第一增强特征图与第二增强特征图进行融合时，对第一增强特征图进行卷积操作，其中卷积操作的卷积核为
Figure SMS_75
卷积核，得到表征光强深度特征的第一卷积结果特征图，将第一卷积结果特征图进行全局池化操作，得到大小为/>
Figure SMS_76
的第一池化特征图，将第一池化特征图进行投影转换，投影函数为
Figure SMS_77
，将/>
Figure SMS_78
的第一池化特征图转换为1×C的光强特征图，对第一卷积结果特征图进行投影转换，投影函数为/>
Figure SMS_79
，将大小为H×W×C第一卷积结果特征图转换为大小为C×HW的光强特征图。
对第二增强特征图进行卷积操作，其中卷积操作的卷积核为3×3卷积核，得到表征偏振深度特征的第二卷积结果特征图，将第二卷积结果特征图进行全局池化操作，得到大小为1×1×C的第二池化特征图，将第二池化特征图进行投影转换，投影函数为
Figure SMS_80
，将1×1×C的第二池化特征图转换为1×C的偏振特征图，对第二卷积结果特征图进行投影转换，投影函数为/>
Figure SMS_81
，将大小为H×W×C第二卷积结果特征图转换为大小为C×HW的偏振特征图。
将第一池化特征图投影转换后的特征图与第二卷积结果特征图投影转换后的特征图相乘，得到大小为1×HW的第一关联度矩阵，将第一池化特征图投影转换后的特征图与第二卷积结果特征图投影转换后的特征图相乘，得到大小为1×HW的第二关联度矩阵。根据第一关联度矩阵与第二关联度矩阵，计算融合特征，得到对应融合特征图。
可选地，根据第一关联度矩阵与第二关联度矩阵，计算融合特征，得到对应融合特征图，包括：
通过激活函数，计算第一关联度矩阵对应的激活权重值，得到第一激活权重值矩阵，使用第一激活权重值矩阵对第一卷积结果特征图进行激活，得到第一激活特征图；
通过激活函数，计算第二关联度矩阵对应的激活权重值，得到第二激活权重值矩阵，使用第二激活权重值矩阵对第二卷积结果特征图进行激活，得到第二激活特征图；
将第一激活特征图与第二激活特征图进行相加融合，得到融合特征图。
本实施例中，根据第一关联度矩阵与第二关联度矩阵，计算融合特征，得到对应融合特征图时，通过激活函数，计算第一关联度矩阵对应的激活权重值，得到第一激活权重值矩阵，其中，激活函数为sigmoid激活函数，第一激活权重值矩阵的计算公式如下：
Figure SMS_82
，其中，/>
Figure SMS_83
为第一关联度矩阵，/>
Figure SMS_84
为第一激活权重值矩阵，其中/>
Figure SMS_85
的大小为1×HW。
对第一激活权重值矩阵进行投影转换，其中，投影转换函数为
Figure SMS_86
，将大小为1×HW的第一激活权重值矩阵转换为H×W×1的第一关联特征矩阵。将第一关联特征矩阵与第一卷积结果特征图进行点乘，得到第一激活特征图，实现光强特征图与偏振特征图之间的全局关联度激活操作。
通过激活函数，计算第二关联度矩阵对应的激活权重值，得到第二激活权重值矩阵，其中，激活函数为sigmoid激活函数，第二激活权重值矩阵的计算公式如下：
Figure SMS_87
，其中，/>
Figure SMS_88
为第二关联度矩阵，/>
Figure SMS_89
为第二激活权重值矩阵，其中/>
Figure SMS_90
的大小为1×HW。
对第二激活权重值矩阵进行投影转换，其中，投影转换函数为
Figure SMS_91
，将大小为1×HW的第二激活权重值矩阵转换为H×W×1第二关联特征矩阵。将第二关联特征矩阵与第二卷积结果特征图进行点乘，得到第二激活特征图，实现光强特征图与偏振特征图之间的全局关联度激活操作。
将第一激活特征图与第二激活特征图进行相加融合，得到融合特征图。将每一次迭代中得到的融合特征图进行相加，得到最终的融合特征图。例如，将第一次图像增强得到的第一增强特征图与第二增强特征图融合后的第一融合特征图为A1，将第二次图像增强得到的第一增强特征图与第二增强特征图融合后的第二融合特征图为A2，将第三次图像增强得到的第一增强特征图与第二增强特征图融合后的第三融合特征图为A3，将第四次图像增强得到的第一增强特征图与第二增强特征图融合后的第四融合特征图为A4，将A1，A2，A3，与A4相加融合后，得到最终的融合特征。
S2010：根据最终的融合特征进行缺陷检测，得到缺陷检测结果。
在步骤S2010中，根据最终的融合特征进行缺陷检测，检测待检测物体中缺陷的类别与位置信息。
本实施例中，使用缺陷检测模型进行检测，缺陷检测模型中使用分类回归算法，对输出的卷积结果进行缺陷分类处理，使用预测框回归算法，对输出的卷积结果进行缺陷定位处理，得到待检测物体中的缺陷位置，预测框回归算法可以为YOLOV3的预测框回归算法。YOLOV3的预测框回归算法在检测过程中首先将输入图像划分成 S×S 个大小相同的网格，每个网格只负责对中心位于该网格中的目标进行预测，一个网格预测 B 个预测框，每个预测框中包含的信息为目标中心点相对于点所在网格左上角的偏移量
Figure SMS_92
与/>
Figure SMS_93
，以及预测框的宽度/>
Figure SMS_94
和高度/>
Figure SMS_95
，然后通过反向传播计算来更新/>
Figure SMS_96
的取值，进而获得预测的预测框。这种预测框回归算法利用预先定义的锚框直接将整张图像作为输入进行训练，省去生成候选区域的中间步骤，能够快速区分背景区域和目标，从而实现对目标的快速检测。
需要说明的是，在进行缺陷检测之前，需要对缺陷检测模型进行训练，由于在使用缺陷检测模型进行推理时，需要对缺陷检测模型最后一层最终的融合特征图上的每一特征点判断是否存在目标，以及目标的类别、位置坐标同时进行预测，所以缺陷检测模型中的损失函数包括三部分，分别为位置坐标损失、类别损失与置信度损失，计算公式如下：
Figure SMS_97
，其中，/>
Figure SMS_98
为缺陷检测模型中的损失函数，/>
Figure SMS_99
为位置坐标损失函数，/>
Figure SMS_100
为类别损失函数，/>
Figure SMS_101
为置信度损失函数。
需要说明的是，位置坐标损失函数
Figure SMS_103
包括预测框的中心坐标的误差，和预测框宽与高的误差，计算公式如下：
Figure SMS_104
，其中，
Figure SMS_106
为坐标误差的权重，/>
Figure SMS_108
为第i个网格，B为每个网格中预测框的数量，
Figure SMS_109
为每个网格中的第j个预测框，/>
Figure SMS_110
为第i个网格的第j个预测框中是否存在缺陷目标，如果存在则取1，否则取0，/>
Figure SMS_111
为每个预测框的中心点坐标，/>
Figure SMS_102
为对应的预测框的中心点坐标的预测值，/>
Figure SMS_105
为每个预测框的宽度和高度，/>
Figure SMS_107
为对应预测框的宽度和高度的预测值。
需要说明的是，本申请实施例中会将缺陷检测模型的最后一层输出的最终的融合特征图中的每一个特征点作为一个网格，也即最后一层输出的最终的融合特征图中有几个特征点就有几个网格。例如，当缺陷检测模型最后一层输出的最终的融合特征图大小为13×13，则对该特征图划一个13×13的网格，利用损失函数对每个网格中是否存在目标，以及目标的类别、位置坐标进行判断。
类别损失函数的计算公式如下：
Figure SMS_113
，其中，/>
Figure SMS_114
，/>
Figure SMS_116
为表示第i个网格中是否存在目标缺陷，若存在，/>
Figure SMS_117
，/>
Figure SMS_118
，若不存在，则/>
Figure SMS_119
，/>
Figure SMS_120
，/>
Figure SMS_112
为预测目标真实类别得分，/>
Figure SMS_115
为预测为无目标的得分值。
置信度损失函数的计算公式如下：
Figure SMS_121
，其中，/>
Figure SMS_122
为当没有探测到目标时，置信度损失的权重，/>
Figure SMS_123
为第i个网格的第j个预测框中是否存在缺陷目标，如果存在则取1，否则取0，/>
Figure SMS_124
表示第i个网格中的第j个预测框中是否存在缺陷目标，若不存在为1，否则取0，/>
Figure SMS_125
为目标类别的得到分值，/>
Figure SMS_126
为预测框与真实框的重合比例。
根据缺陷检测模型中的损失函数对缺陷检测模型进行检训练，得到训练好的缺陷检测模型，使用训练好的缺陷检测模型进行缺陷检测。
需要说明的是，在对缺陷检测模型进行训练时，利用高分辨率显微镜及成像椭偏仪采集了晶圆的光强图像数据与偏振图像数据。成像椭偏仪可以对样品表面光学成像的每个像元进行椭偏测量，得到微区特性的精确定位测量，极大提高了对微纳区域的表征能力，横向分辨率达到微米级，可以对同一光斑区域的多元样品进行观测，因此成像椭偏仪所测量的偏振特征图像可以用于准确地检测分析小于光斑照射区域内待测对象的微小变化。
本申请针对多种不同的缺陷，使用图像标注工具，手动标注了缺陷类别与缺陷位置，共标注出裂纹、晶体缺陷、污染和线路短路四种缺陷类型。该数据集构建了包括2000张晶圆的光强图像及2000张相对应的偏振图像数据，包含各类半导体缺陷目标，图像分辨率为512×512。我们在Pytorch框架下使用Adam优化器以及随机梯度下降算法来优化网络的权重，对模型进行训练，使用Windows 10操作系统，两个NVIDIA Quadro M5000图形处理单元(GPU)。
其中，模型的初始训练参数如表1所示：
Figure SMS_127
将数据集采用7：3的比例分为训练集和测试集。然后，使用对应的缺陷检测模型进行实验。为了得到更准确的检测结果，使用多缺陷检测模型对比实验，实验结果如表2所示：
Figure SMS_128
其中，全类平均精度的计算公式如下：
Figure SMS_130
，其中，/>
Figure SMS_132
表示精确率，
Figure SMS_133
表示召回率，/>
Figure SMS_135
表示单类别平均精度，/>
Figure SMS_136
表示全类平均精度，N表示检测的缺陷类别数目，/>
Figure SMS_137
表示预测正确的样本数量，即/>
Figure SMS_138
的检测框数量，/>
Figure SMS_129
表示将错误样本预测为正确样本的数量，即/>
Figure SMS_131
的检测框，/>
Figure SMS_134
为将正确样本预测为错误样本的数量，即没有检测到的缺陷的数量。
根据表2中各个缺陷检测模型中的缺陷检测准确率对比，可知，本发明方法中的缺陷检测模型的检测精度，召回率与全类平均精度比现有技术中的多模态融合半导体检测方法的检测精度都高，所以本申请中多任务学习的半导体晶圆检测方法具有显著的有益效果。
参见图4，是本申请实施例三提供的半导体晶圆检测结果对比图。其中图4中包括对两张半导体晶圆图像使用不同的检测模型进行检测得到的检测结果，原图为半导体晶圆的图像，原图对应的上半部分为半导体晶圆的第一个局部区域图像，下半部分为半导体晶圆的第二个局部区域图像，由图4可知，使用SSD模型对第一个局部区域图像进行检测时，得到2个检测结果，使用MobileNetv2模型对第一个局部区域图像进行检测时，得到3个检测结果，使用YOLOV5模型对第一个局部区域图像进行检测时，得到3个检测结果，使用本发明方法模型对第一个局部区域图像进行检测时，得到3个检测结果；使用SSD模型对第二个局部区域图像进行检测时，得到0个检测结果，使用MobileNetv2模型对第二个局部区域图像进行检测时，得到0个检测结果，使用YOLOV5模型对第二个局部区域图像进行检测时，得到1个检测结果，使用本发明方法模型对第二个局部区域图像进行检测时，得到2个检测结果。根据第一个局部区域图像与第二个局部区域图像的检测对比结果图可知，本发明方法具有显著的有益效果。
参见图5，是本申请实施例四提供的第一增强特征图和第二增强特征图进行融合的流程示意图，其中，R5为第一增强特征图，X5为第二增强特征图，第一增强特征图R5进行两次卷积操作，得到卷积特征图T1与T2，对卷积特征图T2进行全局平均池化操作，将全局平均池化操作后的特征图进行维度转换，得到光强特征图T3，对卷积特征图T1进行维度转换，得到光强特征图T4，对第二增强特征图X5进行两次卷积操作，得到卷积特征图U1与U2，对卷积特征图U2进行全局平均池化操作，将全局平均池化操作后的特征图进行维度转换，得到偏振特征图U3，对卷积特征图U1进行维度转换，得到偏振特征图U4。
将光强特征图T3与偏振特征图U4进行关联矩阵计算，得到第一关联度矩阵I1，将光强特征图T4与偏振特征图U3进行关联矩阵计算，得到第二关联度矩阵P1，将第一关联矩阵I1与第二关联度矩阵P1分别进行激活处理，得到第一激活权重值矩阵MI与第二激活权重值矩阵MP，将第一激活权重值矩阵MI与卷积特征图U1进行点乘，得到第一激活特征图J1，将第二激活权重值矩阵MP与卷积特征图T1进行点乘，得到第二激活特征图L1，将第一激活特征图J1与第二激活特征图L1相加融合，得到融合特征图A1。
获取待检测物体的表征光强特征的第一图像与表征偏振特征的第二图像，对第一图像与第二图像分别进行特征提取，得到对应第一图像的第一特征图与对应第二图像的第二特征图，对第一特征图与第二特征图分别进行图像增强处理，得到对应第一特征图的第一增强特征图与对应第二特征图的第二增强特征图，将迭代次数增加一次，若迭代次数小于预设阈值，则对第一增强特征图和第二增强特征图分别进行细节重建，得到对应第一增强特征图的第一重建特征图与对应第二增强特征图的第二重建特征图，将第一重建特征图作为第一图像，将第二重建特征图作为第二图像，返回执行对第一图像与第二图像分别进行特征提取的步骤，直至迭代次数等于预设阈值，得到每次迭代对应的第一增强特征图和第二增强特征图，针对一次迭代，将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，将所有融合特征图进行融合，得到最终的融合特征图，根据最终的融合特征进行缺陷检测，得到缺陷检测结果。本申请中，将不同模态数据的细节特征与不同模态数据的融合特征的提取作为不同的任务，对表征光强特征的图像与表征偏振特征的图像进行特征提取，得到对应的特征图，将特征图进行图像增强，并对增强后的图像进行细节重建，得到光强特征图与偏振特征图中的细节纹理特征图，作为第一任务，进行迭代处理，直至迭代次数达到预设阈值，将细节纹理特征图再次进行图像增强，提取每次迭代后的增强图像的高语义特征，将提取的高语义特征进行融合，提取融合特征，作为第二任务，得到包含纹理细节和信息互补的融合特征，对融合特征进行缺陷检测，从而提高缺陷检测精度。
对应于上文实施例的一种多任务学习的半导体晶圆检测方法，图6示出了本申请实施例五提供的一种多任务学习的半导体晶圆检测装置的结构框图，上述半导体晶圆检测装置应用于上述服务端。为了便于说明，仅示出了与本申请实施例相关的部分。参见图6，该半导体晶圆检测装置60包括：获取模块61，提取模块62，空间池化模块63，通道激活模块64，通道增强模块65，空间增强模块66，重建模块67，迭代模块68，融合模块69，检测模块610。
获取模块61，用于获取待检测物体的表征光强特征的第一图像与表征偏振特征的第二图像。
提取模块62，用于对第一图像与第二图像分别进行特征提取，得到对应第一图像的第一特征图与对应第二图像的第二特征图。
空间池化模块63，用于对第一特征图与第二特征图分别进行在空间维度上的全局平均池化操作与全局最大值池化操作，得到对应第一特征图的第一平均池化特征图和第一最大值池化特征图，以及对应第二特征图的第二平均池化特征图和第二最大值池化特征图。
通道激活模块64，用于根据第一特征图的第一平均池化特征图和第一最大值池化特征图，计算第一特征图在通道维度上的权重值，得到第一权重值，根据第二特征图的第二平均池化特征图和第二最大值池化特征图，计算第二特征图在通道维度上的权重值，得到第二权重值。
通道增强模块65，用于根据第一权重值与第一特征图，计算得到第一通道增强特征图，根据第二权重值和第二特征图，计算得到第二通道增强特征图；
空间增强模块66，用于对第一通道增强特征图与第二通道增强特征图分别进行空间维度的增强，得到对应第一通道增强特征图的第一增强特征图与对应第二通道增强特征图的第二增强特征图。
重建模块67，用于将迭代次数增加一次，若迭代次数小于预设阈值，则对第一增强特征图和第二增强特征图分别进行细节重建，得到对应第一增强特征图的第一重建特征图与对应第二增强特征图的第二重建特征图。
迭代模块68，用于将第一重建特征图作为第一图像，将第二重建特征图作为第二图像，返回执行对第一图像与第二图像分别进行特征提取的步骤，直至迭代次数等于预设阈值，得到每次迭代对应的第一增强特征图和第二增强特征图。
融合模块69，用于针对一次迭代，将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，将所有融合特征图进行融合，得到最终的融合特征图。
检测模块610，用于根据最终的融合特征进行缺陷检测，得到缺陷检测结果。
可选地，上述空间增强模块66包括：
通道池化单元，用于对第一通道增强特征图与第二通道增强特征图分别进行在通道维度上的全局平均池化操作与全局最大值池化操作，得到对应第一通道增强特征图的第三平均池化特征图和第三最大值池化特征图，以及对应第二通道增强特征图的第四平均池化特征图和第四最大值池化特征图。
空间激活单元，用于根据第一通道增强特征图的第三平均池化特征图和第三最大值池化特征图，计算第一通道增强特征图在空间维度上的权重值，得到第三权重值，根据第二通道增强特征图的第四平均池化特征图和第四最大值池化特征图，计算第二增强特征图在空间维度上的权重值，得到第四权重值。
计算单元，用于根据第三权重值与第一通道增强特征图，计算得到第一增强特征图，根据第四权重值与第二通道增强特征图，计算得到第二增强特征图。
可选地，上述重建模块67包括：
卷积核获取单元，用于获取预设步长的第一卷积核、第二卷积核、第三卷积核与第四卷积核。
第一卷积单元，用于使用第一卷积核对第一增强特征图和第二增强特征图进行卷积操作，得到第一增强特征图对应的第一卷积光强特征图与第二增强特征图对应的第一卷积偏振特征图。
第二卷积单元，用于使用第二卷积核对第一增强特征图和第二增强特征图进行卷积操作，得到第一增强特征图对应的第二卷积光强特征图与第二增强特征图对应的第二卷积偏振特征图。
第三卷积单元，用于使用第三卷积核对第一增强特征图和第二增强特征图进行卷积操作，得到第一增强特征图对应的第三卷积光强特征图与第二增强特征图对应的第三卷积偏振特征图。
第四卷积单元，用于使用第四卷积核对第一增强特征图和第二增强特征图进行卷积操作，得到第一增强特征图对应的第四卷积光强特征图与第二增强特征图对应的第四卷积偏振特征图。
亚像素卷积单元，用于对第一卷积光强特征图、第二卷积光强特征图、第三卷积光强特征图与第四卷积光强特征图进行亚像素卷积操作，得到第一重建特征图，对第一卷积偏振特征图、第二卷积偏振特征图、第三卷积偏振特征图与第四卷积偏振特征图进行亚像素卷积操作，得到第二重建特征图。
可选地，上述融合模块69包括：
卷积单元，用于对第一增强特征图与第二增强特征图分别进行卷积操作，得到对应第一增强特征图的第一卷积结果特征图与第二增强特征图的第二卷积结果特征图。
池化单元，用于对第一卷积结果特征图与第二卷积结果特征图进行全局平均池化操作，得到对应第一卷积结果特征图的第一池化特征图与对应第二卷积结果特征图的第二池化特征图。
关联度计算单元，用于计算第一池化特征图与第二卷积结果特征图之间的关联度，得到第一关联度矩阵，计算第一卷积结果特征图与第二池化特征图之间的关联度，得到第二关联度矩阵。
融合特征计算单元，用于根据第一关联度矩阵与第二关联度矩阵，计算融合特征，得到对应融合特征图。
可选地，上述融合特征计算单元包括：
第一激活子单元，用于通过激活函数，计算第一关联度矩阵对应的激活权重值，得到第一激活权重值矩阵，使用第一激活权重值矩阵对第一卷积结果特征图进行激活，得到第一激活特征图。
第二激活子单元，用于通过激活函数，计算第二关联度矩阵对应的激活权重值，得到第二激活权重值矩阵，使用第二激活权重值矩阵对第二卷积结果特征图进行激活，得到第二激活特征图。
融合子单元，用于将第一激活特征图与第二激活特征图进行相加融合，得到融合特征图。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图7为本申请实施例六提供的一种终端设备的结构示意图。如图7所示，该实施例的终端设备包括：至少一个处理器（图7中仅示出一个）、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个多任务学习的半导体晶圆检测方法实施例中的步骤。
该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图7仅仅是终端设备的举例，并不构成对终端设备的限定，终 端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific IntegratedCircuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等，其中，内存储器可以是终端设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是终端设备的硬盘，在另一些实施例中也可以是终端设备的外部存储设备，例如，终端设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序（BootLoader）、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种多任务学习的半导体晶圆检测方法，其特征在于，所述半导体晶圆检测方法包括：
获取待检测物体的表征光强特征的第一图像与表征偏振特征的第二图像；
对所述第一图像与所述第二图像分别进行特征提取，得到对应所述第一图像的第一特征图与对应所述第二图像的第二特征图；
对所述第一特征图与所述第二特征图分别进行在空间维度上的全局平均池化操作与全局最大值池化操作，得到对应所述第一特征图的第一平均池化特征图和第一最大值池化特征图，以及对应所述第二特征图的第二平均池化特征图和第二最大值池化特征图；
根据所述第一特征图的第一平均池化特征图和第一最大值池化特征图，计算所述第一特征图在通道维度上的权重值，得到第一权重值，根据所述第二特征图的第二平均池化特征图和第二最大值池化特征图，计算所述第二特征图在通道维度上的权重值，得到第二权重值；
根据所述第一权重值与所述第一特征图，计算得到第一通道增强特征图，根据所述第二权重值和第二特征图，计算得到第二通道增强特征图；
对第一通道增强特征图与所述第二通道增强特征图分别进行空间维度的增强，得到对应第一通道增强特征图的第一增强特征图与对应第二通道增强特征图的第二增强特征图；将迭代次数增加一次，若所述迭代次数小于预设阈值，则对所述第一增强特征图和所述第二增强特征图分别进行细节重建，得到对应第一增强特征图的第一重建特征图与对应第二增强特征图的第二重建特征图；
将所述第一重建特征图作为所述第一图像，将所述第二重建特征图作为所述第二图像，返回执行对所述第一图像与所述第二图像分别进行特征提取的步骤，直至所述迭代次数等于所述预设阈值，得到每次迭代对应的第一增强特征图和第二增强特征图；
针对一次迭代，将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，将所有融合特征图进行融合，得到最终的融合特征图；
根据所述最终的融合特征进行缺陷检测，得到缺陷检测结果。
2.如权利要求1所述的半导体晶圆检测方法，其特征在于，所述对第一通道增强特征图与所述第二通道增强特征图分别进行空间维度的增强，得到对应第一通道增强特征图的第一增强特征图与对应第二通道增强特征图的第二增强特征图，包括：
对所述第一通道增强特征图与所述第二通道增强特征图分别进行在通道维度上的全局平均池化操作与全局最大值池化操作，得到对应所述第一通道增强特征图的第三平均池化特征图和第三最大值池化特征图，以及对应所述第二通道增强特征图的第四平均池化特征图和第四最大值池化特征图；
根据所述第一通道增强特征图的第三平均池化特征图和第三最大值池化特征图，计算所述第一通道增强特征图在空间维度上的权重值，得到第三权重值，根据第二通道增强特征图的第四平均池化特征图和第四最大值池化特征图，计算所述第二增强特征图在空间维度上的权重值，得到第四权重值；
根据所述第三权重值与所述第一通道增强特征图，计算得到第一增强特征图，根据所述第四权重值与所述第二通道增强特征图，计算得到第二增强特征图。
3.如权利要求1所述半导体晶圆检测方法，其特征在于，所述对所述第一增强特征图和所述第二增强特征图分别进行细节重建，得到对应第一增强特征图的第一重建特征图与对应第二增强特征图的第二重建特征图，包括：
获取预设步长的第一卷积核、第二卷积核、第三卷积核与第四卷积核；
使用所述第一卷积核对所述第一增强特征图和所述第二增强特征图进行卷积操作，得到所述第一增强特征图对应的第一卷积光强特征图与所述第二增强特征图对应的第一卷积偏振特征图；
使用所述第二卷积核对所述第一增强特征图和所述第二增强特征图进行卷积操作，得到所述第一增强特征图对应的第二卷积光强特征图与所述第二增强特征图对应的第二卷积偏振特征图；
使用所述第三卷积核对所述第一增强特征图和所述第二增强特征图进行卷积操作，得到所述第一增强特征图对应的第三卷积光强特征图与所述第二增强特征图对应的第三卷积偏振特征图；
使用所述第四卷积核对所述第一增强特征图和所述第二增强特征图进行卷积操作，得到所述第一增强特征图对应的第四卷积光强特征图与所述第二增强特征图对应的第四卷积偏振特征图；
对所述第一卷积光强特征图、所述第二卷积光强特征图、所述第三卷积光强特征图与所述第四卷积光强特征图进行亚像素卷积操作，得到第一重建特征图，对所述第一卷积偏振特征图、所述第二卷积偏振特征图、所述第三卷积偏振特征图与所述第四卷积偏振特征图进行亚像素卷积操作，得到第二重建特征图。
4.如权利要求1所述的半导体晶圆检测方法，其特征在于，所述将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，包括：
对所述第一增强特征图与所述第二增强特征图分别进行卷积操作，得到对应所述第一增强特征图的第一卷积结果特征图与所述第二增强特征图的第二卷积结果特征图；
对所述第一卷积结果特征图与所述第二卷积结果特征图进行全局平均池化操作，得到对应所述第一卷积结果特征图的第一池化特征图与对应所述第二卷积结果特征图的第二池化特征图；
计算所述第一池化特征图与所述第二卷积结果特征图之间的关联度，得到第一关联度矩阵，计算所述第一卷积结果特征图与所述第二池化特征图之间的关联度，得到第二关联度矩阵；
根据所述第一关联度矩阵与所述第二关联度矩阵，计算融合特征，得到对应融合特征图。
5.如权利要求4所述的半导体晶圆检测方法，其特征在于，所述根据所述第一关联度矩阵与所述第二关联度矩阵，计算融合特征，得到对应融合特征图，包括：
通过激活函数，计算所述第一关联度矩阵对应的激活权重值，得到第一激活权重值矩阵，使用所述第一激活权重值矩阵对所述第一卷积结果特征图进行激活，得到第一激活特征图；
通过所述激活函数，计算所述第二关联度矩阵对应的激活权重值，得到第二激活权重值矩阵，使用所述第二激活权重值矩阵对所述第二卷积结果特征图进行激活，得到第二激活特征图；
将所述第一激活特征图与所述第二激活特征图进行相加融合，得到融合特征图。
6.一种多任务学习的半导体晶圆检测装置，其特征在于，所述半导体晶圆检测装置包括：
获取模块，用于获取待检测物体的表征光强特征的第一图像与表征偏振特征的第二图像；
提取模块，用于对所述第一图像与所述第二图像分别进行特征提取，得到对应所述第一图像的第一特征图与对应所述第二图像的第二特征图；
空间池化模块，用于对所述第一特征图与所述第二特征图分别进行在空间维度上的全局平均池化操作与全局最大值池化操作，得到对应所述第一特征图的第一平均池化特征图和第一最大值池化特征图，以及对应所述第二特征图的第二平均池化特征图和第二最大值池化特征图；
通道激活模块，用于根据所述第一特征图的第一平均池化特征图和第一最大值池化特征图，计算所述第一特征图在通道维度上的权重值，得到第一权重值，根据所述第二特征图的第二平均池化特征图和第二最大值池化特征图，计算所述第二特征图在通道维度上的权重值，得到第二权重值；
通道增强模块，用于根据所述第一权重值与所述第一特征图，计算得到第一通道增强特征图，根据所述第二权重值和第二特征图，计算得到第二通道增强特征图；
空间增强模块，用于对第一通道增强特征图与所述第二通道增强特征图分别进行空间维度的增强，得到对应第一通道增强特征图的第一增强特征图与对应第二通道增强特征图的第二增强特征图；
重建模块，用于将迭代次数增加一次，若所述迭代次数小于预设阈值，则对所述第一增强特征图和所述第二增强特征图分别进行细节重建，得到对应第一增强特征图的第一重建特征图与对应第二增强特征图的第二重建特征图；
迭代模块，用于将所述第一重建特征图作为所述第一图像，将所述第二重建特征图作为所述第二图像，返回执行对所述第一图像与所述第二图像分别进行特征提取的步骤，直至所述迭代次数等于所述预设阈值，得到每次迭代对应的第一增强特征图和第二增强特征图；
融合模块，用于针对一次迭代，将对应的第一增强特征图和第二增强特征图进行融合，得到对应融合特征图，将所有融合特征图进行融合，得到最终的融合特征图；
检测模块，用于根据所述最终的融合特征进行缺陷检测，得到缺陷检测结果。
7.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的半导体晶圆检测方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的半导体晶圆检测方法。
CN202310690456.4A 2023-06-12 2023-06-12 多任务学习的半导体晶圆检测方法、装置、设备及介质 Active CN116433661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310690456.4A CN116433661B (zh) 2023-06-12 2023-06-12 多任务学习的半导体晶圆检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310690456.4A CN116433661B (zh) 2023-06-12 2023-06-12 多任务学习的半导体晶圆检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116433661A true CN116433661A (zh) 2023-07-14
CN116433661B CN116433661B (zh) 2023-08-18

Family

ID=87085860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310690456.4A Active CN116433661B (zh) 2023-06-12 2023-06-12 多任务学习的半导体晶圆检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116433661B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630310A (zh) * 2023-07-21 2023-08-22 锋睿领创(珠海)科技有限公司 一种石英玻璃的检测方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233010A1 (zh) * 2019-05-23 2020-11-26 平安科技（深圳）有限公司 基于可分割卷积网络的图像识别方法、装置及计算机设备
CN113469992A (zh) * 2021-07-16 2021-10-01 合肥中科融道智能科技有限公司 基于增强不同层次特征表示的电力设备图像缺陷检测方法
US20220108436A1 (en) * 2020-10-05 2022-04-07 Samsung Electronics Co., Ltd. Device and method for detecting defects on wafer
CN114549391A (zh) * 2020-11-26 2022-05-27 西北工业大学深圳研究院 一种基于偏振先验的电路板表面缺陷检测方法
CN114663380A (zh) * 2022-03-17 2022-06-24 合肥学院 一种铝材表面缺陷检测方法、存储介质及计算机系统
WO2022241784A1 (zh) * 2021-05-21 2022-11-24 京东方科技集团股份有限公司 缺陷检测方法及装置、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233010A1 (zh) * 2019-05-23 2020-11-26 平安科技（深圳）有限公司 基于可分割卷积网络的图像识别方法、装置及计算机设备
US20220108436A1 (en) * 2020-10-05 2022-04-07 Samsung Electronics Co., Ltd. Device and method for detecting defects on wafer
CN114549391A (zh) * 2020-11-26 2022-05-27 西北工业大学深圳研究院 一种基于偏振先验的电路板表面缺陷检测方法
WO2022241784A1 (zh) * 2021-05-21 2022-11-24 京东方科技集团股份有限公司 缺陷检测方法及装置、存储介质及电子设备
CN113469992A (zh) * 2021-07-16 2021-10-01 合肥中科融道智能科技有限公司 基于增强不同层次特征表示的电力设备图像缺陷检测方法
CN114663380A (zh) * 2022-03-17 2022-06-24 合肥学院 一种铝材表面缺陷检测方法、存储介质及计算机系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘万军 等: "不同池化模型的卷积神经网络学习性能研究", 中国图象图形学报, no. 09, pages 64 - 76 *
刘瑞珍 等: "基于深度学习的偏光片缺陷实时检测算法", 太原理工大学学报, no. 01, pages 129 - 134 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630310A (zh) * 2023-07-21 2023-08-22 锋睿领创(珠海)科技有限公司 一种石英玻璃的检测方法、装置、设备及介质
CN116630310B (zh) * 2023-07-21 2023-11-17 锋睿领创(珠海)科技有限公司 一种石英玻璃的检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN116433661B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN109859207B (zh) 一种高密度柔性基板的缺陷检测方法
CN111079683A (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN111932511B (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN116433661B (zh) 多任务学习的半导体晶圆检测方法、装置、设备及介质
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
CN113298078A (zh) 设备屏幕碎裂检测模型训练方法及设备屏幕碎裂检测方法
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN112215217A (zh) 模拟医师阅片的数字图像识别方法及装置
CN116152208A (zh) 缺陷检测方法、装置、设备及存储介质
CN114494371A (zh) 基于多尺度相位一致性的光学图像和sar图像配准方法
CN111259903A (zh) 识别表计示数方法、装置、可读存储介质和计算机设备
Ni et al. Toward high-precision crack detection in concrete bridges using deep learning
CN117095236A (zh) 一种用于评估叶根轮槽试验精确性的方法及系统
Huang et al. The detection of defects in ceramic cell phone backplane with embedded system
Yang et al. Defect detection scheme of pins for aviation connectors based on image segmentation and improved RESNET-50
CN111242017A (zh) 一种多标线的路面裂缝识别方法、装置、设备及存储介质
EP4050560A1 (en) Wafer testing method and apparatus, and device and storage medium
CN115424000A (zh) 一种指针式仪表识别方法、系统、设备及存储介质
CN112419244B (zh) 混凝土裂缝分割方法及装置
Mazni et al. An investigation into real-time surface crack classification and measurement for structural health monitoring using transfer learning convolutional neural networks and Otsu method
CN109726741B (zh) 一种多目标物体的检测方法及装置
Han Crack detection of UAV concrete surface images
CN111832629A (zh) 一种基于FPGA的faster-RCNN目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant